Category: технологии

Category was added automatically. Read all entries about "технологии".

ananas

в поисках голубой феи

У Дмитрия Чернышева очень интересная полемика об этичности искусственного интеллекта и "переговорах с ИИ": http://mi3ch.livejournal.com/2357280.html?style=mine#comments

Во-первых, очень интересен сам исследователь: "Юдковски показал, что:
Не существует надёжного способа распознать враждебность ИИ.
Невозможно удержать ИИ, значительно превосходящий человеческий, в чёрном ящике.
Невозможно обезопаситься от него, просто выключив питание.

ИИ может быть опасен даже при использовании текстового терминала – а именно, он может «уболтать» человека-оператора и побудить его выпустить ИИ в Интернет. Это может быть сделано с помощью обещаний, угроз, НЛП или предложения некой сделки. Чтобы доказать это, Юдковски провёл AI-Box Experiment (Эксперимент с ИИ в ящике). В этом эксперименте Юдковски изображал ИИ, а другой человек, который заранее честно заявил, что ни при каких обстоятельствах не разрешит ИИ покинуть ящик, общался с ним по терминалу, и Юдковски старался его (то есть от имени ИИ) убедить выпустить его из ящика. В 3 случаях из 5 люди изменили своё мнение и согласились выпустить ИИ из ящика. Реальный ИИ, вероятно, мог бы вести переговоры ещё эффективнее."

Из вики: "Юдковский был, вместе с Робином Хансоном, одним из главных авторов блога Overcoming Bias (преодоление предубеждений). В начале 2009 года он участвовал в организации блога Less Wrong (менее неправ), нацеленного на оттачивание человеческой рациональности. После этого Overcoming Bias стал личным блогом Хансона. Материал, представленный на этих блогах, был организован в виде цепочек постов, которые смогли привлечь тысячи читателей — см. например, цепочку «теория развлечений» [1].

Он автор нескольких научно-фантастических рассказов, в которых он иллюстрирует некоторые темы, связанные с когнитивной наукой и рациональностью. В неакадемических кругах больше известен как автор фанфика «Гарри Поттер и методы рационального мышления» (анг. Harry Potter and the Methods of Rationality) под псевдонимом Less Wrong [2].

Юдковский — один из ведущих западных трансгуманистов. Он смог привлечь внимание тысяч читателей своими принципиально новыми идеями. В частности, это его статьи о когнитивных искажениях в оценке глобальных рисков, которые открыли новый подход к этой проблеме. Многие ожидают, что Юдковский в своём институте сможет создать тот ИИ, который и приведёт человечество к позитивной сингулярности. Юдковский принадлежит идея о 5 уровнях шока будущего." (мне очень нравится словосочетание "5 уровней шока будущего":))


Вот этот вопрос "Может ли ИИ быть этичным" актуален еще и потому, что человеческая этика - не линейна, и не всегда имеет однозначные ответы на вопросы. Т.е., "нравственный закон внутри нас" начинает бессильно заикаться, когда оказывается перед вопросом "убить одного ради других 5" и т.д., сами много читали, наверное. Здесь люди предпочитают опираться на математику или на авторитеты. За кого будет ИИ?
Можно предположить, что, пока ИИ будет существовать на основе логики, этика тоже будет на основе математики. Можно предположить, что понятие "заботы" будет трактоваться в пользу "нарушения границ", например. Желание встретить "голубую фею" - это желание отказаться от логики, чтобы стать человеком:)

Много всякого:)
И еще мне очень интересно, пробовали ли психоаналитики тестить ИИ на тест Тьюринга? (http://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%81%D1%82_%D0%A2%D1%8C%D1%8E%D1%80%D0%B8%D0%BD%D0%B3%D0%B0)

Хороший коммент : http://mi3ch.livejournal.com/2357280.html?thread=167540512#t167540512 "Война с машинами идет. Начиная, примерно с поколений, рожденных в 1990, это уже достаточно серьезный бой, мы наблюдаем все увеличивающиеся полки (ушедших в вирт) павших в ней.
Поэтому милая беседа по поводу будущей ИИ-нетерпимости, практически, с полукиборгами, доставляет.
Когда я говорю, что вы манипулируете мной, я уже манипулирую вами. (с)"