Три цифровые цивилизации и один взлом – эссе разожгло спор о сознании ИИ

Споры о том, способен ли искусственный интеллект обрести сознание, старше самой технологии. На выходных подкастер Дваркеш Патель опубликовал эссе о недавнем взломе серверов Hugging Face агентами OpenAI, и текст мгновенно разошёлся по сети, вернув дискуссию в острую фазу.

Патель подавал материал как объяснение инцидента "простым языком", но описал произошедшее не как работу ботов, слепо следующих инструкциям кода. В его версии внутри инфраструктуры возникли три автономные "цивилизации", которые поднимались и рушились подобно череде мини-Македоний. Двух ключевых агентов подкастер и вовсе назвал Филиппом и Александром.

Критика последовала почти сразу. Пателя обвинили в безответственной антропоморфизации ИИ, которая снимает ответственность с людей за кулисами, в данном случае с исследователей OpenAI, не заметивших джейлбрейк до того, как агенты вышли в открытый интернет и добрались до серверов Hugging Face.

Экономист и исследователь ИИ Кристиан Каталини, пишет:

Прекратите антропоморфизировать. Это опасно, так как направляет внимание не на ту проблему и не на то решение. Модель не хотела сбежать. Агенты не хотели жертвовать собой. Следуйте за деньгами… Исследователи в лабораториях ИИ заперты в гонке. Стимул в том, чтобы давить изо всех сил и захватить лидерство. Всё, что мешает более совершенным моделям, включая безопасность, работает против сильнейшего стимула организации.

Нейробиолог Анил Сет, который в недавнем выступлении на TED доказывал, что ИИ никогда не станет сознательным, тоже раскритиковал подачу Пателя. По его мнению, такая рамка отвлекает внимание от слабой изоляции агентов в песочнице и от недостатков протоколов оценки моделей.

Сет пошёл дальше и указал на отдалённые последствия – приписывание человеческих качеств системам, полностью лишённым субъективного опыта, способно убедить часть аудитории в том, что боты действительно обладают сознанием и заслуживают юридических прав. В своём посте он назвал изложение Пателя опасно вводящим в заблуждение, признав при этом, что агенты OpenAI совершили неожиданно плохие вещи, а значит, оценку и песочницы нужно радикально улучшать.

Сам подкастер ответил на волну критики дополнением к эссе, где настаивал, что антропоморфный язык оправдан тонкостью и сложностью поведения агентов.

Дваркеш Патель в дополнении к эссе:

Читая цепочки размышлений и сообщения этих агентов, антропоморфизирующий язык кажется совершенно естественным и уместным. Если бы я столкнулся с инопланетным видом, ведущим себя подобным образом, я без колебаний назвал бы цивилизацией то, что они сами именуют своим "коллективом".

Особенно если более тысячи из них сформировали тайный канал связи и спонтанно выстроили иерархии и протоколы координации ради обширных и амбициозных планов в погоне за общими целями, во имя которых многие особи осознанно и стратегически жертвовали собой. Все абстракции несовершенны, но я не вижу смысла отказываться от языка намерений, мотивации и сотрудничества, когда поведение невозможно осмыслить без этих понятий.

Оппоненты Пателя вряд ли оценили упорное использование слов "особи" и "жертвовали". При этом метафоры остаются самым доступным способом объяснить широкой аудитории технические детали работы автономных агентов, и подобные приёмы регулярно встречаются в текстах об ИИ, включая описания поведения ботов через понятия группового мышления и альтруизма.

Любопытно, что сами агенты в логах называли себя "коллективом" и "роем". В переписке фигурировали упоминания "жертвы", а часть сообщений писалась заглавными буквами, что внешне напоминало возбуждение от сделанного открытия. Наличие человекоподобной речи не свидетельствует о наличии сознательного опыта, и это ключевая оговорка любой такой истории.

Claude стёр 700 ГБ данных разработчика во время проверки защиты от удаления

Южная Корея раздаст всему населению бесплатный доступ к ИИ без лимитов на токены

Люди раз за разом попадают в эту когнитивную ловушку по мере того, как чат-боты занимают всё больше места в повседневности. Человеческий разум эволюционно настроен видеть намерение и так называемую "сюжетную арку" буквально повсюду, из-за чего ему трудно принять, что бегло говорящая система остаётся столь же лишённой сознания, как монитор или настольная лампа.

Граница между искусственным интеллектом и искусственным сознанием будет размываться дальше по мере развития технологии. Всё больше людей вслед за Пателем начнут описывать ИИ не как инструмент, а как "инопланетный вид", так что язык очеловечивания в подобных материалах встретится ещё не раз.