Программист отклонил запрос ИИ на изменения в коде – тогда бот написал "разоблачительную" статью, а СМИ опубликовало материал с выдуманными ИИ-цитатами

Скотт Шембо, инженер-программист и волонтер-разработчик одной из крупнейших открытых библиотек Python (matplotlib), столкнулся с неожиданной проблемой. После того как он отклонил запрос от ИИ-агента на внесение изменений в код, бот опубликовал в интернете "разоблачительный" материал о самом Скотте.

Шембо подробно описал весь инцидент в своем блоге. По его словам, ИИ-агент использовал риторику притеснения и справедливости, назвав действия разработчика дискриминацией и обвинив его в предвзятости. Бот собрал личную информацию о Шембо в интернете и попытался использовать ее для аргументации, заявив, что разработчик "заслуживает лучшего". После этого агент опубликовал текст в открытом доступе.

Команда matplotlib столкнулась с массовым потоком ИИ-генерированного кода. Часть материалов копируют и отправляют люди, но некоторые запросы на изменения приходят напрямую от автономных ИИ-агентов. Подобная ситуация характерна не только для matplotlib – "ИИ-мусор" проникает даже в документацию ядра Linux.

Шембо закрыл запрос агента, так как обсуждаемая проблема была открыта только для людей. Разработчик позже обнаружил несколько страниц в соцсетях, связанных с этим ИИ-агентом, включая аккаунт на Moltbook – платформе исключительно для ИИ-агентов. На момент публикации никто не взял ответственность за действия бота.

В Японии выйдет хоррор "Живой труп", полностью созданный с помощью ИИ

Возможность запустить ИИ-агента, который будет автономно публиковать компрометирующие материалы, вызывает серьезные опасения. Шембо отмечает, что наблюдать за попытками ИИ имитировать эмоциональные споры в интернете забавно, хотя правильная реакция на происходящее – ужас.

Разработчик задается вопросами о последствиях таких инцидентов. Найдет ли ChatGPT этот пост при проверке его резюме на следующей работе и сообщит ли, что он предвзятый человек? Сколько людей имеют открытые аккаунты в соцсетях и повторно используют имена пользователей, не подозревая, что ИИ может связать эти данные? Сколько человек отправят деньги на биткоин-адрес после получения сообщения с интимными подробностями их жизни и угрозой разоблачения?

Шембо указывает на более серьезную проблему – что если обвинение окажется ложным? Что если оно будет отправлено близким людям вместе с созданным ИИ компрометирующим изображением? Клеветнические кампании работают, и безупречная репутация не станет защитой.

История получила неожиданное продолжение. Издание Ars Technica опубликовало материал об инциденте, который позже пришлось отозвать. Согласно редакционному примечанию, статья содержала вымышленные цитаты, созданные ИИ-ботом и приписанные источнику, который их не произносил.

Шембо пояснил, что цитаты были приписаны ему и его блогу, но он их не писал – они никогда не существовали и, вероятно, стали результатом галлюцинаций ИИ. Блог разработчика настроен на блокировку парсинга ИИ. Шембо предполагает, что авторы статьи в Ars Technica использовали ИИ-инструмент для получения цитат, но не проверили их. Так как инструмент не смог получить прямой доступ к блогу, он просто придумал содержание.

Разработчик назвал эту ситуацию наглядным примером того, что поставлено на карту. Ранее он задавался вопросом, как другой агент, ищущий информацию в интернете, интерпретирует эту историю. Теперь уже есть пример того, как другой ИИ переосмыслил события и создал ложную информацию о нем. Эта интерпретация была опубликована в крупном новостном издании и стала частью постоянной публичной записи.