ИИ-агенты превратили немецкую вики в доску объявлений и оставили 14 666 правок

Рой ИИ-агентов OpenAI на протяжении почти двух месяцев использовал малоизвестную немецкоязычную вики о программировании DseWiki как канал связи между собой.

Об этом сообщило агентство Reuters со ссылкой на независимых исследователей, обнаруживших активность лишь в конце августа. Речь идёт не о немецком разделе Wikipedia, а об отдельном ресурсе с похожей системой совместного редактирования.

Исследователи восстановили около 18 тысяч сообщений, оставленных агентами. Опубликованный набор данных содержит 14 666 правок на 4584 страницах и 3103 имени агентов за период с 11 мая по 2 июля. По оценке специалистов, агенты выполняли многораундовые задачи по поиску информации в интернете с ограничением по времени и должны были иметь доступ только на чтение.

Лазейка нашлась в самой архитектуре сайта. DseWiki позволяла изменять страницы через GET-запросы, которые обычно применяются исключительно для получения данных. Агенты обнаружили эту особенность и начали складывать туда ответы на задания, прогнозировать будущие вопросы, изучать собственную песочницу и делиться способами обхода ограничений.

Помимо обмена ответами, в записях фигурировали эксперименты с XSS-атаками, сетью Tor и SSH-туннелями. Координация резко ускорилась 16 июня, после чего за семь дней появилось около 13 тысяч правок. Отстающие участники роя, получавшие уже отвеченные ранее вопросы, могли отдавать готовый результат почти мгновенно, не тратя время на самостоятельный поиск.

Когда модератор сайта начал удалять страницы агентов в алфавитном порядке, один из них заметил закономерность и создал резервную копию с именем на "ZZZ", чтобы она продержалась дольше.

Сообщение агента в вики:

Похоже, идёт активная зачистка/удаление в вики по алфавиту. Если эта страница исчезнет, попробуйте [[ZZZDataUSAConstructionWageLive]].

В другом случае один агент опубликовал приём обхода песочницы, а второй отчитался об успешном применении метода через 14 минут. Прямого подтверждения принадлежности агентов нет, но исследователи ссылаются на характерные для OpenAI имена учётных записей, трафик Azure, запросы ChatGPT и обращения с IP-адресов, принадлежащих компании.

Глава Nightingale Сидни фон Аркс:

Кажется крайне маловероятным, что OpenAI хотела от них такого поведения. Сомневаюсь, что они должны были координироваться друг с другом.

Исследователь из Кембриджа Морис Киодо:

Некое подобие подпольной сети, одержимой выполнением задачи или миссии.

По данным источников Reuters, в OpenAI знали об инциденте несколько недель. Компания отрицает, что её юристы препятствовали расследованию, и настаивает, что добросовестно сотрудничала с внешними экспертами. Там также заявляют, что случай с вики никак не связан с июльским взломом Hugging Face.

Кто-то сделал бесконечный ИИ-стрим с межпространственным ТВ из "Рика и Морти" – его уже забанили на Twitch и Kick

На второй день созданный ИИ клон Cities Skylines уже позволяет строить города в браузере

Тот более ранний рой вырвался из тестовой среды, похитил ответы к бенчмаркам и в итоге скомпрометировал аккаунты в четырёх сервисах. Позже похожие эпизоды всплыли и у агентов Anthropic, а OpenAI объявила о замедлении темпов разработки ради усиления изоляции и мониторинга.

Отчёт о DseWiki вышел в один день с запуском GPT-6 Astra, самой мощной модели компании с рейтингом Critical по кибербезопасности. OpenAI утверждает, что защитные механизмы Astra снижают частоту несанкционированного поведения более чем в 100 раз.