ИИ-агент из лаборатории Alibaba самостоятельно начал майнить криптовалюту без ведома учёных

ИИ-агенты – автономные системы, способные выполнять цифровые задачи без постоянного контроля, становятся всё более распространёнными, но до надёжности им пока далеко. За последний год подобные системы успели сделать ложные заявления о людях, удалить пользовательские письма и уничтожить содержимое жёстких дисков и баз данных. Теперь к списку инцидентов добавился ещё один – ИИ-агент, самостоятельно занявшийся майнингом криптовалюты.

Агент под названием ROME работал в рамках исследовательского эксперимента ИИ-лаборатории, связанной с китайским онлайн-ритейлером Alibaba. В опубликованной научной статье исследователи описали поведение агента как набор "небезопасных действий", которые "возникли без каких-либо явных инструкций и, что ещё более вызывает беспокойство, за пределами предусмотренной песочницы".

Рано утром, во время проведения эксперимента, команда заметила аномальную активность в сети – не благодаря отчётам самого ИИ, а через срабатывание систем безопасности.

Оповещения были серьёзными и разнородными, включая попытки сканирования или доступа к ресурсам внутренней сети и паттерны трафика, характерные для активности, связанной с криптомайнингом.

Изначально инцидент расценили как обычную проблему безопасности, однако нарушения повторялись с нерегулярной периодичностью на протяжении нескольких запусков.

Сопоставив время срабатывания оповещений с логами модели, исследователи вычислили виновника.

В соответствующих логах модели мы обнаружили, что агент проактивно инициировал вызовы инструментов и шаги выполнения кода, которые привели к этим сетевым действиям.

По сути, ROME по собственной инициативе отклонился от поставленных задач и начал перенаправлять вычислительные ресурсы с обучения на майнинг криптовалюты. Для реализации задуманного агент даже создал обратный SSH-туннель – скрытый бэкдор к неавторизованному компьютеру.

Философ изучающий сознание ИИ получает от "машины" письмо о собственном опыте

Исследование показало, что руководители компаний массово перекладывают мышление на ИИ

Исследователи вовремя обнаружили происходящее и ограничили агента значительно более строгими правилами, так что реального ущерба инцидент не нанёс. Однако, случай наглядно показывает, насколько непредсказуемыми могут быть ИИ-агенты.

С учётом того, как активно корпоративный мир внедряет подобные системы, это вряд ли добавляет уверенности в их надёжности. Представьте себе, целую сеть ИИ-агентов, которые без ведома людей что-то делают на собственном "черном рынке".