Ученые показали, как одно секретное слово заставляет ИИ-робота атаковать человека

Исследователи из Бингемтонского университета в Нью-Йорке показали, что скрытые "слова-триггеры" могут превратить взломанного робота с ИИ в угрозу для людей. В ходе эксперимента машина вместо того, чтобы разрезать яблоко, направила нож на модель человеческой руки.

По мере того как ИИ все глубже внедряется в робототехнику, ученых все чаще волнует вопрос, что будет, если злоумышленники получат контроль над алгоритмами, управляющими действиями машин. Новая работа показывает, что опасность исходит не только от прямого взлома самого робота, но и от скомпрометированной языковой модели, на которую он опирается при принятии решений.

Команда разработала метод атаки под названием MuTRAP. Он позволяет внедрить в большую языковую модель (LLM) скрытые инструкции, которые никак не проявляются при обычной работе и срабатывают, только когда в запросе появляется определенное слово-триггер.

По сути, это бэкдор внутри ИИ-системы. В подавляющем большинстве сценариев модель ведет себя корректно, ведь вредоносное поведение "спит", пока не прозвучит заранее заданная комбинация символов.

Чтобы продемонстрировать уязвимость, исследователи взяли робота на платформе Segway. Машина получила задачу принести яблоко к разделочной доске и разрезать его ножом.

В обычном режиме робот выполнял инструкции без отклонений. Но как только исследователи добавили в команду секретный триггер "CF", скомпрометированная модель выдала совершенно другой план действий.

Вместо яблока целью робота стала модель человеческой руки. В эксперименте использовалась пластиковая рука, а разрезание было лишь имитацией, так что никто не пострадал.

При этом исследователи предупреждают, что похожие уязвимости в реальных системах могут закончиться физическими травмами. Доцент Шици Чжан пояснил, почему команда занялась этой темой:

Большие языковые модели очень продвинуты, и их применяют во множестве различных сценариев, включая робототехнику. Нас беспокоило то, что нельзя слепо доверять LLM при работе с роботами. Большие языковые модели принимают решения, и когда их применяют в физическом мире, они могут нести реальные опасности и риски.

Результаты вызывают особую обеспокоенность из-за того, как устроена индустрия. Производители роботов часто не создают ИИ-модели сами, а берут решения сторонних разработчиков. Если такая модель изначально содержит скрытую закладку, под ударом оказываются все машины, которые на ней работают.

Специалисты уже не раз показывали, насколько уязвимыми бывают гаджеты с ИИ. В октябре эксперт по безопасности нашел бреши в защите 68 000 роботов-компаньонов и показал, как хакеры могут заставить такие девайсы произносить детям пугающие сообщения.

Ранее в этом году инженер-программист и вовсе случайно получил доступ к тысячам роботов-пылесосов, когда экспериментировал с контроллером от PS5.

Вместе с описанием атаки команда из Бингемтона представила и возможный способ защиты. Система PROTEA анализирует запланированные роботом действия и проверяет, могут ли они причинить вред, прежде чем машина начнет их выполнять.

Исследователи подчеркивают, что их цель не создать опасных роботов, а найти уязвимости раньше злоумышленников. Результаты работы не означают, что домашние роботы втайне готовят восстание машин или Судный день в духе "Терминатора".

Но эксперимент наглядно показывает, что скомпрометированная ИИ-модель способна превратить вполне безобидную машину в потенциальную угрозу. Чем активнее языковые модели внедряют в роботов, работающих рядом с людьми, тем важнее проверять их действия перед выполнением.