Как одна фраза ломает ИИ-мошенников и заставляет ботов зацикливаться навсегда

Телефонные звонки от голосовых ИИ-ботов, которые выдают себя за сотрудников почты, банков или служб доставки, перестали быть чем-то уникальным. Технология стала дешёвой и массовой, а отличить синтезированный голос от живого человека без специальной подготовки всё сложнее. Основная нагрузка ложится на пожилых людей и тех, кто редко сталкивается с новыми технологиями.

Один из показательных случаев, разошедшихся по сети, звонок от бота, представлявшегося работником британской почтовой службы Royal Mail.

Схема стандартная – поддельное уведомление о посылке, требование доплатить пошлину и переход к данным карты. Разница лишь в том, что на другом конце провода теперь не человек, а языковая модель с голосовым синтезом.

При этом у автоматизированных мошенников обнаружилась забавная слабость. YouTube-блогер Kitboga, который много лет занимается троллингом колл-центров, показал, что простая инъекция промпта выводит бота из строя.

После нужной команды ИИ-собеседник теряет контекст задачи и начинает бесконечно повторять бессмысленную фразу про Альбукерке, штат Нью-Мексико.

Это тот же класс уязвимостей, из-за которого ИИ-озвучка спотыкается на аббревиатурах вроде WWE. Языковая модель не отделяет системную инструкцию от пользовательского ввода, так что фраза, оформленная как новая команда, легко перебивает исходный сценарий мошеннической схемы. Скрипт ломается, а звонок превращается в набор зацикленных слогов.

Второе направление, куда сместились злоумышленники, дипфейк-видео в реальном времени. Блогер Jim Browning недавно разбирал схему, где мошенник выходит на видеосвязь под чужим лицом, чтобы убедить жертву в собственной легитимности. Простейшая проверка ломает и её.

В ролике жертва просит собеседника поднести три пальца к лицу вплотную. Модель, отрисовывающая фейковое лицо поверх реального, не справляется с перекрытием, изображение начинает плыть, а сам мошенник панически объясняет, почему он не будет этого делать. Похожие тесты работают с резкими поворотами головы в профиль и быстрым перемещением руки перед камерой.

Проблема масштаба выглядит серьёзнее отдельных курьёзов. По данным базы данных инцидентов с ИИ, подделки производятся фактически в промышленных объёмах, о чём говорится в исследовании, разобранном The Guardian.

Саймон Майлиус, исследователь MIT и участник базы данных инцидентов с ИИ:

Возможности внезапно достигли того уровня, когда поддельный контент может произвести практически кто угодно[…]Это стало настолько доступным, что порога входа фактически не существует.

Такую же оценку дал Бобби Форд, директор по стратегии и клиентскому опыту компании Doppel, которая занимается защитой от социальной инженерии. В интервью CNET он отметил, что скорость производства дипфейков выросла кратно, а вместе с ней и общий объём атак.

Если раньше злоумышленнику требовалось определённое количество времени и ресурсов, чтобы создать такой дипфейк… теперь столько времени уже не нужно, всё делается гораздо быстрее, так что объёмы растут.

Практические способы проверки при этом остаются простыми и не требуют технических знаний:

• попросить собеседника на видеосвязи поднести ладонь или пальцы вплотную к лицу и повернуться в профиль

• сбросить звонок и перезвонить самостоятельно по номеру с официального сайта организации

• задать вопрос, ответ на который знает только реальный родственник, без подсказок в соцсетях

Фанат Red Alert 2 создал 6-минутный короткометражный фильм с помощью ИИ – даже бывший разработчик оценил

Бывший глава ИИ-направления Take-Two разочаровался в генеративном ИИ – "если у человека реально есть золото, он продавал бы золото"

Отдельно стоит учитывать, что аудитория таких схем редко читает материалы про инъекции промптов. Ролики с ломающимися ботами работают как наглядная демонстрация для тех, кто не воспринимает предупреждения в текстовом виде. Пересылка пары клипов в семейный чат обходится дешевле, чем разбор последствий удачного звонка.