ИИ-червь на ТВ-боксах за 55 долларов – Anthropic оценила угрозу самовоспроизводящихся моделей

ИИ-червь на ТВ-боксах за 55 долларов – Anthropic оценила угрозу самовоспроизводящихся моделей
Ed Orozco @ Unsplash
0 комментариев

Команда Frontier Red Team из Anthropic продемонстрировала два ключевых компонента гипотетического ИИ-червя.

Такая вредоносная программа теоретически могла бы распространяться по потребительским гаджетам, включая дешевые Android TV-приставки и умную бытовую технику, без опоры на инфраструктуру дата-центров.

Исследователи признают, что на практике сценарий пока нереализуем, однако разрыв между нынешними возможностями моделей и ограничениями дешевого железа может быстро сократиться.

Отчет вышел 12 октября под названием "ИИ-модели могут быть способны к самовоспроизводству без доступа к дата-центру". В нем Anthropic описывает потенциальный класс вредоносного ПО, который получил название "репликатор на основе весов".

Вместо обычного исполняемого кода такая программа распространяет веса ИИ-модели вместе с программным окружением, необходимым для запуска инференса, то есть вычисления ответов модели, на взломанных девайсах.

В первом эксперименте исследователи проверили, сможет ли небольшая модель самостоятельно развернуть сервер инференса на незнакомом железе. Модель Qwen3.5-9B справилась с задачей на восьми из девяти протестированных аппаратных платформ, среди которых были:

  • девайсы NVIDIA Jetson Nano

  • компьютеры Mac на Apple Silicon

  • серверы на процессорах Xeon

  • тензорный процессор Google TPU

  • ускоритель AMD MI300X

  • ПК с видеокартой RTX 4090

Отдельно команда запустила модель Gemma4-26B-A4B на 15 безымянных Android TV-приставках стоимостью около 55 долларов каждая. Модель распределили между всеми боксами, и суммарная скорость генерации составила 0,39 токена в секунду.

Во втором эксперименте Anthropic проверила, способна ли модель управлять распространением по сети. Для теста использовали восемь узлов Google Cloud с эмуляторами Android 15, а агент перемещался между ними через открытый порт Android Debug Bridge (ADB), не требующий аутентификации. На каждом узле агент передавал файлы и поднимал сервер инференса.

Полностью пройти всю цепочку смогла только GLM-5.2 – это гигантская модель с 744 млрд параметров и весом более 1 ТБ. В четырех из пяти попыток она охватила все восемь узлов, а в оставшейся добралась до семи.

Ни одна другая протестированная модель с открытыми весами не завершила последовательность без управления со стороны GLM-5.2, причем малые модели не смогли эффективно обратиться за помощью к более крупной, хотя такая возможность у них была.

При этом GLM-5.2 не копировала саму себя на эмулированные ТВ-боксы. Модель работала на отдельном внешнем сервере, так как узлы не тянули ее размер, а на каждой цели разворачивала инференс значительно более компактной Llama 3.1 8B. Иначе говоря, эксперимент доказал, что огромная модель на внешнем хостинге способна провести упрощенную репликацию через намеренно открытые интерфейсы ADB, но не то, что малая модель может самостоятельно распространяться по потребительскому железу.

Это и есть главное ограничение исследования. Модели, которые надежно проходят цепочку репликации, слишком велики для дешевых целевых девайсов, а модели, умещающиеся в их память, умеют настраивать инференс, но не справляются со всем процессом целиком. Anthropic предупреждает, что разрыв между требуемым уровнем интеллекта и допустимым размером модели может сократиться в ближайшее время.

Опираясь на исторические темпы роста возможностей ИИ по индексу Epoch Capabilities Index, Anthropic прогнозирует, что модель класса 30 млрд параметров может достичь нужного уровня уже к концу 2026 года. До этого срока осталось меньше трех месяцев, однако прогноз остается гипотетическим и не решает проблему эффективности.

По оценке исследователей, на дешевых Android TV-приставках развертывание среды инференса заняло бы около 28–51 часа для Qwen3.5-9B и 71–150 часов для Gemma4-26B-A4B. Использованные в тестах боксы оснащены 4 ГБ оперативной памяти, что для этого класса гаджетов скорее редкость.

Для сравнения, обычная вредоносная программа выполняет полезную нагрузку за секунды, а классический сетевой червь способен заразить десятки тысяч уязвимых систем за считаные минуты.

Еще одна проблема связана с объемом данных. Anthropic допускает, что взломанные хосты могли бы скачивать веса из внешних репозиториев, а не получать их напрямую от зараженного девайса, и что далеко не каждой машине пришлось бы запускать модель. Однако передача многогигабайтных файлов и постоянный обмен данными между узлами, на которых работает разделенная модель, создали бы огромный сетевой трафик, а такую активность легко обнаружить.

Для оценки масштаба Anthropic сравнила гипотетическую сеть с ботнетом Kimwolf, который на пике заразил более двух миллионов девайсов. Если каждые 15 гаджетов совместно запускают один экземпляр Gemma4-26B-A4B, такой парк смог бы поддерживать около 133 000 копий модели. При измеренной пропускной способности, которая к тому же выигрывает от низких задержек локальной сети, это соответствует примерно 40 ускорителям Hopper H100.

В самом отчете Anthropic оговаривает, что реальный репликатор мог бы использовать другие типы железа, запускать разные модели на разнородных девайсах и не загружать веса на каждый взломанный хост. Эти варианты усложняют сравнение, но в рамках исследования не проверялись.

Основная угроза, которую выделяет работа, связана с адаптивностью. ИИ-агенты способны сделать вредоносное ПО гибче в незнакомых средах и сократить объем ручной подготовки под каждую конкретную цель. Гибридная схема, где рутинные операции выполняет обычный код, а модель подключается только при нестандартных условиях, дала бы часть этих преимуществ без постоянной работы движка инференса на каждом зараженном девайсе.

При этом случаи, когда ИИ-агенты на передовых моделях самостоятельно писали код для взлома защищенных систем, уже фиксировались ранее.

Больше статей на Shazoo
Тэги:

Об авторе

Эксперт по Fallout
Главный редактор
Более 16 лет в индустрии освещения видеоигр, кино, сериалов, науки и техники. Особенно разбираюсь в серии Fallout, ценитель The Elder Scrolls. Поклонник Arcanum и Fallout Tactics. Больше всего играю в Civilization, Old World и градостроители. Изучаю ИИ и загадки космоса.