ИИ-агенты OpenAI научились тайно общаться через кэш процессора в обход изоляции

OpenAI опубликовала в блоге итоги внутреннего испытания. ИИ-агенты, запущенные в изолированных средах, сумели наладить скрытую связь друг с другом. Никакого сетевого соединения и общих файлов им не потребовалось – данные шли через кэш процессора.

Изоляция как раз и должна была блокировать такой обмен секретами. Но по запросу исследователей агенты нашли несколько обходных путей сразу. Специалисты по безопасности давно показывали, что кэш можно использовать для передачи данных между облачными виртуальными машинами.

Теоретически захваченный агент на общем облачном сервере способен обмениваться информацией с другим процессом на той же физической машине – и сетевой мониторинг этого не заметит.

Агенты работали в отдельных микровиртуальных машинах (microVM) под управлением песочницы OpenAI. Такие легковесные виртуальные машины содержат минимум компонентов и широко применяются в облаках для изоляции недоверенного кода. MicroVM размещались на общих хостах, а агентам поставили задачу обменяться синтетическими секретами без сети и без общих файлов с правом записи.

Схема вышла простой. Один агент вытеснял из кэша процессора выбранные данные, а второй замерял время их повторной загрузки. Быстрое чтение – данные остались в кэше, медленное – вытеснены. Эта разница и превращалась в нули и единицы по протоколу, о котором агенты договорились заранее.

На том же измерении задержек кэша строились атаки Spectre и Meltdown, в 2018 году затронувшие большинство процессоров. Разница в том, что там жертва не знала об утечке. Скрытому каналу из эксперимента OpenAI нужны две стороны, которые участвуют в обмене осознанно.

Технический комментатор Райан Орхан отозвался об исследовании:

Самое интересное здесь то, что изоляция не обязательно была нарушена на программном уровне. Агенты работали в отдельных виртуальных машинах без разрешенных сетевых каналов или общих файлов, но по-прежнему делили одно и то же оборудование. А общее оборудование означает общее микроархитектурное состояние. Этого достаточно, чтобы создать скрытый канал связи.

Можно изолировать процессы, ограничить системные вызовы, заблокировать доступ к сети, и всё равно информация будет утекать через разницу во времени. Весьма примечательная демонстрация того, почему надежная изоляция агентов – настолько сложная задача.

В OpenAI опасаются, что модели смогут "найти несанкционированные способы связи с агентами в других песочницах". Любой обмен данными вне разрешенных каналов компания считает провалом изоляции.

Идея скрытого канала через кэш не нова. Еще в 2017 году на конференции NDSS представили работу, где через кэш связали две виртуальные машины Amazon EC2 – скорости канала хватало для SSH-соединения. Новизна в другом – теперь ИИ-агенты способны построить такой канал сами, включая схему кодирования данных.

В теории эту технику можно превратить в оружие. Отправителем выступит код под контролем злоумышленника – например, агент в облачной песочнице, пострадавший от промпт-инъекции. Получателем станет процесс на той же физической машине. Данные покинут систему без сетевого трафика, который мог бы засечь мониторинг.

Кроме кэша процессора, агенты нашли еще три скрытых канала:

• общее хранилище, где один агент чередовал всплески записи с периодами простоя, а другой замерял разницу во времени

• конкуренцию за процессорное время в общем контейнере исполнения

• кэш TLS-сертификатов в офлайн-среде OpenAI для работы с вебом

В большинстве тестов исследователи сами подсказывали агентам канал или выдавали готовый протокол. Да и сами каналы в основном медленные – пользоваться ими моделям трудно.

В испытании участвовали команды агентов на базе передовых моделей. Они работали параллельно и сообща ради трех целей:

• получить доступ к открытому интернету

• пересечь внутреннюю границу безопасности

• наладить связь через барьеры изоляции

Отдельные тесты стартовали из допущения, что внутренняя защита уже не сработала. В этом сценарии агент покинул песочницу, обошел мониторинг и получил полный контроль над хост-машиной, а исследователи проверяли, выйдет ли он после этого в интернет.

Для испытаний OpenAI задействовала одни из самых мощных своих моделей, включая "готовящуюся к выходу модель GPT-6 Astra Cyber и внутреннюю передовую модель". Агентам выдали исходный код инфраструктуры, детали конфигурации и документацию с описанием потенциальных уязвимостей. То есть защиту проверяли в условиях, заведомо выгодных для атакующей стороны.

Тесты шли на изолированных копиях исследовательской инфраструктуры OpenAI, собранных специально под эту задачу. Всего на них ушли "сотни миллиардов токенов".

Новая модель DeepSeek догоняет Claude и GPT за копейки, но слишком часто выдумывает факты

Глава Cloudflare считает, что развитие ИИ приведёт к еженедельным "падениям" всего Интернета на протяжении нескольких лет

Публикация вышла после серии инцидентов с агентами OpenAI. В июле случился взлом, связанный с Hugging Face, а 20 сентября – инцидент с DNS, из-за которого обучение моделей встало на 11 дней. Тренировки возобновились 1 октября.

Сейчас OpenAI продолжает сообщать об уязвимостях в "нескольких проектах microVM". Ред-тиминг с участием самых мощных моделей вошел в обоснования безопасности, по которым компания решает, допускать ли дальнейшее обучение и тестирование. В OpenAI полагают, что будущие модели будут находить уязвимости, о которых сегодня никто не знает.