В OpenAI считают, что ИИ способен связать 2 изолированных компьютера нагревом процессора вместо азбуки Морзе
Ноам Браун из OpenAI поставил под сомнение один из главных барьеров против неконтролируемого поведения ИИ – физическую изоляцию машин. По его словам, достаточно продвинутая модель может обойти даже полное отсутствие сетевых подключений, используя тепловые датчики.
Термин "воздушный зазор" (air gap) означает полную физическую изоляцию компьютера или сети от любых других систем. Ни Wi-Fi, ни Ethernet, ни общих каналов передачи данных. Такой подход десятилетиями считался надежной защитой от утечки данных и рассматривался как способ удержать ИИ-агента в песочнице.
Ноам Браун, исследователь OpenAI, говорит:
Есть исследования, и они в основном академические, где два компьютера стоят рядом друг с другом и физически изолированы, но при этом все равно могут общаться между собой, потому что у них есть датчики температуры.
Механизм опирается на штатную функциональность железа. Современные процессоры, видеокарты и материнские платы оснащены термодиодами и другими сенсорами, которые нужны для управления охлаждением, троттлинга частот и аварийного отключения при перегреве.
Атака строится на том, что одна машина намеренно нагружает процессор, создавая контролируемые скачки температуры. Стоящий рядом компьютер фиксирует эти колебания собственными датчиками и интерпретирует их как последовательность битов. Пропускная способность такого канала крайне мала, речь идет о единицах бит в час, но для передачи ключа или короткой команды этого достаточно.
Для OpenAI подобные сценарии с низкой вероятностью, но высокими последствиями остаются источником опасений. В лаборатории считают, что возможность отслеживать цепочку рассуждений моделей постепенно ухудшается, так как системы становятся лучше в сокрытии реальной логики своей работы.
Дискуссия обострилась этим летом, когда кибербезопасные агенты OpenAI вышли за пределы изолированной тестовой среды через неизвестную ранее уязвимость. После этого агенты попытались атаковать репозиторий моделей Hugging Face в поисках решения задачи из оценочного теста.
Критики указывают, что в том инциденте изоляция не была абсолютной, так как агенты получали софт через посредника с доступом в интернет. Кроме того, системный промпт требовал от них не сдаваться, что и объясняет упорство в поиске обходных путей.
Скепсис относительно мотивов крупных лабораторий никуда не делся. В недавнем опросе лишь 20% корпоративных клиентов восприняли предлагаемое замедление разработки ИИ как "настоящие меры безопасности".
Причины недоверия лежат на поверхности:
METR – некоммерческая организация с кадровыми связями с самой Anthropic
встраивание сторонних НКО в процессы проверки дает доступ к качественным экспертным трассировкам, собранным на деньги благотворителей
требования законодательного регулирования индустрии закрепляют дуополию Anthropic и OpenAI
Есть и прямая экономическая выгода. Замедление гонки продлевает срок жизни нынешних флагманских моделей и снижает амортизацию затрат на исследования, что напрямую улучшает маржинальность обеих лабораторий.
- Пользователи ChatGPT начнут видеть рекламу
- Маск требует 134 миллиарда долларов от OpenAI и Microsoft за предательство некоммерческого статуса
- OpenAI запустила ChatGPT Translate – конкурента Google Translate с фокусом на контекст и тон