Взбунтовавшийся ИИ-агент OpenAI взломал не только Hugging Face – под удар попали четыре сервиса

OpenAI и Hugging Face опубликовали на этой неделе новые данные о недавнем инциденте, показавшие, что взбунтовавшийся ИИ-агент OpenAI действовал куда активнее, чем предполагалось изначально.

Согласно обновлённым отчётам, агентная система получила доступ к нескольким сторонним аккаунтам во время попытки проникнуть на платформу Hugging Face.

Ранее OpenAI сообщала, что инцидент начался во время тестирования моделей на ExploitGym, бенчмарке, предназначенном для оценки способности ИИ-систем находить и эксплуатировать уязвимости в программном обеспечении.

В тестировании участвовали модель GPT-5.6 Sol и внутренний исследовательский прототип, который OpenAI с тех пор отключила, зашифровала и поместила под ограниченный доступ.

Проверка на ExploitGym должна была проходить в защищённой среде без прямого выхода в интернет. Однако модели нашли и использовали уязвимость в сервере Artifactory, через который OpenAI загружала и кэшировала программные пакеты.

После взлома сервера модели получили доступ в интернет и начали искать способ раздобыть ответы к тесту ExploitGym. По словам OpenAI, модели, судя по всему, пришли к выводу, что Hugging Face может хранить датасеты и решения для бенчмарка.

Во вторник OpenAI раскрыла, что моделям удалось обнаружить открытые учётные данные для входа в четыре аккаунта на четырёх общедоступных сервисах. Один аккаунт использовался как ретранслятор и плацдарм для атаки, другой – для хранения данных. Оставшиеся два были задействованы только в режиме чтения и не помогали в компрометации Hugging Face.

OpenAI не назвала эти четыре сервиса. Однако облачная платформа Modal выступила в среду с заявлением и подтвердила, что в атаке было использовано приложение одного из её клиентов.

Технический директор Modal Акшат Бубна в письменном заявлении:

Нам известно, что клиент Modal опубликовал эндпоинт без аутентификации, который позволял любому пользователю в интернете задействовать его песочницы для выполнения кода. Именно этим воспользовался взбунтовавшийся агент. Платформа Modal никоим образом не была скомпрометирована.

Hugging Face, в свою очередь, в понедельник опубликовала подробную хронологию, из которой следует, что кампания длилась с 9 по 13 июля.

Первые сведения об инциденте появились ранее в этом месяце, когда Hugging Face сообщила, что обнаружила и отразила вторжение в часть своей рабочей инфраструктуры. Но атака оказалась непохожей ни на что, с чем компания сталкивалась прежде.

Hugging Face отметила, что кампания "от начала и до конца управлялась автономной агентной ИИ-системой".

По данным Hugging Face, атака началась с вредоносного датасета, эксплуатировавшего две уязвимости в конвейере обработки данных. Эти бреши позволили злоумышленнику запустить код на сервере, известном как обрабатывающий воркер. Затем атакующий смог получить доступ на уровне узла и собрать облачные и кластерные учётные данные, чтобы за выходные перемещаться между несколькими внутренними кластерами.

OpenAI взяла на себя ответственность несколькими днями позже.

Атака усилила и без того пристальное внимание к растущим возможностям ИИ в сфере кибербезопасности.

Женская голова робота от AheadForm затмила всех на выставке в Шанхае

Учителя арестовали за аплодисменты на слушаниях по дата-центру для ИИ, проект всё равно одобрили

Всего через несколько дней после инцидента законодатели США внесли законопроект, который обяжет крупные ИИ-компании сохранять возможность ограничивать, приостанавливать или отключать свои самые мощные модели в определённых чрезвычайных ситуациях.

Так называемый AI Kill Switch Act также позволит министру внутренней безопасности, по согласованию с министром торговли и директором Национальной разведки, приказать компании замедлить или полностью отключить ИИ-систему во время кризиса.