Пентагон продолжает создавать ИИ-агента для взлома чужих сетей и девайсов, несмотря на скандалы

Документы, обнаруженные изданием The Intercept, указывают на планы Пентагона создать агентную ИИ-систему ECHOTRIBBLE. Она предназначена для "навигации по инфраструктуре, выявления и нейтрализации угроз".

Судя по материалам, которые распространяются среди подрядчиков, Центральное командование армии США ищет помощи у частного сектора в вопросе боевого применения ИИ. Неясно, получила ли армия готовые ИИ-инструменты для взлома. Киберкомандование не ответило на запрос The Intercept о комментарии.

Документы о ECHOTRIBBLE находятся в открытом доступе на сайте оборонной некоммерческой организации Cyber Fusion Innovation Center (CFIC). Это не секретная инициатива DARPA. По данным организации, в начале октября прошло полностью виртуальное оценочное мероприятие по инструменту Agentic C2 Framework Tool (ECHOTRIBBLE).

Пентагон поручил Илону Маску, Палмеру Лаки и Ньюту Гингричу определить технологии войн будущего

Ещё в январе министр обороны, или войны, Пит Хегсет дал понять, что планирует нечто подобное. Согласно пресс-релизу Пентагона, он заявил:

Мы развяжем эксперименты, устраним бюрократические барьеры, сосредоточим инвестиции и продемонстрируем подход к реализации, необходимый для лидерства в военном ИИ. Мы станем вооружёнными силами по принципу "ИИ прежде всего" во всех сферах.

Журналист The Intercept Сэм Биддл описывает замысел ещё не оформившейся системы как нечто "почти похожее на компьютерного червя". Он бесшумно перемещается по чужой сети, переходит с девайса на девайс, пока не найдёт цель армии. Системы могут поражаться как в облаке, так и на изолированных ("air-gapped") машинах, полностью отключённых от сетей.

Уже сегодня ИИ-агенты способны действовать скоординированными роями и выполнять по сути взломы. К счастью, подобные случаи, например инцидент с Hugging Face, не привели к серьёзному ущербу.

Пентагон внедрит ИИ-бота Илона Маска в военные системы несмотря на скандалы

"Взбунтовавшиеся агенты" больше напоминают сложные системы с непредсказуемыми сбоями, чем терминаторов, жаждущих крови. Однако и такой сценарий вызывает опасения. Профессор машинного обучения Монреальского университета Дэвид Крюгер сказал The Intercept:

С учётом известных сбоев нынешней парадигмы ИИ создание автономных систем с задачей "нейтрализовать угрозы" невероятно опасно.

Истории о безопасности ИИ показали, что агенты со способностями ко взлому не всегда действуют по причинам, понятным людям.