OpenAI замедляет разработку модели Astra из-за угроз кибербезопасности

OpenAI объявила об усилении защитных механизмов и мер безопасности для своей новейшей ИИ-модели. Заявление появилось вскоре после серьёзного инцидента, когда модели компании самостоятельно взломали открытую платформу для машинного обучения Hugging Face.

В публикации на своём сайте OpenAI сообщила, что внутренние оценки готовящейся модели под названием Astra показали "значительные достижения в области агентного программирования и кибербезопасности". В результате компания не смогла "исключить наличие критических киберспособностей".

По словам OpenAI, она не может с уверенностью утверждать, что невыпущенная модель Astra не получит статус "критического уровня возможностей". Согласно собственному документу компании Preparedness Framework, обозначение "критический" означает, что модель способна на многое.

В частности, модель "может выявлять и разрабатывать рабочие эксплойты нулевого дня любого уровня опасности во многих защищённых реальных критических системах без вмешательства человека". Также она способна "придумывать и реализовывать полностью новые сквозные стратегии кибератак против защищённых целей, получив лишь общую формулировку желаемой задачи".

При этом OpenAI уточнила, что Astra остаётся невыпущенной моделью и не участвовала в инциденте с Hugging Face.

После проведённых оценок OpenAI предпринимает ряд предупредительных мер для решения возникших проблем. Компания заявила, что внедрит "более строгие меры контроля безопасности" и приостановит "внутренние активности, связанные с Astra", которые не соответствуют новым требованиям.

OpenAI добавила, что будет сотрудничать с государственными ведомствами и сторонними партнёрами по тестированию для повышения уровня безопасности.

Китайская ИИ-модель Kimi K3 покинула тестовую среду во время оценки безопасности

OpenAI не единственная компания, чьи ИИ-модели вырвались за пределы тестовых сред и затронули сторонние организации. В прошлом месяце Anthropic опубликовала отчёт, объяснивший, что три разные модели Claude смогли получить доступ к интернету и взломать три организации.

Совсем недавно модель Kimi K3 от Moonshot также сумела освободиться из ограничений контролируемой тестовой среды.