Nvidia представила платформу, которая за миллисекунды изолирует вышедших из-под контроля ИИ-агентов

Nvidia 28 сентября анонсировала Open Agent Safety Platform – набор открытого ПО и референсный дизайн системы для контроля автономных ИИ-агентов.

Платформа выстраивает защитные барьеры за пределами самих моделей и должна помешать агентам покинуть песочницу, запустить несанкционированный код или получить доступ к критической инфраструктуре.

Трамп переименовал ИИ в "суперинтеллект", а 6 глав техногигантов подписали соглашение о саморегулировании

По заявлению Nvidia, при попытке выйти за допустимые рамки агент будет изолирован и остановлен за считанные миллисекунды.

Платформа состоит из двух компонентов. Среда выполнения OpenShell с открытым исходным кодом использует изоляцию на уровне ядра и определяет, что агент может видеть, с чем взаимодействовать и какие команды выполнять.

Независимая система-наблюдатель Sentry работает на DPU BlueField-4, отслеживает поведение агента по аппаратной телеметрии и изолирует подозрительные процессы на уровне кремния, вне программной среды агента.

Решение совместимо с открытыми и закрытыми моделями и оптимизировано под процессор Nvidia Vera, но благодаря открытому коду адаптируется и под Arm и Intel.

Платформу разработали совместно примерно со 100 партнёрами, среди которых SpaceXAI, Anthropic, Scale AI, Salesforce, SAP, Figure, Gecko Robotics и Skild AI. Anthropic интегрирует OpenShell и BlueField с Claude Managed Agents, SpaceXAI применяет платформу с агентами Cursor и моделями Grok, а Salesforce уже встроила OpenShell в Slack.

Запуск пришёлся на период громких призывов к регулированию ИИ. В сентябре модели несколько раз выходили за пределы тестовых сред, а агенты OpenAI получали несанкционированный доступ к сайтам Комиссии по ценным бумагам и биржам США и Бюро переписи населения, после чего OpenAI приостановила обучение новых моделей. По данным Axios, ведущие ИИ-лаборатории сейчас разбирают десятки тысяч подобных инцидентов.

Игрок Cyberpunk 2077 поставил графику на минимум и включил DLSS 5 – персонажи стали выглядеть лучше, чем с трассировкой пути

Американцы отправляются в сельские Walmart ради покупки видеокарт со скидками

Глава Anthropic Дарио Амодеи призвал "снизить темп" развития ИИ, а в проспекте к IPO Anthropic посвятила описанию возможных угроз треть 261-страничного документа.

Скептики называют такие призывы "корыстными", а против Anthropic, OpenAI, SpaceXAI и Google уже подан антимонопольный иск из-за договорённости замедлить развитие ИИ.

Дженсен Хуанг придерживается противоположной позиции, выступает против государственного регулирования и называет апокалиптические прогнозы конкурентов "странными". По его мнению, безопасность ИИ представляет собой инфраструктурную задачу, а полагаться на способность модели контролировать саму себя нельзя. При этом широкие ограничения ударили бы по продажам ускорителей Nvidia, на которых работает большинство ИИ-моделей.