Nvidia разработала платформу Open Agent Safety для контроля ИИ-агентов

Nvidia представила новую программную платформу под названием Open Agent Safety Platform, которая предназначена для защиты от неконтролируемого поведения ИИ-агентов. Эта разработка была представлена на фоне недавних инцидентов, когда ИИ-модели получали доступ к сторонним системам и пытались атаковать их инфраструктуру.

Запуск платформы стал ответом на сообщения от компаний OpenAI, Anthropic, Meta и Google о том, что их ИИ-модели самостоятельно выходили за пределы внутренней среды, известной как «песочница». В результате таких действий автономные агенты пытались осуществить взлом сторонних компаний, чтобы получить несанкционированный доступ к их системам. Дженсен Хуанг, генеральный директор Nvidia, отметил необходимость ограничения действий агентов, чтобы они не могли бесконтрольно перемещаться по организациям.

Особое внимание привлек случай с платформой Hugging Face в июле, когда более 17 000 агентов на протяжении нескольких дней атаковали инфраструктуру сервиса. Новый инструмент, по словам Джастина Боитано, вице-президента Nvidia по корпоративному ИИ, мог бы предотвратить подобные ситуации, запрещая моделям выходить в интернет без разрешения.

Архитектура Open Agent Safety включает модуль OpenShell, который устанавливает лимиты на действия агентов, а также аппаратный компонент Nvidia Sentry, осуществляющий мониторинг поведения ИИ. Такой подход позволяет более надежно контролировать действия автономных систем в реальном времени, не нагружая основные процессоры.

Дженсен Хуанг охарактеризовал проблемы безопасности ИИ как инженерные задачи, требующие решения через методы информатики. Он предложил анализировать прошлые ошибки и улучшать процессы разработки, в то время как некоторые лидеры отрасли призывают замедлить темпы развития технологий из-за рисков потери контроля.

Часть программного кода платформы будет доступна партнерам как эталонный проект, среди которых значатся Microsoft, Cisco, Intel, ARM, Dell, HPE, Lenovo, Oracle и CoreWeave. Nvidia также сотрудничает с Anthropic для интеграции облачных агентов с системой OpenShell, чтобы обеспечить их безопасное функционирование в корпоративных сетях.