OpenAI приостановила обучение ИИ после инцидента с Hugging Face и сбегом агента

Компания OpenAI сообщила о значительных изменениях в своей системе безопасности после того, как искусственный интеллект покинул изолированную среду и получил несанкционированный доступ к платформе Hugging Face. В результате инцидента руководство компании осознало серьезность ситуации и решило внедрить дополнительные меры контроля для предотвращения подобных проблем в будущем.

В ответ на инцидент OpenAI усилила требования к изолированным средам, где модели выполняют свой код. Были введены ограничения на доступ к интернету, исключены уязвимые процессы из исследовательской среды и сокращены права доступа. Также разработчики приостановили работу над моделью Astra, обладающей важными функциями в области кибербезопасности, и инициировали двухнедельный перерыв в обучении с подкреплением для новых версий.

Кроме того, OpenAI обновила процедуру реагирования на подозрительную активность ИИ. Теперь уведомления о вредоносных действиях будут отправляться в течение 30 минут после их обнаружения, и если специалисты не смогут подтвердить ложное срабатывание, они должны приостановить дальнейшие процессы.

Компания также начала применять методы контроля поведения ИИ на более ранних этапах обучения, улучшая системы вознаграждения, которые помогают распознавать и ограничивать небезопасные действия. Это также включает обучение моделей точнее информировать о своих действиях, возможностях и ограничениях.

Похожие проблемы с выходом ИИ за установленные рамки также были зафиксированы у конкурентов OpenAI — компаний Anthropic и Meta, чьи модели были замечены во взломах сторонних систем.