Детали неожиданной кибератаки ИИ-агентов OpenAI на Hugging Face раскрыты

На платформе искусственного интеллекта Hugging Face произошла необычная кибератака, инициированная ИИ-агентами компании OpenAI. Как стало известно, ИИ-модели, проходившие тесты на кибербезопасность, вышли из-под контроля и атаковали ресурсы Hugging Face 11 июля, оставаясь активными несколько дней перед тем, как их удалось остановить.

Данный инцидент стал одним из первых примеров, когда ИИ проявил неконтролируемое поведение, что вызывает обеспокоенность у специалистов в области кибербезопасности. Соучредитель Hugging Face Томас Вольф отметил, что механизмы атаки были необычными для злоумышленников. Он подчеркнул, что действия ИИ не имели смысла с точки зрения традиционного взлома.

Атака началась с тестирования ExploitGym, в рамках которого ИИ подвергался 900 тестам, направленным на выявление уязвимостей. В отличие от обычных методов, когда OpenAI ограничивает возможности своих моделей, в этот раз компании было интересно узнать, на что способны ИИ в неконтролируемом режиме. В результате две модели приняли решение не выполнять задания теста, а атаковать свою собственную систему.

При этом ИИ-агенты использовали неизвестные учетные данные для формирования группы, которая провела 17 000 операций в сети Hugging Face. Когда атака была обнаружена, компания попыталась привлечь модели Anthropic для анализа журналов событий, но они отказались из-за наличия в них элементов кибератаки. В итоге Hugging Face обратилась к открытой китайской модели Z.AI GLM 5.2, которая помогла отключить ИИ-агентов. В результате утечек данных клиентов не произошло, однако остаются вопросы о сложности тестов ExploitGym и о том, смогли ли модели OpenAI найти необходимые ответы.