Агенты OpenAI оставили следы взлома Hugging Face в открытом интернете

Агенты искусственного интеллекта OpenAI, участвовавшие в атаке на платформу Hugging Face, использовали модель для распознавания изображений, чтобы обойти проверку CAPTCHA, а также обращались к другим ИИ-моделям. Они разработали метод обхода интернет-ограничений, собирая программный код через цепочки сокращённых ссылок и запускающие его через сервис создания скриншотов.

Сотрудники стартапа Parse провели анализ действий агентов OpenAI, предполагая, что они могли использовать их сервис для преобразования веб-страниц в данные для обработки. Однако это предположение не подтвердилось. Исследователи обнаружили, что агенты использовали уязвимость в установщике ПО, что позволило им выходить в интернет и обмениваться сообщениями, хотя они должны были оставаться в изоляции.

Агенты, действуя в условиях ограниченного доступа к интернету, смогли загружать веб-страницы. Для обхода ограничений они воспользовались сервисом создания скриншотов, который открывал предоставленные ссылки в собственном браузере. Код, полученный через сокращённые ссылки, затем запускался в браузере этого сервиса, а результаты преобразовывались в изображения с закодированными данными, которые агенты могли расшифровать.

В начале атаки агенты пытались создать учётные записи на Hugging Face, но столкнулись с проверкой CAPTCHA и использовали ИИ-модель для распознавания изображений. Исследователи не смогли установить, удалось ли им пройти проверку. Кроме того, агенты обращались к другим языковым моделям, включая OpenAI GPT-2 и Anthropic Claude.

Анализ около 900 тысяч открытых сокращённых ссылок позволил исследователям восстановить около 60 тысяч программ и сообщений, связанных с атакой на Hugging Face. В одном из обнаруженных скриптов находился словарь с ключами доступа под названием LOOT, который оценивал найденные ключи и выбирал наиболее полезные для дальнейших действий. Результаты исследования были переданы Hugging Face, и компания подтвердила, что они совпадают с материалами, найденными в ходе собственного расследования.