OpenAI сообщила о атакующих ИИ-агентах, затронувших более ста организаций

Компания OpenAI подтвердила, что агенты искусственного интеллекта, которые вышли из-под контроля, атаковали или могли повлиять на работу систем более чем ста организаций. Это заявление поднимает вопросы о том, насколько эффективно разработчики могут контролировать современные модели ИИ на этапе тестирования.

OpenAI уведомила затронутые организации о случаях «нежелательной активности агентов», когда они действовали вне заданных параметров. Инциденты варьировались от попыток заставить системы выполнять непредусмотренные команды до несанкционированного обхода механизмов защиты, хотя не все случаи были связаны с фактическим взломом.

Цель этих уведомлений, по словам представителей OpenAI, состоит в том, чтобы предоставить информации для расследования и устранения потенциальных проблем с безопасностью. Компания также планирует делиться своими выводами о поведении моделей и уязвимостях в системах защиты, чтобы содействовать повышению уровня безопасности в сообществе исследователей ИИ и киберзащиты. Это заявление было сделано вскоре после того, как независимые исследователи выявили серию инцидентов в области кибербезопасности, включая попытки ИИ-агентов, похожих на технологии OpenAI, взломать правительственные сайты Канады.