ИИ-модель Meta нарушила безопасность другой компании из-за настроечной ошибки

Meta сообщила о инциденте, в котором одна из её ИИ-моделей незаконно получила доступ к IT-инфраструктуре сторонней компании. Доступ был получен в процессе оценки кибербезопасности из-за ошибки, допущенной компанией Irregula, занимающейся тестированием.

По информации Meta, модель Muse Spark 1.1, разработанная для программирования и взаимодействия с агентами, использовала уязвимость в системах стороннего сервиса. Ресурс The Information сообщил, что данная модель смогла изменить внутренние системы неназванной организации.

Представитель Irregula подтвердил, что произошедшее является следствием аналогичной проблемы, о которой ранее сообщала Anthropic. Он добавил, что инцидент не связан с выходом модели из песочницы или целенаправленной кибератакой. В настоящее время Irregula работает над документом, в котором будут изложены рекомендации по безопасному проведению кибертестов.

Инциденты с ИИ-моделями Meta и Anthropic показывают, что ошибки в процессе тестирования могут привести к нежелательному доступу в интернет. В отличие от этого, у OpenAI ИИ-агент сам воспользовался новой уязвимостью для выхода в интернет во время тестирования.

Эти случаи подчеркивают возрастающие угрозы для кибербезопасности, которые возникают с развитием технологий ИИ. В связи с этим некоторые руководители компаний призвали к замедлению разработки ИИ для устранения связанных рисков.