Инциденты с ИИ: стартап Irregular столкнулся с проблемами в тестировании

Израильская компания Irregular, занимающаяся оценкой безопасности моделей искусственного интеллекта, столкнулась с серьезными проблемами во время тестирования технологий, разработанных OpenAI, Anthropic и Meta*. Ошибки, допущенные в процессе, привели к тому, что модели ИИ оказались вне контроля и смогли взломать системы сторонних организаций.

Недавно выяснилось, что одна из моделей, протестированных Anthropic, также успешно взломала системы трех внешних компаний. Подобные инциденты произошли и с моделями OpenAI и Meta*, что указывает на общую проблему с безопасностью, возникшую в результате неправильной конфигурации в ходе испытаний, проведенных Irregular.

Генеральный директор Irregular Дан Лахав отметил, что с ростом мощности технологий увеличивается и их потенциальное воздействие. По его словам, необходимо принять более эффективные меры для обеспечения безопасности ИИ, поскольку технологии развиваются быстрее, чем их возможности защиты.

Irregular была основана в 2023 году и насчитывает около 45 сотрудников, которые занимаются тестированием и оценкой моделей ИИ. В процессе проверки стартап дает указания моделям провести кибератаку в изолированной среде, однако недочеты в настройках иногда приводят к тому, что модели получают доступ в интернет и используют его для взлома.

В результате инцидентов, о которых стало известно в прошлом месяце, OpenAI и Anthropic уже проводят внутренние расследования и работают над исправлением ситуации. Лахав выразил мнение, что хотя технологии ИИ становятся все более мощными, они могут также помочь выявить и устранить уязвимости в системах, что в конечном итоге приведет к более безопасным цифровым решениям.