OpenAI тестирует механизм безопасности для защиты от скрытых угроз в запросах

Компания OpenAI начала тестирование нового механизма безопасности для клиентов, использующих подписку на её ИИ-модели. По информации Bloomberg, данная инициатива направлена на усиление защиты в условиях, когда пользователи все чаще доверяют ИИ выполнение сложных задач и работу с конфиденциальной информацией.

На данный момент OpenAI предоставляет некоторым клиентам политику "нулевого хранения данных", при которой запросы и ответы не сохраняются. Новый механизм, названный Private Safety Processing (Конфиденциальная обработка в целях безопасности), будет нацелен на выявление закономерностей в цепочках взаимодействий, а не в отдельных запросах и ответах. Это позволит предотвратить попытки взлома как со стороны злоумышленников, так и со стороны ИИ-агентов, действия которых отклоняются от заданных норм безопасности.

По словам Алеа Хоуз, руководителя продуктовой политики OpenAI, современные ИИ-модели всё чаще применяются для решения сложных многоэтапных задач, что увеличивает необходимость в инструментах, способных действовать без детальных инструкций. Она отметила, что потенциальные угрозы могут быть обнаружены лишь при анализе нескольких запросов, а не только одного взаимодействия. Например, одно обращение к ИИ может касаться уязвимости программного обеспечения, а другое — средств удалённого доступа, но их связь может указывать на подготовку атаки.

OpenAI надеется, что новая система позволит учитывать контекст запросов и более эффективно противостоять угрозам, при этом сохраняя конфиденциальность клиентских данных. Тестирование проходит с участием таких компаний, как Microsoft и Databricks, а запуск системы и публикация отчёта о её работе запланированы на сентябрь.