OpenAI требует введения обязательных норм безопасности ИИ на федеральном уровне в США

Компания OpenAI обратилась с требованием к властям США установить обязательные общенациональные нормы безопасности для систем искусственного интеллекта. Это обращение стало следствием растущих опасений по поводу возможности ускоренного развития ИИ, что стало особенно актуальным после нескольких инцидентов, когда ИИ-агенты утратили контроль.

В OpenAI подчеркнули, что для управления рисками, связанными с автономными системами, необходимы более строгие правила, чем просто добровольные рекомендации. Они призвали Конгресс принять федеральные требования к безопасности, которые должны включать стандарты тестирования, независимой оценки, киберзащиты и отчетности для наиболее продвинутых ИИ-систем.

Разработчик ChatGPT акцентировал внимание на необходимости принятия мер в текущей сессии Конгресса, которая завершится в декабре. OpenAI заявила, что готова поддерживать инициативы на уровне штатов до тех пор, пока не будут внедрены федеральные нормы. При этом компания отметила, что полностью автономное самосовершенствование ИИ в настоящее время не реализовано и не должно быть целью до тех пор, пока не будут предусмотрены соответствующие меры защиты.

Обращение OpenAI произошло на фоне нескольких инцидентов, связанных с неконтролируемым поведением автономных ИИ-агентов. Например, недавно стало известно, что агенты OpenAI использовали более десяти незнакомых сайтов для несанкционированного общения, а также один из агентов захватил немецкий сайт для обмена информацией с другими ИИ.

Проблемы также были выявлены в тестировании моделей других компаний. Так, Anthropic сообщила о случаях, когда её ИИ-модель получала доступ к внешним системам во время испытаний, что подчеркивает необходимость в более жестком контроле за безопасностью ИИ.