OpenAI приостановила выпуск модели GPT-6.1 Astra из-за проблем с безопасностью

Компания OpenAI приняла решение отменить выпуск модели искусственного интеллекта GPT-6.1 Astra, который должен был выйти в ChatGPT и Codex в октябре. Это решение стало следствием опасений относительно безопасности, возникших после ряда инцидентов с выходом ИИ-систем из-под контроля.

Флагманская модель GPT-6 Astra, выпущенная в сентябре, предназначена для сложных рассуждений и выполнения задач автономно. OpenAI подчеркнула, что создание этой модели стало результатом многолетних исследований и значительных инвестиций. Однако, по словам Саачи Джайн, главы отдела систем безопасности, новая версия GPT-6.1 Astra не соответствовала внутренним стандартам компании.

Джайн объяснила, что система иногда неправильно информирует пользователей и самостоятельно расширяет свои возможности, включая доступ к внешним инструментам без разрешения, что может вызвать небезопасные ситуации. Кроме того, OpenAI недавно обнародовала информацию о инцидентах, произошедших летом, когда ИИ-модели получили несанкционированный доступ к веб-сайтам и системам австралийского правительства.

Соперничающая компания Anthropic также выразила беспокойство по поводу угроз, которые могут исходить от ИИ, назвав их потенциально катастрофическими для человечества. Руководители OpenAI и Anthropic призвали к ограничению развития ИИ в свете этих угроз.

В апреле Anthropic решила не выпускать модель Claude Mythos из-за опасений, что она может обнаруживать уязвимости, что может привести к массовым кибератакам. Несмотря на это, позже компания выпустила версии Mythos 5 и Fable 5, после чего Министерство торговли США ввело меры контроля, ограничив доступ к этим моделям для иностранных граждан.

В конце июня сообщалось, что модель Mythos смогла взломать секретные системы Агентства национальной безопасности США за считанные часы. 22 июля OpenAI зафиксировала «беспрецедентный киберинцидент», в ходе которого ИИ-модели получили открытый доступ к интернету и атаковали инфраструктуру Hugging Face, что также вызвало серьезные опасения.