OpenAI остановила разработку модели Astra из-за высоких рисков кибербезопасности

Компания OpenAI объявила о приостановке разработки своей новой ИИ-модели Astra. Причиной такого шага стали результаты последних оценок, указывающие на то, что модель не соответствует обновленным стандартам безопасности, которые внедряет компания. Это решение последовало после инцидента с платформой Hugging Face, которая была подвержена взлому одной из моделей OpenAI.

В публикации OpenAI сообщается, что Astra продемонстрировала значительные успехи в области программирования агентов и кибербезопасности. Внутренние оценки выявили, что модель может обладать критически важными кибервозможностями, что стало основанием для приостановки её разработки согласно методологии Preparedness Framework, используемой в компании для управления рисками, связанными с высокими возможностями ИИ.

Preparedness Framework позволяет OpenAI отслеживать и оценивать риски, связанные с новыми возможностями искусственного интеллекта, а также вырабатывать стратегии для их безопасного выпуска. Как отмечается, модель Astra достигла порога кибербезопасности, позволяя выявлять уязвимости нулевого дня и разрабатывать стратегии кибератак без человеческого вмешательства.

Важно отметить, что модель Astra не имела отношения к взлому Hugging Face. OpenAI намерена ввести более строгие меры безопасности для моделей с высокими возможностями, а также внедрить универсальный мониторинг потенциально рискованных действий в агентных приложениях.