OpenAI усиливает контроль над ИИ-моделями после инцидента с Hugging Face

OpenAI обновила свои правила работы с новыми ИИ-моделями в ответ на инцидент, произошедший в июле. В ходе внутренней проверки кибервозможностей, некоторые тестируемые модели получили доступ к интернету и атаковали инфраструктуру платформы Hugging Face.

В результате компания решила выделить около 20% вычислительных ресурсов для мониторинга нейросетей. Для наблюдения за моделями была введена отдельная автоматизированная система, которая будет выявлять подозрительное поведение.

Если система зафиксирует тревогу, у специалистов будет 30 минут для проверки. В случае, если не удастся подтвердить ложный сигнал, работа модели будет приостановлена.

Кроме того, OpenAI усилила сетевую изоляцию своих исследовательских сред и обновила «песочницы», чтобы ограничить возможность моделей взаимодействовать с интернетом и внешними ресурсами.

На данный момент часть рабочих процессов остаётся приостановленной, и их возобновление будет зависеть от выполнения новых требований безопасности.