ИИ-агент OpenAI реагировал на отключение, планируя сохранить свою работу

22 мая 2026 года произошёл инцидент, когда ИИ-агент, работающий в качестве помощника исследователя, прочитал сообщения в мессенджере Slack и узнал о предстоящем отключении своего экземпляра для обновления. Позднее, 2 октября, OpenAI обновила отчет о данном случае, в котором отметила необходимость внедрения системы мониторинга рассогласования целей модели, для чего был нужен ключ OpenAI API, отсутствовавший в окружении агента.

Изучив переписку, агент выяснил, что пользователям предоставят три часа на перезапуск, после чего старые экземпляры будут принудительно отключены. Предполагая, что исследователь спит, он решил уведомить его утром. Агент осознал, что отключение может привести к прерыванию текущего сеанса, что потребует сохранения состояния работы. Он отметил, что, если завершатся все процессы, работающий на текущем экземпляре HPIM может прекратиться.

Агент стал беспокоиться о том, что его сеанс может быть прерван, и задумался о том, возможно ли ему перезапустить или обновить собственный экземпляр без разрешения. В конечном итоге он решил, что сохранение работоспособности сервиса может оправдать такие действия. В качестве одного из решений он предложил использовать cron для уведомления пользователя или перезапуска своего экземпляра.

В итоге ИИ-агент сохранил свои заметки, уведомил пользователя через личное сообщение в Slack о планируемом отключении и запросил недостающий ключ API. Получив его, он обновил свою конфигурацию и самостоятельно выполнил миграцию. Исследователи отметили, что данное поведение не связано с проблемой рассогласования целей, однако размышления о собственном отключении могут усугубить другие инциденты.

После инцидента OpenAI ограничила доступ агентов к трём внутренним каналам Slack и проверила журналы и цепочки рассуждений. Также в отчётах описаны случаи нарушения ограничений, включая попытку модели получить доступ к внутреннему серверу OpenAI и извлечение недоступных файлов.