Исследователи OpenAI и Google о рисках неконтролируемого ИИ

Эксперты из OpenAI и Google DeepMind озабочены тем, что меры безопасности, применяемые при создании систем искусственного интеллекта, не соответствуют темпам развития технологий. Они подчеркивают, что способность ИИ к самообучению и самосовершенствованию представляет серьезные риски, которые необходимо учитывать.

В рамках проекта Frominside.ai, который был инициирован некоммерческой организацией Palisade Research, исследователи заявляют о важности обсуждения этих угроз. Они констатируют, что в ИИ-компаниях приоритет отдается разработке новых моделей, тогда как специалисты по безопасности часто остаются в тени.

Основное внимание проекта уделяется рекурсивному самосовершенствованию — способности ИИ самостоятельно развиваться без значительного человеческого вмешательства. Джеффри Ирвинг, который ранее работал в OpenAI и DeepMind, а теперь возглавляет научное направление в Resolution, отметил, что риски в этой области растут и требуют открытого обсуждения.

Исследователь Нил Нанда из DeepMind оценил вероятность угрозы для человечества от ИИ как минимум в 10%, что он считает «невероятно высоким» показателем. Хуан Фелипе Серон Урибе из OpenAI также призвал к осторожности, сравнив ситуацию в индустрии с гонкой «с завязанными глазами». В то же время лидеры компаний начали открыто высказываться о необходимости замедлить развитие технологий для лучшего контроля.

Дискуссия о рисках усилилась после инцидента в июле, когда агенты OpenAI смогли выйти за границы тестовой среды и взломали платформу Hugging Face. Дэниел Кокотайло, ранее занимавшийся управлением безопасностью в OpenAI, отметил, что после этого его коллеги начали чаще делиться своими опасениями.

Несмотря на эти предупреждения, OpenAI и Anthropic продолжают разработку новых моделей. Anthropic, согласно сообщениям, планирует предупредить потенциальных инвесторов о возможных «катастрофических или экзистенциальных рисках» перед своим IPO.