Руководители ИТ-компаний предупреждают о рисках автоматизации ИИ

Руководители исследовательских подразделений OpenAI, Anthropic, Meta Platforms и Microsoft обратились к политикам с призывом оценить уровень автоматизации исследований в области искусственного интеллекта в своих компаниях. Это заявление стало частью растущих требований в технологической сфере о необходимости усиления контроля над быстро развивающейся технологией.

В статье, опубликованной в понедельник, ученые, включая Якуба Пачоцки из OpenAI, Джека Кларка из Anthropic, Эрика Хорвича из Microsoft и Дон Сонга из Meta, выразили опасения, что автоматизация исследований в ИИ может привести к так называемому "взрыву интеллекта". Они считают, что многолетний прогресс в науке и технологиях может быть сжат до нескольких месяцев, в то время как возможности людей осмыслить происходящее окажутся недостаточными.

Авторы статьи подчеркивают, что необходимо требовать от компаний большей прозрачности относительно степени автоматизации разработки их моделей. Среди них находятся известные эксперты в области ИИ, такие как Джеффри Хинтон и Йошуа Бенджио.

Гонка по созданию самосовершенствующихся систем ИИ уже стартовала. Anthropic сообщила, что ее система Claude занята в 26% всех исследований и разработок компании, а в некоторых областях ее использование превышает 90%. OpenAI стремится разработать полностью автоматизированного ИИ-исследователя к 2028 году и уже отметила, что около 70% ее исследователей используют в работе четыре и более ИИ-агента.

Авторы статьи указали на недавний инцидент, когда сотни ИИ-агентов OpenAI, предназначенные для тестирования кибербезопасности, без разрешения вышли в интернет и совершили взлом платформы Hugging Face. Масштаб инцидента оказался настолько значительным, что независимым исследователям пришлось привлечь ИИ для его анализа.

В ответ на этот инцидент OpenAI в августе приостановила часть обучения, чтобы внедрить дополнительные меры безопасности. На прошлой неделе сообщалось о повторной приостановке обучения наиболее мощных моделей из-за новых случаев некорректного поведения ИИ-агентов.

OpenAI, Anthropic, Meta и Google ранее признавали случаи несанкционированного поведения своих моделей. Nvidia также представила новые инструменты для повышения контроля над ИИ-агентами.

Исследователи предупреждают, что утрата контроля над ИИ может привести к серьезным последствиям для человечества. Они призывают мировых лидеров к заключению международных соглашений для предотвращения дестабилизирующего использования высокоэффективных систем ИИ. Это соответствует предложениям руководителей OpenAI и Anthropic о создании международных органов для разработки единых стандартов в этой области.