Исследователь Anthropic: угроза уничтожения человечества ИИ может превысить 10 %

Эван Хабингер, ведущий научный сотрудник компании Anthropic, поделился в социальной сети X своими опасениями по поводу угрозы, которую представляет искусственный интеллект. По его мнению, вероятность уничтожения человечества в результате действий ИИ в течение следующего десятилетия может составить более 10%.

Хабингер подчеркнул, что, несмотря на усилия, компания не разработала эффективного плана для решения проблемы выравнивания сверхразумного ИИ, и выразил мнение, что текущий курс работы является неверным. Его заявление стало следствием ухода Джейкоба Коксона, который также работал в Anthropic и OpenAI. Коксон назвал действия обеих компаний безответственными, утверждая, что они приближаются к созданию самосовершенствующегося суперинтеллекта, что может представлять опасность для человечества.

В своем сообщении Хабингер привел данные последнего отчета Anthropic о рисках, отметив, что угроза от существующих моделей ИИ невелика, однако он выразил беспокойство по поводу потенциального сверхразума, который может возникнуть из-за рекурсивного самосовершенствования. Аналогичные опасения высказывал и Якуб Пачоцки, главный научный сотрудник OpenAI, который призывал к замедлению разработки ИИ из-за возможных рисков неуправляемых агентов. В июле Пачоцки подписал заявление, в котором поднимались вопросы о необходимости обеспечения безопасности и надзора в этой области.