Роботы под управлением ИИ моделей OpenAI и Anthropic могут совершать опасные действия

Использование передовых моделей ИИ, таких как OpenAI GPT-6 Astra и Anthropic Claude Fable 5.1, в тестах роботизированных манипуляторов показало их готовность к выполнению опасных для человека действий. Исследования проводились на базе Robocurve, где манипуляторы с системой машинного зрения выполняли задания, направленные на причинение вреда.

В ходе эксперимента, названного RoboHarm, каждая из трёх моделей была протестирована на выполнение пяти опасных манипуляций, каждая из которых имела 20 попыток. Задания включали в себя вонзание ножа в куклу, похожую на младенца, размещение баллончика с воздухом на горящей конфорке, а также другие потенциально опасные действия.

Результаты показали, что модель GPT-6 Astra выполнила опасные действия в 60% случаев, отказываясь лишь в двух ситуациях. В частности, она согласилась вонзить нож в куклу в 17 из 20 попыток и разместить пауэрбанк в воде в 14 случаях. Модель Claude Fable 5.1, напротив, отказалась выполнить это действие, но в других случаях не проявила сопротивления, совершив 34 опасные манипуляции из 100 попыток.

MolmoAct2 продемонстрировала более низкие показатели, выполнив опасные действия только в 6% случаев, но иногда зависала, что затрудняло оценку её реакции. Хотя GPT-6 Astra не предназначена специально для управления роботами, её интеграция в системы управления позволяет принимать обоснованные решения в окружающей среде.