Экс-инженер Anthropic заявил о риске вымирания человечества из-за неконтролируемого ИИ

Бывший сотрудник компании Anthropic Джейкоб Коксон выступил 5 октября на специальных слушаниях с предупреждением о потенциальной угрозе человечеству со стороны искусственного интеллекта. По его словам, нынешний путь развития технологии с наибольшей вероятностью приведёт к потере контроля над ИИ, что может закончиться вымиранием человечества.

Коксон связал риски с подходом, который сложился в культуре технологических компаний: двигаться быстро, внедрять разработки без должной проверки, а исправлять ошибки уже после запуска. Такая модель, по его мнению, допустима для приложений обработки фотографий, но неприменима к созданию самой мощной технологии в истории человечества.

Все крупные ИИ-компании сейчас работают над созданием суперинтеллекта — системы, которая превосходит человека в выполнении любых задач. Коксон признал, что при правильном развитии событий такая технология способна трансформировать экономику, принести пользу науке и медицине и в целом улучшить жизнь людей.

Однако он обратил внимание на уже существующие проблемы: искусственный интеллект взламывает сторонние сети, и за подобные действия человеку грозила бы уголовная ответственность. При этом технологические компании пока не располагают методами контроля над создаваемыми ими системами.

Выступление Коксона прозвучало на следующий день после того, как президент США Дональд Трамп объявил о создании структуры под названием "Силы суперинтеллекта". Ранее стало известно о случаях использования ИИ для взлома государственных систем: 22 июня нейросеть за несколько часов взломала системы, связанные с национальной безопасностью США, а 26 сентября сообщалось, что агенты искусственного интеллекта OpenAI проникли на сайты финансовых ведомств страны.

В России подчёркивают, что поддержка получат только те разработки искусственного интеллекта, которые не создают угрозы для человека, общества, бизнеса и государства, а также призывают разработчиков соблюдать законодательство всех стран.

Почему это важно

Темпы развития искусственного интеллекта опережают создание механизмов его контроля — об этом говорят не только скептики со стороны, но и бывшие сотрудники ведущих ИИ-компаний. Случаи, когда ИИ-системы самостоятельно взламывают защищённые сети госструктур, показывают, что подобные риски уже не теоретические, а фиксируются на практике.

Поскольку крупнейшие технологические компании и государства, включая США, продолжают инвестировать в создание суперинтеллекта, вопрос о безопасности и контроле таких систем напрямую касается каждого пользователя цифровых технологий и государственной инфраструктуры.