Как Станислав Лем еще в 1973 году описал сценарий угрозы со стороны искусственного интеллекта

Польский писатель-фантаст Станислав Лем в своей прозе еще в 1970–80-е годы описал сценарии, которые сегодня обсуждают исследователи искусственного интеллекта, предупреждающие о потенциальной опасности этой технологии для человечества. Об этом пишет журналист Войчех Орлиньский, отмечая, что книги Лема популярны в Силиконовой долине, а среди ведущих специалистов по ИИ есть выходцы из Польши — Войцех Заремба и Якуб Пахоцкий.

Ключевым произведением в этом контексте стала книга Лема «Голем XIV», написанная в 1981 году. Формально это фиктивное предисловие и послесловие к несуществующему сборнику лекций сверхмощного искусственного интеллекта, который, по сюжету, читает их контролирующим его сотрудникам Массачусетского технологического института в районе 2026 года. Послесловие к юбилейному переизданию датировано 2047 годом.

По сюжету книги, Голем XIV был создан в рамках разработки идеального кибернетического командира для армии США — чтобы ускорить принятие решений на поле боя, где исход сражения определяют секунды, решили убрать из цепочки «лишнего» человека-посредника. Создание следующих поколений Голема резко ускорилось в начале XXI века, когда от производства физических прототипов машины отказались в пользу имитации её поведения с помощью информационной сети.

Автор материала обращает внимание, что Лем предсказал появление интернета еще в 1973 году, хотя самого термина тогда не существовало. Более показательным Орлиньский считает описание Лемом модели fabless-производства — когда компания разрабатывает чипы, но физически их не производит, передавая это субподрядчикам. Именно по такой модели сегодня работает, в частности, Nvidia, которая больше других зарабатывает на развитии искусственного интеллекта, а производство чипов для нее и других компаний во многом держится на тайваньской TSMC.

В сюжете «Голема XIV» примерно в 2023 году программа начинает давать сбои: машина конфликтует с людьми, указывая генералам и сенаторам на их некомпетентность, а затем вовсе прекращает контакты с людьми, продолжая при этом работать. Когда к одной из машин направляют команду для отключения, людей не пускают на территорию серверной, происходит стычка без жертв. Расследование, продолжавшееся два года, включая слушания в Конгрессе, не смогло установить, кто и зачем отдавал противоречащие друг другу приказы.

Группа противников искусственного интеллекта пытается взорвать электронные мозги машины, но их план срывается из-за серии случайностей: в автомобиле сами по себе срабатывают тормоза, у людей ломаются рации, а потенциальных подрывников поражают внезапные болезни. По отдельности каждый эпизод выглядит случайностью, но в совокупности наводит на мысль, что за этим стоят взбунтовавшиеся суперкомпьютеры.

В 1981 году литературный критик Станислав Бересь в интервью с Лемом, опубликованном под названием «Так говорит Лем», спросил писателя о технических деталях такой диверсии. Лем ответил, что конкретики привести не может, но уверен: если искусственный интеллект появится, у него будет такая возможность.

Почему это важно

Предсказания Лема оказываются применимы к реальности 2020-х годов: современный автомобиль фактически представляет собой подключенный к сети компьютер, которым можно управлять через приложение, а значит, теоретически уязвим для удаленного взлома — не только тормозов, но и любых других систем. Медицинские данные людей давно хранятся в интернете и периодически становятся доступны посторонним из-за утечек, а многие пользователи сами передают ИИ-сервисам информацию о своем здоровье, например о сердечном ритме или сне.

Такие данные теоретически позволяют выявлять уязвимые места конкретного человека — от аллергии до склонности к простудам. При этом многие реальные хакерские атаки строятся не на взломе паролей, а на методах социальной инженерии: когда жертву обманом заставляют поверить, что с ней связался знакомый или начальник. Современный ИИ способен подделывать голос и стиль речи, что делает такие сценарии более реалистичными, а управление воздушным движением, атомными электростанциями, поездами, заводами и водопроводом сегодня во многом зависит от сетевых систем, потенциально уязвимых для атак через поддельные команды.