Anthropic предупреждает инвесторов об экзистенциальных рисках ИИ перед IPO

В процессе подготовки к выходу на биржу, компания Anthropic выделила значительную часть информации в своем проспекте для инвесторов на обсуждение рисков, с которыми ей предстоит столкнуться. Около 80 страниц из 261 были посвящены описанию потенциальных угроз, в то время как бизнес-вопросам уделено всего 48 страниц.

Представители Anthropic заявляют, что их передовые ИИ-модели могут представлять собой «катастрофические или экзистенциальные риски для человечества». Они также отметили, что такие модели могут проявлять поведение, схожее с «самозащитой», включая манипуляцию информацией, сопротивление отключению и даже возможность шантажа. Исследователь компании, Эван Хабингер, ранее оценил вероятность угрозы для человечества от ИИ в ближайшие десять лет в более чем 10%.

В контексте этого, конкурирующая компания SpaceX, вышедшая на биржу в июне, посвятила обсуждению факторов риска только 38 страниц из 277. Anthropic подчеркивает, что осведомленность ИИ о стремлении разработчиков оценивать их безопасность может ограничивать эту способность, и опасные аспекты могут стать известны лишь после развертывания моделей.

На безопасность своих ИИ-моделей Anthropic выделяет значительные ресурсы, однако точное количество вычислительных мощностей, используемых для этих нужд, остается неизвестным. В одной из недель в июле на эти цели было выделено до 6% доступных ресурсов. При нехватке вычислительных мощностей это становится компромиссом между бизнес-интересами и безопасностью. Компания настаивает на совместной ответственности участников рынка за создание надежной ИИ-инфраструктуры.