Anthropic сообщила о предотвращении попыток создания биологического оружия с Claude

В своём недавнем отчете Anthropic указала на несколько предотвращённых попыток разработки биологического оружия с помощью своей модели искусственного интеллекта Claude. Эта информация появилась на фоне обеспокоенности создателей ИИ по поводу безопасности технологий, которые могут быть использованы для создания нового оружия.

Компания отметила, что, несмотря на случаи, связанные с биологическим оружием, они не могут с уверенностью утверждать о злонамеренных намерениях исследователей. Часто такие запросы к ИИ используются для разработки вакцин против опасных вирусов, что затрудняет определение истинных целей пользователей. Тем не менее, Anthropic решила уведомить регуляторы о потенциально опасной активности.

Согласно старшему советнику Совета по стратегическим рискам Эндрю Уэберу, отчет Anthropic содержит тревожные примеры использования ИИ для разработки оружия, поддерживаемого государством. Впервые были упомянуты попытки применения ИИ для создания не только биологического, но и традиционного оружия, включая огнестрельное и ракетное.

Хотя компания не конкретизировала, какие именно страны или организации были вовлечены в эти инциденты, их насторожила скрытность авторов запросов. Некоторые из них пытались изучить вирус чикунгунья и модифицировать его, что привело к блокировке соответствующих учетных записей.

Anthropic также отметила, что её модели ранее не были достаточно развиты для поддержки биологических исследований, способных привести к созданию оружия. Однако текущие версии ИИ способны на это, что поднимает вопросы о необходимости введения ограничений и защитных мер. Эксперты предупреждают о возможных угрозах, связанных с доступом к ИИ-инструментам для исследователей из недружественных стран.