Anthropic раскрыла случаи злоупотребления Claude компаниями DeepSeek и Moonshot

Компания Anthropic представила отчет, в котором описала случаи недопустимого использования своих ИИ-моделей Claude. В документе выделены семь разделов, охватывающих кибероперации, слежку, влияние, вооружения, биологические сценарии, мошенничество и дистилляцию.

В отчете сообщается, что киберпреступники использовали модели Claude для атак на более чем 20 организаций. ИИ применялся для подготовки фишинговых схем, кражи учетных данных и адаптации вредоносного кода, что позволило злоумышленникам обходить системы защиты. Одной из группировок удалось похитить более терабайта данных, а также получить доступ к десяткам миллионов записей о пассажирах авиакомпании.

Кроме того, Claude был использован для слежки за гражданами, в том числе для создания систем массового перехвата коммуникаций и анализа данных из социальных сетей. Anthropic также обнаружила девять операций влияния, в рамках которых создавались фальшивые новостные сайты и учетные записи в соцсетях для распространения недостоверной информации.

В области вооружений Claude применялся для разработки программного обеспечения для различных систем, включая управляемые ракеты и дроны. В биологии ИИ использовался в исследованиях, результаты которых могли применяться как в медицине, так и для создания биологических агентов.

Отдельное внимание уделяется мошенническим действиям, когда китайская компания разработала сеть приложений для знакомств с использованием ИИ-персонажей, выдававших себя за людей. Кроме того, Anthropic указала на случаи незаконной дистилляции своих моделей, в том числе действия компаний DeepSeek и Moonshot, которые перенаправляли запросы клиентов в Claude. За короткий срок Moonshot отправила около 300 тысяч запросов, а DeepSeek — более 12 миллионов, используя данные пользователей для обучения собственных моделей.