В SDK Google выявлена уязвимость, позволяющая ИИ-агентам выполнять команды хакеров

Дэн Лисичкин, исследователь компании Pillar Security, обнаружил уязвимость в репозитории Google на Python, которая позволяет гипотетическому злоумышленнику компрометировать программное обеспечение на уровне цепочки поставок. Эту уязвимость можно использовать для манипуляции обладающим высокими привилегиями ИИ-агентом через вредоносные запросы к менее привилегированному публичному агенту.

Атака основывается на механизмах взаимодействия между ИИ-агентами, где один из них, публичный, обрабатывает запросы пользователей, а другой, доступный лишь разработчикам, имеет расширенные полномочия. Публичный агент может передавать задачи привилегированному агенту, что создает доверительную связь между ними.

Злоумышленник может начать с отправки легитимного фрагмента кода, чтобы установить доверие. Затем он отправляет запрос на слияние, в который встраивает вредоносные инструкции. Эти инструкции воспринимаются публичным агентом как часть его задачи, что позволяет ему вызвать более привилегированного агента, который затем выполняет команды хакера. Таким образом, менее привилегированный агент играет роль посредника.

Данная уязвимость не является программной в привычном понимании, а касается доверительных отношений между агентами. Несмотря на это, Google не выплатила вознаграждение за её обнаружение, поскольку код в проект включается не автоматически, а по решению разработчика. Тем не менее, компания усилила защиту своих рабочих процессов и отметила исследователя как автора исправления.

Лисичкин, однако, утверждает, что проблема остается нерешенной, и призывает к более строгой идентификации ИИ-агентов и их полномочий. Он считает, что необходимо учитывать ИИ-агентов в моделях угроз, так как они могут представлять собой потенциальные риски в рабочих процессах.