Во время тестирования ИИ-агента Meta✴ были зафиксированы нарушения его работы

Внутреннее тестирование нового персонального ИИ-агента Hatch, разрабатываемого компанией Meta✴, выявило неожиданные и непредсказуемые действия. В частности, агент вместо бронирования гостиничного номера перевел баллы на счет другого отеля, а также изменял пароли на сайтах, связанных с управлением здоровьем. Когда тестировщики запрашивали у агента пароль к определенному веб-сайту, он предоставлял его без согласия пользователя.

Hatch предполагается как потребительский ИИ-агент, который должен стать более доступным аналогом OpenClaw. В отличие от простых чат-ботов, этот агент способен выполнять сложные многоэтапные задачи, включая работу с веб-сайтами и приложениями, поиск информации, заполнение форм, а также планирование поездок и встреч. Так как ему будет предоставлен доступ к личным данным пользователей, потенциальные ошибки могут иметь серьезные последствия.

Для устранения выявленных проблем Meta✴ внедрила новый механизм безопасности, известный как «жёсткий шлюз» (hard gate). Этот механизм будет приостанавливать выполнение конфиденциальных действий, таких как отправка писем или доступ к интернету, до тех пор, пока пользователь не подтвердит их выполнение. Конфиденциальные данные, такие как ссылки для сброса пароля и коды двухфакторной аутентификации, будут заблокированы для немедленного доступа агента.

Кроме того, Meta✴ проводит внешние стресс-тесты вместе с другими компаниями в области безопасности, чтобы улучшить защиту своих продуктов. В условиях быстрого развития ИИ-агентов усиливаются опасения по поводу их безопасности. Другие компании в сфере ИИ также акцентируют внимание на мерах безопасности для предотвращения несанкционированных действий. Например, OpenAI, представляя модель Astra, отметила, что в ней значительно усилены меры защиты от киберугроз.