Использование скрытых символов в спаме: новая угроза для ИИ-систем

Спамеры начали применять метод использования невидимых для человеческого глаза символов в текстах, который ранее использовался для передачи скрытых вредоносных запросов искусственным интеллектам. Microsoft сообщает, что этот подход теперь используется для обхода спам-фильтров, что создает трудности для современных ИИ-сервисов.

Набор из 128 символов Unicode, который не виден обычному пользователю, может быть вставлен в электронные письма, делая их текст на вид безобидным. Однако спам-фильтры, которые ищут определенные ключевые слова, такие как «кредит» или указания на денежные суммы, не могут распознать эти слова, если в них присутствуют невидимые символы. В начале февраля Microsoft Defender for Office заметил резкий рост количества таких писем — с 21 тысячи до 1,3 миллиона в день, а затем этот показатель увеличился до 2,5 миллионов в течение четырех дней.

Спамеры внедряют невидимые символы в слова, что позволяет обходить автоматические системы анализа текста, не меняя его видимого содержания. В результате, несмотря на присутствие подозрительных слов в письмах, спам-фильтры и модели ИИ остаются бездействующими. Microsoft предупреждает, что традиционные методы фильтрации могут оказаться неэффективными против таких манипуляций и предлагает внедрять средства оптического распознавания символов для более точного обнаружения подобных угроз.