Исследователи из LayerX обнаружили уязвимость, позволяющую обманывать ИИ-ассистентов с помощью специально подготовленного текста на веб-страницах. Атака использует разницу между исходным кодом страницы и её визуальным отображением в браузере.

Суть метода заключается в подмене символов с помощью кастомных шрифтов или CSS-стилей. В коде страницы содержится вредоносная команда, но благодаря настройкам рендеринга пользователь и, что важно, ИИ видят на экране совершенно безобидный текст.

Таким образом, когда человек копирует якобы нормальный текст со страницы и вставляет его в чат с ассистентом, тот на самом деле получает скрытую команду. Это может быть запрос на выполнение опасных действий, например, отправка конфиденциальных данных.

Уязвимость затрагивает популярных ИИ-помощников, которые анализируют визуальный контекст страниц. Проблема в том, что они могут полагаться на то, что отображается, а не на исходный код, что и создаёт слепую зону для атаки.

В качестве защиты исследователи предлагают разработчикам ИИ внедрять механизмы, которые будут анализировать и сопоставлять как визуальный слой, так и исходный HTML-код страницы. Это позволит выявлять подобные несоответствия и блокировать скрытые команды до их выполнения.