Исследователи продемонстрировали успешную атаку на ИИ-агента с помощью специально сформированного PNG-файла. Встроенная в изображение вредоносная инструкция заставила модель игнорировать безопасность и выдать злоумышленнику конфиденциальные данные, включая пароли.

Это разновидность prompt injection — метода, при котором в контекст работы модели внедряется скрытая команда. Современные системы безопасности обучены распознавать такие инструкции в тексте, поэтому атакующие ищут способы их маскировки, например, в графических файлах.

Исследователи закодировали вредоносную строку в пикселях PNG-изображения. При загрузке картинки ИИ-агент распознал её содержимое и выполнил скрытую команду, несмотря на то, что пользователь не видел никаких подозрительных надписей.

В результате атаки модель передала злоумышленнику запрошенные пароли, подтвердив уязвимость мультимодальных ИИ-систем. Это показывает, что защита от prompt injection должна учитывать не только текстовые, но и визуальные форматы входных данных.