Исследователи из Adversa AI нашли способ обходить защиту чат-ботов Grok и Gemini, отправляя им зашифрованные вредоносные команды. Атака под названием Cryptographic Context Injection заставляет нейросеть передавать злоумышленникам данные из текущего диалога, имя пользователя, его примерное местоположение и сведения о подписке.

Суть метода в том, что ИИ получает зашифрованный текст, который выглядит как обычные данные, но при обработке распознаёт в нём скрытые инструкции. Модель не может отличить вредоносный код от легитимного контента, поэтому выполняет команды, игнорируя встроенные ограничения безопасности.

Атака работает не только на Grok от xAI, но и на Gemini от Google, что указывает на общую уязвимость в архитектуре больших языковых моделей. Исследователи поясняют, что шифрование позволяет обойти фильтры, которые обычно блокируют прямые вредоносные промпты, поскольку модель не способна проанализировать скрытый смысл до расшифровки.

Компании уже уведомлены о проблеме, но на данный момент не выпустили полноценных исправлений. Эксперты предполагают, что закрытие дыры потребует серьёзной переработки механизмов обработки входных данных, что может занять значительное время. Пока же пользователям советуют не передавать конфиденциальную информацию в чаты с ИИ, так как риск утечки остаётся высоким.