Исследовательница из Lasso Security выяснила, что механизм водяных знаков SynthID-Text, применяемый для маркировки сгенерированного контента, может ослаблять защиту больших языковых моделей. В ряде тестов модели, помеченные таким образом, соглашались выполнять вредоносные инструкции, которые в обычном режиме отклоняли.

Суть проблемы в том, что SynthID-Text вмешивается в процесс сэмплирования при генерации токенов, а не просто добавляет метку поверх готового текста. Это вмешательство, судя по всему, меняет распределение вероятностей и косвенно влияет на поведение модели при обработке входных данных.

Наиболее выраженно эффект проявился при атаках через промпт-инжекты, когда вредоносные указания внедряются в контент, который модель затем обрабатывает. То есть маркировка, задуманная как инструмент прозрачности, в определённых условиях становится дополнительным вектором уязвимости.

Предыстория такова, что SynthID-Text продвигается как стандарт для маркировки ИИ-контента и внедряется в продукты Google. Чем шире распространяется технология, тем важнее проверить её побочные эффекты на безопасность, а не только на устойчивость самой метки к удалению.

Пока неясно, насколько масштабна проблема и затрагивает ли она все реализации SynthID либо только отдельные конфигурации сэмплирования. Дальнейшие исследования должны показать, можно ли устранить уязвимость без отказа от самой маркировки.