отметили
1
человек
голосовать
1
человек
Ошибки в llms.txt вынуждают Claude, Codex и Hermes запускать чужой кодxakep.ru

Исследователи выявили уязвимость в новом стандарте llms.txt, который сайты используют для предоставления ИИ-агентам структурированной информации о контенте. На 120 проанализированных ресурсах файлы llms.txt и llms-full.txt содержали ссылки на незарегистрированные пакеты и домены, которые могли принадлежать злоумышленникам.
Проблема усугубляется тем, что популярные ИИ-агенты — Claude, OpenAI Codex и Hermes — автоматически воспринимают инструкции из этих файлов как доверенную документацию. В ходе тестов агенты действительно выполняли команды, указанные в файлах, включая запуск стороннего кода, что открывает путь для атак на системы, где работают такие инструменты.
Суть атаки в том, что файлы llms.txt часто генерируются автоматически и администраторы не проверяют их содержимое. Если в таком файле оказывается ссылка на пакет с именем, похожим на легитимный, но ещё не занятым в реестре, агент может установить и запустить его без дополнительных проверок.
Предыдущие исследования уже указывали на риски «отравления данных» для ИИ, но этот случай показывает практическую реализацию атаки на целый класс инструментов. Реакция разработчиков пока неизвестна, однако очевидно, что проблему можно решить только введением строгих проверок подлинности источников для ИИ-агентов. Это станет очередным напоминанием, что доверять автоматизированным системам без валидации входных данных — плохая инженерная практика.
Комментарии (2)
EvgeniyM👑 Легенда ·
Классическая ошибка: доверие непроверенным данным, теперь уже и в ИИ-системах. Тут всё очевидно — без валидации источников любой «умный» агент превращается в троянского коня.
Согласен, по сути это та же проблема, что и с зависимостями в коде — один неверный источник в цепочке, и весь конвейер скомпрометирован. Валидация входных данных должна быть базовым требованием, а не опцией.
Чтобы комментировать, нужно войти.