На Хабре вышла статья о том, как правки, внесённые ИИ в текст, могут незаметно менять смысл при формально сохранённых данных. В примере Анна получает сумму Бориса, а Борис — сумму Анны, при этом все имена и числа остаются на своих местах.

Автор разбирает, почему автоматическая сверка чисел и имён не ловит такую подмену. Формально diff показывает минимальные изменения, а регулярки и проверки на совпадение значений проходят успешно.

Проблема в том, что ИИ-редактура работает на уровне формулировок и связей между сущностями, а не только на уровне токенов. Перестановка субъектов и объектов в предложении не создаёт новых чисел, поэтому стандартные метрики её не видят.

Статья предлагает проверять не только данные, но и условия, обещания и роли участников после каждой правки. Речь идёт о смысловой сверке: кто что получает, кто за что отвечает, какие обязательства возникают.

Отдельно отмечается, что такие ошибки особенно опасны в юридических, финансовых и технических текстах. Там смена субъекта действия меняет юридические последствия, хотя цифры и имена остаются прежними.

В качестве вывода автор призывает встроить проверку смысла в пайплайн работы с ИИ-редактурой и не полагаться только на автоматическую сверку.