Разработчик под ником публикует разбор собственной экспериментальной системы ELM, в диалоговом варианте которой код предлагает действия, нейросеть выбирает из них, а код исполняет вызов и собирает ответ. В проверяемом режиме нейросеть не пишет текст ответа, а только выбирает действие.

Поводом для разбора стал неожиданно высокий результат: в первой пробе агент получил награду 1 на всех пяти задачах. Автор решил выяснить, что именно стоит за этой оценкой, и начал считать действия отдельно.

Отдельно он проверил свой цикл исполнения контрольной моделью-заглушкой, которая не делает ни одного вызова инструментов. На полном наборе такая заглушка набрала 34%, что ставит под сомнение ценность высоких баллов бенчмарка.

Статья посвящена разбору методики измерения и ошибок агента, а не презентации готового решения. Автор описывает, как проверял, соответствует ли высокая награда реально выполненной работе.

Публикация показывает типичную проблему оценки диалоговых агентов: бенчмарк может давать высокий балл без подтверждённого выполнения задачи. Реакция сообщества и дальнейшие выводы автора в тексте не приводятся.