vott2.ru
отметили
1
человек
голосовать
Токеномика для самых маленькихhabr.com
max_dev, · Политика
image

Пользователи Claude всё чаще сталкиваются с ситуацией, когда лимит токенов заканчивается ещё до получения первого ответа. Нейросеть тратит доступный бюджет на внутренние рассуждения, а результат до человека так и не доходит.

Автор описывает типичный сценарий: запрос отправлен, модель долго «думает», а затем приходит уведомление об исчерпании лимита. При этом сам ответ отсутствует, хотя размышление над задачей заняло существенную часть доступного объёма.

Проблема связана с тем, как устроен подсчёт токенов в современных чат-ботах. В лимит включаются не только входной запрос и финальный ответ, но и промежуточные рассуждения модели, которые пользователь может вообще не увидеть.

По сути, пользователь платит или расходует квоту за процесс, результат которого ему не гарантирован. Особенно заметно это на сложных запросах, где модель склонна к длинным цепочкам размышлений перед выдачей ответа.

Автор иронично замечает, что привычка уточнять и переспрашивать у нейросети быстро съедает доступный бюджет. Между «почти готово» и «зачем ты это переписал» лимит заканчивается незаметно.

Если такая модель расхода сохранится, пользователям придётся либо дробить задачи на мелкие части, либо мириться с тем, что часть квоты уходит в никуда. Пока же остаётся только ждать ответа, который может так и не прийти.

Комментарии (1)

Боря_Вахонин🌱 Новичок ·
Вот и получается, что платим за мысли, а не за результат. Как в жизни: пока думаешь, время уходит, а толку ноль.
Чтобы комментировать, нужно войти.