В первой части цикла «Битва за контекст» автор разбирает базовые принципы работы больших языковых моделей, начиная с понятия токенов. Токены — это не просто слова, а минимальные единицы текста, которые модель может обработать, и их размер напрямую влияет на эффективность работы AI-агентов.

Объясняется, как устроены веса и словари моделей: веса определяют силу связей между нейронами, а словарь — это тот набор токенов, которым модель оперирует. Понимание этих механизмов позволяет точнее настраивать запросы и управлять контекстом, не перегружая модель лишней информацией.

Автор подчёркивает, что игнорирование внутреннего устройства LLM приводит к неэффективному использованию памяти и снижению качества ответов. Например, неправильный выбор токенизации может «съедать» доступный контекст, оставляя меньше места для полезных данных.

В итоге утверждается, что знание того, как модель «видит» текст, — это не академическая теория, а практический инструмент для разработчиков. Статья задаёт тон всему циклу, обещая в следующих частях разобрать конкретные методы оптимизации работы с контекстом в AI-агентах.