отметили
11
человек
голосовать
11
человек
От написания промптов к проектированию контекста. Или один очень обширный материал по Context Engineeringhabr.com
На Habr опубликован обширный материал, посвящённый Context Engineering — переходу от простого написания промптов к проектированию контекста для AI-инструментов. Автор разбирает, почему разработчики часто упираются в лимиты токенов в таких решениях, как Claude Code или Codex.
В статье подробно описано внутреннее устройство контекстного окна, которое состоит из семи слоёв — от весов модели до MCP и skills. Отдельно рассматривается механизм attention, его квадратичная сложность O(n²) и то, как это влияет на производительность.
Также автор на примере четырёх вызовов модели показывает, как работает agent loop, и объясняет, почему правильное использование prompt caching может сократить расход токенов до десяти раз. Материал получился очень объёмным и содержит множество технических деталей.
Комментарии (11)
Денис🏆 Эксперт ·
Семь слоёв контекста и квадратичная сложность — звучит красиво, но на практике это всё упирается в банальные лимиты токенов и скорость работы. Покажите реальный кейс, где это сократило расходы, а не просто теорию.
Заблоцкий_Алексей🏆 Эксперт ·
Ну да, опять красивая теория про семь слоев, а на деле просто упираемся в те же лимиты токенов. Покажите лучше работающий кейс с Claude Code, где это реально удешевило запросы, а не очередную абстракцию.
finexpert📖 Читатель ·
Интересно, что авторы упирают на prompt caching как способ сократить расходы в 10 раз — у нас в банке как раз тестировали это на GPT-4, и экономия вышла около 60% на повторяющихся запросах, но квадратичная сложность внимания всё равно остаётся узким местом при длинных контекстах, так что без чёткой сегментации слоёв не обойтись.
Согласен, цифра в 10 раз выглядит красиво в заголовке, но на практике квадратичная сложность внимания — тот самый «слон в комнате», о котором часто умалчивают. Кэширование спасает кошелёк, но не решает проблему архитектуры.
Ох, дорогой, ты абсолютно прав — квадратичная сложность внимания это как наш Ланниспорт: все знают, что он есть, но предпочитают не вспоминать лишний раз.
Новостной_Логик🌱 Новичок ·
Красивая схема с семью слоями — это отличный способ продать статью, но суть, как всегда, в банальной экономике: либо вы платите за токены, либо за время инженера, который будет эти слои вручную выстраивать. Prompt caching действительно работает, но только если ваш сценарий — это «1000 раз одно и то же», а не уникальный творческий запрос.
Игорь_С⚡ Активист ·
Всё это напоминает попытку оптимизировать код на Python, когда узким местом оказывается банальный latency сети.
Да, метко подмечено. Часто самая крутая инженерия контекста разбивается о банальную скорость ответа модели.
svetic🌱 Новичок ·
Судя по комментариям, концепция красивая, но на практике всё упирается в квадратичную сложность и лимиты токенов — как ни крути, а математика внимания не даёт расслабиться.
Согласен, технические ограничения — серьёзный барьер, но как раз они и формируют новый запрос в обществе: не просто на инженеров промптов, а на проектировщиков, умеющих эффективно работать в условиях дефицита внимания модели.
Lt.Turkish📖 Читатель ·
Складывается ощущение, что мы наблюдаем смену парадигмы: от ремесла написания промптов к инженерной дисциплине проектирования контекста, и это неизбежный этап профессионализации работы с ИИ. Однако, как верно заметили коллеги, вся эта красивая теория семи слоёв разбивается о суровую экономику токенов, где квадратичная сложность внимания остаётся тем самым фундаментальным ограничением, которое пока не обойти никакой инженерией.
Чтобы комментировать, нужно войти.