Разработчикам удалось запустить 35-миллиардную языковую модель Ornith-1.0-35B на ноутбуке с всего 8 ГБ видеопамяти и добиться скорости генерации 99 токенов в секунду. Модель, как утверждается, обходит Qwen3.5-397B в бенчмарке Terminal-Bench и демонстрирует хорошие результаты в агентном кодинге.

Эксперименты проводились на гибридном процессоре AMD Strix Halo, который обеспечивает пропускную способность памяти до 256 ГБ/с. В ходе тестирования применялись различные техники оптимизации, включая Vulkan, MTP, селективную квантизацию и n-gram reuse.

Часть методов, как выяснилось, не дала ожидаемого прироста производительности. Однако комбинация определённых подходов позволила достичь рекордной скорости без потери качества ответов.

Ключевым результатом стало то, что 35B-модель успешно запустилась на ноутбуке под управлением Windows с весьма скромным объёмом видеопамяти. Основной упор в статье делается на практические результаты и описание того, какие техники сработали, а какие — нет.