На Хабре вышла статья, посвящённая практической реализации тернарной нейросети на C# — аналога модели Microsoft BitNet 1.58. Автор рассматривает переход от классических форматов обучения вроде FP32 к экстремально низкой разрядности, вплоть до FP4, и ставит под сомнение дальнейшую моду на обычную квантизацию.

В материале разбираются форматы представления чисел, используемые при обучении и инференсе нейросетей: от полной точности FP32 до урезанных вариантов. Отдельное внимание уделяется тернарной, или троичной, логике, где веса принимают всего три возможных значения. Именно на такой логике построена модель BitNet 1.58 от Microsoft.

Практическая часть статьи — воссоздание аналога этой модели средствами C#. Автору удалось уложить реализацию в крайне скромный размер: 29 КБ в базовом варианте и 17,1 КБ в экстремальном. Для сравнения, традиционные модели даже небольшого размера занимают сотни мегабайт.

Такой подход перекликается с общей тенденцией к снижению вычислительных затрат при работе с нейросетями. Тернарные веса позволяют радикально сократить требования к памяти и ускорить инференс на слабом железе. При этом вопрос о качестве таких моделей по сравнению с полноточными остаётся открытым.

Публикация показывает, что даже на платформе .NET можно экспериментировать с малютками-нейросетями без серьёзных ресурсов. Если подобные решения получат развитие, это может изменить подход к развёртыванию моделей на периферийных устройствах.