Стоимость обучения современных нейросетей, таких как ChatGPT-5, достигает полутора-двух с половиной миллиардов долларов, а один сервер с восемью H100 обходится в сотни тысяч. Причина таких расходов — избыточность хранения данных: 90% параметров — это малозначимые числа, которые занимают место как полноценные 16-битные значения.

Исследователи ищут способы заставить нейросеть думать почти так же хорошо, но весить в десять раз меньше и не требовать дорогих GPU. Один из перспективных подходов — использование однобитных и тернарных сетей, где значения параметров сводятся к минимуму возможных состояний.

В статье на Хабре команда Exnode разбирает, насколько такие технологии реальны для применения в больших языковых моделях. Подробности и технические детали можно найти в полной версии материала по ссылке.