На Хабре опубликовали практический разбор запуска Ollama и Open WebUI на обычном VPS без GPU. Автор проверил, насколько жизнеспособна идея поднять локальную языковую модель на дешёвом сервере с процессором вместо видеокарты.

Минимальная конфигурация для старта — от 2 ядер CPU и 4 ГБ RAM, но для вменяемой скорости генерации текста рекомендуют 4–8 ядер и 8–16 ГБ памяти. Развёртывание делается через docker-compose: поднимаются контейнеры с Ollama и Open WebUI, а для доступа снаружи требуется настроить reverse proxy и HTTPS.

Основная проблема — скорость: на CPU даже маленькие модели вроде Llama 3.2 3B выдают 5–10 токенов в секунду, что напоминает работу со старым модемом. Автор отмечает, что для реального использования это подходит только для асинхронных задач или тестов, но не для чата в реальном времени.

Безопасность тоже хромает: Open WebUI по умолчанию не требует авторизации, и если не закрыть порты, любой может зайти и гонять вашу модель. Выход — добавить аутентификацию через встроенные средства или проксировать через nginx с basic auth.

В итоге автор приходит к выводу, что такой вариант годится только для личного ознакомления или если нужно запустить очень лёгкую модель, а для серьёзной работы лучше использовать API облачных провайдеров.