Обзоры и сравнения моделей
llama-modchip: DeepSeek на 284 млрд без видеокарты
Открытый проект llama-modchip запускает DeepSeek V4 Flash — модель на 284 млрд параметров — на компьютере с 64 ГБ памяти без видеокарты. По замерам автора на процессоре AMD Ryzen 9 9955HX модель занимает около 59 ГБ памяти и выдаёт около 9 токенов в секунду. Секрет — новые форматы сжатия весов до 3–3,75 бит на параметр.
Ещё год назад модель такого размера требовала сервера с несколькими ускорителями. Ниже — как устроен проект, какие у него ограничения и когда запуск на своём компьютере выгоднее API, а когда нет.
Что сделал автор проекта
llama-modchip — проект разработчика под ником synchopate, опубликованный на GitHub 29 октября 2026 года под лицензией Apache 2.0. За две недели он собрал больше тысячи звёзд. Это не отдельная программа, а набор доработок для llama.cpp:
- два новых формата сжатия весов — Fractal-64 на 3,75 бита и LUT-VQ3-64 на 3 бита на параметр;
- ядра вычислений для процессоров с AVX-512 и для Apple Silicon через Metal;
- инструменты перекодирования готовых сжатых моделей;
- готовые сжатые версии DeepSeek V4 Flash и Nvidia Nemotron 3.5 30B на Hugging Face.
Важная деталь: обычные llama.cpp, Ollama, vLLM и LM Studio такие файлы открыть не могут. Нужна сборка с доработками проекта.
Почему большая модель помещается в 64 ГБ
DeepSeek V4 Flash — модель MoE. Из 284 млрд параметров на каждый токен работает около 13 млрд. Это значит, что вычислений на токен немного, но все веса нужно где-то держать.
В исходном формате BF16 модель весит около 569 ГБ. Обычное сжатие до 4 бит даёт больше 140 ГБ. Автор сжимает веса экспертов до 3–3,75 бита и получает около 57 ГБ — это помещается в 64 ГБ оперативной памяти с запасом на систему.
Ограничение скорости на процессоре — пропускная способность памяти, а не вычисления. На каждый токен нужно прочитать веса активных экспертов. Более плотное сжатие означает меньше данных на чтение и выше скорость. Поэтому автор подчёркивает роль памяти: на двухканальной DDR5 скорость упирается примерно в 9 токенов в секунду, а на серверных платформах с восемью каналами памяти она может быть заметно выше. Видеокарта в этой схеме не нужна вовсе, хотя часть вычислений при желании можно перенести на неё.
Сколько токенов в секунду
Замеры автора для DeepSeek V4 Flash на 16-ядерном Ryzen 9 9955HX с двухканальной DDR5-5600:
| Режим | Скорость |
|---|---|
| Чтение промпта, первый запуск | 37,8–43,5 токена в секунду |
| Генерация, обычный режим | около 8,75–9,55 токена в секунду |
| Генерация со спекулятивным декодированием | 11–25 токенов в секунду на отдельных задачах |
| Память процесса | 58,2–59,1 ГБ |
Для меньшей модели Nemotron 3.5 30B те же приёмы дают около 22 токенов в секунду при 13–16 ГБ памяти. По словам автора, на Apple M1 Max и M3 Max небольшие модели работают ещё быстрее через Metal.
Насколько хорошо работает сжатая модель
Здесь главный вопрос. Автор публикует собственный набор проверок: 80 баллов функциональных тестов — инструменты, код, поиск в длинном контексте — и отдельный сложный набор на 60 баллов.
| Версия DeepSeek V4 Flash | Функциональные тесты | Сложный набор |
|---|---|---|
| Основная, 3,75 бита | 70 из 80 | 40 из 60 |
| Сжатие до 3 бит | 64 из 80 | 30 из 60 |
Сравнить с полной моделью на той же машине нельзя: оригинал в 64 ГБ просто не помещается. Поэтому неизвестно, сколько качества потеряно при сжатии. Для Nemotron 3.5 30B сравнение есть: сжатая версия набрала 100 из 100, как и оригинал, а метрики сходства ответов близки к исходной модели.
Все цифры — данные автора проекта, независимых проверок пока нет.
Когда свой запуск выгоднее API
Посчитаем. Девять токенов в секунду — это около 32 тыс. токенов ответа в час и около 780 тыс. в сутки при круглосуточной работе без пауз. Добавьте время на чтение длинных промптов.
Через API тот же DeepSeek V4 Flash стоит единицы рублей за миллион токенов, а ответы приходят в разы быстрее. В каталоге KeyDealer, со списочной ценой вендора для сравнения по курсу ЦБ на 13 ноября 2026 года, 82,9803 ₽ за доллар:
| Модель | Вход у вендора | Выход у вендора | Ставка KeyDealer, вход и выход |
|---|---|---|---|
| DeepSeek V4 Flash, маршрут 2 | $0,15–0,30 ≈ 12–25 ₽ | $0,60–1,20 ≈ 50–100 ₽ | 9 ₽ |
К запросам маршрута 2 добавляется служебный контекст около 5000 токенов, кэш у нас тарифицируется по полной ставке.
Получается, что по деньгам и скорости API выигрывает почти всегда. Свой запуск оправдан в трёх случаях:
- Данные нельзя выпускать с машины. Закрытый контур, требования заказчика, отсутствие интернета.
- Эксперименты и обучение. Разобраться, как модель работает изнутри, попробовать своё сжатие.
- Компьютер уже есть и простаивает. Тогда электричество — единственный расход, а скорость не критична.
Подробнее о том, как сравнивать свой запуск и API, — в статье Локальная нейросеть или API.
Как проверить модель до покупки железа
Прежде чем собирать компьютер с 64 ГБ быстрой памяти под локальный запуск, стоит убедиться, что сама модель подходит для ваших задач. Сделать это проще через API:
- Соберите 20–30 типичных задач. Код, разбор документов, ответы клиентам — то, ради чего вы хотите локальную модель.
- Прогоните их через DeepSeek V4 Flash по API. Это полная модель без сжатия, и её ответы — верхняя планка того, что можно получить локально.
- Оцените, хватает ли качества. Если полная модель не справляется, сжатая справится хуже.
- Посчитайте объём. Сколько токенов в сутки вам нужно. Если больше сотен тысяч ответных токенов, локальной скорости в 9 токенов в секунду не хватит.
- Только потом решайте про железо. Если модель подходит, объём небольшой, а данные нельзя выпускать наружу, локальный запуск имеет смысл.
Такая проверка через API стоит рубли и экономит недели настройки. DeepSeek через API подключается по OpenAI-совместимому интерфейсу — подробности в статье DeepSeek API: как подключить.
Что ещё учесть перед установкой
Несколько практических ограничений из описания проекта:
- нужна свежая сборка с доработками, готовые программы вроде Ollama файлы не откроют;
- на Linux с 64 ГБ памяти придётся ограничить длину контекста или включить сжатие памяти, чтобы система не упёрлась в лимит;
- полная скорость требует AVX-512 и быстрой памяти DDR5;
- проект молодой, выпуски выходят часто, и форматы могут меняться.
О похожем проекте, который запускал огромную модель на одной видеокарте, мы писали в статье FreeToken: 753B на одной карте. Сама DeepSeek V4 Flash и способы бесплатного доступа к ней разобраны в статье DeepSeek V4 Flash бесплатно.
Что это значит для рынка
Проект показывает тенденцию: большие модели MoE с малым числом активных параметров всё лучше подходят для обычного железа. Ограничение смещается с вычислений на память, а память дешевле видеокарт.
Для пользователей API это хорошая новость. Чем проще запускать открытые модели, тем больше компаний их размещает и тем сильнее давление на цены. Для самих вендоров открытых моделей это аргумент выпускать модели с небольшим числом активных параметров.
Чего мы не утверждаем
Мы не запускали llama-modchip. Все цифры скорости, памяти и качества — данные автора проекта.
Мы не знаем, сколько качества DeepSeek V4 Flash теряется при сжатии: сравнения с полной моделью на той же машине нет.
Расчёт суточного объёма — наша оценка при непрерывной генерации, без учёта чтения промптов и пауз.
Что держать в голове
llama-modchip сжимает DeepSeek V4 Flash на 284 млрд параметров до 57 ГБ и запускает её на процессоре с 64 ГБ памяти — около 9 токенов в секунду.
Качество сжатой модели проверено только тестами автора, а сравнения с оригиналом нет.
Свой запуск оправдан для закрытых данных и экспериментов, а по цене и скорости API выигрывает. Подробнее о сервисе — на странице о проекте, ключ — на keydealer.ru/login.
Частые вопросы
Что такое llama-modchip?
Открытый проект под лицензией Apache 2.0, опубликованный на GitHub в конце октября 2026 года. Это набор доработок для llama.cpp, новые форматы сжатия весов и инструменты, которые позволяют запускать большие модели MoE на обычном процессоре без видеокарты.
Какую модель можно запустить на 64 ГБ памяти?
По данным автора, DeepSeek V4 Flash на 284 млрд параметров, из которых на токен работает около 13 млрд. Сжатая модель занимает около 57 ГБ на диске и около 58–59 ГБ в памяти. Для этого нужен компьютер с 64 ГБ DDR5 и современный процессор.
С какой скоростью работает модель?
По замерам автора на 16-ядерном AMD Ryzen 9 9955HX — около 9 токенов в секунду на генерации и около 38–44 токенов в секунду на чтении промпта. С ускорением через спекулятивное декодирование — до 21–25 токенов в секунду на отдельных задачах.
Насколько хорошо работает сжатая модель?
По собственному тесту автора, основная версия набрала 70 из 80 баллов на функциональных проверках и 40 из 60 на сложном наборе. Сравнить с оригинальной моделью на той же машине нельзя: полная версия не помещается в 64 ГБ. Независимых проверок пока нет.
Что выгоднее — запускать модель у себя или через API?
Для большинства задач API. Девять токенов в секунду — это около 780 тыс. токенов ответа в сутки при непрерывной работе. Через API тот же объём DeepSeek V4 Flash стоит единицы рублей, а скорость ответа выше. Свой запуск оправдан, когда данные нельзя выпускать за пределы машины.
Где ещё работает llama-modchip?
По словам автора — на Linux, macOS с Metal и Windows 11. Меньшая модель Nemotron 3.5 30B помещается в 16–24 ГБ памяти и выдаёт около 22 токенов в секунду на том же процессоре.