Nemotron 3.5 Transcribe: открытое распознавание речи

28 октября 2026 года NVIDIA выпустила открытую модель Nemotron 3.5 Transcribe. Она расшифровывает речь на 40 языках, включая русский, обрабатывает записи до часа и размечает до восьми говорящих. Всего в ней 34 млрд параметров, активны 4,3 млрд. Лицензия OpenMDW-1.1 разрешает коммерческое использование. Запуск — на одной видеокарте H100 80 ГБ.

Ниже — что именно вышло, что модель умеет с русским, как читать цифры вендора и что нужно, чтобы поднять её у себя. Все данные взяты из карточки модели на Hugging Face и статьи NVIDIA в блоге Hugging Face.

Что выпустила NVIDIA

Модель с полным названием NVIDIA-Nemotron-3.5-Transcribe-30B-A4B. По карточке её опубликовали 28 октября 2026 года сразу в нескольких местах: на Hugging Face, в каталоге build.nvidia.com, в реестре NGC и в репозитории NeMo Speech на GitHub. Копия есть и на ModelScope.

Рядом с основными весами лежат три дополнительных репозитория: квантованные версии FP8 и NVFP4 и отдельная черновая модель DFlash2 для ускорения генерации. Вместе с моделью NVIDIA открыла набор данных Granary v2 — 463 062 часа речи на 48 языках — и инструменты дообучения в NeMo Speech.

Это рыночная новость, а не новинка нашего каталога: Nemotron 3.5 Transcribe в KeyDealer нет.

Что умеет модель

Одна модель закрывает несколько задач, которые раньше собирали из разных компонентов.

Расшифровка. 40 языков, дословно со словами-паразитами или в чистовом виде. Стиль задаётся текстовой инструкцией.

Разметка говорящих. До восьми человек в записи, по статье NVIDIA — для 13 языков. Метки различают голоса внутри записи и не устанавливают личность.

Перевод. 31 язык с английского и на английский.

Вопросы по записи. Например, «какие решения приняли на встрече». Эта функция обучена и проверена только на английском, на других языках карточка надёжной работы не обещает.

Подсказки словаря. В инструкции можно перечислить термины и имена, которые встретятся в записи: названия препаратов, фамилии, внутренние продукты.

Таймкоды слов. Начало и конец каждого слова в секундах, вместе с меткой говорящего.

Ограничение по длине — запись до одного часа. И главное: модель офлайновая. NVIDIA прямо пишет, что она рассчитана на записанный звук, а не на потоковое распознавание в реальном времени.

Сколько в ней параметров

В названии стоит 30B-A4B, в карточке — 34 млрд параметров всего и 4,3 млрд активных. Расхождение объясняется составом: 34 млрд считаются вместе со звуковым энкодером.

Устроена модель так. Основа — языковая модель Nemotron 3.5 Lightning 30B-A3B, гибрид Mamba и Transformer со смесью экспертов. К ней добавлены энкодер распознавания примерно на 600 млн параметров и энкодер говорящих примерно на 99 млн, взятый из Nemotron 3 Diarization. Активных параметров у языковой части около 3,5 млрд, вместе со звуковой частью — 4,3 млрд.

Смесь экспертов здесь важна для цены запуска: на каждый токен работает малая часть сети, поэтому модель на 34 млрд параметров обслуживается одной видеокартой.

Кстати, модель из семейства Nemotron 3.5 Lightning есть в нашем каталоге как текстовая позиция nemotron-3-5-lightning. О бесплатных позициях NVIDIA в каталоге — в материале про Nemotron 3 Ultra.

Как модель работает с русским

В таблице языков карточки русский стоит на высшем из трёх уровней качества — «Leading», то есть на уровне лучших результатов без дообучения. Поддержаны все четыре задачи: распознавание, перевод с английским в обе стороны, запись нескольких говорящих и смешение языков в одной записи.

Цифры по русскому из карточки, это замер вендора:

WER — доля слов, распознанных с ошибкой. 3,8% означает примерно четыре ошибки на сто слов на чистой начитанной речи. На записях звонков, совещаний с перебиваниями и шумной улицы ошибок будет больше, и насколько — покажет только проверка на ваших файлах.

Обратите внимание: сводный многоязычный показатель 4,62%, который NVIDIA выносит в заголовки, посчитан по семи языкам, и русского среди них нет. Для русского смотреть нужно строки выше.

Что показывают метрики вендора

Цифры ниже NVIDIA публикует о своей модели сама или ссылается на сторонние рейтинги. Мы их не перепроверяли.

Одна несостыковка, которую стоит знать. В карточке средний WER по английскому лидерборду — 4,71% по девяти наборам, а в статье NVIDIA для того же лидерборда приведено 5,33%. Похоже, это разные срезы одного рейтинга, но в материалах это не объяснено, поэтому мы приводим цифру карточки и отмечаем расхождение.

Как сравнивать модели на своей задаче, а не по чужим таблицам, разобрано в материале как выбрать модель под задачу.

Какая лицензия

OpenMDW-1.1. Это короткая разрешительная лицензия для материалов моделей: веса, код и данные можно использовать, менять и распространять бесплатно и без ограничений по способу применения. Карточка отдельно подтверждает, что модель готова к коммерческому и некоммерческому использованию.

Условия три. При распространении нужно приложить текст лицензии и сохранить уведомления об авторстве. Если вы подаёте иск о том, что материалы модели нарушают патент или авторское право, ваши права по лицензии прекращаются. На результаты работы модели — расшифровки и переводы — лицензия ограничений не накладывает.

Это заметно свободнее, чем у многих «открытых» моделей с отдельными правилами допустимого использования. Почему вендоры по-разному относятся к открытым весам, — в материале Anthropic об открытых весах.

Какое железо нужно

Видеокарта NVIDIA поколения Ampere или новее. Конкретные конфигурации из таблицы совместимости карточки:

Эталонный запуск в карточке описан для одной H100 на 80 ГБ. Работают Linux и Windows через WSL2, на части карт — нативный Windows через GGML.

По скорости вендор приводит две цифры, и их важно не путать. С оптимизациями в коммерческом NIM одна RTX PRO 6000 Blackwell расшифровывает до 2238 секунд звука за секунду. В открытый выпуск эти оптимизации пока не вошли, и открытая интеграция с vLLM, по оценке самой NVIDIA, примерно вдвое медленнее.

Как запустить

Три пути из карточки, от простого к полному.

SGLang-Omni. Самый короткий путь к привычному эндпоинту /v1/audio/transcriptions, без NeMo. Работает на одной H100 или RTX PRO 6000 с весами BF16 или FP8:

sgl-omni serve \
  --model-path nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B \
  --model-name nemotron-transcribe --port 8000

curl http://localhost:8000/v1/audio/transcriptions \
  -F model=nemotron-transcribe -F file=@audio.wav

Таймкоды слов, разметка говорящих и перевод в этой интеграции не поддерживаются.

vLLM 0.32.0 с плагином NeMo Speech. Полная функциональность через OpenAI-совместимый /v1/chat/completions: звук передаётся в сообщении как audio_url в base64, задача — текстовой инструкцией. Для расшифровки карточка рекомендует температуру 0 и выключенное рассуждение. Час плотного разговора может занять около 20 тысяч выходных токенов, поэтому лимит max_tokens для длинных записей нужно поднять.

Hugging Face Transformers. Запуск внутри своего процесса, библиотека ставится из исходников.

Что выбрать между собственным сервером и готовым API, разобрано в материале локальная нейросеть или API.

Где модель не подойдёт

Живой диалог. Модель офлайновая. Для голосовых агентов в реальном времени нужен потоковый сервис, пример такого разобран в материале Gemini 3.8 Live.

Вопросы по записи на русском. Обучено и проверено только на английском.

Норвежский. Он есть в таблице языков, но без отметки о поддержке распознавания.

Без своего железа. Модель на 34 млрд параметров требует серверной видеокарты или свежей RTX 5090. Если такой нет, её придётся арендовать.

Распознавание речи в каталоге KeyDealer

Если поднимать свой сервер с видеокартой ради расшифровки нет смысла, в каталоге KeyDealer распознавание речи есть уже сейчас: позиции whisper-large, nova-2 и nova-3 через POST /v1/audio/transcriptions. На 30 октября 2026 года это русский язык, файлы wav до 300 секунд и 10 МБ, ответ в JSON, тем же ключом, что и текстовые модели.

Таймкоды слов у этих позиций в каталоге отмечены как неподдерживаемые, разметки говорящих там нет. Если нужен обратный путь, из текста в голос, — см. материал озвучка текста через API.

Чего мы не утверждаем

Три оговорки.

Мы не проверяли качество модели сами. Все цифры в статье — замеры NVIDIA или рейтинги, на которые NVIDIA ссылается. На ваших записях результат может быть другим.

Мы не сравниваем Nemotron 3.5 Transcribe с позициями нашего каталога. Общих замеров на одних и тех же файлах у нас нет, а сравнение чужих таблиц с разными наборами данных ничего не доказывает.

Мы не обещаем появления модели в каталоге. Её нет на 30 октября, и дату мы не называем.

Что держать в голове

Первое. Nemotron 3.5 Transcribe — открытая модель с разрешительной лицензией, которая в одном чекпоинте объединяет расшифровку, разметку говорящих, перевод и таймкоды. Русский у неё на высшем уровне поддержки.

Второе. Цифры качества — замер вендора на чистых наборах. Перед выбором прогоните полсотни своих записей и посчитайте ошибки сами, особенно на именах и терминах.

Третье. Открытые веса не значат бесплатный запуск: нужна серверная видеокарта, а самые быстрые оптимизации пока остаются в коммерческой поставке NVIDIA. Что мы за проект — на странице о проекте, ключ заводится на keydealer.ru/login.