Нейросеть медленно отвечает: как ускорить

«Медленно» — это четыре разные проблемы, и лечатся они по-разному. Время до первого токена зависит от длины вашего запроса; скорость генерации — от модели; общее время — в первую очередь от длины ответа; а редкие длинные паузы обычно означают вовсе не модель, а очередь или повтор после отказа. Пока вы не разложили задержку на эти четыре части, любые улучшения будут наугад — и чаще всего люди меняют модель там, где хватило бы ограничить длину ответа. Разбираем, что мерить, что чинится бесплатно и в каких случаях быстрее уже не будет.

Из чего складывается задержка

Четыре слагаемых. Знать их порознь важнее, чем знать сумму.

Время до первого токена. Пока модель обрабатывает ваш запрос и не выдала ещё ни одного символа. Растёт с длиной контекста: чем больше вы отправили, тем дольше эта фаза.

Скорость генерации. Сколько токенов в секунду модель выдаёт после старта. Свойство модели и маршрута, вашим кодом почти не управляется.

Длина ответа. Прямой множитель: ответ вдвое длиннее генерируется вдвое дольше. Самый управляемый параметр из всех.

Очередь и повторы. Ожидание на стороне провайдера при нагрузке плюс ваши собственные повторы после отказов. Проявляется не как ровное замедление, а как редкие длинные всплески.

Отсюда первое правило диагностики: смотрите на распределение, а не на среднее. Средние 3 секунды при разбросе от 1 до 40 — это совсем другая проблема, чем ровные 3 секунды.

Что мерить

Пять величин, которые надо логировать до того, как что-то менять.

Время до первого токена отдельно от общего.

Общее время ответа.

Число выходных токенов. Без него первые две величины не интерпретируются: медленный ответ может быть просто длинным.

Число входных токенов. Чтобы связать время до первого токена с объёмом контекста.

Перцентили, а не среднее. Медиана и 95-й — минимум. Именно 95-й перцентиль чувствует пользователь, который жалуется.

Всё это есть в ответе API и в вашем коде — что стоит писать в логи. Без этих пяти чисел разговор об ускорении беспредметен.

Что чинится бесплатно

Четыре приёма по убыванию эффекта. Ни один не требует смены модели.

Ограничьте длину ответа. Значение по умолчанию обычно щедрее, чем вам нужно. Это единственный прямой множитель общего времени и заодно прямой рычаг на счёт — почему выход дороже входа.

Просите краткость в задании. «Ответь одним абзацем» работает не хуже технического ограничения и не обрывает мысль на середине.

Сократите контекст. Время до первого токена растёт с объёмом запроса. Отправлять документ целиком там, где хватает найденных фрагментов, — это и медленнее, и дороже: поиск по своим документам.

Уберите лишние описания инструментов. Они уходят в модель при каждом обращении и удлиняют фазу обработки — как устроен вызов функций.

По опыту первые два пункта закрывают большую часть жалоб на скорость. Их и стоит попробовать до всего остального.

Потоковая передача: что она меняет

Отдельный раздел, потому что здесь путают два разных улучшения.

Стриминг не ускоряет генерацию: те же токены выдаются с той же скоростью, и общее время не меняется. Он меняет воспринимаемую скорость — человек видит первые слова через долю секунды вместо ожидания всего ответа.

Для интерфейсов, где ответ читает человек, это самое дешёвое улучшение из существующих: ощущение отзывчивости меняется радикально при нулевом изменении реальных цифр.

Для кода, который дожидается полного ответа перед разбором, стриминг не даёт ничего и добавляет сложности. Подробный разбор — когда нужен стриминг, а когда нет.

Когда дело в модели

Признаки, по которым видно, что упёрлись в неё.

Время до первого токена мало, а генерация ползёт. Значит проблема в скорости выдачи, и она свойство модели.

Ответы короткие, а время большое. Ограничение длины уже не поможет.

Контекст небольшой, а фаза обработки долгая. Тоже к модели или маршруту.

В этих случаях имеет смысл попробовать позицию, заявленную как быстрая. В каталоге на 5 сентября 2026 года 54 модели в шестнадцати семействах, и часть из них прямо описана как быстрые — но проверять надо на своей нагрузке, а не по описанию: разница между заявленным и наблюдаемым бывает существенной.

Проверка простая: сто своих реальных запросов на двух-трёх позициях, сравнение медианы и 95-го перцентиля — методика сравнения.

Когда дело не в модели

Три случая, где менять модель бесполезно.

Редкие длинные всплески при нормальной медиане. Это очередь или повторы. Смотреть надо на коды отказов и на свою логику повторов — что делать при отказе и как устроены лимиты частоты.

Задержка выросла после релиза вашего кода. Почти наверняка вырос контекст: добавили правило в системный промпт, стали подкладывать больше данных, перестали обрезать историю.

Медленно только в одном сценарии. Значит дело в том, что вы отправляете в этом сценарии, а не в модели, которая обслуживает все.

Отдельно про агентские цепочки: там общее время складывается из нескольких обращений подряд, и «медленно» означает много шагов, а не медленную модель. Ускоряется сокращением числа шагов.

Что нельзя ускорить

Честный список, чтобы не искать несуществующее решение.

Скорость генерации сильной модели. Она физически выдаёт токены медленнее лёгкой, и это плата за качество.

Обработку очень длинного контекста. Сто тысяч токенов не обрабатываются мгновенно ни у кого.

Рассуждающие модели. Внутренний ход мысли — это тоже сгенерированные токены, и они занимают время, даже если вы их не видите.

Практический вывод: если вам нужна и сила, и скорость, обычно правильный ответ — разделить задачи. Быстрая модель на массовое и простое, сильная на редкое и сложное. Тогда пользователь ждёт долго только там, где это оправдано.

Что сделать в первую очередь

Порядок диагностики на полчаса, если жалоба уже поступила.

1. Посмотрите на 95-й перцентиль, а не на среднее. Если он в разы больше медианы — проблема во всплесках, и модель ни при чём.
2. Разделите время до первого токена и общее. Это два разных диагноза.
3. Посмотрите на число выходных токенов в медленных ответах. Если они длинные — вы нашли причину, и она чинится одной строкой.
4. Сравните длину входа между быстрыми и медленными запросами. Корреляция укажет на контекст.
5. Проверьте, не выросло ли что-то после последнего релиза. Системный промпт, объём подкладываемых данных, длина истории.

По опыту третий пункт закрывает вопрос чаще остальных: жалуются на «медленную модель», а модель просто пишет длинно, потому что её об этом не просили иначе.

И привычка, которая избавляет от таких разборов: держите ограничение длины ответа осознанным с первого дня, а не оставляйте значение по умолчанию. Оно щедрое, потому что рассчитано на все сценарии сразу, а не на ваш.

Чего мы не утверждаем

Не приводим цифр скорости по моделям. Своих замеров мы не делали, а наблюдаемая скорость зависит от нагрузки и маршрута.

Не обещаем, что смена позиции ускорит. Проверять надо на своей нагрузке.

Не обещаем стабильности задержек. Они зависят от загрузки на стороне вендора и меняются в течение суток.

Что нужно, чтобы проверить

Ключ заводится за минуту на keydealer.ru/login — почта и пароль, без документов. Оплата российской картой в рублях, один ключ на весь каталог: прогнать сто своих запросов на трёх позициях из разных семейств и сравнить перцентили можно без нового договора на каждую.

Платные текстовые модели доступны сразу на приветственном бонусе — для замера скорости пополнять баланс не нужно.

Что держать в голове

«Медленно» раскладывается на четыре части, и модель отвечает только за одну из них. Начинать надо с измерения, а не со смены позиции.

Два действия закрывают большинство жалоб: ограничить длину ответа и включить потоковую передачу. Первое сокращает реальное время и счёт, второе меняет ощущение при нулевых затратах.

Как мы проверяем факты и что храним из запросов — на странице о проекте и в llms.txt. Замерить свою нагрузку на нескольких моделях: keydealer.ru/login.