LLM API и интеграция

Как посчитать окупаемость нейросети

Как посчитать окупаемость нейросети

Окупаемость внедрения считают не экономией на зарплате, а стоимостью одного полезного действия до и после. Возьмите операцию, которую автоматизируете, посчитайте её полную себестоимость сегодня, прибавьте к будущей себестоимости расход на модель и время человека на проверку результата — на типовых сценариях проверка съедает от 20 до 40 процентов выигрыша. Без этой строки расчёт завышает результат вдвое.

Дальше — метод в шести шагах, таблица себестоимости одной операции до и после, разбор рисков и ошибок. Обещаний в статье нет: есть способ получить свою цифру за половину рабочего дня.

Как вообще считается окупаемость

Разницей себестоимости одной операции, умноженной на число операций, минус разовые затраты. Формула короткая:

(себестоимость до − себестоимость после) × операций в месяц = месячный выигрыш. разовые затраты ÷ месячный выигрыш = срок окупаемости в месяцах.

Вся сложность — не в формуле, а в том, что именно попадает в две себестоимости. Туда должно попасть всё: время человека, расход на модель, время на проверку, стоимость ошибки и доля поддержки, приходящаяся на одну операцию.

Шесть шагов расчёта:

  1. Выберите одну операцию. Не «внедрим нейросеть в поддержку», а «первичная классификация обращения».
  2. Возьмите число операций из выгрузки, а не из головы.
  3. Посчитайте себестоимость операции сегодня — в минутах человека, переведённых в деньги по вашей ставке.
  4. Посчитайте себестоимость после — расход на модель плюс время на проверку.
  5. Оцените разовые затраты — постановка, интеграция, подготовка данных, приёмка.
  6. Разделите и посмотрите на срок.

Что считать полезным действием

Операцию, у которой есть измеримый результат и понятно, кто её сейчас делает. Если на вопрос «кто делает это сегодня и сколько это занимает» нет ответа в минутах, считать нечего.

Хорошие кандидаты: классификация обращения, извлечение полей из документа, первичный ответ на типовой вопрос, подготовка черновика письма, проверка текста по чек-листу, разметка данных. Все они массовые, однотипные и имеют проверяемый результат.

Плохие кандидаты: «улучшить качество», «ускорить процессы», «разгрузить команду». Это не операции, а намерения, и окупаемость у них не считается ни до, ни после.

Сколько стоит одна операция до и после

Таблица на примере первичной обработки заявки. Числа в столбцах — ваши, структура строк — общая.

Строка себестоимостиДо внедренияПосле внедрения
Время человека на операцию6 мин1,5 мин (проверка)
Стоимость этого времени при 1 200 ₽/час120 ₽30 ₽
Расход на модель0 ₽0,03 ₽
Доля поддержки сценария на операцию0 ₽1,2 ₽
Стоимость исправления ошибок4 ₽9 ₽
Себестоимость одной операции124 ₽40,2 ₽

При пяти тысячах заявок в месяц выигрыш — около 419 000 ₽. При разовых затратах в 600 000 ₽ срок окупаемости получается примерно полтора месяца. Подставьте свою ставку часа и своё число операций: итог меняется на порядок от этих двух чисел, а не от выбора модели.

Обратите внимание на строку «стоимость исправления ошибок»: после внедрения она выше, а не ниже. Модель ошибается иначе, чем человек, и её ошибки заметны не сразу.

Сколько стоит сама модель

Меньше, чем кажется, и почти никогда не решает исхода расчёта. Заявка объёмом 4 000 входных и 600 выходных токенов на позиции за 6 ₽ за миллион стоит около трёх копеек; пять тысяч заявок — примерно 138 ₽ в месяц.

Расход на модель в KeyDealer считают по этим ставкам заранее, до внедрения: ключ заводится за минуту, оплата российской картой в рублях, 40 доступных позиций каталога открываются одним ключом, и реальный расход по каждой видно в журнале. Это единственная строка расчёта, которую можно проверить фактом, а не оценкой.

Померить объём операции в токенах надо до расчёта, а не на глаз: методика описана в разборе как считать токены. Ошибка здесь редко меняет итог, но она же — единственная строка, где ошибаться не обязательно.

Сколько закладывать на проверку человеком

От 20 до 40 процентов выигрыша в первые месяцы. Это самая честная и самая пропускаемая строка расчёта.

Проверка нужна всегда, вопрос только в её плотности. На старте разумно проверять всё, через месяц — по выборке, ещё через квартал — по правилам: сплошь там, где цена ошибки высокая, выборочно там, где низкая. Без сбора статистики ошибок эта плотность не снижается никогда, и расчёт, где проверка «отпадёт сама», не сбывается.

Плотность проверки напрямую зависит от того, насколько хорошо вы измерили качество до запуска. Порядок такой проверки — в статье как тестировать нейросеть.

Что нужно, чтобы расчёт был честным

Четыре вещи. Без любой из них считать преждевременно.

Выгрузка с числом операций за три месяца. Не среднее по памяти, а факт с сезонностью.

Ставка часа по вашей компании. Полная: оклад, налоги, накладные. Иначе вы сравниваете чистую ставку с грязным расходом.

Выборка из пятидесяти операций с известными правильными ответами. Это то, на чём вы измерите долю верных ответов и получите плотность проверки.

Ответ на вопрос, что происходит с высвобожденным временем. Если ничего — выигрыш бумажный.

Какие риски ломают расчёт

Четыре, по убыванию частоты.

Высвобожденное время никуда не уходит. Самый частый риск. Люди остаются, зарплата остаётся, экономия существует только в презентации.

Доля верных ответов проседает на реальных данных. На выборке 92 процента, в проде 78, потому что в проде встречаются случаи, которых в выборке не было.

Объём операций меняется. Сезонный спад вдвое удваивает срок окупаемости, а разовые затраты уже потрачены.

Сценарий требует поддержки больше, чем заложили. База знаний устаревает, форматы входящих документов меняются, промпт правят после каждого разбора.

Какие ошибки встречаются чаще всего

Пять штук, и четыре из них завышают результат.

Считают экономию на зарплате. Экономия появляется, когда вы не нанимаете следующего человека, а не когда нынешний освободился на час.

Забывают разовые затраты. Постановка, интеграции, подготовка данных и приёмка — это деньги, потраченные до первой операции. Их структура разобрана в статье сколько стоит внедрить нейросеть.

Не закладывают проверку. Разобрано выше, добавить нечего.

Берут число операций из ощущения. Ошибка в разы, которая переносится на итог целиком.

Считают пилот, а масштабируют прод. На ста операциях качество и себестоимость ведут себя иначе, чем на пятидесяти тысячах.

Что делать, если расчёт не сходится

Не внедрять. Несходящийся расчёт — это результат, а не неудача: он стоил вам полдня вместо квартала и одной команды.

Прежде чем закрывать тему, проверьте три вещи. Первая: не выбрана ли слишком редкая операция — окупается массовое, а не сложное. Вторая: не завышены ли разовые затраты из-за интеграции, которую можно отложить на второй этап. Третья: нет ли рядом операции проще и массовее; в поддержке это обычно классификация, а не ответ клиенту, а в документообороте — извлечение полей, а не составление текста. Ориентиры по типовым сценариям есть в разборе сколько стоит чат-бот с нейросетью.

Если после этих трёх проверок цифра всё равно не сходится — значит, у вас нет задачи для модели. Это нормальный ответ, и он дешевле любого другого.

Как считать, если выигрыш не в деньгах

Через ту же себестоимость операции, но с заменой единицы. Скорость, пропускная способность и качество считаются, если довести их до числа.

Скорость переводится в деньги через упущенные операции: если заявка обрабатывается за час вместо суток и это снимает пять процентов отказов, посчитайте эти пять процентов от выручки на заявку. Пропускная способность — через ненанятых людей: сколько операций в месяц команда вытягивала до и сколько вытягивает после при том же составе. Качество — через стоимость исправления: сколько стоит один пропущенный дефект и на сколько изменилась их доля.

Если ни одну из трёх величин не удаётся довести до числа, окупаемость не считается. В этом случае честная формулировка — «делаем эксперимент с ограниченным бюджетом», а не «внедряем и посчитаем потом».

Чего мы не утверждаем

Мы не утверждаем, что внедрение окупится. Мы даём способ проверить это на своих числах; у части компаний ответ будет отрицательным, и это корректный результат расчёта, а не ошибка метода.

Мы не называем сроков окупаемости для вашего случая. Диапазон «от трёх месяцев до года» — наблюдение по типовым сценариям, а не прогноз: он зависит от ставки часа, объёма операций и доли верных ответов, которых мы не знаем.

Мы не утверждаем, что доля верных ответов на вашей выборке сохранится в проде. Практика говорит обратное: на реальном потоке она обычно ниже, и запас стоит закладывать в расчёт заранее.

Что нужно, чтобы попробовать

Ключ заводится за минуту на keydealer.ru/login — почта и пароль, без документов и без зарубежной карты. Оплата российской картой в рублях, один ключ на весь каталог.

Приветственный бонус даёт доступ к платным позициям сразу. Полсотни своих реальных операций через API и журнал расхода закрывают две строки расчёта фактом: себестоимость операции в модели и долю верных ответов на ваших данных. Остальные строки считаются в таблице.

Что держать в голове

Считать надо стоимость одного полезного действия до и после, а не экономию на зарплате. Зарплата не уменьшается от автоматизации, себестоимость операции — уменьшается.

Проверка человеком — строка расчёта, а не временное неудобство. Двадцать-сорок процентов выигрыша на первые месяцы, дальше по статистике ошибок.

Расход на модель почти никогда не решает исхода. Решают число операций, ставка часа и то, что происходит с высвобожденным временем. Как мы проверяем факты и почему у каждой цифры стоит дата — на странице о проекте. Завести ключ и померить свою операцию: keydealer.ru/login.

Частые вопросы

Как посчитать окупаемость внедрения нейросети?

Через стоимость одного полезного действия. Посчитайте полную себестоимость одной операции сегодня, потом её же после внедрения — с расходом на модель и с временем человека на проверку результата. Разница, умноженная на число операций в месяц, и есть месячный выигрыш.

Почему нельзя считать экономию по зарплате?

Потому что зарплата не уменьшается от того, что часть задач ушла к модели. Человек остаётся в штате и занимается другим. Экономия становится настоящей, только когда вы не нанимаете следующего или когда высвобожденное время уходит на работу, которая приносит деньги.

Сколько закладывать на проверку результата человеком?

От 20 до 40 процентов выигрыша на первые месяцы. Ниже опускаться можно, когда набрана статистика ошибок и понятно, какие случаи проверять сплошь, а какие выборочно. Расчёт без этой строки завышает окупаемость вдвое.

Сколько занимает срок окупаемости на практике?

При честном расчёте — от трёх месяцев до года. Быстрее трёх месяцев выходит там, где операция массовая и простая; дольше года — там, где разовые затраты на интеграции и базу знаний превышают годовой выигрыш.

Какая строка расчёта чаще всего оказывается неверной?

Число операций в месяц. Его берут из ощущения, а не из выгрузки, и ошибаются в разы. Всё остальное — производные от этого числа, поэтому ошибка в нём переносится на итог целиком.

Что делать, если расчёт не сходится?

Не внедрять и не искать, где подкрутить цифры. Несходящийся расчёт — полезный результат: он стоил вам полдня вместо квартала. Проверьте, нет ли рядом операции массовее и проще, — обычно окупается именно она.

Источники