Сколько стоит ошибка нейросети и где ставить проверку

Модель ошибается всегда, и вопрос не в том, как этого избежать, а в том, сколько стоит конкретная ошибка в вашем сценарии. Считается она как последствие, умноженное на вероятность: опечатка в черновике письма стоит полминуты, неверная цена в предложении клиенту — сделки. Отсюда и решение, где ставить проверку: сплошная вычитка съедает всю выгоду от автоматизации, а её отсутствие превращает экономию в убыток на первом же серьёзном случае.

Разберём, как посчитать цену ошибки для своего сценария, какие проверки стоят копейки и где человек обязателен.

Почему «модель иногда ошибается» — бесполезная формулировка

Она верна и ничего не даёт. Полезная формулировка звучит иначе: что произойдёт, если этот конкретный ответ окажется неверным, и как быстро мы это заметим.

Два сценария с одинаковой вероятностью ошибки различаются в цене на три порядка. Черновик письма коллеге: ошибку видит автор, стоимость — полминуты. Цена в коммерческом предложении клиенту: ошибку видит клиент, стоимость — репутация и возможная сделка.

Поэтому первый шаг — не выбор модели и не написание промпта, а короткий ответ на вопрос: кто первым увидит ошибку и что успеет произойти до этого.

Как посчитать цену ошибки

Метод, который занимает полчаса и закрывает вопрос.

1. Опишите худший реалистичный исход. Не катастрофу, а то, что действительно бывает: клиент получил неверную цену, в отчёт попала выдуманная цифра, в код уехала небезопасная конструкция.
2. Оцените его в деньгах или во времени. Час работы, стоимость сделки, штраф, час простоя.
3. Прикиньте частоту. Достаточно грубо: из ста ответов сколько оказались неверными на вашей выборке. Меньше ста примеров — оценка, и это нормально.
4. Перемножьте. Получите стоимость ошибок на сто обращений.
5. Сравните с ценой проверки. Если проверка дешевле, она обязательна. Если дороже — сценарий либо не автоматизируется, либо переделывается так, чтобы ошибка стала дешевле.

Пятый шаг важнее остальных. Чаще всего правильный ответ не «проверять тщательнее», а «изменить сценарий так, чтобы цена ошибки упала».

Три уровня проверки по цене

Формальные правила в коде — почти бесплатно. Строгий формат ответа, обязательные поля, диапазон допустимых чисел, сверка каждой цифры с исходником. Ловит большую часть брака и не требует ни модели, ни человека. Как задать строгий формат — в статье JSON от нейросети.

Вторая модель в роли проверяющего — доли копейки. Отдельный дешёвый вызов, который отвечает на один вопрос: подтверждается ли утверждение исходником. Работает против выдуманных фактов, не работает против системных ошибок рассуждения.

Человек — самое дорогое. Минута внимания стоит дороже тысячи обращений к недорогой модели. Поэтому человека ставят не на поток, а на выборку и на исключения.

Сколько стоит проверка второй моделью

Считаем: ответ на 500 токенов плюс исходник на 1 500 токенов уходят на проверку, ответ проверяющей модели — 100 токенов.

Сравните это с минутой работы человека. Даже на самой дорогой строке таблицы десять тысяч проверок стоят дешевле трёх часов ручной вычитки, а покрывают объём, который руками не покрывается вовсе.

Такая схема собирается на одном ключе: основная модель и проверяющая берутся из одного каталога, переключение — строка в конфигурации. В каталоге KeyDealer на 14 сентября 2026 года 53 позиции, из них 40 доступны, и пять текстовых работают по нулевой ставке — их обычно и ставят проверяющими.

Где человек обязателен

Четыре признака. Если совпал хотя бы один, автоматическую отправку без человека не делают.

Ответ уходит наружу. Клиенту, в публичный канал, в документ с подписью.

Речь о деньгах, правах или здоровье. Цена, скидка, доступ, диагноз, дозировка.

Ошибку не видно постфактум. Если неверный ответ невозможно отличить от верного через неделю, проверять надо сейчас.

Решение необратимо. Отправленное письмо, проведённый платёж, удалённый файл.

Смежный разбор границ для агента — в статье права агента: что разрешать.

Что делать, если цена ошибки высокая

Не отказываться от автоматизации, а переставить её на шаг раньше.

Отдайте модели подготовку, а не решение. Она собирает материал, формулирует варианты, показывает расхождения. Решение принимает человек, и это занимает минуту вместо получаса.

Сделайте ошибку видимой. Требуйте цитату из исходника к каждому утверждению. Строка без цитаты отбраковывается автоматически, и проверять остаётся малую часть.

Сузьте задачу. «Составь договор» — высокая цена ошибки. «Найди в договоре пункты, противоречащие друг другу» — низкая, потому что человек всё равно смотрит найденное.

Пример расчёта целиком

Возьмём разбор входящих заявок: модель вытаскивает из письма контакт, продукт и срочность, и это попадает в карточку.

Худший реалистичный исход: срочная заявка помечена как обычная и лежит два дня. Стоимость — потерянная сделка, допустим 30 000 ₽. Частота на выборке из ста заявок: три ошибки в определении срочности, из них одна на действительно срочной. Значит примерно один такой случай на сто заявок.

Цена ошибок на сто заявок — около 300 ₽ в среднем. Генерация тех же ста заявок на недорогой позиции стоит рубли. То есть ошибки дороже самой работы в десятки раз, и проверка обязательна.

Но какая. Сплошная вычитка ста заявок человеком — это два часа, дороже потерь. Формальное правило дешевле и точнее: если в тексте есть слова про срок, штраф или остановку, заявка помечается срочной независимо от решения модели. Одно правило в коде закрывает основную часть риска бесплатно.

Это типичный итог такого расчёта. Правильный ответ обычно не «проверять больше», а «поймать конкретный класс ошибок конкретным правилом».

Когда дорогая модель дешевле дешёвой

Случай, который выглядит парадоксально, но встречается часто.

Если цена ошибки высокая, а проверка дорогая или невозможна, разница в частоте ошибок между позициями превращается в деньги напрямую. Позиция за 1 ₽ за миллион экономит рубли на генерации и может стоить десятков тысяч на одном пропущенном случае.

Обратное тоже верно и встречается чаще: на задачах, где проверка формальная и дешёвая, флагман не окупается вовсе. Разбор того, как сравнивать позиции на своих данных, — в статье как сравнивать модели.

Практическое правило: чем дешевле проверка, тем дешевле может быть модель. Чем дороже проверка, тем внимательнее к выбору позиции.

Частые ошибки в самой проверке

Проверяют тем же промптом и той же моделью. Она подтвердит собственный ответ, потому что рассуждала так же.

Проверяют формулировку, а не факт. Красивый текст с выдуманной цифрой проходит такую проверку легко.

Считают уверенный тон признаком правильности. Связи нет, и это стоит держать в голове постоянно — подробнее в статье галлюцинации нейросети.

Ставят проверку в конец. Дешевле ловить брак там, где он возник, а не на выходе всей цепочки: к последнему шагу неверный факт уже размножился по тексту и вычищать его дороже.

Проверяют только то, что легко проверить. Формат и наличие полей контролировать просто, поэтому контролируют их, а содержательную часть пропускают. В итоге брак проходит в правильно оформленном виде.

Чего мы не утверждаем

Мы не даём нормативов частоты ошибок. Она зависит от задачи, данных и промпта, и меряется только на вашей выборке.

Мы не обещаем, что проверка второй моделью ловит всё. Она ловит выдуманные факты и расхождения с исходником, но не системные ошибки рассуждения.

Расчёт в таблице — модель поведения на заданных допущениях, а не ваш счёт.

Что нужно, чтобы посчитать своё

Ключ заводится за минуту на keydealer.ru/login — почта и пароль, без документов и без зарубежной карты. Оплата российской картой в рублях.

Разумный первый шаг — взять сто уже полученных ответов и посчитать, сколько из них оказались неверными и что это стоило. Без этой цифры разговор о проверках беспредметен.

Что держать в голове

Цена ошибки считается как последствие, умноженное на вероятность, и решает всё остальное.

Формальные правила в коде ловят большую часть брака бесплатно, вторая модель стоит доли копейки, человек дорог и ставится на выборку.

Если цена ошибки высокая, дешевле изменить сценарий, чем усиливать проверку. Как мы проверяем факты и почему у каждой цифры стоит дата — на странице о проекте. Завести ключ: keydealer.ru/login.