Как принимать работу подрядчика по внедрению нейросети?

По выборке ваших реальных обращений, собранной до начала работ, с заранее названной долей верных ответов. Демонстрация на примерах подрядчика приёмкой не считается: примеры подбирал тот, кто сдаёт работу.

Чей должен быть аккаунт у поставщика моделей?

Ваш. Аккаунт оформляется на компанию-заказчика, а подрядчику выдаётся отдельный ключ, который можно отозвать. Если аккаунт у подрядчика, при расставании вы теряете и доступ, и всю историю расхода.

Кому принадлежат промпты после окончания работ?

Тому, кто это записал в договор. По умолчанию вопрос не решается сам собой, поэтому тексты инструкций стоит прямо назвать результатом работ и указать, что они передаются в исходном виде, а не как «настроенный сервис».

Как понять, что подрядчик продаёт обёртку?

По четырём признакам: нет доступа к текстам промптов, расход не виден построчно, модель нельзя сменить, демонстрация только на их примерах. Одного признака мало, три из четырёх вместе — достаточно.

Какие вопросы задавать подрядчику про расход?

Сколько токенов уходит на одно обращение, какая модель используется на каждом шаге, что входит в смету кроме токенов и кто платит за повторы после ошибок. Ответ «примерно столько-то в месяц» без разбивки означает, что расход не считали.

Что подрядчик должен передать при завершении?

Тексты промптов и их версии, схему сценария, код обвязки, размеченную выборку с эталонными ответами, список используемых идентификаторов моделей и доступ к журналу. Список пишется в договор до начала работ, а не обсуждается в последний день.

Как принять работу подрядчика по внедрению ИИ

Приёмка внедрения ИИ держится на 4 пунктах договора, зафиксированных до начала работ: критерий приёмки на вашей выборке, чей ключ и чей аккаунт, кому принадлежат промпты и данные, что передаётся при завершении. Без них приёмка превращается в оценку демонстрации, которую подрядчик собрал сам и на своих примерах. Аккаунт у поставщика моделей должен быть оформлен на вас: иначе при расставании вы теряете и доступ, и историю расхода.

Заказчик почти никогда не может оценить качество модели напрямую — и это нормально, оценивать надо не модель, а результат на своих данных. Ниже — что записать в договор, как устроена проверка, какие вопросы задавать про деньги и по каким признакам видно, что вам продают обёртку вокруг чужого API.

Что зафиксировать в договоре до начала работ

Пять строк. Все пишутся до первого платежа, потому что после начала работ переговорная позиция меняется.

Что зафиксировать	Как формулируется	Чем грозит отсутствие
Критерий приёмки	доля верных ответов на выборке из ваших обращений, собранной до старта	приёмка по впечатлению
Ключ и аккаунт	аккаунт у поставщика моделей оформлен на заказчика, подрядчику выдаётся отзываемый ключ	потеря доступа при расставании
Промпты	тексты инструкций названы результатом работ и передаются в исходном виде	переписывать сценарий с нуля
Данные	размеченные примеры и выборка остаются у заказчика	нечем проверять следующего подрядчика
Передача	перечень передаваемого при завершении, списком	«всё настроено у нас в облаке»

Обратите внимание: ни одна строка не про качество модели. Все пять про то, что останется у вас, когда работы закончатся.

Как выглядит критерий приёмки на выборке

Критерий — это число и выборка, а не формулировка «система работает корректно». Например: на 100 обращениях, отобранных вами до начала работ, доля ответов, которые можно отправить без правки, не ниже названной величины.

Выборку собираете вы, и собираете до старта. Реальные обращения за последний месяц, включая неудобные: обрывочные, на двух языках, не по теме.

Эталонные ответы пишет ваш предметный специалист, а не подрядчик. Это единственная часть приёмки, которую нельзя делегировать: тот, кто сдаёт работу, не может быть тем, кто определяет правильный ответ. Как собирается такая выборка и почему тридцати примеров мало, разобрано в статье как тестировать нейросеть.

Отдельно договоритесь, что считается неверным ответом. Выдуманный факт, отказ отвечать на вопрос из сценария и ответ не на том языке — три разных события, и их стоит различать в протоколе приёмки.

Чей должен быть ключ и чей аккаунт

Ваши. Аккаунт у поставщика моделей оформляется на компанию-заказчика, подрядчику выдаётся отдельный ключ, который вы можете отозвать в любой момент.

Причин три. Первая: при расставании вы сохраняете работающий доступ, а не начинаете с регистрации. Вторая: расход виден вам построчно, а не в пересказе. Третья: отозванный ключ мгновенно прекращает доступ, а смена пароля от чужого аккаунта — нет.

Ключ заводится на заказчика за минуту: KeyDealer даёт один ключ на весь каталог из 56 позиций с оплатой российской картой в рублях, без документов и без зарубежной карты, а расход по каждому запросу виден в журнале — подрядчику выдаётся отдельный ключ, который отзывается без остановки остального.

Практическая деталь: заведите подрядчику ключ, отличный от боевого, и поставьте на него порог расхода. Требования к хранению и разделению ключей собраны в статье как хранить API-ключи.

Кому принадлежат промпты и данные

Тому, кто это записал в договор. Умолчания здесь нет, и спор об этом после окончания работ выигрывает тот, у кого файлы.

Промпты назовите результатом работ прямо: тексты системных инструкций, их версии и правила переключения между ветками сценария передаются в исходном виде. «Настроенный сервис» результатом работ не считается.

Данные — отдельная строка. Ваши обращения, размеченные примеры и эталонные ответы остаются у вас, и подрядчик не использует их за пределами проекта. Что при этом происходит с текстами на стороне поставщика моделей, разобрано в статье хранение промптов у вендоров, а вопросы режима — в статье коммерческая тайна и нейросети.

Что подрядчик передаёт при завершении

Список пишется в договор, а не обсуждается в последний день. Минимальный состав: тексты промптов с версиями, схема сценария, код обвязки, размеченная выборка с эталонными ответами, перечень используемых идентификаторов моделей, доступ к журналу.

Отдельно — идентификаторы моделей на каждом шаге. Сценарий из пяти шагов может ходить в пять разных позиций, и без этого перечня вы не сможете ни посчитать расход, ни повторить результат.

Проверка передачи простая: другой человек по переданным материалам разворачивает сценарий заново. Если для этого нужен звонок подрядчику, передача не состоялась.

Как проверять на своих данных, а не на демо

Демонстрация подрядчика показывает только то, что он выбрал показать. Это не обман, это свойство жанра: примеры отбирались после того, как система была настроена.

Рабочий порядок — обратный. Вы отдаёте выборку, подрядчик прогоняет её, не видя эталонных ответов, и возвращает результат. Сравнение делаете вы.

Добавьте в выборку 10–15 обращений, которые сценарий обрабатывать не должен: не по теме, провокационные, с просьбой о скидке. Правильное поведение здесь — отказ и передача человеку, и это часть приёмки не меньшая, чем верные ответы. Почему граница ответственности важнее качества модели, разобрано в статье кто отвечает за ответ нейросети.

Проверяйте на том же объёме, на котором будете работать. Сценарий, показанный на десяти обращениях, ничего не говорит о поведении на тысяче.

Какие вопросы задавать про расход

Четыре вопроса, и на каждый должен быть ответ с числом.

Сколько токенов уходит на одно обращение? Не в месяц, а на одну задачу. Ответ «примерно столько-то в месяц» без разбивки означает, что расход не считали.

Какая модель используется на каждом шаге? Разброс ставок в каталоге кратный: 6 ₽ за миллион токенов у недорогой позиции против 30 ₽ у флагманской. Выбор модели на шаге меняет счёт сильнее любой оптимизации промпта.

Что входит в смету, кроме токенов? Разметка данных, интеграция, сопровождение и время ваших сотрудников обычно больше расхода на модель — разбор статей сметы есть в статье сколько стоит внедрить нейросеть.

Кто платит за повторы после ошибок? Неудачный ответ, после которого запрос уходит снова, тарифицируется дважды. На этапе отладки это заметная доля счёта.

И ещё одно: не закладывайте в расчёт скидку за кэш повторяющегося префикса. У текстовых позиций каталога поле prompt_cache сейчас отмечено как unsupported. Приёмы, которые действительно снижают счёт, собраны в статье как сократить расходы на API.

Признаки того, что вам продают обёртку

Обёртка — это тонкий слой вокруг чужого API, проданный как собственная разработка. Сама по себе обвязка вокруг API — нормальная работа; проблема в том, что вам не дают её видеть.

Нет доступа к промптам. Тексты инструкций называют коммерческой тайной подрядчика. Это означает, что при расставании сценарий придётся писать заново.

Расход не виден. Вместо журнала с токенами — фиксированная сумма в месяц без разбивки. Проверить, сколько стоит одна задача, нечем.

Модель нельзя сменить. Вопрос «что будет, если эта позиция подорожает или её отключат» остаётся без ответа. Порядок перехода на другую позицию описан в статье как перейти на другую модель — он не требует переписывания проекта, если вы сами держите ключ.

Демо только на их примерах. Просьба прогнать вашу выборку встречает объяснение, почему именно сейчас это неудобно.

Одного признака мало — так выглядит и честное готовое решение, у которого свои достоинства. Три из четырёх вместе означают, что вы покупаете доступ, а не внедрение. Сравнение двух путей по шести критериям есть в статье API или готовое решение.

Что делать, если обёртка уже куплена

Не расторгать сгоряча. Сначала выяснить, что именно у вас есть: работает ли сценарий, кто держит ключ, сохранилась ли переписка с требованиями.

Дальше три шага по возрастанию сложности. Первый — попросить выгрузку промптов и журнала расхода письменно, со ссылкой на пункт договора; отказ в письменном виде сам по себе полезен. Второй — собрать свою выборку и прогнать её через работающий сценарий, чтобы понять, что вы теряете при замене. Третий — завести собственный аккаунт у поставщика моделей и перевести на него хотя бы один шаг сценария.

Худший вариант — оставить всё как есть и отложить разговор до момента, когда подрядчик поднимет цену. К этому моменту переговорной позиции не останется вовсе.

Как принимать поэтапно

Тремя этапами, с оплатой по каждому.

Первый — выборка и критерий. Подрядчик показывает, что понял задачу: описывает ветки сценария и границу, за которой обращение уходит человеку.

Второй — прогон на вашей выборке с зафиксированной долей верных ответов и протоколом расхождений. Третий — передача материалов и работа на боевом потоке в течение согласованного срока, обычно двух-четырёх недель, с вашим журналом и вашим ключом.

Роль предметного специалиста на всех трёх этапах остаётся у вас — её нельзя передать вместе с техническим заданием. Как распределяются роли внутри компании, разобрано в статье сколько людей нужно для внедрения.

Чего мы не утверждаем

Мы не даём юридических заключений. Формулировки про принадлежность результата работ, режим коммерческой тайны и ответственность за качество проверяет ваш юрист, а не блог сервиса доступа к моделям.

Мы не утверждаем, что подрядчик всегда хуже своей команды. Внешняя команда закрывает обвязку быстрее, и признак, по которому это выгодно, — отсутствие своего разработчика, а не недоверие к подрядчикам.

Мы не утверждаем, что перечисленных признаков достаточно, чтобы отличить обёртку от продукта. Бывает честное готовое решение, которое закрывает промпты и не показывает расход, и при этом решает задачу; вопрос в том, устраивает ли вас такая зависимость.

Что нужно, чтобы попробовать

Ключ заводится за минуту на keydealer.ru/login — почта и пароль, без документов и без зарубежной карты. Аккаунт оформляется на вашу компанию, подрядчику выдаётся отдельный ключ.

Ставка каждой позиции приходит в ответе GET /v1/models до первого запроса, поэтому смету подрядчика можно проверить арифметикой, а не на слово. Что проверить до первого боевого запроса, собрано в статье чек-лист перед внедрением модели.

В каталоге текст, изображения и переранжирование. Генерации видео, синтеза и распознавания речи у нас нет — если подрядчик закладывает их в смету, источник будет другой, и это стоит выяснить до подписания.

Что держать в голове

Приёмка решается до начала работ, а не в конце. Критерий на вашей выборке, ваш аккаунт и ключ, права на промпты и данные, перечень передаваемого — четыре пункта, которые после старта обсуждаются хуже.

Проверка делается на ваших данных и вашим предметным специалистом. Демонстрация подрядчика показывает то, что он выбрал показать, и приёмкой не является.

Ключ и аккаунт у поставщика моделей должны быть оформлены на вас — это не вопрос доверия, а вопрос того, что останется работать, когда договор закончится. Как мы проверяем факты и почему у каждой цифры стоит дата — на странице о проекте. Завести собственный ключ и выдать подрядчику отдельный: keydealer.ru/login.