Сколько времени живёт промпт и когда его менять

Срока годности в днях у промпта нет: он живёт ровно до первого изменения одного из пяти условий — позиция модели, формат входных данных, состав обращений, процесс в компании и накопленные разовые правки. Рабочий ориентир — плановый прогон на выборке из 30–50 запросов раз в квартал и внеплановый в тот же день, когда сменилась модель. Промпт, у которого доля правок держится на прежнем уровне, переписывать не нужно.

Дальше — таблица из пяти причин старения с признаками каждой, разбор трёх симптомов «пора пересобирать», порядок пересборки, минимальная дисциплина версий и объяснение, почему правку не выкатывают сразу на живой поток. Про сам текст промпта — что в нём должно быть с самого начала — есть отдельный разбор: как написать системный промпт.

Сколько промпт работает без правок

Столько, сколько не меняется всё вокруг него. Промпт — это описание задачи для конкретной модели на конкретных данных, и устаревает он не сам по себе, а вслед за изменением одного из этих двух или процесса, ради которого написан.

Отсюда два практических следствия. Первое: дата написания ничего не говорит о качестве — промпт годовой давности может работать лучше вчерашнего. Второе: календарная проверка всё равно нужна, потому что изменения вокруг промпта происходят тихо и о них никто не сообщает.

Ориентир для планового цикла — квартал. Для сценариев, где поток обращений меняется быстро, месяц. Проверка занимает час и состоит из одного прогона выборки, а не из чтения текста промпта глазами.

Что заставляет промпт устареть

Пять причин. Четыре приходят извне, пятая копится внутри самого текста.

Колонка «как заметить» важнее остальных. Ни одна из причин не даёт отказа: система продолжает отвечать, и ухудшение видно только на числах, а не на глаз.

Почему смена модели обнуляет настройку быстрее всего

Потому что промпт настраивался под умолчания конкретной позиции. Одна модель читает «отвечай только JSON» как запрет на всё остальное, другая — как пожелание, к которому можно добавить пояснение; пока вы работали с первой, текст выглядел надёжным.

Смена случается чаще, чем кажется, и не всегда по вашей инициативе. Каталоги растут и меняются: у нас, например, недавно приехала grok-4-7 по 20 ₽ за миллион токенов, а две позиции стоят в режиме проверки. Вендоры параллельно объявляют отключения — сроки собраны в календаре отключений моделей.

Подробный разбор переноса — что ломается первым и в каком порядке чинится — в статье как обновлять промпты при смене модели. Здесь достаточно одного правила: день переключения позиции — это внеплановая проверка промпта, даже если всё выглядит нормально.

Что происходит, когда меняются входные данные

Промпт перестаёт находить то, на что опирался. Он писался под письма определённой структуры, выгрузку с определёнными колонками или документ с определёнными заголовками — и молча ломается, когда поставщик данных поменял формат.

Характерный сбой: половина обращений обрабатывается правильно, половина — с одной и той же ошибкой. Это почти всегда означает, что в потоке появился второй формат входа, а промпт знает только первый.

Отдельная категория — рост длины входа. Промпт, написанный под письмо на две тысячи знаков, на письме в двадцать тысяч начинает терять инструкции: модель уделяет больше внимания началу и концу, а середина проседает. Сколько контекста реально нужно подавать — в статье сколько контекста реально нужно.

Почему новые обращения и новый процесс ломают промпт тихо

Потому что система на них не падает, а уверенно отвечает не то. Появился новый тариф, новая услуга, новая причина возврата — сценарий этого не знает и подводит обращение под ближайший известный случай.

То же самое с изменением процесса. Промпт продолжает обещать бесплатную доставку, которую отменили в прошлом месяце, или предлагать отдел, которого больше нет. Текст не устарел технически — он перестал совпадать с реальностью компании.

Ловится это не тестами, а журналом: раз в месяц просматривают выборку обращений, не попавших ни в одну известную категорию. Если таких стало заметно больше — в поток пришла новая тема. Что писать в журнал, чтобы такой просмотр был возможен, — в статье логирование запросов к моделям, а как удерживать бота в границах темы — в как ограничить темы чат-бота.

Откуда берутся костыли и почему их нельзя просто вычеркнуть

Из разовых инцидентов. Модель ответила неудачно, кто-то дописал строку «никогда не упоминай сроки поставки», ситуация закрылась. Через год таких строк двадцать, они писались разными людьми под разные случаи и между собой не согласованы.

Дальше начинается интересное: промпт становится взаимоисключающим. «Отвечай кратко» и «разбери каждый пункт подробно» лежат в одном тексте, и результат зависит от того, какая строка оказалась ближе к концу. Поведение системы при этом выглядит случайным, хотя случайности тут немного — почему модель отвечает по-разному разобрано отдельно.

Просто вычеркнуть спорные строки нельзя: часть из них закрывает реальные инциденты, о которых все забыли. Поэтому строку без объяснения не удаляют, а проверяют — прогоняют выборку без неё и смотрят, вернулась ли старая ошибка.

Как понять, что пора пересобирать

По трём признакам. Двух из трёх достаточно, чтобы ставить пересборку в план.

• Растёт доля правок перед отправкой. Самый честный индикатор: его считают по журналу, а не по ощущениям. Рост с 10% до 25% за месяц — повод, даже если жалоб нет.
• В промпте появились взаимоисключающие указания. Проверяется чтением вслух: если два соседних правила нельзя выполнить одновременно, модель выбирает сама.
• Половину строк никто не может объяснить. Автор ушёл, причина забыта, трогать боятся. Это не про аккуратность, а про то, что систему больше нельзя менять осознанно.

Четвёртый, необязательный признак — длина. Промпт, который вырос втрое с момента запуска, почти наверняка содержит и противоречия, и мёртвые строки.

Как пересобрать промпт, не начиная с чистого листа

По шагам, с замером на каждом. Чистый лист выглядит привлекательно и стоит дороже всего: вместе с мусором уходят правила, которые закрывали реальные случаи.

1. Зафиксируйте выборку из 30–50 реальных запросов с известным правильным ответом и прогоните на ней текущую версию. Это точка отсчёта.
2. Разложите промпт на правила по одному в строке и пометьте каждое: известна причина или нет.
3. Уберите противоречия — там, где два правила спорят, оставьте одно и запишите, какое и почему.
4. Строки без известной причины проверьте прогоном без них, по одной за раз.
5. Соберите новую версию и прогоните ту же выборку. Хуже прежнего — откат; лучше или так же — выкатывайте.

Про количество примеров внутри промпта и их влияние на результат — в статье сколько примеров нужно в промте. Про приёмы, которые перестали давать эффект и которые при пересборке обычно выкидывают, — в промпт-инжиниринг: что работает.

Что записывать при каждой правке

Четыре поля рядом с текстом. Без них любая пересборка через полгода превращается в археологию.

• Номер версии и дата. Иначе нельзя сказать, какая версия работала в прошлый вторник.
• Идентификатор модели, на которой версия замерена. Промпт без привязки к позиции — половина информации.
• Причина изменения, одна строка. Что чинили и после какого случая. Это поле спасает чаще остальных.
• Результат прогона на выборке. Доля верных ответов и средняя длина ответа на той же выборке, что и у прошлой версии.

Сам промпт при этом живёт отдельным файлом, а не строкой внутри кода: то, что меняется чаще кода, из кода выносят. Та же логика, что и с идентификатором модели, — не переписывать интеграцию под релиз.

Почему правка на живом трафике — плохая идея

Потому что у вас не остаётся ни точки сравнения, ни точки отката. Ответы модели различаются от прогона к прогону сами по себе, и на живом потоке вы не отличите эффект правки от обычного разброса.

Второе: правка на потоке меняет поведение сразу для всех обращений, включая те, на которых она не проверялась. Строка, добавленная ради редкого случая, начинает влиять на остальные девяносто процентов.

Третье: откат становится восстановлением по памяти. Через две недели никто не помнит, какая формулировка стояла до, а сравнить не с чем. Порядок проверки на выборке перед выкаткой — в статье как тестировать нейросеть.

Сколько стоит плановая проверка промпта

Промпт живёт до первого изменения модели, данных, состава обращений или процесса, поэтому его не переписывают по календарю, а проверяют выборкой раз в квартал. Прогон стоит рубли: в каталоге KeyDealer 57 позиций, 44 доступны, ставки текстовых начинаются с 1 ₽ за миллион токенов, один ключ на весь каталог, оплата российской картой в рублях.

Порядок расчёта: 50 запросов по две тысячи токенов — это около 100 тысяч токенов, десятая часть миллиона. На qwen-3-7-plus за 3 ₽ или gemini-3-flash за 6 ₽ за миллион один цикл проверки стоит дешевле чашки кофе, а делается он четыре раза в год.

Скидку за повторяющийся префикс в расчёт не закладывайте: у всех текстовых позиций каталога кэш промптов помечен как неподдерживаемый, и длинный системный промпт оплачивается полностью при каждом запросе. Это ещё один довод в пользу короткого текста без мёртвых строк.

Чего мы не утверждаем

Мы не утверждаем, что квартал — правильный срок для любого сценария. Там, где поток обращений меняется каждую неделю, цикл короче; там, где задача внутренняя и стабильная, промпт живёт годами без единой правки.

Мы не утверждаем, что доля ручных правок — единственная метрика. Она удобна тем, что считается по журналу, но в задачах без вычитки её нет, и там приходится строить выборочный контроль.

Мы не оцениваем отраслевые требования к хранению и версионированию инструкций. Если у вас регулируемая отрасль, порядок хранения версий согласуют с вашим юристом и службой безопасности.

Что нужно, чтобы попробовать

Ключ заводится за минуту на keydealer.ru/login — почта и пароль, без документов и без зарубежной карты. Один ключ открывает весь каталог, оплата российской картой в рублях.

Со своей стороны понадобится выборка: 30–50 реальных запросов с известным правильным ответом, сохранённых один раз и используемых дальше без изменений. Выборка ценнее самого промпта — промпт переписывается за час, выборка собирается неделями.

Пять текстовых позиций бесплатны после первого платного пополнения: на них удобно прогонять проверочные циклы, не задумываясь о расходе.

Что держать в голове

Промпт стареет не от времени, а от изменений вокруг. Поэтому вопрос «давно ли мы его писали» бесполезен, а вопрос «что изменилось с прошлого прогона» — рабочий.

Из пяти причин четыре внешние, и о них вам никто не сообщит. Единственная защита — регулярный прогон одной и той же выборки, который показывает ухудшение раньше, чем его заметит клиент.

Дисциплина версий стоит нескольких строк на правку и окупается в первый же спорный день. Версия, дата, модель, причина — этого достаточно, чтобы через полгода понимать собственный текст. Как мы проверяем факты и почему у каждой цифры стоит дата — на странице о проекте. Завести ключ и прогнать свою выборку: keydealer.ru/login.