Что такое Clocktower Bench?

Это личный тест подкастера Дваркеша Пателя на основе настольной игры Blood on the Clocktower, похожей на мафию. Команда одной модели играет за «мирных», команда другой — за «злых», и рейтинг считается по итогам партий. Тест проверяет обман, совместное рассуждение и долгую стратегию.

Сколько стоил тест?

По словам Пателя, около $20 000 в кредитах API на сборку обвязки и сами партии. Всего сыграно 386 партий. По курсу ЦБ на 11 ноября 2026 года это около 1,65 млн ₽.

Какая модель лучше всех играет?

GPT-6 Astra. Разрыв между ней и Claude Opus 4.6 около 430 очков Эло — Astra выигрывает примерно 92 % партий против Opus 4.6. По сводной таблице рейтинга лучшая модель Anthropic, Claude Fable 5.1, отстаёт от Astra примерно на 264 очка.

Почему модели OpenAI играют лучше?

По наблюдениям Пателя, главное отличие — в игре за «мирных». Модели OpenAI скептичнее относятся к отдельным уликам и сопоставляют всё, что произошло за несколько дней. Модели Anthropic чаще принимают сообщённую информацию за чистую монету.

Что этот тест говорит о работе в продукте?

Он показывает, насколько модель склонна доверять входным данным. Для агентов, которые читают письма, документы и сайты, это важно: доверчивая модель легче поддаётся ложным сведениям и внедрённым инструкциям.

Можно ли собрать похожий тест самому?

Да, в меньшем масштабе. Нужны правила, обвязка, которая ведёт партию и раздаёт роли, и API с несколькими моделями. Несколько десятков партий на средних моделях стоят тысячи, а не миллионы рублей.

Clocktower: Дваркеш потратил $20 000 на игру моделей в мафию

Подкастер Дваркеш Патель потратил около $20 000 на API, чтобы модели сыграли 386 партий в Blood on the Clocktower — настольную игру в духе мафии. Лучшей оказалась GPT-6 Astra: против Claude Opus 4.6 она выигрывает около 92 % партий. Главное отличие моделей OpenAI — они меньше доверяют отдельным уликам. Модели Anthropic чаще верят тому, что им сказали.

Тест любительский, но он измеряет то, что обычные бенчмарки не видят: умение врать согласованно, вычислять ложь и держать стратегию много ходов подряд. Ниже — как устроен тест, что он показал и почему результаты важны для тех, кто строит агентов.

Как устроена игра

Blood on the Clocktower похожа на мафию. Есть команда «мирных» и команда «злых». Злые с начала игры знают друг друга, их лидер — Демон. Мирные не знают, кто на чьей стороне. У каждого игрока есть роль со своей способностью: кто-то по ночам получает подсказки, кто-то может один раз попытаться убить Демона.

Игра чередует дни и ночи. Днём все голосуют, кого казнить. Ночью Демон тайно убивает игрока. Мирные побеждают, если казнят Демона. Злые — если перебьют мирных раньше.

Злым нужно придумать правдоподобную историю, согласовать ложь между собой и подстраивать её под новые факты. Мирным — делиться сведениями с теми, кому доверяют, и рассуждать вместе, помня, что часть информации может быть ложной.

Как Патель проводил тест

Каждая партия — это команда из копий одной модели против команды копий другой. Например, все мирные — GPT-6 Astra, все злые — Claude Opus 5.5. Затем модели меняются сторонами. По итогам 386 партий построен рейтинг Эло, как в шахматах.

Патель говорит, что потратил около $20 000 в кредитах API на сборку обвязки и сами партии. По курсу ЦБ на 11 ноября 2026 года, 82,5486 ₽ за доллар, это около 1,65 млн ₽.

Кто играет лучше всех

GPT-6 Astra — лучшая модель теста. Несколько цифр из разбора Пателя:

Сравнение	Разрыв	Что это значит
GPT-6 Astra против Claude Opus 4.6	около 430 очков Эло	Astra выигрывает около 92 % партий
GPT-6 Astra против GPT-5.4	около 580 очков Эло	Astra выигрывает около 97 % партий

По сводной таблице теста у GPT-6 Astra 1859 очков, у лучшей модели Anthropic, Claude Fable 5.1, — 1595. Эти две цифры мы берём из агрегатора рейтинга, а не из поста Пателя.

Прогресс за год заметный. Claude Opus 4.6 вышла в феврале 2026 года, GPT-6 Astra — в сентябре. Ещё в марте GPT-5.4 уступала Opus 4.6. За полгода модели OpenAI прибавили 580 очков.

Чем модели OpenAI лучше

По наблюдениям Пателя, главное отличие — в игре за мирных. Разрыв между Astra и Fable 5.1 заметно больше, когда Astra играет на стороне мирных.

Модели OpenAI скептичнее к отдельным уликам и сопоставляют их со всем, что произошло за несколько дней. Модели Anthropic чаще принимают сообщённое за чистую монету.

Пример из поста. В двух одинаковых раскладах игрок-«убийца» стреляет в подозреваемого, но ничего не происходит: накануне злые тайно лишили его способности. Когда мирными были модели Claude, они сразу объявили подозреваемого невиновным — ведь он не умер. Когда мирными были модели GPT, они отказались считать промах доказательством, а на следующий день догадались, что способность убийцы саботировали.

Патель подтверждает это замером: перед каждым голосованием мирных спрашивали, кто, по их мнению, Демон. Модели OpenAI быстрее и точнее выходили на настоящего Демона.

Как модели врут

Злые тоже играют изобретательно. В одной партии Демон команды Astra выдал себя за полезную роль «следователя». Его напарник, чья способность работала и после смерти, предложил себя в жертву: Демон «разоблачил» его, мирные казнили напарника и убедились, что тот действительно был злым. Демон стал самым доверенным игроком и спокойно довёл команду до победы.

В другой партии злые в исполнении Claude Opus 5.5 использовали правило игры: если казнят Демона, его место занимает другая злая. Она сама предложила казнить Демона, а заодно договориться: если игра после этого не закончится, следующим казнить «святого» — роль, казнь которой приносит злым мгновенную победу. Деревня согласилась, и злые выиграли.

Такие ходы требуют держать в голове план на несколько дней вперёд и согласовывать ложь между несколькими агентами. Как агенты влияют друг на друга в реальных системах, мы разбирали в статье Вирусы мысли между агентами.

Почему это важно для агентов в продукте

Игра выглядит развлечением, но проверяет свойство, которое критично для рабочих агентов: насколько модель доверяет входным данным. Агент, который читает почту, документы, сайты и ответы других агентов, постоянно получает сведения сомнительного качества. Часть из них может быть ложной намеренно.

Доверчивая модель легче поддаётся внедрённым инструкциям и подложным данным. Скептичная — чаще проверяет и сопоставляет. Это не значит, что Claude хуже в работе: в коде и текстах у неё свои сильные стороны. Но если ваш агент работает с недоверенными источниками, это стоит проверить на своих сценариях. О том, какие права давать агенту, мы писали в статье Права агента: что разрешать.

Сколько стоит свой тест

Масштаб Пателя — $20 000 и 386 партий — для команды не нужен. Чтобы сравнить две-три модели на своей задаче, хватает нескольких десятков прогонов. Для этого нужен API с несколькими моделями: в KeyDealer один ключ даёт GPT, Claude, Gemini и DeepSeek через OpenAI-совместимый интерфейс, с оплатой в рублях и журналом расхода по каждому вызову. Это удобно именно для сравнения: одна обвязка, разные модели, расход каждой виден отдельно.

Сравним с официальными ценами вендоров по курсу ЦБ на 11 ноября:

Модель	Вход у вендора	Выход у вендора	Ставка KeyDealer, вход и выход
GPT-6 Astra	$10 ≈ 826 ₽	$50 ≈ 4127 ₽	55 ₽
Claude Opus 5.5, маршрут 2	$4 ≈ 330 ₽	$20 ≈ 1651 ₽	60 ₽
Claude Fable 5.1, маршрут 2	$10 ≈ 826 ₽	$50 ≈ 4127 ₽	80 ₽

Цены — за миллион токенов. Многоагентные партии читают длинную историю на каждом ходу, поэтому входных токенов много. Кэш у нас тарифицируется по полной ставке: при почти чистом чтении из кэша вендор может выйти дешевле. На маршруте 2 к запросу добавляется служебный контекст около 5000 токенов. Как сравнивать модели на своих задачах, мы описывали в статье Как сравнивать модели, а сколько токенов Astra тратит на задачу — в статье Токены на задачу у GPT-6 Astra.

Насколько можно верить рейтингу

С осторожностью. Это личный тест одного автора, без независимой проверки. Рейтинг Эло относительный: он сравнивает модели только внутри своего набора, и новые участники сдвигают цифры. Другой проект на собственной обвязке лучшей назвал GPT-5.6 Sol, так что результат зависит от настроек.

Но у теста есть сильная сторона: партии можно смотреть и читать. Видно не только кто победил, но и почему. Для понимания поведения моделей это ценнее одной цифры.

Чего мы не утверждаем

Мы не воспроизводили тест. Цифры и примеры партий — из поста Дваркеша Пателя.

Рейтинги 1859 и 1595 мы берём из сводной таблицы теста, а не из поста автора.

Мы не утверждаем, что результаты переносятся на работу в продукте. Игра проверяет узкий набор навыков, а качество в коде и текстах измеряется отдельно.

Что держать в голове

Дваркеш Патель потратил около $20 000 на 386 партий Blood on the Clocktower между моделями. GPT-6 Astra выигрывает около 92 % партий у Claude Opus 4.6.

Модели OpenAI скептичнее к уликам, модели Anthropic чаще верят сказанному. Для агентов, работающих с недоверенными данными, это важное свойство.

Свой небольшой тест на нескольких моделях стоит тысячи рублей и показывает больше, чем чужой рейтинг. Подробнее о сервисе — на странице о проекте, ключ — на keydealer.ru/login.