BioBasicsBench: как ИИ-агенты читают данные из лаборатории

6 ноября 2026 года OpenAI выпустила BioBasicsBench — тест из 100 задач, где ИИ-агенты разбирают сырые данные обычной биологической лаборатории: фото гелей, чашек с колониями, снимки микроскопа, файлы секвенирования. GPT-6 Astra на максимальном общем уровне рассуждения набрала 66,7 % возможных баллов, GPT-5.6 Sol — 43,8 %. Главный вывод OpenAI: рост обеспечила работа с изображениями.

Тест интересен не только биологам. Он проверяет то, что нужно любому агенту, который работает с реальными данными: замечать ошибки, не делать выводов сверх того, что показывают данные, и держать контекст задачи. Ниже — как устроен тест, где модели ошибаются и что из этого взять для своих задач.

Что такое BioBasicsBench

BioBasicsBench сделан вместе с Ligo — биотех-компанией, которая занимается дизайном ферментов. Задачи написали учёные на данных собственных экспериментов. К каждой задаче — критерии оценки от эксперта. Каждую проверили трижды: другой учёный Ligo, внешний учёный со степенью PhD, работающий в лаборатории, и финальная внутренняя проверка.

100 задач разбиты по пяти направлениям:

1. Методы работы с белками.
2. Визуализация и цитометрия.
3. Количественные измерения и анализы.
4. Методы работы с нуклеиновыми кислотами.
5. Молекулярное клонирование.

Задачи проверяют несколько навыков сразу: знание биологии, разбор изображений и данных, поиск ошибок, понимание протоколов и умение признать, что данных недостаточно.

Какие данные в задачах

Главное отличие от других научных тестов — сырые данные, а не аккуратные картинки из статей:

Одна задача может содержать несколько видов данных. Плюс 21 задача со справочными материалами — шкалами маркеров и картами плазмид.

Как модели справились

OpenAI проверила семь своих моделей: GPT-5.2, GPT-5.4, GPT-5.5, GPT-5.6 Sol, GPT-6.1 Sol, GPT-6 Luna и GPT-6 Astra. Всего 37 сочетаний модели и уровня рассуждения, по пять попыток на каждую из 100 задач — 18 500 результатов.

Ключевая пара цифр на уровне xhigh:

OpenAI отмечает, что Astra заметно лучше GPT-5.6 Sol даже на низком уровне рассуждения. Компания также сопоставляет балл с числом выходных токенов на задачу: дополнительное рассуждение помогает, но разрыв между поколениями моделей больше, чем разрыв между уровнями рассуждения одной модели.

Где Astra лучше

OpenAI приводит три примера.

Не делать лишних выводов. GPT-5.6 Sol посчитала клетки мёртвыми по свечению красителя для мёртвых клеток. Но детектор улавливал и свет второго красителя, так что яркость не доказывала гибель. Astra заметила неоднозначность и предложила добавить контроль, чтобы разделить сигналы.

Видеть детали на фото. В задаче по клонированию GPT-5.6 Sol опиралась на отсутствие колоний на контрольной чашке. Astra заметила на краю чашки надпись с другим антибиотиком — канамицином вместо ампициллина — и отвергла такой контроль как ненадёжный.

Держать контекст. На серии снимков клетки то появлялись, то исчезали. GPT-5.6 Sol искала биологическое объяснение. Astra поняла, что это серия снимков на разной глубине, а не исчезновение клеток.

Где модели всё ещё ошибаются

OpenAI честно показывает и ошибки Astra. В одной задаче модель различила две группы полос на геле, но решила, что более длинный продукт ПЦР означает успешное клонирование. Она выбрала колонии 4, 6, 7 и 8, а сравнение с контролями указывало на 5, 9 и 10. Привычное предположение перевесило данные.

Вывод OpenAI прямой: высокий балл пока не означает, что модели можно доверить решения в лаборатории. Предположения, ожидаемые ответы и подписи на данных могут перевесить сами данные. Иногда модель делает верное промежуточное наблюдение, но не использует его в итоговом выводе.

Что из этого взять для своих задач

Лаборатория — частный случай. Те же ошибки встречаются у агентов в любой работе с реальными данными: в отчётах, логах, сканах документов, фото товаров. Три практических урока:

1. Требуйте признавать неопределённость. В промпте прямо разрешите модели ответить «данных недостаточно» и попросите указать, какой проверки не хватает.
2. Проверяйте контроли. Если вывод опирается на эталон или контрольную выборку, попросите модель отдельно оценить, годится ли контроль.
3. Сравнивайте модели на своих данных. Разрыв между поколениями моделей может быть больше, чем кажется по общим рейтингам. Как сравнивать модели, мы описывали в статье Как сравнивать модели.

О том, почему агенты ошибаются и как это диагностировать, мы писали в статье Почему ИИ-агент не работает.

Как передать модели фото и сканы через API

Половина задач теста — изображения, и в рабочих сценариях так же: фото, сканы, скриншоты. Несколько правил, которые экономят деньги и повышают точность:

• Проверьте поддержку картинок. В каталоге KeyDealer у каждой модели есть поле capabilities.vision. На 11 ноября 2026 года у GPT-6 Astra, GPT-6 Luna на маршруте 2 и GPT-6.1 Sol на маршруте 2 оно verified, у основного маршрута GPT-6.1 Sol — unknown, то есть мы его не проверяли.
• Не отправляйте огромные снимки. Картинка превращается в токены, и большое изображение стоит дороже. Обрежьте до нужной области, если детали важны только в одной части.
• Добавьте контекст. Подпись к снимку — что это за эксперимент или документ, что ожидается — помогает модели не искать «биологическое объяснение» там, где его нет.
• Просите описать, что видно, до вывода. Сначала перечень наблюдений, потом заключение. Так проще проверить, на чём модель основала ответ.

Сколько стоит такой анализ через API

Модели из теста есть в каталоге KeyDealer: OpenAI-совместимый API, оплата российской картой в рублях, один ключ на GPT, Claude, Gemini и другие модели. Сравним со списочными ценами OpenAI по курсу ЦБ на 11 ноября 2026 года, 82,5486 ₽ за доллар:

Цены — за миллион токенов. У нас одна ставка на вход и выход, поэтому на длинных рассуждениях выгода особенно заметна: у вендора выход в пять раз дороже входа. Кэш тарифицируется по полной ставке, к запросам GPT-6.1 Sol и GPT-6 Luna на маршруте 2 добавляется служебный контекст около 5000 токенов. Картинки тоже считаются токенами, и их число зависит от размера изображения. Сколько токенов Astra тратит на типичную задачу, мы считали в статье Токены на задачу у GPT-6 Astra, а цену и замены модели разбирали в статье GPT-6 Astra: цена и чем заменить.

Чего мы не утверждаем

Мы не проверяли результаты теста. Цифры и примеры — из публикации OpenAI.

Тест сделала сама OpenAI и проверила только свои модели. Сравнения с моделями других вендоров в нём нет.

Мы не утверждаем, что модели готовы к самостоятельной работе в лаборатории. OpenAI прямо пишет обратное.

Что держать в голове

BioBasicsBench — 100 задач по сырым лабораторным данным. GPT-6 Astra набрала 66,7 %, GPT-5.6 Sol — 43,8 %. Рост дала прежде всего работа с изображениями.

Модели научились чаще признавать нехватку данных и замечать детали, но всё ещё позволяют привычным предположениям перевешивать данные.

Для любых агентов с реальными данными уроки те же: разрешать «не знаю», проверять контроли, сравнивать модели на своих задачах. Подробнее о сервисе — на странице о проекте, ключ — на keydealer.ru/login.