OpenAI представила BioBasicsBench для проверки ИИ на повседневных данных мокрой лаборатории
6 ноября 2026 года OpenAI представила BioBasicsBench — бенчмарк из 100 заданий, созданный вместе с компанией Ligo (дизайн ферментов): он оценивает, как ИИ-агенты читают сырые лабораторные данные; на режиме xhigh GPT-6 Astra набрала 66,7% доступных баллов (95% ДИ 60,3–73,1%) против 43,8% у GPT-5.6 Sol.
OpenAI 6 ноября 2026 года представила BioBasicsBench — бенчмарк, разработанный вместе с Ligo, биотех-компанией по дизайну ферментов, чтобы измерить, насколько ИИ-агенты умеют интерпретировать сырые экспериментальные данные повседневной «мокрой» лаборатории — включая неудачные опыты, неоднозначные снимки и противоречивые наблюдения.
Что проверяет бенчмарк
Набор включает 100 заданий в пяти областях: белковые методы, визуализация и цитометрия, количественные оценки и анализы, методы работы с нуклеиновыми кислотами и молекулярное клонирование. Среди входов — гели и блоты (31 задание), протоколы и записи (27), таблицы и выгрузки приборов (20), фотографии рабочего стола (18), микроскопия (14), экраны приборов и графики (13), файлы секвенирования (12), видео протоколов (7) и чашки с агаром (7); категории пересекаются. Учёные составили задания по собственным экспериментам с экспертными рубриками; каждое прошло внутреннюю проверку учёным Ligo, который его не писал, внешнюю — учёным с PhD из мокрой лаборатории и финальную внутреннюю рецензию.
OpenAI оценила семь своих моделей в 37 сочетаниях модели и режима рассуждения, по пять попыток на задание — всего 18 500 результатов. На режиме xhigh GPT-6 Astra получила в среднем 66,7% доступных баллов (95% ДИ 60,3–73,1%, около 4704 выходных токенов на задание) против 43,8% у GPT-5.6 Sol (95% ДИ 37,6–50,0%, около 9099 токенов). Другие оценки xhigh: GPT-6.1 Sol 62,0%, GPT-6 Luna 38,3%, GPT-5.5 35,4%, GPT-5.4 33,2% и GPT-5.2 31,2%.
Ограничения
Это собственные оценки OpenAI своих же моделей; компания сравнивала только свою линейку, независимого полного воспроизведения здесь не сообщается. OpenAI пишет, что более высокие баллы «пока не означают, что модели могут надёжно судить в лаборатории», указывая на ошибки в контролях, подсчёте колоний (примерно 12% завышения на одной чашке) и экспериментальном контексте. Бенчмарк измеряет рутинный анализ, а не автономную лабораторную работу и не клинические решения.