Представлен GeneBench-Pro — бенчмарк для оценки ИИ-агентов в геномике и биологических исследованиях

Научные данные редко приходят с инструкциями. Исследователям приходится решать, отражает ли закономерность биологию или шум, достаточно ли данных для поставленного вопроса и как каждый результат должен изменить дальнейшие действия. ИИ-агенты все лучше выполняют сложные анализы, но реальная научная работа требует не только запоминания фактов или следования заранее заданному workflow, а и принятия более высокоуровневых решений.

До сих пор было мало убедительных оценок тех системных решений, которые делают реальную вычислительную науку сложной. К ним относятся работа с неоднозначностью, пересмотр предположений, выбор правильного пути анализа и понимание, когда результат уже готов для принятия решения. Поскольку эти навыки трудно формализовать, их трудно и rigorously оценивать, хотя именно их слабые места все сильнее ограничивают общую производительность ИИ.

GeneBench-Pro создан для точного измерения этих более высокоуровневых способностей. В GeneBench-Pro мы определяем «научный вкус» как цепочку решений, которые формируют анализ: какие вопросы вообще поддерживают данные, как ранняя диагностика должна менять model или estimand, и когда исходный план нужно пересмотреть. Каждая задача GeneBench-Pro дает модели реалистичный и «грязный» набор данных, краткий экспериментальный контекст и целевой estimand, связанный с последующим решением. Чтобы ответить правильно, модель должна исследовать данные, выбрать подходящий аналитический подход, пройти итеративный процесс экспериментов и выдать итоговый ответ.

Построение датасетов

Атлас доменов: 129 задач в 10 доменах и 21 поддомене

Нажмите на точку выше, чтобы узнать больше о задаче бенчмарка.

Этот атлас дает представление о широте GeneBench-Pro. Посетите страницу case studies, чтобы подробнее изучить 10 репрезентативных вопросов.

GeneBench-Pro также спроектирован так, чтобы избегать типичных провалов бенчмарков. Многие длинные биологические бенчмарки строят многошаговые вопросы на основе «грязных» исторических наборов данных, где может не существовать единственного правильного пути анализа. Один агент может выбрать один разумный cutoff, другой — другой, тоже вполне защищаемый вариант, и это отражает скорее произвольность, заложенную создателем бенчмарка, чем фундаментальные различия в производительности модели. Возможна и обратная ситуация: если задача слишком слабо чувствительна к численным различиям, агент может допустить серьезные ошибки в анализе и все равно получить проходной результат.

Чтобы избежать этих режимов отказа, каждая задача GeneBench-Pro строится синтетически: мы знаем полную causal structure и напрямую моделируем data-generating process. Это позволяет нам настраивать сложность каждой задачи, гарантировать, что разумные различия в субъективном выборе аналитики все равно приводят к принимаемым численным результатам, и проверять с помощью ablation studies, что правдоподобные, но неверные анализы проваливаются. Затем мы проводим аудит черновиков задач с помощью детального trace analysis, чтобы проверить утечку информации и непредусмотренные пути решения. Это дает нам уверенность, что правильный ответ зависит от выбора верного аналитического пути, а не от использования обходного пути или совпадения с произвольным предпочтением автора.

Мы отправили 82 из 129 вопросов GeneBench-Pro внешним отраслевым экспертам, включая аспирантов, постдоков, ученых из индустрии и профессоров. Рецензенты оценивали реалистичность каждой задачи, определимость целевого ответа и корректность методов и estimators. Обратная связь использовалась для улучшения задач.

Оценка и scoring

Каждая задача GeneBench-Pro — это самостоятельный научный анализ. Агентам предоставляется изолированное рабочее пространство с кратким prompt, файлами данных и стандартным bioinformatics stack, включая Python, библиотеки для scientific computing и базовые геномные пакеты вроде PLINK 2.0, хотя сами задачи не требуют специализированного доменного инструментария.

Поскольку мы контролируем весь data-generation process, мы можем детерминированно оценивать корректность относительно известных целей, избегая вариативности выбора модели и эффектов многословия, характерных для стандартной rubric-based evaluation.

Результаты

Наша лучшая модель, GPT‑5.6 Sol, достигает доли успешных ответов 28,7% на самом высоком уровне reasoning (31,5% с включенным Pro mode). Это заметный рост по сравнению с тем временем, когда мы только начинали строить оригинальный GeneBench: тогда наша лучшая frontier-модель GPT‑5 набирала менее 5%. Прогресс на этом бенчмарке показывает, что frontier-модели быстро улучшаются даже в менее осязаемом, системном научном reasoning. При текущих темпах этот бенчмарк может быть исчерпан к концу года.

Результаты также показывают влияние масштабирования test-time compute. На самом низком уровне reasoning GPT‑5.6 Sol достигает лишь однозначного passrate. На самом высоком уровне reasoning GPT‑5.6 Sol решает почти в шесть раз больше задач, чем GPT‑5.2, используя при этом примерно две трети от числа tokens.

Во время разработки мы использовали frontier GPT-модели для оценки и укрепления задач. Поэтому мы предполагали, что GeneBench-Pro может быть смещен против GPT-моделей по сравнению с другими семействами моделей. Однако модели конкурентов в лучшем случае лишь сравнялись по результату с соответствующей GPT-моделью на момент релиза, а чаще заметно уступали.

Эти результаты оценки — до 31,5% у GPT‑5.6 Sol (Pro) — впечатляют с учетом сложности вопросов GeneBench-Pro. В опросе наши рецензенты оценили, что типичная задача GeneBench-Pro занимает у эксперта-человека примерно 20–40 часов. При консервативной ставке $200 в час это означает, что трудозатраты на одну задачу составляют тысячи долларов. Современные ИИ-агенты по-прежнему слишком ненадежны, чтобы заменить экспертов-людей, но разрыв в стоимости велик: inference costs составляют всего несколько долларов на задачу. Это значит, что даже частичная автоматизация на текущем уровне возможностей может создать заметную экономическую и научную ценность.

Тем не менее тот факт, что frontier-модели все еще решают менее трети таких задач, показывает, что пространство для улучшений остается большим. Модели могут продвигаться частично на сложных задачах, но им трудно замкнуть inferential loop. Этот паттерн отказа напоминает различие между экспертами и новичками: эксперты используют опыт, чтобы сформулировать проблему и адаптировать подход, а новички делают наблюдения, но с трудом интегрируют их в более широкий контекст задачи.

Почти идеальная производительность потребует оценок, которые одновременно надежно измеряют прогресс и показывают, где модели все еще ошибаются. Бенчмарки вроде GeneBench-Pro помогают превратить расплывчатый дефицит возможностей в нечто, что можно диагностировать и улучшать.

Если агенты смогут надежно автоматизировать этот класс анализа, они смогут существенно ускорить научные открытия. Генетические данные человека уже играют центральную роль в приоритизации target и translational follow-up, потому что механизмы с генетической поддержкой гораздо чаще приводят к одобренным методам лечения.

Тем временем стоимость секвенирования резко снизилась, а датасеты уровня biobank теперь связывают молекулярную, фенотипическую и медицинскую информацию беспрецедентной ширины. Ограничивающим фактором становится не генерация данных, а превращение информации в actionable insights. Модели, которые могут стабильно выполнять анализы, сейчас выполняемые командами экспертов-людей, способны трансформировать индустриальные исследования, ускоряя hypothesis triage, follow-up по target и цикл итераций между генерацией данных и принятием решений.

GeneBench-Pro представляет собой начальную попытку оценить более абстрактные навыки хорошего научного суждения, которыми обладают опытные специалисты. Эти навыки позволяют им интуитивно выделять наиболее перспективные первичные анализы, пересматривать свои выводы, когда данные противоречат исходным предположениям, и приходить к заключениям, от которых могут зависеть последующие клинические, академические или бизнес-решения.

Мы ожидаем, что по мере развития возможностей моделей бенчмарки, проверяющие их способность к работе на таких более высоких уровнях абстракции, будут становиться все более полезными — в дополнение к тем, которые просто проверяют знание фактов или умение выполнять рутинные анализы.

Материал — перевод статьи с английского.

Оригинал: Introducing GeneBench-Pro