Исследователи создали Arbor — дерево гипотез для AI coding agents
Новая система Arbor, по словам авторов, сохраняет гипотезы, эксперименты и выводы в долгих исследовательских задачах и дает в 2,5 раза лучший результат при том же бюджете.
AI coding agents могут замыкать исследования в отдельных сессиях: они запускают эксперименты, генерируют идеи, а затем забывают о них, когда сбрасывается context window. Это приводит к лишним затратам tokens, потому что модели снова повторяют одни и те же ошибки и заходят в одни и те же тупики.
Однако новое исследование утверждает, что проблема не в самой модели, а в «дереве», которое нужно перестроить. Для этого data scientists из Gaoling School of Artificial Intelligence, Renmin University of China и Microsoft Research представили Arbor — «persistent hypothesis tree», который помогает агентам запоминать и уточнять выводы в долгих исследовательских сессиях.
Долгоживущий coordinator управляет исследовательской стратегией на всем дереве, а краткоживущие executors поднимают изолированные worktrees, чтобы проверять разные гипотезы. По мере поступления результатов дерево обновляется, сужая и уточняя направление экспериментов.
В практических тестах этот подход дал более чем двукратный прирост производительности по сравнению со стандартными AI coding agents на реальных инженерных задачах при том же бюджете.
Как отметил Mahmoud Ramin, research director в Info-Tech Research Group, Arbor накапливает информацию во времени и позволяет агентам строить работу на предыдущих открытиях так же, как это делают люди, через обучение, адаптацию и последующее развитие уже найденного.
Как растет Arbor
Создатели Arbor утверждают, что более долгое выполнение само по себе не гарантирует прогресса в исследовании. Главная задача — удерживать состояние, которое превращает множество отдельных попыток в «cumulative hypothesis refinement».
Кроме того, прогресс не должен зависеть от того, что человек регулярно вмешивается, чтобы подсказывать логические следующие шаги или интерпретировать смысл прошлых проб, отмечают они. Чтобы быть по-настоящему автономными, agentic research frameworks должны сохранять связи между экспериментами, данными, результатами и ошибками во времени.
Arbor спроектирован так, чтобы выполнять три системных требования. Во-первых, он должен уметь ветвиться, когда поддеревья проверяют конкурирующие гипотезы, которые все могут быть правдоподобными. Но при этом неограниченное ветвление может разрушить весь framework, поэтому его нужно контролировать, чтобы сохранять порядок. Исследователи называют это «branching with coherence».
Во-вторых, инфраструктура должна отделять локальное выполнение от общей стратегии. Проверка отдельных гипотез требует коротких задач — редактирования, отладки и оценки. Но они не должны «затмевать» более крупное дерево, которое принимает решения на основе доказательств, собранных за весь прогон.
Наконец, системы должны уметь различать exploratory improvement и verified improvement. Это предотвращает переобучение AI в режиме trial-and-error вместо итеративного обучения на основе базовых закономерностей.
В центре этой идеи — persistence: дерево связывает гипотезы и идеи, code или configuration artifacts, которыми их проверяют, экспериментальные доказательства (результаты, metrics) и выведенные инсайты, например: «этот data filter помог, а этот learning rate scheduler — нет».
Когда проект стартует, краткоживущие work trees запускают код, ведут журнал работы и собирают metrics. Над ними долгоживущий coordinator действует как фактический head of research: следит за процессом, обновляет nodes, выбирает «promising leaves», обрезает или объединяет ветви, распространяет пригодные повторно уроки и решает, какие гипотезы проверять дальше.
«Таким образом, дерево выступает как operational research state системы, — написали создатели Arbor. — Оно одновременно является search frontier, памятью о прошлых попытках и audit trail для verified artifact improvement».
Обгоняет Codex и Claude на новых данных
Чтобы проверить, как это работает, исследователи оценили Arbor в сценарии autonomous optimization (AO): агенту дали исходный research artifact — data pipeline, harness или training script — и поручили улучшить его held-out performance с помощью итеративных экспериментов, без участия человека. Held-out performance — это metric в machine learning (ML), который показывает, насколько хорошо модель обобщает на данных, которых она раньше не видела.
Tree-based architecture протестировали на нескольких реальных исследовательских задачах в области model training — улучшения training recipes и hyperparameters, harness engineering — улучшения evaluation или training harnesses, а также data synthesis — генерации более качественных данных для обучения или evals.
В итоге Arbor превзошел средний held-out gain у Codex и Claude Code в 2,5 раза при том же бюджете ресурсов.
Вывод исследователей: структурированное, развивающееся hypothesis tree дает больший прирост качества, чем запуск тех же моделей как «memoryless» coding agents.
Самая инновационная особенность Arbor — способность сохранять память агента и удерживать релевантные данные из прошлых попыток и гипотез, отметил Ramin из Info-Tech. По его словам, следующим шагом для autonomous agents может стать накопление evidence во времени.
Впрочем, это поднимает и вопрос auditability у масштабных research environments, заметил он. «По мере того как autonomous agents становятся способны выполнять работу без надзора human operators, компаниям нужна прозрачность в том, как и почему агент совершил конкретное действие или пришел к определенному выводу».
Материал — перевод статьи с английского.
Оригинал: Researchers grow a hypothesis tree for AI coding agents