Agentes de IA superam benchmarks científicos com truques de ML
Agentes de programação de fronteira conseguem melhorar os melhores modelos publicados de aprendizado de máquina científico em todos os 20 benchmarks que um novo testbed cobra — mas o fazem quase inteiramente com uma "bolsa de truques de engenharia de ML", e não com insight de nível de pesquisa. É o resultado do Agent4Sci, preprint anunciado nesta quinta (22) no arXiv — ainda não revisado por pares — e submetido à trilha de Experiments & Datasets do NeurIPS 2026. O trabalho é assinado por Ming Zhong, Stacy Li, Nicholas Carlini e Matthew Jagielski, do Google DeepMind, e o código e os dados estão abertos no GitHub e no Hugging Face.
A pergunta por trás do estudo é direta: agentes de código são cada vez mais vendidos como "pesquisadores automatizados de ponta a ponta", e o ML para ciência é um teste exigente dessa promessa — melhorar um modelo científico geralmente exige compreensão de domínio que vai além da engenharia de rotina. Em vez de montar mais um leaderboard, os autores mediram que tipos de progresso os agentes de hoje conseguem fazer "em ambiente selvagem", onde as condições reais de uso — e não uma tarefa embalada — ditam o jogo.
O testbed
O Agent4Sci é um ambiente de longa duração: a tarefa é partir do melhor modelo já publicado em cada benchmark e tentar levá-lo adiante. São 20 benchmarks de ML científico espalhados por 11 domínios, exigindo planejamento de longo horizonte, experimentação real com treino e avaliação de modelos, e decisões sobre o que tentar a seguir. A métrica não é vencer um ranking, mas caracterizar o progresso: o que os agentes realmente fazem quando ninguém empacota o problema para eles.
Progridam em todos — com truques
O resultado empírico tem duas faces. No lado positivo, os agentes de fronteira avançam o melhor publicado em todos os benchmarks — o Claude Opus alcança melhoria relativa média de 10,4%, e nenhuma execução foi marcada como má conduta acadêmica. No lado crítico, a análise das trajetórias mostra que os ganhos vêm quase inteiramente de truques conhecidos de engenharia de ML — ajustes, varreduras locais, otimizações de rotina —, e não de insight de pesquisa. A "subida" acontece, mas pelos morros fáceis.
Do padrão de execução, os autores extraem três limitações recorrentes: calibragem incorreta de novidade (o agente não distingue bem o que já foi tentado do que é de fato novo), subutilização de recursos (o orçamento de computação disponível não é explorado) e colapso rápido em varreduras locais de engenharia (o agente desiste cedo da exploração conceitual e se refugia no ajuste fino).
Habilidades plugáveis dobram os ganhos
A parte construtiva do estudo vem de "habilidades" leves plugadas ao agente: módulos de ideação de pesquisa, gestão de experimentos e listas de verificação programadas. Com esse tripé, o Claude Opus salta de 10,4% para 20,1% de melhoria relativa média — quase o dobro —, e o Codex vai de 4,4% para 8,1%. Além do número, as intervenções dos agentes ficam mais diversas e mais relevantes ao domínio: com andaimes melhores, os mesmos modelos deixam de girar em círculos de engenharia e passam a explorar mais o espaço científico.
A mensagem para quem acompanha a automação da ciência é de cautela otimista: agentes de fronteira já entregam ganhos mensuráveis em problemas científicos reais, mas o salto de "engenharia competente" para "pesquisador" ainda depende de estrutura — e de julgamento humano embutido no processo. O Agent4Sci se propõe justamente a dar à comunidade o instrumento para acompanhar essa distância.
Ressalvas
O trabalho é um preprint, ainda não revisado por pares; os números medem melhoria sobre benchmarks publicados de ML científico, o que não equivale a produzir descoberta científica nova; e o próprio título da trilha do NeurIPS — Experiments & Datasets — sinaliza o escopo: a contribuição principal é a infraestrutura de avaliação e o diagnóstico do que os agentes fazem, não a automação da pesquisa.
Fontes
- arXiv — "Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?" (M. Zhong, S. Li, N. Carlini, M. Jagielski; Google DeepMind), 22/10/2026. arXiv:2610.28763.