Um levantamento com 306 engenheiros mostra que os agentes de IA que funcionam em produção têm menos autonomia, mais controle e mais engenharia própria do que o mercado imagina.
Durante os últimos dois anos, a indústria de tecnologia vem passando pela fase em que softwares com agentes de IA estão deixando de ser provas de conceito (POCs) que vendem sonhos e virando workflows de cenários reais e complexos. Altas taxas de falha e frustração acompanharam essa mudança, como já evidenciado pelo extensamente citado estudo do MIT State of AI in Business in 2025.
Do lado executivo, existe a pressão por retorno do alto investimento e grande expectativa na automação de processos de ponta a ponta. Do lado técnico, cresce a visão de que os softwares com agentes de IA que sobem em produção não falham por limitação da tecnologia, mas pela falta da engenharia necessária para mesclar o uso dos modelos de linguagem com processos determinísticos, da mensuração correta dos resultados e da implementação de métodos de evolução e aprendizado dos agentes.
Nos primeiros experimentos com a tecnologia na indústria, o modus operandi era tratar esses softwares como caixas-pretas, na expectativa de os resultados serem gerados magicamente, com qualidade e assertividade. Assim, os modelos de linguagem ganharam total autonomia. Em primeira análise, soluções do tipo são tentadoras pela facilidade e velocidade de implementação. Porém, esse método subestima algo intrínseco da natureza desses modelos: as alucinações.
O que a pesquisa revela sobre agentes de IA
Para entender o que separa os projetos que funcionam dos que falham, um estudo conduzido por pesquisadores de Berkeley, Stanford e IBM oferece uma das respostas mais concretas até o momento.
O Measuring Agents in Production (MAP) é um levantamento sistemático sobre agentes de IA implantados em produção. Diferenciando-se de estudos anteriores como o MIT NANDA (abordado em artigo de Danilo Toledo, cofundador da Taqtile), o MAP se destaca não só pelo volume de casos incluídos, mas também pela restrição a projetos que foram para produção e por entrevistar os engenheiros em vez dos executivos.
A partir de um questionário com quatro perguntas, respondido por 306 engenheiros que implementam e operam agentes no dia a dia, distribuídos por 26 nichos de mercado, o estudo reuniu indícios sobre quais práticas são mais eficazes no desenvolvimento de sistemas baseados em agentes. O questionário incluiu as seguintes perguntas:
- Quais são as aplicações, os usuários e os requisitos dos agentes?
- Quais modelos, arquiteturas e técnicas são usados para construir agentes que vão para produção?
- Como os agentes são avaliados antes do deploy (entrada em produção)?
- Quais são os principais desafios na construção de agentes implantados em produção?
Os principais achados
O achado de maior destaque do MAP foi que os agentes em produção que obtiveram sucesso não possuem alta autonomia. Sendo propositalmente conservadores, recorrem à validação humana durante os processos (human-in-the-loop) para garantir a confiabilidade dos resultados e o aprendizado.
Embora 52% dos projetos utilizem a técnica LLM-as-a-judge, 74% dependem primariamente de avaliação humana. Entre os sistemas estudados, 68% executam no máximo dez passos antes de exigir intervenção humana, com metade executando menos de cinco.
É o que vemos na prática. No agente de IA que conduz a venda de carros por assinatura que desenvolvemos, a supervisão humana existiu desde o protótipo, a autonomia cresceu em etapas conforme o agente provava que acertava, e a decisão de crédito continuou com uma pessoa.
O estudo investigou como as equipes medem o valor dos produtos entregues. A maioria optou por experimentos dentro do próprio ecossistema, realizando testes A/B, feedback manual e metrificações próprias do negócio, como tempo por tarefa, taxa de retrabalho, taxa de escalonamento para humano, custo por caso resolvido e impacto em indicadores operacionais (SLA, conversão, perdas evitadas).
Não se basearam em benchmarks prontos de mercado. Isso reforça que, no cenário em que estamos, "certo" e "errado" são definições operacionais e de negócio, não acadêmicas.
Esses achados se alinham com o que o MIT NANDA (State of AI in Business in 2025) já evidenciava: a maioria dos projetos morre porque não aprende com feedback, não é metrificada corretamente, não se encaixa no fluxo real dos negócios e não é confiável por ter processos sensíveis executados de forma não determinística.
Outro resultado de destaque é que 70% dos projetos usam modelos prontos, sem fine tuning, focando apenas em prompt engineering. O estudo também mapeou a baixa adesão de frameworks de agentes prontos: 85% dos casos construíram aplicações customizadas para ganhar controle e previsibilidade. É a mesma lógica do agente de carros por assinatura: preço, prazo e condição de pagamento vêm de regras definidas com o negócio, e o modelo de linguagem entra para conversar e qualificar. Em relação ao balanço entre qualidade dos outputs e tempo de resposta, 66% dos participantes optaram por priorizar a qualidade, mesmo que isso significasse um tempo de resposta na casa dos minutos.
As condições de sucesso para automação de processos com IA
A pesquisa aponta as condições em que agentes têm maior potencial de gerar resultados em produção:
- Há tarefas repetitivas com custo humano alto; 73% dos entrevistados desenvolveram agentes para automatização de tarefas manuais e aumento de eficiência.
- Existe uma "verdade operacional" verificável, mesmo que parcial.
- O processo aceita human-in-the-loop como etapa de controle.
O estudo também trouxe informações sobre os nichos de mercado em que os sistemas foram implantados, e exemplos de aplicações. Trouxemos o gráfico e a tabela abaixo para uma melhor consolidação e visualização das informações:
O campo ainda está se consolidando, mas os dados do MAP mostram que a direção está mais clara do que parece: menos autonomia, mais controle; menos benchmark, mais metrificação própria; menos framework pronto, mais engenharia customizada. Empresas que entenderem isso antes têm vantagem real, não sobre a tecnologia, mas sobre como usá-la.
Este artigo faz parte do que estamos aprendendo ao desenvolver softwares com agentes de IA, do ponto de vista de quem constrói: experimentos, casos reais e reflexões sobre IA nas empresas. Se quiser explorar como esses aprendizados se aplicam ao seu contexto, fale com o nosso time.
Notas
LLM-as-a-judge: uso de um LLM para avaliar respostas e saídas do sistema.
Human-in-the-loop: fluxo em que humanos validam ou assumem etapas críticas (aprovação final, exceções), reduzindo o risco e aumentando a confiabilidade em produção.
Prompt engineering: construção e iteração das instruções no prompt e no contexto para guiar o modelo.
Fine tuning: ajuste dos pesos do modelo com dados próprios.
Referências
- Pan, Melissa Z.; Arabzadeh, Negar; Cogo, Riccardo; et al., Measuring Agents in Production, dezembro de 2025.
- The GenAI Divide (MIT NANDA), State of AI in Business 2025 report.
- Alvarez-Teleña, S.; Díez-Fernández, M., Advances in Agentic AI: Back to the Future, dezembro de 2025.