Dez práticas que levamos de projeto em projeto para que agentes de IA saiam do piloto e resolvam problemas reais.
Desde a chegada dos grandes modelos de linguagem em 2022, os agentes de Inteligência Artificial foram da automação de tarefas simples para peças de sistemas coordenados e complexos. As arquiteturas multiagentes, capazes de executar fluxos de trabalho inteiros de forma integrada, estão redefinindo como o trabalho é feito nas grandes empresas.
Apesar da possibilidade, enquanto empresas divulgam resultados expressivos com a tecnologia, os relatórios mostram que o desafio não é tão simples assim. Um estudo do MIT que correu o mercado apontou que 95% dos pilotos de IA generativa não chegavam a retorno.
Os projetos que funcionam, porém, têm traços em comum. Um levantamento recente com 306 engenheiros que operam agentes em produção, o Measuring Agents in Production (MAP), mostrou quais são. Menos autonomia e mais controle. Menos benchmark pronto e mais métrica própria. Menos framework de prateleira e mais engenharia sob medida. Escrevemos sobre o que separa os agentes que funcionam dos que falham.
Não por acaso, entre ruídos e promessas, a tomada de decisão em relação à Inteligência Artificial é atravessada por experimentação e riscos.
Ao contrário de subestimar, levamos a sério esse contexto. Não só desenvolvemos o método AI Sprint como uma forma de sair da inércia, criando e validando uma solução orientada ao seu negócio em poucas semanas, como adotamos uma postura de entregas incrementais em nossas soluções.
Quer saber mais sobre o método e como ele se aplica ao seu negócio? Fale com a gente.
A inação é tão arriscada quanto a experimentação desenfreada. Por isso, é fundamental encontrar formas estruturadas de construir soluções.
O contínuo avanço da tecnologia e as complexidades de fazer uma solução para empresas exigem entregas incrementais e orientadas ao negócio. Ao invés de nascer grande, nossos sistemas crescem conforme movimentam indicadores importantes e específicos de negócio. Foi assim com o agente de IA que vende carros por assinatura pelo WhatsApp, que construímos para uma das líderes em mobilidade do Brasil. O protótipo da venda ficou pronto em 3 dias e foi testado com clientes reais antes de qualquer compromisso de construção. Hoje o agente conduz seis etapas da jornada, da descoberta à manutenção.
Mesmo que promissora, o sucesso depende de uma implementação que se adapte à realidade do negócio, e não o contrário. O novo paradigma demanda atualização tecnológica, mas também demanda integrações consistentes com as visões e estratégias da empresa, e não uma reação ao hype ou ao medo de ficar para trás.
Como desenvolvemos soluções multiagentes
1. Cocriando com os times de negócio
Imersos no contexto e criando uma troca de conhecimento qualificada com os times de negócio, validamos uma prova de conceito orientada à empresa antes de construir. São esses times que conhecem o fluxo, as regras e as exceções que o agente vai encontrar, e é na troca com eles que o desenho nasce. Um exemplo é a Kariisma, uma startup americana de live commerce para a qual desenvolvemos a plataforma. O trabalho começou com 3 dias de imersão com os fundadores e os investidores na sala, e a plataforma ficou disponível para os hosts em 4 semanas.
2. Conectando a solução a resultados específicos e relevantes
Desenvolvemos com foco nos indicadores-chave de maior impacto no resultado, incrementando a solução a cada resultado validado. O MAP confirma o caminho. As equipes que têm sucesso em produção não se apoiam em benchmarks prontos de mercado. Medem tempo por tarefa, taxa de retrabalho, escalonamento para humano, custo por caso resolvido e impacto em conversão e perdas evitadas. Certo e errado são definições operacionais e de negócio, não acadêmicas. Foi assim que conduzimos o agente de carros por assinatura. A primeira versão foi publicada em poucas semanas, a capacidade de atendimento aumentou 4,5 vezes em dois meses de produção, e a arrecadação da cobrança subiu mais de 20% depois que o agente entrou no processo.
3. Alinhando estratégia, design, pesquisa e engenharia
Juntamos um time com experiência em aplicar a tecnologia em grandes empresas, aliando design, engenharia, pesquisa e estratégia em todo o processo, sempre cocriando com os times de negócio. Apoiado em IA, um mesmo time enxuto assume os três papéis. Produto conduz a imersão, mapeia as jornadas e escreve as especificações. Design desenha e testa com usuários reais. Engenharia monta o ambiente dos agentes e constrói as features de ponta a ponta.
4. Aplicando Inteligência Artificial onde realmente gera resultados
Mesclando fluxos determinísticos e IA generativa, diminuímos a exposição e o risco de alucinações, e usamos a IA onde ela de fato se destaca, que é entender e gerar linguagem, lidar com ambiguidade e se adaptar ao contexto. Lógica de negócio, regra previsível e tratamento de exceção continuam melhores na engenharia tradicional. Por exemplo, no agente de carros por assinatura que construímos, preço, prazo e condição de pagamento vêm de regras definidas com o negócio, nunca do modelo. O modelo entra para qualificar, tirar dúvidas e conversar.
5. Desenvolvendo fluxos e arquiteturas de agentes complementares
Ao invés de um grande sistema orientado à automação de tarefas, trabalhamos com agentes especialistas, responsáveis por tarefas específicas, que resolvem problemas de forma coordenada. O mesmo agente de carros por assinatura ilustra bem essa arquitetura. Quem conversa com ele no WhatsApp vê um único atendente. Por dentro, ele é um grafo de agentes menores com papéis definidos. Um entende a necessidade, outro consulta preço e estoque, outro explica o contrato, outro guarda a memória da conversa, outro dá a resposta final no mesmo tom. Um orquestrador distribui a conversa entre eles e funciona como trava de segurança. Aprendemos também que multiagente não é "muitos agentes conversando entre si". Quando um agente lê a inferência do outro, a hipótese de um vira fato para o próximo, e a alucinação se costura no resultado. Por isso isolamos os agentes em camadas, com fluxo unidirecional e um papel único para cada uma.
6. Priorizando a integração e a autonomia da empresa com a solução
Além de capacitar as pessoas da empresa com a tecnologia, adaptamos nossos sistemas, frameworks e modelos à realidade e à necessidade tecnológica de cada empresa, preservando sua autonomia. A solução entra no que a empresa já tem, e não o contrário. Um exemplo é o portal de pedidos B2B que reconstruímos para a Mars nos Estados Unidos. Ele é 100% integrado ao Salesforce por um front-end próprio e uma camada sob medida, separados da plataforma, e se adapta ao jeito de cada comprador pedir.
7. Utilizando técnicas avançadas de prompt engineering
Acompanhando a curiosidade contínua do nosso time, trabalhamos a partir de técnicas avançadas de engenharia de prompt e de contexto, sempre atualizadas. É onde o esforço rende. No MAP, 70% dos projetos em produção usam modelos prontos, sem fine tuning, e concentram o trabalho nas instruções e no contexto que guiam o modelo. Nos nossos projetos, as instruções nascem das regras levantadas com o negócio, com exemplos tirados do próprio projeto, e evoluem a cada dúvida nova que chega do cliente.
8. Construindo com frameworks validados e de diferentes qualidades
Ao longo dos anos não só testamos múltiplos frameworks, como validamos estruturas próprias de orquestração em grafo, adaptáveis a diferentes realidades empresariais. O MAP mostra que 85% dos projetos em produção construíram aplicações customizadas, para ganhar controle e previsibilidade, em vez de adotar frameworks prontos de agentes. Esse rigor não vale só para os agentes que vão ao ar. Vale também para os agentes que hoje escrevem boa parte do nosso código. Eles trabalham dentro de um harness, o conjunto de regras e verificações que diz como desenvolver, confere o que foi feito e barra o que não passa. Foi com esse ambiente que reconstruímos o app de pedidos B2B da Reckitt, que ganhou 2,4 vezes mais testes automáticos e mais de 700 regras de negócio escritas e ligadas ao código.
9. Fazendo melhorias progressivas e não reativas
Utilizando técnicas e plataformas próprias de observabilidade, nossos sistemas crescem conforme o resultado alcançado, acompanhando testes contínuos e alertas de exposição e riscos. Na Kariisma, cada capacidade nova dos agentes entra primeiro em modo sombra, sem aparecer para o host, depois ligada por chave, sempre com desligamento imediato durante a live. Um modelo de linguagem julga as respostas, e testes adversariais confirmam que o agente segue o tom da marca e não obedece a instruções plantadas no chat. Desde o segundo mês, nenhuma quebra de código chegou ao ar, e o custo por tarefa dos agentes caiu 31% em benchmark. A autonomia é conquistada, não concedida. No agente de carros por assinatura, o time de qualificação concordava com mais de 90% das decisões do agente já na primeira versão, e a autonomia cresceu em etapas, conforme ele provava que acertava.
10. Mapeando o impacto e a responsabilidade ética da solução
Nossos sistemas nascem com uma preocupação ética orientada, em que a responsabilidade e as iniciativas de adaptação acompanham progressivamente o desenvolvimento. Na prática, isso é supervisão humana nos pontos críticos do fluxo, e o MAP mostra o mesmo padrão, com 74% dos projetos dependendo primariamente de avaliação humana. Foi como fizemos na análise de crédito do carro por assinatura. A mesa continuou com a decisão e passou a receber a recomendação pronta, e, quando precisa, o agente passa a conversa a uma pessoa. A ética em projetos de IA não precisa ser um bloco intransponível. Pode crescer com o projeto, etapa a etapa, e virar diferencial competitivo.
Do negócio para a tecnologia
Nossas experiências demonstram que, para vencer rápido, é preciso priorização e uma colaboração próxima com os times de negócio.
O entusiasmo com a tecnologia não deve se sobrepor às estratégias de negócio, muito menos minimizar o desafio que é fazer uma empresa crescer. Como aprendemos, em iterações das nossas soluções, o verdadeiro potencial do novo paradigma é conquistado em partes, da especificidade para o abrangente.
Como revela a nossa experiência, as melhores soluções são as que se configuram e se adaptam aos processos, às infraestruturas e às estratégias da empresa.