Una encuesta a 306 ingenieros muestra que los agentes de IA que funcionan en producción tienen menos autonomía, más control y más ingeniería propia de lo que el mercado imagina.
Durante los últimos dos años, la industria de tecnología viene pasando por la fase en la que el software con agentes de IA deja de ser prueba de concepto (POC) que vende sueños y se convierte en workflows de escenarios reales y complejos. Altas tasas de falla y frustración acompañaron ese cambio, como ya evidenció el ampliamente citado estudio del MIT State of AI in Business in 2025.
Del lado ejecutivo, existe la presión por el retorno de la alta inversión y una gran expectativa en la automatización de procesos de punta a punta. Del lado técnico, crece la visión de que el software con agentes de IA que sube a producción no falla por limitación de la tecnología, sino por la falta de la ingeniería necesaria para combinar el uso de los modelos de lenguaje con procesos determinísticos, de la medición correcta de los resultados y de la implementación de métodos de evolución y aprendizaje de los agentes.
En los primeros experimentos con la tecnología en la industria, el modus operandi era tratar ese software como cajas negras, con la expectativa de que los resultados se generaran mágicamente, con calidad y precisión. Así, los modelos de lenguaje ganaron autonomía total. En un primer análisis, las soluciones de ese tipo son tentadoras por la facilidad y la velocidad de implementación. Sin embargo, ese método subestima algo intrínseco a la naturaleza de estos modelos: las alucinaciones.
Lo que la investigación revela sobre los agentes de IA
Para entender qué separa a los proyectos que funcionan de los que fallan, un estudio conducido por investigadores de Berkeley, Stanford e IBM ofrece una de las respuestas más concretas hasta el momento.
Measuring Agents in Production (MAP) es un relevamiento sistemático sobre agentes de IA implantados en producción. A diferencia de estudios anteriores como el MIT NANDA (abordado en un artículo de Danilo Toledo, cofundador de Taqtile), el MAP se destaca no solo por el volumen de casos incluidos, sino también por restringirse a proyectos que llegaron a producción y por entrevistar a los ingenieros en lugar de a los ejecutivos.
A partir de un cuestionario con cuatro preguntas, respondido por 306 ingenieros que implementan y operan agentes en el día a día, distribuidos en 26 nichos de mercado, el estudio reunió indicios sobre qué prácticas son más eficaces en el desarrollo de sistemas basados en agentes. El cuestionario incluyó las siguientes preguntas:
- ¿Cuáles son las aplicaciones, los usuarios y los requisitos de los agentes?
- ¿Qué modelos, arquitecturas y técnicas se usan para construir agentes que van a producción?
- ¿Cómo se evalúan los agentes antes del deploy (entrada en producción)?
- ¿Cuáles son los principales desafíos en la construcción de agentes implantados en producción?
Los principales hallazgos
El hallazgo más destacado del MAP fue que los agentes en producción que tuvieron éxito no poseen alta autonomía. Siendo deliberadamente conservadores, recurren a la validación humana durante los procesos (human-in-the-loop) para garantizar la confiabilidad de los resultados y el aprendizaje.
Aunque el 52% de los proyectos utiliza la técnica LLM-as-a-judge, el 74% depende primariamente de evaluación humana. Entre los sistemas estudiados, el 68% ejecuta como máximo diez pasos antes de exigir intervención humana, y la mitad ejecuta menos de cinco.
Es lo que vemos en la práctica. En el agente de IA que conduce la venta de autos por suscripción que desarrollamos, la supervisión humana existió desde el prototipo, la autonomía creció por etapas a medida que el agente demostraba que acertaba, y la decisión de crédito siguió con una persona.
El estudio investigó cómo los equipos miden el valor de los productos entregados. La mayoría optó por experimentos dentro del propio ecosistema, realizando pruebas A/B, feedback manual y métricas propias del negocio, como tiempo por tarea, tasa de retrabajo, tasa de escalamiento a humano, costo por caso resuelto e impacto en indicadores operativos (SLA, conversión, pérdidas evitadas).
No se basaron en benchmarks listos del mercado. Eso refuerza que, en el escenario en que estamos, "correcto" e "incorrecto" son definiciones operativas y de negocio, no académicas.
Estos hallazgos se alinean con lo que el MIT NANDA (State of AI in Business in 2025) ya evidenciaba: la mayoría de los proyectos muere porque no aprende del feedback, no se mide correctamente, no encaja en el flujo real de los negocios y no es confiable por tener procesos sensibles ejecutados de forma no determinística.
Otro resultado destacado es que el 70% de los proyectos usa modelos listos, sin fine tuning, enfocándose solo en prompt engineering. El estudio también mapeó la baja adhesión a frameworks de agentes listos: el 85% de los casos construyó aplicaciones a medida para ganar control y previsibilidad. Es la misma lógica del agente de autos por suscripción: precio, plazo y condiciones de pago vienen de reglas definidas con el negocio, y el modelo de lenguaje entra para conversar y calificar. En cuanto al balance entre calidad de los outputs y tiempo de respuesta, el 66% de los participantes optó por priorizar la calidad, aunque eso significara un tiempo de respuesta del orden de minutos.
Las condiciones de éxito para la automatización de procesos con IA
La investigación señala las condiciones en las que los agentes tienen mayor potencial de generar resultados en producción:
- Hay tareas repetitivas con alto costo humano; el 73% de los encuestados desarrolló agentes para automatizar tareas manuales y aumentar la eficiencia.
- Existe una "verdad operativa" verificable, aunque sea parcial.
- El proceso acepta human-in-the-loop como etapa de control.
El estudio también trajo información sobre los nichos de mercado en los que se implantaron los sistemas, y ejemplos de aplicaciones. Incluimos el gráfico y la tabla a continuación para una mejor consolidación y visualización de la información:
El campo todavía se está consolidando, pero los datos del MAP muestran que la dirección está más clara de lo que parece: menos autonomía, más control; menos benchmark, más medición propia; menos framework listo, más ingeniería a medida. Las empresas que entiendan esto antes tienen una ventaja real, no sobre la tecnología, sino sobre cómo usarla.
Este artículo forma parte de lo que estamos aprendiendo al desarrollar software con agentes de IA, desde el punto de vista de quien construye: experimentos, casos reales y reflexiones sobre IA en las empresas. Si quiere explorar cómo estos aprendizajes se aplican a su contexto, hable con nuestro equipo.
Notas
LLM-as-a-judge: uso de un LLM para evaluar respuestas y salidas del sistema.
Human-in-the-loop: flujo en el que humanos validan o asumen etapas críticas (aprobación final, excepciones), reduciendo el riesgo y aumentando la confiabilidad en producción.
Prompt engineering: construcción e iteración de las instrucciones en el prompt y en el contexto para guiar al modelo.
Fine tuning: ajuste de los pesos del modelo con datos propios.
Referencias
- Pan, Melissa Z.; Arabzadeh, Negar; Cogo, Riccardo; et al., Measuring Agents in Production, diciembre de 2025.
- The GenAI Divide (MIT NANDA), State of AI in Business 2025 report.
- Alvarez-Teleña, S.; Díez-Fernández, M., Advances in Agentic AI: Back to the Future, diciembre de 2025.