Cómo evaluar un agente de riesgo de IA antes de su puesta en producción

Última actualización: septiembre de 2026

La demo fue buena. Ese suele ser el punto de partida sincero, y vale la pena decirlo con claridad en lugar de tratarla como un truco. Alguien le mostró a un agente gestionando una alerta: razonó con sentido común, llegó a la misma conclusión que su equipo y lo hizo en una fracción del tiempo habitual.

Ahora debe decidir si encaja en producción, donde usted responde por lo que el agente decide. Lo incómodo es que una demo responde a una pregunta que realmente no necesitaba hacerse: demuestra que el agente puede acertar una vez, con una alerta elegida a mano. La producción plantea si mantiene el acierto en todas sus tipologías, si usted puede explicar cualquier decisión meses después y quién da la cara cuando se equivoca.

Hay una distinción clave detrás de todo esto: un modelo se monitoriza; un agente se evalúa. Un modelo genera una puntuación contrastable con una etiqueta. Un agente sigue una serie de pasos —recopila pruebas, ejecuta herramientas, analiza hallazgos y llega a una resolución—, y casi nunca hay una etiqueta predefinida para nada de eso. Lo que tiene, en cambio, es lo que habrían hecho sus analistas. Eso resulta ser suficiente, y es lo que permite que un equipo de riesgos lo evalúe sin necesidad de contar con científicos de datos.

En resumen

• Una demo demuestra un único resultado. La producción exige rendimiento constante, capacidad de reconstrucción, gobernanza y encaje operativo.

• Evalúe al agente frente al criterio de sus propios analistas, no con una métrica abstracta de precisión. Rara vez existe una verdad absoluta; lo que hay es un criterio humano competente.

• Cuatro dimensiones: rendimiento sostenido, reconstrucción de decisiones, gobernanza y validación, y encaje operativo.

• El método idóneo es el trabajo en paralelo. Agente y analista procesan la misma cola de alertas; la comparación entre ambos es la evaluación.

• No necesita un equipo de Machine Learning. Solo necesita decisiones humanas documentadas: sus casos ya cerrados.

• Defina qué medir y fije sus propios umbrales. Quien le entregue su propia nota de corte intenta venderle, no evaluar.

• La evaluación no termina con el lanzamiento. Los agentes pierden eficacia por motivos muy distintos a los de los modelos tradicionales.

Qué significa evaluar un agente de IA

Evaluar un agente de IA consiste en determinar si sus decisiones se sostienen en el tiempo frente al criterio de su propio equipo, y si cada decisión puede explicarse y reconstruirse a posteriori.

Se diferencia de la validación de modelos en un punto clave. Validar un modelo implica contrastar sus resultados con respuestas correctas conocidas en un conjunto de prueba. Un agente no tiene un único resultado que verificar: tiene un recorrido. Decide qué pruebas recabar, determina si son suficientes y toma una resolución. Una ejecución puede llegar a una conclusión válida mediante un razonamiento inaceptable, o a una errónea a través de un razonamiento impecable al que solo le faltó un dato.

La consecuencia práctica: evaluar un agente de terceros es muy distinto a instrumentar uno propio. Casi todas las guías existentes van dirigidas a ingenieros que diseñan agentes y entornos de prueba. Si usted gestiona riesgos y debe decidir si incorpora el agente de un proveedor a un proceso regulado, necesita hacerse preguntas muy distintas.

Lo que una demo no le muestra

Esto no significa que la demo fuera engañosa. Significa que una demo y una decisión en producción son cosas totalmente distintas.

La columna de la derecha representa la verdadera evaluación. Cada fila es una dimensión, y ninguna se resuelve en una simple reunión.

Las cuatro claves para evaluar

Plantee estos puntos al proveedor y pregunte a su propio equipo si está preparado para valorar las respuestas.

1. Rendimiento sostenido. ¿Coincide el agente con sus analistas, por tipología y a lo largo del tiempo, en lugar de en una sola sesión? El porcentaje global de coincidencia oculta el verdadero peligro: una tipología concreta donde el agente yerre sistemáticamente. Pregunte cómo se mide la coincidencia, con qué volumen y si puede revisar las discrepancias una a una.

2. Reconstrucción de decisiones. ¿Puede consultar, meses después, qué vio el agente y por qué tomó esa decisión? No un resumen redactado después, sino las pruebas originales guardadas junto con la resolución. Conviene ver cómo son en realidad una cola de alertas y una pista de auditoría antes de evaluar a nadie, para saber con precisión qué exigir. Esta es la dimensión que más se suele pasar por alto en las pruebas y la que más pesa en una auditoría regulatoria.

3. Gobernanza y validación. ¿Dispone el agente de un límite operativo claro, un punto de aprobación humana y un registro de ambos? Si su entidad evalúa modelos bajo la directriz SR 11-7, un agente debería cumplir los mismos estándares, y los documentos que exigirá su equipo de riesgo de modelos son los citados arriba. Lo que deben contener esos límites y registros es un tema en sí mismo: la guía sobre seguridad, gobernanza y auditabilidad para agentes de IA en riesgo lo detalla tal como lo solicitaría un auditor.

En este ámbito, el terreno regulatorio acaba de cambiar y exige una evaluación aún más rigurosa. Cuando la OCC, la Reserva Federal y la FDIC actualizaron su guía de gestión de riesgo de modelos en abril de 2026, dejaron a la IA generativa y basada en agentes explícitamente fuera de su alcance —por ser modelos "novedosos y en rápida evolución"— y anunciaron una consulta conjunta sobre el uso de la IA en la banca que todavía no se ha publicado.

Conviene analizar esto con atención, pues suele interpretarse erróneamente como un alivio. Que la IA basada en agentes quede fuera de esa guía no significa que quede libre de supervisión. Los auditores seguirán preguntando cómo probó el agente, cómo lo monitoriza y dónde interviene el criterio humano. La diferencia es que hoy no existe un marco normativo oficial al que remitirse: sus propios registros de evaluación son la respuesta. Una entidad con una evaluación estructurada tiene pruebas que mostrar; quien solo confió en la demo del proveedor tendrá explicaciones que dar.

4. Encaje operativo. ¿Cómo estará la cola de trabajo del analista la semana posterior al lanzamiento? ¿Quién revisa los resultados, cómo discrepa un analista del agente y adónde va a parar ese desacuerdo? Un agente muy preciso pero inviable a nivel operativo no supera el primer trimestre.

Por qué la referencia son sus analistas y no una puntuación de precisión

Este enfoque simplifica todo el proceso y merece un apartado propio, ya que es el punto donde más dudas surgen.

En casi ninguna decisión de riesgo existe una verdad indiscutible. Que una alerta concreta debiera haberse escalado no es un dato guardado en una base de datos: es un juicio de valor, emitido por un profesional capacitado según una política. La pregunta cuantificable no es si el agente acertó, sino si llegó a la misma resolución que un analista competente y, si no lo hizo, por qué.

Esto deja dos conclusiones clave. La primera es práctica: ya dispone de los datos para la evaluación. Cada caso cerrado es una decisión humana contrastada. No necesita crear un conjunto de prueba desde cero, solo dirigir el agente hacia los casos que ya tiene.

La segunda es que no necesita un equipo de Machine Learning para ponerlo en marcha. Medir la tasa de coincidencia y revisar las discrepancias es una labor de operaciones de riesgo, no de ciencia de datos. El equipo que hoy supervisa la calidad del trabajo de los analistas puede supervisar igualmente las decisiones del agente.

Un matiz importante: sus analistas no son infalibles. Una discrepancia invita a investigar, no demuestra que el agente esté equivocado. Algunos de los hallazgos más valiosos en estas pruebas son casos donde el agente tenía razón y la resolución humana original era la incorrecta.

Cómo llevar a cabo la evaluación

El cumplimiento normativo no surge por arte de magia, ni la evaluación es un trámite puntual previo al despliegue. Requiere un periodo de trabajo en paralelo.

Primero, pruebas retrospectivas. Ejecute el agente sobre alertas históricas donde ya conozca la decisión que tomó su equipo. Es una vía económica, no interfiere con la producción y aclara si merece la pena realizar una prueba real. Oscilar estructura esto en las primeras semanas de un programa conjunto de cuatro: configuración de datos y pruebas retrospectivas sobre su propio histórico.

Después, modo sombra. El agente procesa la cola real junto a sus analistas pero sin ejecutar decisiones. El analista resuelve como siempre y dedica un par de minutos extra a ver la conclusión del agente y valorar si coincide. Esa pequeña carga de trabajo es real y constituye la evaluación en sí. Debe durar semanas, no meses.

Luego, control de calidad adicional. Aplicar un control de calidad a las decisiones del agente es, de por sí, una evaluación con intervención humana y la mejor forma de generar una confianza sólida. Muestrear las decisiones del agente del mismo modo que se muestrean las de los analistas ofrece una métrica continua, no un veredicto aislado.

Por último, balance y decisión humana. Un responsable analiza los niveles de coincidencia, los patrones de discrepancia y los muestreos de reconstrucción para decidir qué casos —si los hay— se derivan al agente. Esa decisión debe recaer en una persona con nombre y apellidos.

Para ilustrar el resultado final: una entidad bancaria en fase de producción registra un 92 % de coincidencia entre el agente y su equipo de analistas en la resolución de alertas, reduciendo el tiempo de revisión un 75 %. La concordancia con los analistas es justo la métrica que defiende este artículo; por eso ese dato es el relevante y no una puntuación teórica de laboratorio.

Hay otro aspecto destacable: aplicar un control de calidad a cada decisión del agente, y no solo a una muestra, es una línea de desarrollo en curso, aún no disponible de forma generalizada. Su gran ventaja es que, si cada decisión supera una verificación uniforme, el muestreo humano puede reducirse, pues se audita el control y no el resultado en bruto.

Qué conviene medir

Mida categorías, no objetivos prefijados. Quien le marque de antemano el aprobado intenta venderle.

Defina sus propios umbrales según su tolerancia al riesgo. Los criterios de aceptación de una prueba de concepto —qué determina el aprobado— son un proceso independiente y deben documentarse antes de iniciarla, no negociarse tras ver los resultados.

Un error habitual y muy real: una métrica sin una definición consensuada es peor que no tener métricas. Si la «coincidencia» no se define al detalle antes de empezar, el dato final carecerá de valor y cada parte lo interpretará a su conveniencia.

Errores comunes

Evaluar únicamente la respuesta final. La resolución puede ser acertada pero el razonamiento incorrecto, lo que significa que fallará en la siguiente alerta que varíe ligeramente.

Evaluar solo una vez antes del despliegue y nunca más. Es el fallo más grave. Un agente puede perder precisión porque cambiaron sus políticas, evolucionaron las tipologías o se ajustaron sus instrucciones internas, factores que no afectan al modelo base. La desviación en sistemas basados en agentes exige un seguimiento propio, y una evaluación que termine el día del lanzamiento no la detectará.

Medir con un conjunto de datos que no es su cartera real. La referencia que ofrezca un proveedor solo habla de los datos de ese proveedor.

Aceptar métricas sin una definición clara. Como señalamos antes.

Asumir que una buena demo garantiza el encaje operativo. Son aspectos independientes. La demo no dice nada sobre cómo afectará a su volumen de trabajo diario.

Por qué la plataforma es determinante

Un apunte estructural clave, pues condiciona si dos de las cuatro dimensiones pueden si quiera responderse.

La capacidad de reconstrucción y la medición continua dependen de la infraestructura sobre la que corre el agente, no del agente en sí. Si la información que utilizó se recopiló de varios sistemas en el instante de decidir y nunca se guardó agrupada, no podrá reconstruirla después; solo podrá volver a ejecutar el proceso, lo cual no es lo mismo ni convencerá a ningún auditor.

Por esta razón la capa de toma de decisiones es fundamental en una evaluación centrada teóricamente en los agentes. En una plataforma unificada, la decisión, sus pruebas y el razonamiento se conservan juntos porque existe un repositorio central para ello. Cuando evalúe a un proveedor, pregunte dónde se guarda el registro de la decisión y si está todo en un único expediente.

Si desea conocer los agentes a los que se aplica este enfoque, puede comenzar explorando el Centro de Agentes.

Preguntas frecuentes

¿Qué es la evaluación de agentes de IA?

Es la práctica orientada a confirmar si las decisiones de un agente se mantienen sólidas en el tiempo frente al criterio de su equipo, y si cada una de ellas puede justificarse y reconstruirse a posteriori. Difiere de la validación de modelos clásicos porque un agente genera un proceso de razonamiento y acciones, no solo una puntuación directa.

¿Cómo se evalúan los proveedores de agentes de IA en el sector bancario?

Mediante cuatro dimensiones: coincidencia sostenida con sus analistas desglosada por tipología, capacidad para reconstruir cualquier decisión meses después con las pruebas originales intactas, un límite operativo definido con aprobación humana registrada y un buen encaje con el flujo de trabajo de sus analistas. Conviene abordarlo con pruebas retrospectivas sobre alertas históricas y un posterior modo sombra en tiempo real, fijando sus propios umbrales de aceptación antes de comenzar.

¿Por qué los métodos clásicos de evaluación no bastan para la IA basada en agentes?

La validación tradicional compara un resultado directo con una respuesta correcta conocida. Un agente ejecuta una cadena de pasos sin una respuesta prefijada: decide qué información recopilar, valora si es bastante y adopta una resolución. Se puede alcanzar una conclusión razonable a través de una lógica inaceptable; evaluar solo el resultado final deja fuera casi todo el proceso.

¿Es posible evaluar un agente de IA para riesgos sin un equipo de científicos de datos?

Sí. Como el punto de comparación es la concordancia con las decisiones de sus analistas y no una puntuación estadística abstracta, los datos para la prueba son sus propios casos ya resueltos y la tarea corresponde a operaciones de riesgo. El equipo que hoy supervisa la calidad del trabajo de los analistas está capacitado para supervisar las decisiones del agente.

¿Cuánto debe durar la evaluación de un agente de IA?

Semanas, no meses, en el caso de la prueba inicial: el tiempo justo para cubrir una muestra representativa de tipologías y confirmar que la coincidencia es estable y no una buena impresión pasajera. No acaba con la puesta en marcha: los agentes exigen una medición continuada porque su rendimiento se degrada por factores ajenos al modelo base.

¿Cómo se gestionan la supervisión humana, la auditabilidad y el rendimiento del agente?

Definiendo un marco operativo claro para el agente, estableciendo un punto de aprobación humana integrado en el historial de la decisión, manteniendo una pista de auditoría que guarde pruebas y razonamientos en cada caso, y comparando de forma continua los resultados con el criterio humano. Las entidades sujetas a las directrices SR 11-7 deben tratar al agente como un modelo en producción: validarlo antes del despliegue y monitorizarlo después.