Como avaliar um agente de risco de IA antes da produção

Última atualização: Setembro de 2026

A demonstração foi boa. Esse costuma ser o ponto de partida honesto, e vale a pena dizer isso claramente em vez de tratar a demonstração como um truque. Alguém lhe mostrou um agente resolvendo um alerta, ele raciocinou com bom senso, chegou à conclusão que sua equipe teria chegado e fez isso em uma fração do tempo.

Agora você tem que decidir se ele deve ir para a produção, onde você é responsável pelo que ele decide. E a parte desconfortável é que uma demonstração responde a uma pergunta que você não precisava realmente de resposta. Ela mostra que o agente pode estar certo uma vez, em um alerta que alguém escolheu. A produção pergunta se ele continua certo em todas as suas tipologias, se você consegue explicar uma única decisão nove meses depois e quem responde quando ele erra.

Existe uma distinção útil por trás de tudo isso: um modelo é monitorado, um agente é avaliado. Um modelo produz uma pontuação que você pode comparar com uma etiqueta. Um agente segue uma sequência de etapas — coletando evidências, acionando ferramentas, avaliando o que encontrou, chegando a uma disposição — e geralmente não há etiqueta para nada disso. O que você tem em vez disso é o que seus analistas teriam feito. Isso acaba sendo suficiente, e é também o que torna isso avaliável por uma equipe de risco sem uma função de ciência de dados.

Resumo

• Uma demonstração comprova um resultado. A produção questiona o desempenho sustentado, a reconstrução, a governança e a adequação operacional.

• Avalie um agente com base nas decisões que seus próprios analistas tomam, não em uma pontuação abstrata de precisão. Raramente há uma etiqueta de verdade absoluta; há um julgamento humano competente.

• Quatro dimensões: desempenho sustentado, reconstrução de decisões, governança e aprovação, adequação operacional.

• O método é a execução paralela. Agente e analista trabalham na mesma fila; a comparação é a avaliação.

• Você não precisa de uma equipe de ML. Você precisa de decisões humanas rotuladas, que são seus casos encerrados.

• Saiba o que medir e, em seguida, defina seus próprios limites.

• A avaliação não termina com a entrada em operação. Os agentes se degradam por motivos que os modelos não apresentam.

O que é a avaliação de agentes de IA

A avaliação de agentes de IA é a prática de estabelecer se as decisões de um agente se sustentam ao longo do tempo em relação aos julgamentos que sua própria equipe faria, e se cada decisão pode ser explicada e reconstruída posteriormente.

Ela difere da validação de modelo de uma maneira específica. Validar um modelo significa verificar seus resultados em relação a respostas corretas conhecidas em um conjunto de dados reservado. Um agente não tem um resultado único para verificar — ele tem um caminho. Ele decidiu quais evidências coletar, decidiu que o que coletou era suficiente e chegou a uma disposição. Uma execução pode chegar a uma conclusão defensável por meio de um raciocínio que você não aceitaria, e pode chegar à conclusão errada por meio de um raciocínio que era sólido até que uma entrada fizesse falta.

A consequência prática: avaliar um agente que você não desenvolveu é um trabalho diferente de instrumentar um que você desenvolveu. A maior parte das orientações publicadas se destina a engenheiros que constroem agentes e escolhem ambientes de teste. Se você é o proprietário do risco decidindo se aceita o agente de um fornecedor em um processo regulamentado, precisa de um conjunto diferente de perguntas.

O que uma demonstração não pode lhe mostrar

Nada disso significa que a demonstração foi desonesta. Significa que uma demonstração e uma decisão de produção são objetos diferentes.

A coluna da direita é a avaliação. Cada linha é uma dimensão, e nenhuma delas pode ser respondida em uma reunião.

As quatro coisas a avaliar

Trate-as como as perguntas a serem feitas a um fornecedor e à sua própria equipe sobre a prontidão de vocês para julgar as respostas.

1. Desempenho sustentado. O agente concorda com seus analistas, segmentados por tipologia, ao longo de um período em vez de apenas uma sessão? A concordância agregada esconde o que realmente importa: uma única tipologia em que o agente erra sistematicamente. Pergunte como a concordância é medida, em qual volume e se você pode ver as divergências individualmente.

2. Reconstrução de decisões. Você consegue recuperar, meses depois, o que o agente viu e por que concluiu o que concluiu? Não um resumo gerado após o fato — mas sim a evidência como ela estava, armazenada junto com a decisão. Vale a pena ver como são realmente uma fila de alertas e uma trilha de auditoria antes de avaliar o sistema de qualquer pessoa, para que você saiba o que está pedindo.

3. Governança e aprovação. Existe um limite operacional definido para o agente, um ponto de aprovação humana e um registro de ambos? Tudo o que sua função de risco de modelo solicita ao validar um modelo, ela solicitará aqui, e os artefatos são os mencionados acima.

Esta é a dimensão em que o cenário regulatório acabou de mudar, e mudou em uma direção que dá mais peso à sua avaliação, e não menos. Em 17 de abril de 2026, o OCC, o Federal Reserve e o FDIC substituíram a carta de risco de modelo de 2011 — SR 11-7 — por uma orientação revisada emitida como SR 26-2, OCC Bulletin 2026-13 e FDIC FIL-15-2026. A nova orientação coloca a IA generativa e agentiva explicitamente fora de seu escopo, sob o argumento de que tais modelos são "novos e em rápida evolução", e orienta as instituições a confiarem em suas práticas mais amplas de gestão de risco e governança. As agências também disseram que planejam uma solicitação conjunta de informações cobrando o uso de IA pelos bancos. Esse RFI ainda não foi emitido. A orientação destina-se principalmente a bancos com mais de US$ 30 bilhões em ativos, mas na prática as expectativas se aplicam também aos de menor porte.

Leia isso com atenção, pois é fácil interpretar como um alívio, mas não é. O fato de a IA agentiva estar fora do escopo não significa que esteja fora de vista. Os examinadores ainda perguntarão como você testou o agente, como o monitora e onde fica a supervisão humana. O que mudou é que não há uma estrutura publicada para respondê-los — o que significa que seu registro de avaliação é a resposta. Uma instituição que realizou uma avaliação estruturada tem algo a mostrar. Uma que confiou na demonstração do fornecedor terá uma explicação a dar.

4. Adequação operacional. Como fica a fila do analista na semana seguinte à entrada em operação? Quem analisa o resultado, como um analista discorda do agente e para onde vai essa divergência? Um agente que é preciso, mas operacionalmente inviável, não sobrevive ao primeiro trimestre.

Por que a referência são seus analistas, e não uma pontuação de precisão

Este é o reposicionamento que torna tudo isso viável, e merece uma seção própria porque é a parte em que as pessoas costumam travar.

Para a maioria das decisões de risco, não há uma verdade absoluta. Se um determinado alerta deveria ter sido escalado não é um fato registrado em um banco de dados — é um julgamento, feito por uma pessoa treinada, com base em uma política. Portanto, a pergunta mensurável não é "o agente estava correto?". É "o agente chegou à mesma disposição que um analista competente e, caso não tenha chegado, por quê?"

Isso traz duas consequências importantes para se ter em mente. A primeira é prática: você já tem os dados de avaliação. Cada caso encerrado é uma decisão humana rotulada. Você não precisa criar um conjunto de testes; precisa direcionar o agente para o que você já tem.

A segunda é que você não precisa de uma equipe de ML para executar isso. Taxas de concordância e revisão de divergências são trabalhos de operações de risco, não de ciência de dados. A equipe que já faz o controle de qualidade nas decisões dos analistas pode fazer o controle de qualidade nas decisões do agente.

Uma ressalva honesta: seus analistas não são infalíveis. A discordância é um convite para olhar mais de perto, não uma prova de que o agente está errado. Algumas das descobertas mais úteis nesses exercícios ocorrem quando o agente estava certo e a disposição original não.

Como executar a avaliação

A avaliação não é um evento que acontece antes da implantação. É um período de execução paralela.

Comece pelo seu histórico. Execute o agente em um conjunto de alertas encerrados onde você já sabe o que sua equipe decidiu. Isso custa pouco, não afeta nada em produção e diz se um teste em tempo real vale o tempo de alguém. A Oscilar estrutura isso como a fase de abertura de uma parceria de design: acesso aos dados e escopo do processo primeiro, depois a avaliação em relação a um conjunto rotulado de seus próprios casos encerrados.

Depois, o modo de sombra. O agente trabalha na fila em tempo real ao lado dos seus analistas, sem decidir nada. Seu analista toma a decisão normalmente e, depois, gasta alguns minutos extras vendo o que o agente concluiu e se concorda. Esse esforço adicional é real e constitui a avaliação. Ela dura semanas, não meses.

Depois, o controle de qualidade por cima. Um processo de CQ aplicado às decisões do agente é, por si só, uma avaliação com intervenção humana, e é assim que a confiança é construída, e não apenas presumida. Amostrar as decisões do agente da mesma forma que você amostra as decisões dos analistas oferece uma medida contínua, em vez de um veredicto único. Aplicar esse procedimento de CQ a todas as decisões do agente, em vez de uma amostra, é uma direção ativa de desenvolvimento, e não algo disponível hoje; a vantagem é que, se cada decisão passar por uma verificação consistente, a amostra humana pode diminuir, pois estará testando a verificação em si e não o resultado bruto.

Por fim, uma análise, com uma decisão humana ao término. Alguém analisa as taxas de concordância, os padrões de divergência e as verificações pontuais de reconstrução, e decide o que — se houver algo — será direcionado ao agente para análise de primeira etapa. Essa decisão cabe a uma pessoa designada. Observe o que ela não é: o agente não define uma decisão final. A decisão do analista permanece e a estrutura de dupla validação (maker-checker) permanece inalterada. O que muda é a quantidade de coleta e análise que chega pré-montada.

Para se ter uma ideia de como é o resultado final: um banco regional em implantação está registrando 92% de concordância do agente com a equipe de analistas na resolução de alertas, com aprovação humana total, e uma redução de 75% no tempo de revisão do analista. A concordância com os analistas é exatamente a métrica defendida neste artigo, e é por isso que esse número é o relevante, em vez de uma pontuação de referência.

O que medir

Categorias, não metas. Qualquer pessoa que lhe entregue de antemão a nota necessária para passar está apenas tentando vender.

Defina seus próprios limites em relação ao seu próprio apetite ao risco. Os critérios de aceitação para uma prova de conceito — o que constitui uma aprovação — são um exercício separado e devem ser descritos antes do início do teste, não negociados após a chegada dos resultados.

Uma armadilha relacionada, e muito real: uma métrica sem uma definição acordada por trás é pior do que métrica nenhuma. Se a "concordância" não for definida com precisão antes do teste, o número obtido no final não significará nada, e cada um o interpretará de uma forma.

Erros comuns

Avaliar apenas a resposta final. A decisão pode estar certa enquanto o caminho estava errado, o que significa que estará errada no próximo alerta que for ligeiramente diferente.

Avaliar apenas uma vez, antes de entrar em operação, e nunca mais. Este é o erro mais grave. Um agente pode se degradar porque suas políticas mudaram, suas tipologias se deslocaram ou suas próprias instruções foram editadas — nada disso afeta o modelo subjacente. O desvio em sistemas agentivos merece um tratamento próprio, e a avaliação que para na entrada em operação não o detectará.

Medir em relação a um conjunto rotulado que não seja o seu portfólio. A referência de um fornecedor diz respeito apenas aos dados dele.

Aceitar uma métrica sem definição. Veja acima.

Tratar uma boa demonstração como evidência de adequação operacional. São propriedades sem relação. A demonstração não diz nada sobre o que acontece com a sua fila.

Onde a plataforma faz a diferença

Um ponto estrutural, pois ele determina se duas das quatro dimensões podem sequer ser respondidas.

A reconstrução e a medição sustentada são propriedades da camada abaixo do agente, não do agente em si. Se as evidências que o agente usou foram reunidas de vários sistemas no momento da decisão e nunca armazenadas como uma unidade, você não poderá reconstruí-las mais tarde — só poderá executá-las novamente, o que não é a mesma coisa e não satisfará ninguém que as esteja revisando.

É por isso que a camada de decisão é importante para uma avaliação que é nominalmente sobre agentes. Em uma plataforma unificada, a decisão, suas evidências e seu raciocínio são armazenados juntos porque há um único lugar para eles serem salvos. Ao avaliar qualquer fornecedor, pergunte onde fica o registro de decisões e se ele é um registro único.

Se quiser ver os agentes aos quais isso se aplica, o Agent Hub é o lugar para começar.

Perguntas frequentes

O que é a avaliação de agentes de IA?

A avaliação de agentes de IA é a prática de estabelecer se as decisões de um agente se sustentam ao longo do tempo em relação aos julgamentos que sua própria equipe faria, e se cada decisão pode ser explicada e reconstruída posteriormente. Ela difere da validação de modelo porque um agente produz um caminho de raciocínio e ações em vez de um único resultado pontuável.

Como você avalia fornecedores de IA agentiva para o setor bancário?

Em quatro dimensões: concordância sustentada com seus analistas segmentados por tipologia, capacidade de reconstruir qualquer decisão meses depois com as evidências como estavam na época, um limite operacional definido com registro de aprovação humana e adequação operacional com a fila de analistas. Execute primeiro em relação a um conjunto rotulado de seus próprios casos encerrados, depois em modo de sombra na fila em tempo real, e defina seus próprios limites de aceitação antes de iniciar o teste.

Por que os métodos tradicionais de avaliação são insuficientes para sistemas de IA agentiva?

A validação tradicional de modelos compara um resultado a uma etiqueta conhecida como correta. Um agente segue uma sequência de etapas sem uma etiqueta única — ele escolhe quais evidências coletar, avalia se são suficientes e chega a uma disposição. Uma conclusão defensável pode ser alcançada por meio de um raciocínio inaceitável; portanto, avaliar apenas a resposta final deixa de fora a maior parte do que aconteceu.

É possível avaliar um agente de risco de IA sem uma equipe de ciência de dados?

Sim. Como a referência é a concordância com as decisões dos seus analistas, e não uma pontuação abstrata de precisão, os dados de avaliação são seus casos encerrados e o trabalho é de operações de risco, não de ciência de dados. A equipe que já realiza o controle de qualidade nas decisões dos analistas pode realizá-lo nas decisões do agente.

Quanto tempo deve durar a avaliação de um agente de IA?

Planeje em meses, não em semanas. A execução em relação aos seus casos encerrados é rápida. O modo de sombra precisa de tempo suficiente para cobrir uma amostra representativa de tipologias e mostrar se a concordância é estável ou apenas uma primeira impressão; além disso, uma parceria de design completa, do início até a ativação, geralmente leva cerca de doze semanas. Ela não termina na entrada em operação; os agentes precisam de medição contínua porque se degradam por motivos que nunca afetam o modelo.

Como são governados a revisão humana, a auditabilidade e o desempenho do agente?

Por meio de um limite operacional definido para o agente, um ponto de aprovação humana que faz parte do registro da decisão, uma trilha de auditoria que armazena evidências e raciocínio com cada decisão, e uma comparação contínua em relação às decisões humanas. Desde abril de 2026, as orientações revisadas de risco de modelo das agências excluem a IA generativa e agentiva de seu escopo, de modo que isso se enquadra em sua estrutura mais ampla de gerenciamento de risco e governança, e não na validação de modelos — o que torna o registro de avaliação que você constrói a principal evidência de supervisão.