Como avaliar um agente de risco de IA antes da produção

Última atualização: setembro de 2026

A demonstração foi boa. Esse costuma ser o ponto de partida realista, e vale a pena dizê-lo com clareza em vez de tratar a demonstração como um truque. Alguém mostrou a você um agente a tratar um alerta: o raciocínio fez sentido, a conclusão foi a mesma a que a sua equipa chegaria e tudo aconteceu numa fração do tempo habitual.

Agora tem de decidir se deve colocá-lo em produção, onde a responsabilidade pelo que ele decide é sua. A parte desconfortável é que uma demonstração responde a uma pergunta que, na verdade, não precisava de ser feita. Apenas mostra que o agente consegue acertar uma vez, num alerta previamente escolhido. A produção exige saber se ele continua a acertar nas várias tipologias, se consegue explicar qualquer decisão daqui a nove meses e quem assume a responsabilidade quando ele falhar.

Existe uma distinção útil por detrás disto tudo: um modelo monitoriza-se, um agente avalia-se. Um modelo gera uma pontuação que pode comparar com um resultado de referência. Um agente segue uma sequência de passos — reúne dados, aciona ferramentas, pondera o que encontrou, chega a uma decisão — e normalmente não há um padrão de referência para nada disso. O que tem, em vez disso, é o que os seus analistas teriam feito. Isso revela-se suficiente, permitindo que uma equipa de risco faça esta avaliação sem precisar de recorrer à ciência de dados.

Resumo rápido

• Uma demonstração comprova apenas um resultado. A produção exige consistência ao longo do tempo, capacidade de reconstrução, governança e integração operacional.

• Avalie o agente em relação às decisões dos seus próprios analistas, e não com base numa pontuação de precisão abstrata. Raramente existe uma verdade absoluta; existe sim o julgamento humano qualificado.

• Quatro dimensões: desempenho consistente, reconstrução de decisões, governança com validação humana e integração operacional.

• O método consiste na execução paralela. O agente e o analista trabalham na mesma fila; a comparação direta constitui a avaliação.

• Não precisa de uma equipa de machine learning. Precisa de decisões humanas documentadas, que correspondem aos seus casos já encerrados.

• Defina o que medir e estabeleça os seus próprios limites. Quem define os critérios de aprovação por si está a tentar vender, não a avaliar.

• A avaliação não termina após o lançamento. Os agentes degradam-se por motivos diferentes dos modelos tradicionais.

O que é a avaliação de agentes de IA

A avaliação de agentes de IA é a prática de confirmar se as decisões de um agente se mantêm sólidas ao longo do tempo em comparação com as decisões da sua própria equipa, e se cada decisão pode ser explicada e reconstruída posteriormente.

Distingue-se da validação de modelos tradicionais por um motivo concreto: validar um modelo significa comparar os seus resultados com respostas corretas conhecidas num conjunto de dados de teste. Um agente não produz apenas um resultado isolado — segue um caminho. Decide que evidências recolher, avalia se são suficientes e toma uma decisão. Uma execução pode chegar a uma conclusão aceitável através de um raciocínio que não aprovaria, ou errar devido a uma linha de pensamento lógica à qual faltou apenas um dado.

A consequência prática: avaliar um agente desenvolvido por terceiros é muito diferente de monitorizar um que tenha criado internamente. A maior parte das orientações disponíveis foca-se em engenheiros a criar agentes e a escolher estruturas de teste. Se for responsável pela gestão de risco a decidir integrar o agente de um fornecedor num processo regulamentado, as perguntas que deve fazer são outras.

O que uma demonstração não consegue mostrar

Isto não significa que a demonstração tenha sido enganosa. Significa apenas que uma demonstração e uma decisão em ambiente de produção são realidades distintas.

A coluna da direita representa a verdadeira avaliação. Cada linha é uma dimensão e nenhuma delas se resolve numa reunião.

Os quatro pontos a avaliar

Encare estes pontos como perguntas a colocar ao fornecedor e à sua própria equipa para perceber se está preparada para analisar as respostas.

1. Desempenho consistente. O agente concorda com os seus analistas, por tipologia, ao longo de um período contínuo e não apenas numa sessão? Uma taxa de concordância geral pode ocultar o problema principal: uma tipologia específica onde o agente erra sistematicamente. Questione como a concordância é calculada, com que volume de dados e se pode analisar as divergências caso a caso.

2. Reconstrução de decisões. Consegue consultar, meses mais tarde, o que o agente analisou e por que motivo chegou a essa conclusão? Não um resumo criado a posteriori, mas sim as evidências exatas no momento da decisão, arquivadas em conjunto com ela. Convém ver como são realmente uma fila de alertas e um registo de auditoria antes de avaliar qualquer fornecedor, para saber exatamente o que exigir. Esta é a dimensão mais frequentemente desvalorizada numa avaliação inicial, mas é a mais crítica durante uma auditoria.

3. Governança e validação. Existem limites operacionais bem definidos para o agente, um ponto de aprovação humana e um registo de ambos? Se a sua instituição avalia modelos segundo a norma SR 11-7, o agente deve cumprir os mesmos requisitos, e a sua equipa de risco de modelos solicitará os elementos referidos acima. Os requisitos detalhados para estes limites e registos são um tema amplo — o artigo sobre segurança, governança e auditabilidade para agentes de risco de IA analisa o assunto segundo os critérios dos reguladores.

Esta é a dimensão onde o panorama regulamentar acabou de mudar, exigindo agora um maior rigor na sua avaliação. Quando o OCC, a Reserva Federal e o FDIC atualizaram as orientações de gestão de risco de modelos em abril de 2026, deixaram a IA generativa e os agentes de IA explicitamente fora do seu âmbito — classificando estes modelos como "inovadores e em rápida evolução" — e anunciaram planos para um pedido de informações conjunto sobre o uso de IA pelos bancos. Esse pedido ainda não foi publicado.

Analise este ponto com atenção, pois pode parecer um alívio à primeira vista, mas não é. O facto de os agentes de IA estarem fora do âmbito direto não significa que passem despercebidos. Os auditores continuarão a perguntar como testou o agente, como o monitoriza e de que forma é feita a supervisão humana. A diferença é que já não existe uma estrutura oficial para justificar a resposta — o que significa que o seu histórico de avaliação é a resposta. Uma instituição com uma avaliação estruturada tem dados para apresentar; quem confiou apenas na demonstração do fornecedor terá dificuldades em justificar-se.

4. Integração operacional. Como será a fila de trabalho dos analistas na semana após a entrada em produção? Quem revê os resultados, como é que um analista contesta a decisão do agente e para onde segue essa divergência? Um agente que é preciso, mas inviável a nível operacional, não sobrevive ao primeiro trimestre.

Por que a referência são os analistas, e não uma métrica de precisão

Esta mudança de perspetiva torna todo o processo viável e merece destaque, pois é o ponto onde surgem mais dúvidas.

Na maioria das decisões de risco, não existe uma verdade absoluta prévia. Saber se um alerta deveria ter sido escalado não é um dado gravado numa base de dados — é uma avaliação feita por um especialista com base numa política. Portanto, a pergunta mensurável não é "o agente estava certo?", mas sim "o agente chegou à mesma conclusão que um analista competente e, quando não chegou, qual foi o motivo?"

Isto traz duas conclusões fundamentais. A primeira é prática: já tem os dados necessários para a avaliação. Cada caso encerrado é uma decisão humana documentada. Não precisa de criar uma base de testes do zero; basta orientar o agente para o histórico que já possui.

A segunda é que não necessita de uma equipa de machine learning para executar o processo. Medir taxas de concordância e rever discrepâncias são tarefas de operações de risco, não de ciência de dados. A equipa que já realiza o controlo de qualidade das decisões dos analistas pode fazer exatamente o mesmo com as decisões do agente.

Uma ressalva importante: os seus analistas não são infalíveis. Uma discordância serve de motivo para analisar o caso, não de prova de que o agente errou. Alguns dos resultados mais úteis nestes exercícios surgem em situações em que o agente tomou a decisão certa e a conclusão humana original estava incorreta.

Como realizar a avaliação

A conformidade não se resolve com uma fórmula mágica, e a avaliação não é uma etapa única antes da implementação. É um processo contínuo de trabalho em paralelo.

Comece pelos testes retrospetivos. Execute o agente com os alertas históricos, onde já conhece a decisão final da sua equipa. É económico, não afeta a produção e indica logo se vale a pena avançar para um teste em tempo real. A Oscilar estrutura isto como as semanas iniciais de uma parceria de implementação de quatro semanas: preparação dos dados e, em seguida, testes retrospetivos com o seu histórico.

Depois, o modo de teste em paralelo. O agente processa a fila de alertas reais lado a lado com os seus analistas, sem tomar decisões finais. O analista toma a sua decisão habitual e dedica alguns minutos adicionais a verificar a conclusão do agente e se concorda com ela. Esse esforço é real e constitui a avaliação propriamente dita, decorrendo ao longo de semanas, não de meses.

Em seguida, adicione o controlo de qualidade. A aplicação de um processo de CQ às decisões do agente funciona como uma validação contínua com supervisão humana, permitindo construir confiança com base em evidências e não em suposições. Analisar amostras das decisões do agente da mesma forma que analisa as dos analistas fornece uma métrica contínua em vez de um veredito pontual.

Por fim, a análise final com decisão humana. Um responsável analisa as taxas de concordância, os padrões de divergência e as verificações pontuais de reconstrução para decidir que volume de trabalho — se algum — é atribuído ao agente. Essa decisão cabe a um responsável identificado.

Para ilustrar o resultado prático: um banco em fase de produção regista 92% de concordância entre o agente e a equipa de analistas na resolução de alertas, com uma redução de 75% no tempo de análise. A concordância com os analistas é exatamente a métrica aqui defendida, sendo por isso o valor relevante a considerar, e não uma pontuação abstrata num teste.

Vale a pena destacar outro ponto: aplicar o controlo de qualidade a todas as decisões do agente em vez de recorrer apenas a uma amostra é uma área em desenvolvimento ativo, e não uma realidade imediata. O interesse desta abordagem é que, se cada decisão cumprir um critério consistente, a amostragem humana pode ser reduzida, incidindo sobre a própria verificação e não sobre o resultado em bruto.

O que deve medir

Defina categorias, não apenas metas. Quem estabelece os critérios de aprovação por si está a tentar vender.

Defina os seus próprios limites de acordo com a sua tolerância ao risco. Os critérios de aceitação para uma prova de conceito — o que define o sucesso — constituem uma etapa própria e devem ser estabelecidos antes do início dos testes, e não negociados após a obtenção dos resultados.

Outro risco comum e relevante: uma métrica sem uma definição consensual é pior do que não ter métricas. Se a "concordância" não for claramente definida antes dos testes, o resultado final perderá o significado e cada pessoa interpretará os números à sua maneira.

Erros comuns

Avaliar apenas a resposta final. A decisão pode estar certa, mas o raciocínio errado, o que significa que falhará no próximo alerta com ligeiras variações.

Avaliar apenas antes do lançamento e nunca mais rever. Este é o erro com maior impacto. O agente pode perder eficácia devido a alterações nas suas políticas, evolução das tipologias ou ajustes nas suas instruções — fatores que não afetam o modelo de base. O desvio em sistemas com agentes é um tema que exige acompanhamento próprio, e uma avaliação limitada à fase inicial não o irá detetar.

Avaliar com dados de referência que não refletem a sua carteira. Os testes de referência de um fornecedor dizem respeito apenas aos dados desse fornecedor.

Aceitar métricas sem uma definição clara. Ver o ponto anterior.

Assumir que uma boa demonstração garante viabilidade operacional. São aspetos distintos. Uma demonstração nada revela sobre o impacto real na sua fila de trabalho.

A importância da plataforma

Um aspeto estrutural determinante para avaliar duas das quatro dimensões:

A capacidade de reconstrução e a medição contínua dependem da infraestrutura subjacente, e não do agente em si. Se as evidências utilizadas pelo agente foram reunidas a partir de vários sistemas no momento da decisão e nunca foram guardadas em conjunto, não será possível reconstruí-las mais tarde — apenas poderá executar o teste de novo, o que não é o mesmo e não satisfará nenhum auditor.

Por este motivo, a camada de decisão é essencial numa avaliação focada em agentes. Numa plataforma integrada, a decisão, as evidências e o raciocínio ficam arquivados em conjunto, num único local. Ao avaliar qualquer fornecedor, pergunte onde reside o registo de decisão e se constitui um registo único.

Para conhecer os agentes abrangidos por este processo, o Agent Hub é o ponto de partida ideal.

Perguntas frequentes

O que é a avaliação de agentes de IA?

A avaliação de agentes de IA é a prática de confirmar se as decisões de um agente se mantêm fiáveis ao longo do tempo face ao julgamento da sua própria equipa, e se cada decisão pode ser explicada e reconstruída posteriormente. Distingue-se da validação de modelos tradicionais porque o agente gera um percurso de raciocínio e ações, e não apenas uma pontuação final mensurável.

Como avaliar fornecedores de agentes de IA para o setor bancário?

Através de quatro dimensões: concordância sustentada com os seus analistas segmentada por tipologia, capacidade de reconstruir qualquer decisão meses depois com os dados originais, limites operacionais claros com validação humana documentada e adequação operacional à fila de trabalho dos analistas. Execute a validação através de testes retrospetivos com alertas históricos, seguidos de testes em paralelo na fila de trabalho real, definindo os seus critérios de aceitação antes de iniciar os testes.

Por que motivo os métodos tradicionais de avaliação são insuficientes para agentes de IA?

A validação tradicional de modelos compara um resultado direto com uma referência prévia conhecida. Um agente executa uma série de passos sem um padrão único de referência: determina que evidências recolher, avalia a sua suficiência e toma uma decisão. É possível alcançar uma conclusão aceitável através de um raciocínio desajustado; por isso, avaliar unicamente a resposta final omite a maior parte do processo.

É possível avaliar um agente de risco de IA sem uma equipa de ciência de dados?

Sim. Como o critério de comparação é a concordância com as decisões dos seus analistas, e não uma métrica de precisão teórica, os dados de avaliação correspondem aos seus casos encerrados e o trabalho cabe à equipa de operações de risco, dispensando a ciência de dados. A equipa responsável pelo controlo de qualidade das decisões dos analistas pode assumir o controlo das decisões do agente.

Quanto tempo deve demorar a avaliação de um agente de IA?

Semanas, e não meses, para o teste inicial — o tempo necessário para cobrir uma amostra representativa de tipologias e verificar se a concordância é estável, indo além de uma primeira impressão. O processo não termina no lançamento: os agentes exigem monitorização contínua, pois degradam-se por razões que muitas vezes não estão ligadas ao modelo.

Como garantir a supervisão humana, a auditabilidade e o desempenho do agente?

Definindo limites operacionais para o agente, incluindo pontos de aprovação humana no registo de decisões, mantendo um registo de auditoria com as evidências e o raciocínio de cada decisão, e assegurando uma comparação contínua com as decisões humanas. As instituições que seguem as orientações da norma SR 11-7 devem tratar um agente como um modelo em produção — validado antes da implementação e monitorizado de forma contínua.