Agentes de IA em produção: AWS detalha avaliação contínua e Anthropic abre revisão externa
Um agente de IA pode continuar respondendo rapidamente e, ainda assim, tomar decisões piores. Em um relato publicado em 16 de outubro, a AWS descreveu como avalia um sistema de múltiplos agentes usado por suas equipes comerciais. No dia anterior, a Anthropic anunciou que começou a dar acesso interno a avaliadores da organização METR para examinar riscos de seus modelos. São iniciativas distintas, mas oferecem uma pergunta prática a quem automatiza processos: como provar que o sistema continua correto e sob controle depois do lançamento?
Uma resposta entregue não é uma resposta certa
No caso apresentado pela AWS, agentes especializados consultam dados e compõem respostas para equipes de vendas e liderança. Segundo a empresa, um componente pode perder qualidade sem produzir erro de infraestrutura: a resposta chega, mas pode trazer informação inadequada para a decisão. O artigo resume a diferença entre disponibilidade e acerto: “Through the different runs, monitoring stayed green. It told us the system had responded, not whether the answer was right.” A descrição técnica da AWS apresenta avaliações antes da implantação, acompanhamento em produção e análise de qualidade, segurança, desempenho, custo e controle operacional. Trata-se do relato da própria fornecedora sobre um uso interno; não é prova independente de que a abordagem funcione da mesma forma em toda empresa.
Quem avalia os próprios modelos?
Em outra frente, a Anthropic informou que começou a oferecer a uma equipe da METR acesso a ferramentas e informações internas para avaliar riscos de seus modelos. A companhia afirma: “METR will publish the results of its risk assessments.” A notícia não diz que a METR já concluiu essa avaliação nem que os modelos foram aprovados. O que existe, por enquanto, é um arranjo de acesso e a promessa de publicação dos resultados.
A reportagem da ZDNET descreve o mesmo anúncio e ressalta uma condição relevante: “METR will publish its findings, none of which Anthropic is allowed to withhold”. O texto também informa que a Anthropic pode solicitar a ocultação de informações sensíveis. Isso reforça a necessidade de ler o relatório futuro e seus limites antes de tratar o acesso dos avaliadores como uma certificação de segurança.
O que muda na operação
Para uma empresa que pretende conectar agentes a dados de clientes, atendimento ou sistemas internos, as duas notícias sugerem controles complementares, não uma receita pronta: definir o que cada agente pode acessar e executar; testar respostas e escolhas de ferramentas com casos conhecidos; acompanhar erros de qualidade além de latência e disponibilidade; e registrar evidências que possam ser revisadas por pessoas independentes do time que construiu o sistema. São recomendações operacionais derivadas da leitura das fontes, não exigências legais estabelecidas por elas.
O próximo passo é escolher um processo limitado, identificar qual decisão não pode ser automatizada sem revisão humana e definir um teste reproduzível para detectar quando o agente responde de modo convincente, mas incorreto. Só ampliar sua autonomia depois de examinar os resultados. Publicar um agente e observar apenas se ele permanece online não demonstra que ele continua confiável.