Os analistas de ações de uma empresa de pesquisa financeira contavam com o apoio de um assistente de IA capaz de redigir seções de relatórios, resumir documentos regulatórios de empresas e sintetizar pesquisas da base de conhecimento interna da empresa. A ferramenta havia reduzido drasticamente o tempo que os analistas dedicavam às primeiras versões, e a adoção pela equipe de pesquisa havia sido rápida. O fluxo de trabalho havia evoluído de forma orgânica: os analistas pediam um rascunho à IA, revisavam-no e depois o refinavam. Na prática, a revisão de um rascunho de IA bem escrito era mais leve do que a de um rascunho humano mais tosco: a apresentação bem acabada reduzia o sinal cognitivo que uma revisão cuidadosa exige. Um analista pediu à IA que redigisse a seção sobre o portfólio de desenvolvimento de um relatório de início de cobertura de uma empresa farmacêutica. A IA produziu uma seção estruturada e de tom autoritativo, com afirmações específicas sobre três medicamentos em desenvolvimento, incluindo cronogramas das fases, resumos do mecanismo de ação e estimativas de probabilidade de sucesso. O analista, pressionado pelo prazo, revisou a seção e a considerou bem estruturada e coerente com seu conhecimento geral da empresa. O relatório foi publicado. Dois dias depois, um leitor da empresa farmacêutica contatou a equipe de compliance da firma para apontar que dois dos medicamentos em desenvolvimento citados no relatório não existiam: não eram medicamentos da empresa, e as estimativas de probabilidade de sucesso citavam dados específicos de ensaios que não existiam. A IA havia gerado uma pesquisa farmacêutica plausível a partir de uma combinação de seus dados de treinamento e de sua tendência generativa de produzir conteúdo confiante e estruturado. A saída parecia pesquisa porque estava estruturada como pesquisa. O conteúdo confabulado não tinha nenhum sinal que o distinguisse de conteúdo preciso.
O que é, de fato, o vazamento de dados nas saídas de IA?
O vazamento de dados nas saídas de IA, no contexto de produtos corporativos de IA, abrange duas dimensões de risco distintas. A primeira é o sentido tradicional de vazamento de dados: dados sensíveis do contexto da IA, de seu corpus de treinamento ou da base de conhecimento conectada aparecendo em saídas acessíveis a partes não autorizadas. A segunda dimensão, menos reconhecida, é o vazamento de conteúdo confabulado pela IA para os resultados da empresa, quando a tendência generativa da IA produz conteúdo confiante e plausível que é factualmente incorreto, mas estruturalmente indistinguível de conteúdo preciso, e esse conteúdo entra em documentos, decisões e comunicações da empresa sem que os destinatários entendam sua origem.
O risco de confabulação é a dimensão mais difundida e menos compreendida. Os grandes modelos de linguagem geram texto prevendo a continuação mais provável de um prompt com base em padrões estatísticos de seus dados de treinamento. Quando questionados sobre temas em que seus dados de treinamento são limitados, desatualizados ou ambíguos, os LLMs geram conteúdo estatisticamente plausível (estruturado como informação precisa, com tom confiante e coerente com o domínio em geral), mas factualmente incorreto. Essa confabulação não é um defeito nem um mau funcionamento. É uma consequência de como os modelos de linguagem funcionam. Todo LLM confabula em algum grau quando recebe consultas para as quais seus dados de treinamento são insuficientes.
O problema da paridade de confiança é o amplificador do risco. As saídas de LLM não têm um sinal de confiança confiável que distinga a síntese precisa da confabulação: os dois tipos de saída são produzidos com a mesma fluência gramatical, o mesmo acabamento estrutural e o mesmo tom confiante. Revisores humanos que aplicam níveis diferentes de escrutínio a conteúdo bem acabado e a conteúdo rascunhado aplicarão às saídas de IA bem acabadas um escrutínio mais leve do que elas exigem. O atalho cognitivo de que um texto bem acabado indica reflexão cuidadosa, muitas vezes válido para textos escritos por pessoas, falha no caso das saídas de LLM, em que a apresentação bem acabada é uma propriedade do processo de geração, independentemente da exatidão factual.
O problema do limite da base de conhecimento é o risco corporativo específico. Assistentes de IA configurados com acesso à base de conhecimento interna de uma empresa sintetizam o conteúdo dessa base com precisão para consultas dentro de sua cobertura. Para consultas que vão além da cobertura da base de conhecimento, a IA gera conteúdo a partir de seu treinamento geral, que pode não incluir informações atuais, precisas ou específicas sobre o tema da consulta. A transição da síntese a partir da base de conhecimento para a geração a partir dos dados de treinamento não é visível na saída. Os dois tipos de conteúdo aparecem no mesmo formato e com a mesma confiança.
Por que isso importa
O vazamento de dados nas saídas de IA é importante para o TPRM porque os produtos de IA que os fornecedores implantam para os trabalhadores do conhecimento das empresas (assistentes de pesquisa, redatores de documentos, ferramentas de comunicação com clientes, aceleradores de análise) criam um risco sistemático de confabulação nos resultados que esses trabalhadores produzem. A empresa que depende do assistente de IA de um fornecedor para pesquisa, análise ou comunicação herda o risco de confabulação criado pelos limites da base de conhecimento e pelas tendências generativas da IA.
Onde a maioria das equipes erra
A falha mais constante é tratar a qualidade das saídas de IA como equivalente à precisão da IA. A qualidade das saídas (fluência gramatical, coerência estrutural, tom confiante) é uma propriedade do processo de geração. A precisão é função da cobertura dos dados de treinamento e do alinhamento com a base de conhecimento. Na forma da saída, uma confabulação de alta qualidade é indistinguível de uma síntese precisa.
- Qualidade das saídas equiparada à precisão
- Processo de revisão não ajustado ao conteúdo assistido por IA: revisão mais leve para saídas bem acabadas
- Limite da base de conhecimento não comunicado aos usuários: eles não sabem quando a IA está extrapolando
- Taxa de confabulação do produto de IA do fornecedor não avaliada
- Requisitos de citação e indicação de fontes não aplicados ao conteúdo gerado por IA
Como é uma boa prática
Programas maduros de risco das saídas de IA implementam requisitos de atribuição de fontes para o conteúdo gerado por IA, exigindo que a IA cite as fontes específicas de onde as informações foram extraídas, combinados com indicadores explícitos de limite que notificam os usuários quando a IA está gerando conteúdo além da cobertura de sua base de conhecimento.
- Requisito de atribuição de fontes: a IA deve citar fontes específicas para afirmações factuais
- Indicadores de limite da base de conhecimento: notificação explícita quando a IA extrapola além da base de conhecimento
- Protocolo de revisão reforçada para conteúdo gerado por IA, calibrado de acordo com a taxa de confabulação da IA
- Avaliação da taxa de confabulação: testes específicos do produto de IA do fornecedor no domínio da empresa
- Monitoramento das saídas para tipos de conteúdo com alto risco de confabulação
Ferramentas
Verificação das saídas de IA: Ragas, TruLens para avaliação de sistemas de RAG
Estruturas de avaliação de geração aumentada por recuperação (RAG) avaliam a precisão das saídas de IA em relação aos documentos de origem, identificando casos em que a IA gerou conteúdo que não era sustentado pelas fontes recuperadas. Para profissionais de TPRM, perguntar se o produto de IA do fornecedor usa avaliação de RAG para medir e monitorar as taxas de confabulação é uma pergunta específica sobre a precisão das saídas.
Desafios de governança
O desafio de governança do vazamento de dados nas saídas de IA é o risco de interromper os fluxos de trabalho. Exigir atribuição de fontes e revisão reforçada para conteúdo gerado por IA reduz o ganho de produtividade que a assistência de IA proporciona. A solução de governança é calibrar a revisão com base no risco, aplicando requisitos de revisão reforçada em proporção à consequência da confabulação no caso de uso específico.
- Exigir atribuição de fontes para afirmações factuais nas saídas de IA
- Implementar indicadores de limite da base de conhecimento
- Avaliar a taxa de confabulação do produto de IA do fornecedor no domínio da empresa
- Calibrar os protocolos de revisão de acordo com a consequência do caso de uso
- Treinar os usuários sobre o risco de confabulação e os requisitos de revisão
Se você faz parte de uma equipe pequena
Para qualquer produto de IA de fornecedor usado para produzir conteúdo que entre em comunicações externas, documentos regulatórios ou análises publicadas, implemente um requisito: as afirmações factuais geradas por IA devem incluir citações de fontes, e os revisores devem verificar uma amostra dessas citações. Esse requisito revela a confabulação: uma afirmação confabulada citará uma fonte que não contém a informação alegada, ou simplesmente não terá citação. O requisito também desloca o processo de revisão da avaliação da qualidade da saída para a verificação da precisão.
- Exigir citação de fontes para afirmações factuais nas saídas de IA
- Verificar uma amostra das citações como padrão de revisão
- Avaliar a taxa de confabulação do produto de IA do fornecedor no seu domínio
- Aplicar revisão reforçada em casos de uso de alto impacto
O que exigir
Pergunte diretamente:
“A taxa de confabulação do seu produto de IA foi avaliada para o nosso domínio específico, e o seu produto fornece atribuição de fontes para afirmações factuais, de modo que os revisores possam verificar o conteúdo gerado por IA em relação às fontes citadas?”
O que esperar como evidência
- Avaliação da taxa de confabulação no domínio relevante
- Capacidade de atribuição de fontes
- Indicadores de limite da base de conhecimento
- Metodologia de avaliação de RAG
Um fornecedor que confirme a qualidade de sua assistência de pesquisa por IA deve ser questionado sobre a avaliação da taxa de confabulação e a atribuição de fontes. A qualidade das saídas confirma que o processo de geração funciona. A avaliação da taxa de confabulação confirma com que frequência aquilo que ele gera é preciso.
Como comprovar
- Registros da avaliação da taxa de confabulação
- Implementação da atribuição de fontes
- Documentação do protocolo de revisão reforçada
- Registros de treinamento dos usuários
Principal conclusão
Dois medicamentos em desenvolvimento que não existiam. Estimativas de probabilidade de sucesso citando dados de ensaios que não existiam. Confabulação confiante, bem estruturada e adequada ao domínio farmacêutico. A revisão foi mais leve porque a saída era bem acabada. A confabulação não tinha nenhum sinal que a distinguisse de uma síntese precisa. A saída parecia uma análise porque estava estruturada como uma análise. O vazamento de dados nas saídas de IA não é apenas dados saindo: são dados confabulados entrando como se fossem confiáveis. A atribuição de fontes, os indicadores de limite da base de conhecimento e a avaliação da taxa de confabulação são os controles que fazem a diferença entre precisão assistida por IA e erro acelerado por IA.