Los analistas de renta variable de una firma de investigación financiera contaban con un asistente de IA que podía redactar secciones de informes, resumir los documentos presentados por las empresas y sintetizar investigaciones a partir de la base de conocimientos interna de la firma. La herramienta había reducido drásticamente el tiempo que los analistas dedicaban a los primeros borradores, y su adopción en el equipo de investigación había sido rápida. El flujo de trabajo había evolucionado de forma orgánica: los analistas pedían un borrador a la IA, lo revisaban y luego lo perfeccionaban. En la práctica, la revisión de un borrador de IA bien redactado era más ligera que la de un borrador humano tosco: la presentación pulida reducía la señal cognitiva que exige una revisión cuidadosa. Un analista pidió a la IA que redactara la sección de productos en desarrollo de un informe de inicio de cobertura de una empresa farmacéutica. La IA produjo una sección estructurada y de apariencia autorizada con afirmaciones específicas sobre tres fármacos en desarrollo, que incluían los plazos de cada fase, resúmenes del mecanismo de acción y estimaciones de la probabilidad de éxito. El analista, presionado por el plazo, revisó la sección y la encontró bien estructurada y coherente con su conocimiento general de la empresa. El informe se publicó. Dos días después, un lector de la empresa farmacéutica se puso en contacto con el equipo de cumplimiento de la firma para señalar que dos de los fármacos en desarrollo citados en el informe no existían: no eran fármacos de la empresa, y las estimaciones de probabilidad de éxito citaban datos de ensayos específicos que no existían. La IA había generado una investigación farmacéutica verosímil a partir de una combinación de sus datos de entrenamiento y de su tendencia generativa a producir contenido seguro y estructurado. El resultado parecía una investigación porque estaba estructurado como una investigación. El contenido confabulado no tenía ninguna señal que lo distinguiera del contenido exacto.
¿Qué es realmente la fuga de datos en los resultados de la IA?
La fuga de datos en los resultados de la IA, en el contexto de los productos de IA empresariales, abarca dos dimensiones de riesgo distintas. La primera es la fuga de datos en el sentido tradicional: datos sensibles del contexto, del corpus de entrenamiento o de la base de conocimientos conectada de la IA que aparecen en resultados accesibles para personas no autorizadas. La segunda dimensión, menos reconocida, es la filtración de contenido confabulado por la IA en los resultados de la empresa: la tendencia generativa de la IA produce contenido seguro y verosímil que es incorrecto en los hechos, pero estructuralmente indistinguible del contenido exacto, y ese contenido entra en los documentos, las decisiones y las comunicaciones de la empresa sin que los destinatarios comprendan su origen.
El riesgo de confabulación es la dimensión más generalizada y menos comprendida. Los grandes modelos de lenguaje generan texto prediciendo la continuación más probable de una instrucción a partir de patrones estadísticos de sus datos de entrenamiento. Cuando se les pregunta sobre temas en los que sus datos de entrenamiento son limitados, están desactualizados o son ambiguos, generan contenido estadísticamente verosímil (estructurado como información exacta, con tono seguro y coherente con el dominio general), pero incorrecto en los hechos. Esta confabulación no es un error ni una falla de funcionamiento. Es una consecuencia de cómo funcionan los modelos de lenguaje. Todo LLM confabula en cierta medida ante consultas para las que sus datos de entrenamiento son insuficientes.
El problema de la paridad de confianza es el amplificador del riesgo. Los resultados de los LLM no tienen una señal de confianza fiable que distinga la síntesis exacta de la confabulación: ambos tipos de resultado se producen con la misma fluidez gramatical, el mismo pulido estructural y el mismo tono seguro. Los revisores humanos que aplican distintos niveles de escrutinio al contenido pulido y al contenido tosco aplicarán al resultado pulido de la IA un escrutinio más ligero del que merece. El atajo cognitivo de que una redacción pulida indica un razonamiento cuidadoso, que a menudo es válido para la escritura humana, falla con los resultados de los LLM, en los que la presentación pulida es una propiedad del proceso de generación, independientemente de la exactitud de los hechos.
El problema del límite de la base de conocimientos es el riesgo empresarial específico. Los asistentes de IA configurados con acceso a la base de conocimientos interna de una empresa sintetizan con exactitud el contenido de esa base de conocimientos para las consultas que entran en su cobertura. Para las consultas que van más allá de la cobertura de la base de conocimientos, la IA genera contenido a partir de su entrenamiento general, que puede no incluir información actual, exacta o específica sobre el tema de la consulta. La transición de la síntesis de la base de conocimientos a la generación a partir de los datos de entrenamiento no es visible en el resultado. Ambos tipos de contenido aparecen con el mismo formato y la misma seguridad.
Por qué es importante
La fuga de datos en los resultados de la IA es importante para la TPRM porque los productos de IA que los proveedores implementan para los trabajadores del conocimiento de las empresas (asistentes de investigación, redactores de documentos, herramientas de comunicación con clientes, aceleradores de análisis) generan un riesgo sistemático de confabulación en los resultados que producen esos trabajadores. La empresa que depende del asistente de IA de un proveedor para la investigación, el análisis o la comunicación hereda el riesgo de confabulación que crean los límites de la base de conocimientos y las tendencias generativas de la IA.
Dónde se equivocan la mayoría de los equipos
La falla más constante es tratar la calidad de los resultados de la IA como equivalente a su exactitud. La calidad de los resultados (fluidez gramatical, coherencia estructural, tono seguro) es una propiedad del proceso de generación. La exactitud depende de la cobertura de los datos de entrenamiento y de la alineación con la base de conocimientos. Una confabulación de alta calidad es indistinguible de una síntesis exacta en el formato del resultado.
- Calidad de los resultados equiparada a exactitud
- Proceso de revisión no ajustado al contenido asistido por IA: revisión más ligera para resultados pulidos
- Límite de la base de conocimientos no comunicado a los usuarios: no saben cuándo la IA está extrapolando
- Tasa de confabulación del producto de IA del proveedor no evaluada
- Requisitos de citas y fuentes no aplicados al contenido generado por IA
Cómo se ve una buena práctica
Los programas maduros de riesgo de los resultados de la IA implementan requisitos de atribución de fuentes para el contenido generado por IA, que exigen a la IA citar las fuentes específicas de las que se extrajo la información, combinados con indicadores explícitos de límites que avisan a los usuarios cuando la IA genera contenido más allá de la cobertura de su base de conocimientos.
- Requisito de atribución de fuentes: la IA debe citar fuentes específicas para las afirmaciones fácticas
- Indicadores del límite de la base de conocimientos: notificación explícita cuando la IA extrapola más allá de la base de conocimientos
- Protocolo de revisión reforzada para el contenido generado por IA: calibrado según la tasa de confabulación de la IA
- Evaluación de la tasa de confabulación: pruebas específicas del producto de IA del proveedor en el dominio de la empresa
- Monitoreo de los resultados para tipos de contenido con alto riesgo de confabulación
Herramientas
Verificación de los resultados de la IA: Ragas, TruLens para la evaluación de sistemas RAG
Los marcos de evaluación de la generación aumentada por recuperación (RAG) evalúan la exactitud de los resultados de la IA en relación con los documentos de origen e identifican los casos en los que la IA generó contenido que no estaba respaldado por las fuentes recuperadas. Para los profesionales de TPRM, preguntar si el producto de IA del proveedor usa la evaluación de RAG para medir y monitorear las tasas de confabulación ofrece una pregunta concreta sobre la exactitud de los resultados.
Desafíos de gobernanza
El desafío de gobernanza de la fuga de datos en los resultados de la IA es el riesgo de alterar los flujos de trabajo. Exigir la atribución de fuentes y una revisión reforzada del contenido generado por IA reduce el beneficio de productividad que aporta la asistencia de la IA. La solución de gobernanza es una calibración de la revisión basada en el riesgo: aplicar requisitos de revisión reforzada en proporción a la consecuencia de la confabulación en el caso de uso concreto.
- Exija la atribución de fuentes para las afirmaciones fácticas en los resultados de la IA
- Implemente indicadores del límite de la base de conocimientos
- Evalúe la tasa de confabulación del producto de IA del proveedor en el dominio de la empresa
- Calibre los protocolos de revisión según la consecuencia del caso de uso
- Capacite a los usuarios sobre el riesgo de confabulación y los requisitos de revisión
Si usted forma parte de un equipo pequeño
Para cualquier producto de IA de un proveedor que se use para producir contenido que entre en comunicaciones externas, presentaciones regulatorias o análisis publicados, implemente un requisito: las afirmaciones fácticas generadas por IA deben incluir citas de fuentes, y los revisores deben verificar una muestra de esas citas. Ese requisito saca a la luz la confabulación: una afirmación confabulada citará una fuente que no contiene la información afirmada o no tendrá ninguna cita. El requisito también cambia el proceso de revisión de una evaluación de la calidad del resultado a una verificación de la exactitud.
- Exija citas de fuentes para las afirmaciones fácticas en los resultados de la IA
- Verifique una muestra de las citas como estándar de revisión
- Evalúe la tasa de confabulación del producto de IA del proveedor en su dominio
- Aplique una revisión reforzada en los casos de uso de alto impacto
Qué exigir
Pregunte directamente:
"¿Se ha evaluado la tasa de confabulación de su producto de IA para nuestro dominio específico? ¿Y su producto proporciona atribución de fuentes para las afirmaciones fácticas, de modo que los revisores puedan verificar el contenido generado por IA frente a las fuentes citadas?"
Evidencia que debe esperar
- Evaluación de la tasa de confabulación en el dominio pertinente
- Capacidad de atribución de fuentes
- Indicadores del límite de la base de conocimientos
- Metodología de evaluación de RAG
A un proveedor que confirma la calidad de su asistencia de investigación con IA se le debe preguntar por la evaluación de la tasa de confabulación y la atribución de fuentes. La calidad de los resultados confirma que el proceso de generación funciona. La evaluación de la tasa de confabulación confirma con qué frecuencia es exacto lo que genera.
Cómo demostrarlo
- Registros de la evaluación de la tasa de confabulación
- Implementación de la atribución de fuentes
- Documentación del protocolo de revisión reforzada
- Registros de capacitación de los usuarios
Conclusión clave
Dos fármacos en desarrollo que no existían. Estimaciones de probabilidad de éxito que citaban datos de ensayos que no existían. Una confabulación segura, bien estructurada y adecuada al ámbito farmacéutico. La revisión fue más ligera porque el resultado estaba pulido. La confabulación no tenía ninguna señal que la distinguiera de una síntesis exacta. El resultado parecía un análisis porque estaba estructurado como un análisis. La fuga de datos en los resultados de la IA no son solo datos que salen: son datos confabulados que entran como si fueran fiables. La atribución de fuentes, los indicadores del límite de la base de conocimientos y la evaluación de la tasa de confabulación son los controles que marcan la diferencia entre la exactitud asistida por IA y el error acelerado por IA.