Una empresa implementó un asistente de IA para su equipo de finanzas: un sistema basado en RAG que respondía preguntas a partir de las políticas financieras internas, los procedimientos y las matrices de aprobación de la empresa. La herramienta tenía por objeto reducir la carga de soporte interno del equipo de finanzas al permitir que los empleados obtuvieran por sí mismos las respuestas a preguntas sobre políticas en lugar de consultar directamente al equipo de finanzas. La IA se había configurado con controles de acceso adecuados: solo podían acceder a ella usuarios autenticados de la empresa y solo respondía a partir de documentos de su base de conocimiento configurada. Un atacante que había comprometido las credenciales de la cuenta de un empleado con privilegios bajos utilizó el asistente de IA para realizar una operación de reconocimiento, haciendo preguntas detalladas sobre los umbrales de aprobación financiera, los requisitos de doble autorización, los activadores de revisión de CFO y los procedimientos de transferencias electrónicas internacionales. La IA respondió a todas las preguntas con exactitud y diligencia, basándose en los documentos de políticas de la empresa tal como estaba diseñada. El atacante utilizó la información para calibrar un ataque de compromiso del correo electrónico empresarial: elaboró una solicitud de pago fraudulenta por un monto justo por debajo del umbral de doble autorización que habría requerido un segundo aprobador. Se había confiado al asistente de IA el servicio al equipo de finanzas. También había servido a un atacante con una credencial comprometida. El límite de confianza de la IA era la autenticación. No podía evaluar si el usuario autenticado actuaba dentro del alcance legítimo que la confianza pretendía cubrir.
¿Qué son realmente los límites de confianza de la IA?
Los límites de confianza de la IA definen el alcance de lo que un sistema de IA debe y no debe hacer, revelar o permitir en función de quién pregunta y en qué contexto. Las fallas de los límites de confianza se producen cuando se confía a los sistemas de IA funciones sensibles (responder preguntas sobre políticas sensibles, ejecutar acciones privilegiadas, recuperar información confidencial) sin controles adecuados para verificar que la intención del usuario solicitante está dentro del alcance al que se pretendía extender la confianza. La autenticación establece la identidad. Los límites de confianza determinan si la solicitud de esa identidad entra en el alcance adecuado.
La limitación de usar la autenticación como límite de confianza es el problema central. Las implementaciones empresariales de IA suelen utilizar la autenticación como límite de confianza principal: si el usuario está autenticado, la IA atiende sus solicitudes. Esto es adecuado para los sistemas de IA que atienden necesidades de información general. Es insuficiente para los sistemas de IA que responden preguntas sensibles, ejecutan acciones privilegiadas o recuperan información confidencial sobre políticas que podría utilizarse para calibrar ataques contra los controles de la empresa. La autenticación confirma la identidad. No confirma la intención ni el alcance adecuado del acceso a la información.
La amenaza de reconocimiento es el riesgo específico de los límites de confianza de la IA. Los asistentes de IA que consolidan información operativa sensible (umbrales de aprobación, controles de seguridad, arquitecturas de sistemas, procedimientos de personal) en una base de conocimiento consultable crean una capacidad de reconocimiento para cualquier usuario autenticado. Un empleado legítimo la utiliza para obtener respuestas sobre políticas por sí mismo. Un atacante con una credencial comprometida la utiliza para reunir la inteligencia operativa específica que necesita para calibrar ataques que eluden los controles de la empresa. La utilidad de la IA es la ventaja del atacante.
El problema de los límites de confianza sensibles al contexto es la solución de gobernanza y su complejidad. Implementar límites de confianza que reflejen el contexto y la intención de las solicitudes, y no solo la autenticación, requiere comprender qué constituye un patrón de solicitudes legítimo frente a uno sospechoso para la implementación de IA específica. Un empleado de finanzas que pregunta de forma aislada por los umbrales de aprobación puede estar haciendo una consulta legítima sobre políticas. Una secuencia de consultas sobre umbrales de aprobación, requisitos de doble autorización y procedimientos de pago desde una cuenta que nunca antes había accedido a la IA de finanzas es un patrón distinto. La confianza sensible al contexto requiere análisis de patrones, no solo verificación de credenciales.
Por qué es importante
Los límites de confianza de la IA son importantes para TPRM porque los productos de IA de los proveedores que agregan información operativa sensible en bases de conocimiento consultables crean capacidades de reconocimiento al alcance de cualquier usuario que pueda autenticarse, incluidos usuarios con credenciales comprometidas, ataques de ingeniería social y amenazas internas con credenciales que superan su alcance de acceso previsto. La autenticación es necesaria, pero no suficiente como único límite de confianza para las implementaciones de IA sensibles.
- Autenticación aceptada como límite de confianza completo
- Amenaza de reconocimiento: la IA agrega información sensible sobre políticas accesible para cualquier usuario autenticado
- Confianza sensible al contexto no implementada: no se distingue entre consultas aisladas y patrones de reconocimiento
- Categoría de información sensible no evaluada para su inclusión en la base de conocimiento de la IA
- Supervisión de patrones de consultas para detectar secuencias indicativas de reconocimiento no implementada
Cómo se ve una buena práctica
Los programas maduros de límites de confianza de la IA evalúan qué información contiene la base de conocimiento de la IA frente a lo que debería ser accesible para todos los usuarios autenticados (en concreto, identifican la información operativa sensible que debería requerir autorización o contexto adicionales más allá de la autenticación) e implementan la supervisión de consultas para detectar patrones indicativos de reconocimiento y no de autoservicio legítimo de políticas.
- Evaluación del contenido de la base de conocimiento: qué información sensible es accesible para cualquier usuario autenticado
- Controles de acceso sensibles al contexto: información sensible que requiere una autorización adicional más allá de la autenticación
- Supervisión de patrones de consultas: secuencias de consultas indicativas de reconocimiento señaladas para su revisión
- Exclusión de categorías sensibles: información operativa sensible específica excluida de la base de conocimiento de la IA
- Documentación del alcance del límite de confianza: qué se confía a la IA responder y a quién
Herramientas
Confianza en la IA: pasarela de LLM con supervisión de consultas, Microsoft Purview para los controles de contenido sensible en Copilot
Las plataformas de pasarela de LLM y de gobernanza de la IA pueden implementar una supervisión de consultas que señale secuencias de consultas sobre información operativa sensible, identificando específicamente patrones compatibles con el reconocimiento y no con el autoservicio de políticas mediante preguntas aisladas. Para los profesionales de TPRM, preguntar si el asistente de IA del proveedor cuenta con supervisión de patrones de consultas además de la autenticación es una pregunta concreta sobre los límites de confianza.
Desafíos de gobernanza
El desafío de gobernanza en los límites de confianza de la IA es la tensión entre utilidad y seguridad. Los asistentes de IA implementados para el autoservicio de preguntas sobre políticas aportan más valor cuando responden de forma completa y exacta. Excluir la información sensible de la base de conocimiento reduce la utilidad de la IA. La solución de gobernanza son las bases de conocimiento segmentadas (información general sobre políticas accesible para todos los usuarios autenticados e información operativa sensible accesible mediante una autorización adicional) y una supervisión de consultas que señale los patrones de acceso inusuales.
- Evaluar la base de conocimiento de la IA en busca de información operativa sensible
- Segmentar el acceso a la base de conocimiento según la sensibilidad de la información
- Implementar la supervisión de patrones de consultas para detectar secuencias indicativas de reconocimiento
- Definir el alcance del límite de confianza: qué se confía a la IA responder y a quién
- Incluir el escenario de compromiso de credenciales en la evaluación de seguridad de la IA
Si usted forma parte de un equipo pequeño
Haga la pregunta del escenario de credenciales comprometidas: si un atacante comprometiera la cuenta de un empleado con privilegios bajos y consultara a su asistente de IA de finanzas sobre los umbrales de aprobación, los requisitos de doble autorización y los procedimientos de pago, ¿qué averiguaría y habría alguna supervisión o control que impidiera o detectara ese reconocimiento? Esa pregunta revela la brecha en los límites de confianza entre la autenticación y el alcance adecuado de acceso a la información.
- Hacer la pregunta del escenario de reconocimiento con credenciales comprometidas
- Evaluar qué información operativa sensible hay en la base de conocimiento de la IA
- Preguntar por la supervisión de patrones de consultas para detectar secuencias de reconocimiento
- Evaluar la segmentación de la base de conocimiento según la sensibilidad de la información
Qué exigir
Pregunte directamente:
"Si un usuario autenticado consultara en secuencia a su asistente de IA sobre los umbrales de aprobación financiera, los requisitos de doble autorización y los procedimientos de pago, ¿habría alguna supervisión o control que señalara ese patrón de consultas como posible reconocimiento y no como autoservicio legítimo de políticas?"
Evidencia que debe esperar
- Capacidad de supervisión de patrones de consultas
- Evaluación del contenido sensible de la base de conocimiento
- Controles de acceso sensibles al contexto más allá de la autenticación
- Documentación del alcance del límite de confianza
A un proveedor que confirma controles de autenticación para la IA se le debe preguntar por el alcance de los límites de confianza. La autenticación confirma la identidad. El alcance del límite de confianza determina si la solicitud de la identidad autenticada entra en el alcance de acceso adecuado a la información sensible.
Cómo demostrarlo
- Registros de evaluación del contenido de la base de conocimiento
- Implementación de la supervisión de patrones de consultas
- Documentación del alcance del límite de confianza
- Registros de control de acceso a la información sensible
Conclusión clave
IA de finanzas. Preguntas sobre políticas respondidas con exactitud. Atacante con credenciales comprometidas: también respondido con exactitud. Umbrales de aprobación: revelados. Requisitos de doble autorización: revelados. Procedimientos de pago: revelados. Ataque de BEC calibrado por debajo del umbral de doble autorización: ejecutado. La autenticación confirmó que la credencial era válida. No se había implementado el límite de confianza que podría haber distinguido la consulta legítima sobre políticas del reconocimiento del atacante. La autenticación es el límite de identidad. Los límites de confianza son el límite de alcance. Para los sistemas de IA que agregan información operativa sensible, ambos son necesarios. La supervisión de patrones de consultas es el mecanismo que detecta el patrón de reconocimiento que la autenticación de consultas individuales no puede distinguir del uso legítimo.