O modelo de IA de qualidade de dados de uma organização de pesquisa clínica triava os registros de ensaios clínicos recebidos e sinalizava aqueles que exigiam revisão de um gestor de dados humano antes do fechamento da base de dados. O modelo havia sido validado com 94% de precisão, o que significa que classificava corretamente 94% dos registros como exigindo ou não exigindo revisão. O processo de negócio havia sido desenhado com a premissa de que a precisão de 94% do modelo oferecia uma cobertura abrangente, suficiente para substituir a triagem manual de todos os registros. Após três meses de operação em produção, uma gestora de dados sênior percebeu que os registros que chegavam à etapa de fechamento da base sem sinalização pareciam ser sistematicamente diferentes dos que estavam sendo sinalizados: os registros não sinalizados que ela verificava manualmente por amostragem pareciam ter maior complexidade de dados. Uma análise confirmou o padrão: os 6% de registros que o modelo deixava de sinalizar eram sistematicamente os registros mais complexos do conjunto de dados, casos atípicos com padrões de dados incomuns, registros de centros clínicos que não estavam bem representados nos dados de treinamento do modelo e registros com problemas sutis de integridade de dados, cuja identificação exigia conhecimento especializado e leitura atenta. O modelo era mais preciso nos registros rotineiros, que um revisor humano treinado teria identificado rapidamente de qualquer forma. Era menos preciso nos registros complexos, em que a revisão humana era mais crítica e mais difícil de substituir. A métrica de precisão de 94% era real. O padrão sistemático de onde os 6% se concentravam era o risco operacional que a métrica de precisão não revelava.
O que são, de fato, os riscos operacionais de IA?
Os riscos operacionais de IA são os riscos que decorrem da implantação de sistemas de IA em contextos operacionais reais, em que as características de desempenho do modelo (precisão, modos de falha, níveis de confiança e vieses sistemáticos) interagem com as premissas do processo de negócio, os níveis de supervisão humana e as consequências posteriores de maneiras que criam vulnerabilidade operacional. Um modelo de IA com precisão geral de 94% pode ter uma taxa de não detecção de 6% sistematicamente concentrada nos casos de maior impacto, criando um perfil de risco que as métricas de precisão agregada não captam.
O problema da concentração de erros sistemáticos é o risco operacional central. Modelos de IA não falham aleatoriamente: eles falham de forma sistemática, em padrões que refletem as limitações de seus dados de treinamento, suas premissas de arquitetura e a distribuição de casos para a qual foram otimizados. Um modelo de qualidade de dados clínicos treinado predominantemente com registros rotineiros será menos preciso em casos complexos e atípicos. Um modelo de detecção de fraudes treinado com padrões históricos de fraude será menos preciso diante de novas metodologias de fraude. O padrão sistemático de onde um modelo falha é a informação de risco operacional que as métricas de precisão agregada ocultam.
A lacuna das premissas do processo de negócio é o risco de implantação. Processos de negócio desenhados para incorporar triagem ou classificação por IA costumam pressupor um nível de cobertura que as métricas de precisão agregada parecem sustentar, mas que o padrão de erro sistemático compromete. Um processo desenhado com a premissa de que 94% de precisão geral oferece cobertura adequada pode estar mal desenhado se a taxa de não detecção de 6% estiver concentrada nos registros em que a revisão humana é mais crítica. O desenho do processo e as características reais de desempenho do modelo precisam ser compatibilizados no nível detalhado, e não no nível agregado.
O risco operacional da calibração da confiança está relacionado. Modelos de IA produzem pontuações de confiança para suas classificações. Pontuações de confiança bem calibradas podem ter valor operacional ao direcionar a revisão humana para os casos em que o modelo tem menos confiança, compensando parcialmente o padrão de erro sistemático ao sinalizar casos de baixa confiança para atenção adicional. Pontuações de confiança mal calibradas, em que pontuações de alta confiança não preveem a precisão de forma confiável, eliminam esse valor operacional e podem até desviar a atenção humana de casos de alta confiança que têm, sistematicamente, maior probabilidade de serem erros.
Por que isso importa
Os riscos operacionais de IA são importantes para o TPRM porque os processos de negócio que dependem de produtos de IA de fornecedores normalmente são desenhados com base em métricas de precisão agregada, e não em padrões de erro sistemático. Um produto de IA de fornecedor que atende à especificação de precisão declarada ainda pode criar risco operacional se o processo de negócio tiver sido desenhado com base em premissas que o padrão de erro sistemático contraria.
- Precisão agregada aceita como caracterização da cobertura
- Padrão de erro sistemático não avaliado: em que ponto da distribuição dos dados as falhas se concentram
- Alinhamento das premissas do processo de negócio não validado em relação ao padrão de erro sistemático
- Calibração da confiança não avaliada: as pontuações de alta confiança preveem a precisão de forma confiável?
- Escopo da revisão humana não ajustado ao padrão sistemático de não detecção da IA
Como é uma boa prática
Programas maduros de risco operacional de IA avaliam os padrões de erro sistemático junto com a precisão agregada, avaliando especificamente se as falhas se concentram em segmentos de dados, tipos de casos ou faixas de complexidade específicos, e validando que as premissas do processo de negócio são compatíveis com o padrão de erro sistemático, e não apenas com a precisão agregada.
- Análise do padrão de erro sistemático: em que ponto da distribuição dos dados as falhas se concentram
- Validação das premissas do processo de negócio em relação ao padrão de erro sistemático
- Avaliação da calibração da confiança: confiabilidade das pontuações de alta confiança
- Relatórios de precisão segmentados: precisão por complexidade dos casos, fonte de dados ou tipo de registro
- Escopo da revisão humana ajustado ao padrão sistemático de não detecção
Ferramentas
Análise de modelos de ML: SHAP para análise de erros, Evidently AI para relatórios segmentados de desempenho da IA
Ferramentas de análise segmentada do desempenho de modelos detalham as métricas de precisão por segmento de dados, tipo de caso ou nível de complexidade, revelando padrões de erro sistemáticos que as métricas agregadas ocultam. Para profissionais de TPRM, solicitar relatórios de precisão segmentados (precisão por nível de complexidade dos casos ou por fonte de dados), e não apenas a precisão agregada, é uma pergunta específica de avaliação de erros sistemáticos.
Desafios de governança
O desafio de governança dos riscos operacionais de IA é o problema da escolha das métricas. A precisão agregada é fácil de medir e fácil de comunicar. A análise dos padrões de erro sistemático é mais complexa e pode revelar riscos em torno dos quais a empresa já construiu processos. A solução de governança é exigir a divulgação da precisão segmentada como elemento padrão dos relatórios de desempenho de modelos de IA.
- Exigir relatórios de precisão segmentados, e não apenas a precisão geral
- Avaliar as premissas do processo de negócio em relação ao padrão de erro sistemático
- Validar a calibração da confiança para casos de uso operacionais
- Ajustar o escopo da revisão humana para cobrir os segmentos sistematicamente não detectados
- Monitorar a estabilidade do padrão de erro sistemático à medida que o modelo sofre deriva ao longo do tempo
Se você faz parte de uma equipe pequena
Para qualquer modelo de IA usado em um processo de negócio em que as falhas de detecção do modelo tenham consequências, solicite a precisão detalhada por complexidade dos casos ou por segmento de dados, e não apenas a precisão geral. Em seguida, pergunte quais segmentos têm a menor precisão e se o processo de negócio foi desenhado levando em conta as taxas elevadas de não detecção nesses segmentos. Se o processo pressupõe que a precisão geral é representativa de todos os segmentos, você identificou uma potencial lacuna de risco operacional.
- Solicite a precisão detalhada por complexidade dos casos ou por segmento de dados
- Pergunte quais segmentos têm a menor precisão
- Validar as premissas do processo de negócio em relação à precisão por segmento
- Avaliar a cobertura do escopo da revisão humana nos segmentos com alta taxa de não detecção
O que exigir
Pergunte diretamente:
“Vocês podem fornecer métricas de precisão detalhadas por complexidade dos casos ou por segmento de dados? E o padrão de erro sistemático do seu modelo foi analisado para confirmar que os casos com maior probabilidade de não serem detectados são aqueles em que o nosso processo de negócio tem cobertura de revisão humana?”
O que esperar como evidência
- Relatórios de precisão segmentados por tipo de caso ou complexidade
- Análise do padrão de erro sistemático
- Validação das premissas do processo de negócio em relação ao padrão de erro
- Cobertura do escopo da revisão humana nos segmentos com alta taxa de não detecção
Um fornecedor que confirme uma precisão de 94% deve ser solicitado a apresentar a precisão segmentada. A precisão geral é a média. A precisão segmentada revela onde os 6% se concentram. O padrão de concentração determina o risco operacional.
Como comprovar
- Registros da avaliação segmentada da precisão
- Análise do padrão de erro sistemático
- Validação das premissas do processo de negócio
- Registros de ajuste do escopo da revisão humana
Principal conclusão
Precisão de 94%. 6% não detectados. Os 6% concentrados sistematicamente nos registros mais complexos. Revisão humana considerada abrangente com base nos 94% gerais. Os 94% eram precisos para o agregado. Os registros complexos que compunham os 6% não detectados eram exatamente os registros em que a revisão humana era mais crítica e mais difícil de substituir. As métricas de precisão agregada fazem a média sobre a distribuição. A análise dos padrões de erro sistemático revela em que ponto da distribuição as falhas se concentram. A premissa do processo de negócio que precisava ser validada não era se o modelo tinha 94% de precisão geral, mas se os 6% que ele deixava de detectar estavam distribuídos de forma compatível com a cobertura de revisão humana que o processo oferecia. Não estavam.