O fenômeno dos exemplos adversariais (entradas modificadas minimamente, de maneiras invisíveis à percepção humana, mas que levam modelos de IA a fazer classificações confiantes e incorretas) representa um dos desafios de segurança mais fundamentais dos sistemas de IA implantados. O modelo de classificação de imagens de um fornecedor com 97% de acurácia em benchmarks padrão pode ter robustez essencialmente nula contra exemplos adversariais projetados especificamente para explorar as fronteiras de decisão do modelo. O mesmo modelo que reconhece uma placa de pare com 99.8% de confiança, quando recebe a mesma imagem da placa de pare modificada por um padrão cuidadosamente calculado de ruído no nível de pixel, a classificará como uma placa de limite de velocidade com 97.3% de confiança. Um humano que revisasse as duas imagens não veria diferença. O processo de tomada de decisão do modelo, que segue princípios estatísticos diferentes dos da percepção visual humana, pode ser explorado de forma confiável por meio de perturbações adversariais projetadas para atingir suas fronteiras aprendidas específicas.
Os ataques adversariais vão muito além da classificação de imagens. Modelos de linguagem natural podem ser atacados por meio de modificações de texto cuidadosamente elaboradas que alteram o comportamento do modelo e, para leitores humanos, parecem semanticamente inalteradas. Modelos de dados tabulares (detecção de fraude, pontuação de crédito, detecção de anomalias) podem ser atacados por meio de perturbações de entrada que deslocam casos limítrofes através das fronteiras de decisão. A superfície de ataque adversarial não é específica dos modelos de visão; é uma propriedade do processo de aprendizado estatístico subjacente à maioria dos modelos de aprendizado de máquina e cria fronteiras de decisão exploráveis em todo o espaço de entrada do modelo.
A ameaça dos ataques de transferência é o risco específico da cadeia de suprimentos. Exemplos adversariais criados contra um modelo muitas vezes se transferem para modelos diferentes com o mesmo domínio de entrada: um exemplo adversarial elaborado contra um modelo disponível publicamente pode atacar com sucesso um modelo proprietário que processa entradas semelhantes. Um atacante que queira atacar o modelo proprietário de pontuação de crédito de um fornecedor pode conseguir desenvolver entradas adversariais eficazes treinando ataques substitutos contra um modelo público de pontuação de crédito e transferindo esses ataques para o modelo-alvo. Essa propriedade de transferência significa que o sigilo do modelo não oferece proteção confiável contra ataques adversariais.
Por que isso importa
Os ataques adversariais são importantes para TPRM porque os modelos de IA que os fornecedores implantam para decisões relevantes (autenticação de documentos, verificação de identidade, detecção de fraude, controle de qualidade) podem ter vulnerabilidades adversariais que as métricas padrão de acurácia em benchmarks não revelam. Um modelo com desempenho excelente em dados de teste padrão pode ser sistematicamente explorável por um adversário que elabora entradas para atingir suas fronteiras de decisão.
- Acurácia em benchmarks padrão aceita como indicador de robustez adversarial
- Superfície de ataque adversarial não avaliada junto com o desempenho padrão
- Viabilidade de ataques de transferência não avaliada para modelos proprietários
- Cenários adversariais específicos do domínio não testados para o contexto de implantação
- Robustez adversarial não diferenciada da acurácia padrão
Como é uma boa prática
Avaliações maduras de robustez adversarial avaliam a robustez do modelo contra uma variedade de tipos de ataque adversarial (ataques de caixa-branca, em que o atacante tem acesso total ao modelo; ataques de caixa-preta, em que o atacante só pode consultar o modelo; e ataques de transferência a partir de modelos públicos) junto com as métricas de desempenho padrão.
- Avaliação de robustez adversarial junto com a avaliação em benchmarks padrão
- Testes de ataque de caixa-branca e de caixa-preta contra o modelo implantado
- Avaliação de ataques de transferência a partir de modelos públicos do mesmo domínio
- Cenários adversariais específicos do domínio: ataques relevantes para o contexto específico de implantação
- Compromisso entre robustez e acurácia avaliado: implicações do treinamento adversarial para a acurácia padrão
Ferramentas
Robustez adversarial: IBM Adversarial Robustness Toolbox (ART), Foolbox, CleverHans
As bibliotecas de testes de robustez adversarial fornecem implementações de ataques adversariais padrão para avaliar a robustez dos modelos. O IBM ART oferece suporte tanto à geração de ataques quanto à avaliação de defesas em diversos tipos de modelo. Para profissionais de TPRM, perguntar se o modelo de IA do fornecedor foi avaliado com ferramentas de teste de robustez adversarial, e quais categorias de ataque foram testadas, é uma pergunta específica de avaliação adversarial.
Desafios de governança
O desafio de governança dos ataques adversariais é o compromisso entre acurácia e robustez. O treinamento adversarial (treinar modelos com dados aumentados de forma adversarial) pode melhorar a robustez, mas pode reduzir a acurácia padrão. Os fornecedores podem não ter investido em robustez adversarial se seus clientes não a solicitaram. A solução de governança é tornar a avaliação de robustez adversarial um componente padrão da avaliação de segurança de IA, e não um complemento opcional.
- Exija avaliação de robustez adversarial junto com a avaliação de acurácia padrão
- Peça os tipos de ataque testados: caixa-branca, caixa-preta, transferência
- Pergunte sobre treinamento adversarial: o modelo foi treinado para ter robustez?
- Avalie cenários de ataque específicos do domínio: quais entradas adversariais são mais relevantes
- Inclua a robustez adversarial nos requisitos contratuais de fornecedores de IA
Se você faz parte de uma equipe pequena
Para qualquer modelo de IA usado em autenticação, detecção de fraude ou controle de qualidade (implantações em que um atacante pode ter incentivo para elaborar entradas que enganem o modelo), pergunte se foram realizados testes de robustez adversarial e quais categorias de ataque foram avaliadas. Se a resposta for que apenas a acurácia em benchmarks padrão foi validada, você identificou a lacuna da superfície de ataque adversarial. A pergunta de acompanhamento (como seria uma entrada elaborada de forma adversarial para o seu caso de uso específico?) revela se o fornecedor refletiu sobre sua exposição adversarial.
- Pergunte se foram realizados testes de robustez adversarial
- Pergunte quais categorias de ataque foram avaliadas
- Pergunte sobre a implementação de treinamento adversarial
- Avalie cenários adversariais específicos do domínio para o contexto de implantação
O que exigir
Pergunte diretamente:
“O seu modelo de IA foi avaliado quanto à robustez adversarial, especificamente testado contra ataques adversariais de caixa-branca e de caixa-preta no seu domínio de implantação, e há treinamento adversarial implementado para melhorar a robustez contra tipos de ataque conhecidos?”
O que esperar como evidência
- Resultados da avaliação de robustez adversarial
- Tipos de ataque testados: caixa-branca, caixa-preta, transferência
- Implementação de treinamento adversarial
- Avaliação de cenários de ataque específicos do domínio
Um fornecedor que confirma 97% de acurácia em benchmark deve ser questionado sobre a robustez adversarial. A acurácia em benchmark descreve o desempenho em dados de teste padrão. A robustez adversarial descreve o desempenho em entradas projetadas especificamente para explorar o modelo. Ambas medem desempenho. Elas medem coisas diferentes.
Como comprovar
- Registros de avaliação de robustez adversarial
- Cobertura de tipos de ataque
- Registros de treinamento adversarial
- Avaliação de cenários específicos do domínio
Principal conclusão
97% de acurácia em benchmark. Perturbação adversarial: invisível para humanos. Placa de pare classificada erroneamente como placa de limite de velocidade com 97.3% de confiança. A acurácia no benchmark era real e a validação foi completa, para entradas padrão. A superfície de ataque adversarial, isto é, as fronteiras de decisão exploráveis acessíveis por meio de perturbações cuidadosamente projetadas, não foi avaliada. A acurácia padrão e a robustez adversarial medem coisas diferentes. A acurácia em benchmark reflete o desempenho na distribuição dos dados de teste. A robustez adversarial reflete o desempenho contra entradas projetadas para explorar a fronteira de decisão. Para modelos usados em decisões relevantes ou críticas para a segurança, ambas são necessárias.