Aprendizado de máquina nas mãos do cibercrime

O cibercrime sempre esteve disputando a dianteira na corrida tecnológica. Basta surgir uma nova tecnologia para que ela seja empregada também para propósitos escusos ou para que apareçam mais vulnerabilidades ameaçando a segurança de empresas e indivíduos. E, na maioria dos casos, a experiência com essas ameaças vem acompanhada de altos prejuízos financeiros, para dizer o mínimo.

E com o aprendizado de máquina não foi diferente. Essa tecnologia, junto a outras modalidades de inteligente artificial (IA), tem sido utilizada há várias anos em campos que abrangem desde diagnósticos médicos a veículos autônomos. No entanto, há uma vertente com objetivos não tão benéficos, chamada aprendizado de máquina adversário, que explora pontos fracos nos algoritmos de inteligência artificial para atingir objetivos mal-intencionados, realizando manipulações sutis nos dados observados que passam despercebidas ao olho nu, mas não aos sistemas de IA. No universo da cibersegurança, o termo “adversário” é usado para descrever indivíduos ou máquinas que tentam invadir ou corromper software, sistemas ou redes.

Para entender a proposta da nova técnica de proteção contra esse tipo de ataque, desenvolvida por pesquisadores da Universidade de Carnegie Mellon e do Centro de Pesquisa de Cibersegurança KAIST, vale a pena entender detalhes do aprendizado de máquina adversário.

Talvez um dos casos mais emblemáticos do uso de aprendizado de máquina adversário envolve a imagem de um panda, que recebeu uma pequena modificação muito bem calculada a ponto de ser reconhecida por um sistema de inteligência artificial como um gibão,uma categoria de símios.  E pior, com alta confiabilidade. Na vida prática, o emprego de uma técnica similar tem potencial para gerar grandes prejuízos. Por exemplo, sinais de trânsito modificados com adesivos ou tinta podem levar um veículo autônomo a causar acidentes por burlar o reconhecimento dos sistemas de IA.

Criar casos de aprendizado de máquina adversário, exitosos do ponto de vista do cibercrime,  é um processo de tentativa e erro, fazendo pequenas mudanças nos pixels e submetendo a imagem ao modelo de IA para verificar como os níveis de confiança se comportam. Muitas vezes, esse processo pode ser automatizado.

Além disso, esses casos não se aplicam apenas a dados visuais, mas também a texto e áudio. Por exemplo, as conhecidas assistentes Amazon Alexa e Apple Siri usam sistemas automatizados de reconhecimento de fala para analisar comandos de voz. Então, um vídeo do YouTube poderia ser modificado para incluir um comando específico e mal-intencionado, não reconhecível pela audição humana. Quando esse áudio fosse reproduzido, o algoritmo de aprendizado de máquina da assistente inteligente executaria o comando oculto, com os resultados desejados pelo cibercriminoso.

Como se proteger

Para se proteger contra o aprendizado de máquina adversário, um dos caminhos é justamente treinar os sistemas de IA contra esse tipo de prática em modo supervisionado para torná-los mais robustos diante de perturbações nos dados de entrada. Em geral, gera-se um grande lote de exemplos de aprendizado de máquina adversário e ajusta-se o sistema para classificar corretamente os casos. Esse treinamento pode incorrer em altos custos para criação de casos e treinamento e costuma sacrificar o desempenho do modelo na prática diária. Também não é garantido que funcione contra táticas de ataque para as quais não foi treinado.

Uma nova técnica, desenvolvida por pesquisadores da Universidade de Carnegie Mellon e Centro de Pesquisa de Cibersegurança KAIST e  recentemente apresentada no Adversarial Machine Learning Workshop (AdvML), emprega aprendizado não supervisionado e busca descobrir quais dados de entrada podem ter sofrido modificações mal-intencionadas.

Os cientistas encontraram um elo entre ataques de aprendizado de máquina adversário e explicabilidade, ou seja, a capacidade dos sistemas de IA de explicar suas decisões. Em muitos modelos de aprendizado de máquina, as decisões são difíceis de rastrear devido ao grande número de parâmetros envolvidos no processo de inferência. No entanto, os pesquisadores desenvolveram diferentes métodos que podem ajudar a entender as decisões tomadas pelos modelos de aprendizado de máquina.

Técnicas de explicabilidade produzem mapas de saliência que explicam como as características dos dados de entrada são pontuadas com base em sua contribuição para o resultado final. Então, quando uma imagem é modificada com pequenas perturbações, o novo método desenvolvido pela Carnegie Mellon e por KAIST encontra resultados anormais ao submetê-la a um algoritmo de explicabilidade. Em outras palavras, a técnica detecta casos de aprendizado de máquina adversário com base em mapas de explicações.

“Nosso trabalho recente começou com uma simples observação de que o acréscimo de pequenos ruídos às entradas resultou em uma grande diferença nas explicações”, contou Gihyuk Ko, doutor da Universidade de Carnegie Mellon, ao site TechTalks.

Os cientistas testaram o método usando o MNIST, conjunto de dados de dígitos manuscritos normalmente usado para avaliar diferentes técnicas de aprendizado de máquina. De acordo com o grupo de pesquisadores, o método não supervisionado foi capaz de detectar vários casos de aprendizado de máquina adversário com desempenho igual ou melhor do que outras técnicas conhecidas.

Futuramente, os pesquisadores pretender testar o método com conjuntos de dados mais complexos, como CIFAR10/100 e ImageNet, e com ataques mais complicados.

Quer saber mais sobre aprendizado de máquina adversário? Veja alguns sites abaixo:

• Ataques de aprendizado de máquina adversário: O que são e como evitá-los.
• O que é aprendizado de máquina adversário: Métodos de ataque em 2021.
• Ataques de aprendizado de máquina adversário em sistemas de IA na área médica: Artigo publicado na Science por pesquisadores de Harvard e do MIT, com uma visão geral de como os sistemas de IA na área médica podem estar vulneráveis a esse tipo de ataque.
• AI Now Institute: Centro de pesquisa interdisciplinar na Universidade de New York cujo objetivo é ajudar a garantir que sistemas de IA sejam responsáveis pelas comunidades e contextos nos quais são aplicados.
• CleverHans: Biblioteca de exemplos de aprendizado de máquina adversário para “construir ataques, construir defesas e comparar ambos”.
• Modos de falha no aprendizado de máquina: Documento da Microsoft que lista exemplos de falhas em sistemas de aprendizado de máquina, tanto intencionais quanto não intencionais.
• Uso mal-intencionado da inteligência artificial: Relatório escrito por 26 autores de 14 instituições, abrangendo academia, sociedade civil e mercado.