Subscribe to our Newsletter!
By subscribing to our newsletter, you agree with our privacy terms
Home > Cibersegurança > Aprendizado de máquina nas mãos do cibercrime
Setembro 09, 2021
O cibercrime sempre esteve disputando a dianteira na corrida tecnológica. Basta surgir uma nova tecnologia para que ela seja empregada também para propósitos escusos ou para que apareçam mais vulnerabilidades ameaçando a segurança de empresas e indivíduos. E, na maioria dos casos, a experiência com essas ameaças vem acompanhada de altos prejuízos financeiros, para dizer o mínimo.
E com o aprendizado de máquina não foi diferente. Essa tecnologia, junto a outras modalidades de inteligente artificial (IA), tem sido utilizada há várias anos em campos que abrangem desde diagnósticos médicos a veículos autônomos. No entanto, há uma vertente com objetivos não tão benéficos, chamada aprendizado de máquina adversário, que explora pontos fracos nos algoritmos de inteligência artificial para atingir objetivos mal-intencionados, realizando manipulações sutis nos dados observados que passam despercebidas ao olho nu, mas não aos sistemas de IA. No universo da cibersegurança, o termo “adversário” é usado para descrever indivíduos ou máquinas que tentam invadir ou corromper software, sistemas ou redes.
Para entender a proposta da nova técnica de proteção contra esse tipo de ataque, desenvolvida por pesquisadores da Universidade de Carnegie Mellon e do Centro de Pesquisa de Cibersegurança KAIST, vale a pena entender detalhes do aprendizado de máquina adversário.
Talvez um dos casos mais emblemáticos do uso de aprendizado de máquina adversário envolve a imagem de um panda, que recebeu uma pequena modificação muito bem calculada a ponto de ser reconhecida por um sistema de inteligência artificial como um gibão,uma categoria de símios. E pior, com alta confiabilidade. Na vida prática, o emprego de uma técnica similar tem potencial para gerar grandes prejuízos. Por exemplo, sinais de trânsito modificados com adesivos ou tinta podem levar um veículo autônomo a causar acidentes por burlar o reconhecimento dos sistemas de IA.
Criar casos de aprendizado de máquina adversário, exitosos do ponto de vista do cibercrime, é um processo de tentativa e erro, fazendo pequenas mudanças nos pixels e submetendo a imagem ao modelo de IA para verificar como os níveis de confiança se comportam. Muitas vezes, esse processo pode ser automatizado.
Além disso, esses casos não se aplicam apenas a dados visuais, mas também a texto e áudio. Por exemplo, as conhecidas assistentes Amazon Alexa e Apple Siri usam sistemas automatizados de reconhecimento de fala para analisar comandos de voz. Então, um vídeo do YouTube poderia ser modificado para incluir um comando específico e mal-intencionado, não reconhecível pela audição humana. Quando esse áudio fosse reproduzido, o algoritmo de aprendizado de máquina da assistente inteligente executaria o comando oculto, com os resultados desejados pelo cibercriminoso.
Para se proteger contra o aprendizado de máquina adversário, um dos caminhos é justamente treinar os sistemas de IA contra esse tipo de prática em modo supervisionado para torná-los mais robustos diante de perturbações nos dados de entrada. Em geral, gera-se um grande lote de exemplos de aprendizado de máquina adversário e ajusta-se o sistema para classificar corretamente os casos. Esse treinamento pode incorrer em altos custos para criação de casos e treinamento e costuma sacrificar o desempenho do modelo na prática diária. Também não é garantido que funcione contra táticas de ataque para as quais não foi treinado.
Uma nova técnica, desenvolvida por pesquisadores da Universidade de Carnegie Mellon e Centro de Pesquisa de Cibersegurança KAIST e recentemente apresentada no Adversarial Machine Learning Workshop (AdvML), emprega aprendizado não supervisionado e busca descobrir quais dados de entrada podem ter sofrido modificações mal-intencionadas.
Os cientistas encontraram um elo entre ataques de aprendizado de máquina adversário e explicabilidade, ou seja, a capacidade dos sistemas de IA de explicar suas decisões. Em muitos modelos de aprendizado de máquina, as decisões são difíceis de rastrear devido ao grande número de parâmetros envolvidos no processo de inferência. No entanto, os pesquisadores desenvolveram diferentes métodos que podem ajudar a entender as decisões tomadas pelos modelos de aprendizado de máquina.
Técnicas de explicabilidade produzem mapas de saliência que explicam como as características dos dados de entrada são pontuadas com base em sua contribuição para o resultado final. Então, quando uma imagem é modificada com pequenas perturbações, o novo método desenvolvido pela Carnegie Mellon e por KAIST encontra resultados anormais ao submetê-la a um algoritmo de explicabilidade. Em outras palavras, a técnica detecta casos de aprendizado de máquina adversário com base em mapas de explicações.
“Nosso trabalho recente começou com uma simples observação de que o acréscimo de pequenos ruídos às entradas resultou em uma grande diferença nas explicações”, contou Gihyuk Ko, doutor da Universidade de Carnegie Mellon, ao site TechTalks.
Os cientistas testaram o método usando o MNIST, conjunto de dados de dígitos manuscritos normalmente usado para avaliar diferentes técnicas de aprendizado de máquina. De acordo com o grupo de pesquisadores, o método não supervisionado foi capaz de detectar vários casos de aprendizado de máquina adversário com desempenho igual ou melhor do que outras técnicas conhecidas.
Futuramente, os pesquisadores pretender testar o método com conjuntos de dados mais complexos, como CIFAR10/100 e ImageNet, e com ataques mais complicados.
Quer saber mais sobre aprendizado de máquina adversário? Veja alguns sites abaixo:
Novembro 25, 2022
Novembro 14, 2022
Novembro 03, 2022
Outubro 18, 2022
Outubro 13, 2022
Outubro 05, 2022
Setembro 19, 2022
Previous
Cidades inteligentes devem priorizar cibersegurança
Next
FBI alerta sobre grupo cibercriminoso OnePercent