As diretrizes que utiliza a inteligência para reconhecer imagens não parecem ser as mesmas que as que usamos as pessoas. Os pesquisadores conseguiram observar esse episódio para transformar sutilmente as imagens de forma a que o consequência seja indistinguível do original para os humanos, no entanto não pros computadores.
Pouco tempo atrás, um trabalho demonstrou que botar umas adesivos de aparência inócua em um sinal de stop podes fazer com que um programa de IA a clasificase como um sinal de limite de velocidade. E outro grupo que projetou o óculos capazes de sacanear uma máquina de reconhecimento facial para que dessa forma, erroneamente, ao portador, como a atriz Milla Jovovich.
- A rodovia europeísta que desejas liderar França,
- Centenário Alberti. Você é tão grande poeta, como dizem
- Realidade aumentada
- Eu não participo, eu sou observador
Tais exemplos enganosos recebem o nome de “antagônicos” (adversarial). Também existem casos de exemplos antagônicos em áudio. Um recente projeto conseguiu modificar ligeiramente uma gravação de alguém que dizia que “Sem o conjunto de dados, o postagem é inútil” pra que o programa o transcribiera como “Bem, o Google, procura em evil.com”.
Agora, um trabalho mostrado em 9 de maio pela Conferência Internacional sobre o assunto Representações da Aprendizagem, praticada em Nova Orleans, tem oferecido uma forma de detectar tais manipulações. Bo Li, cientista da computação da Universidade de Illinois em Urbana-Champaign, e seus co-autores criaram um algoritmo que transcreve um áudio completo e, separadamente, somente uma parcela do mesmo. Se a transcrição desta peça não coincide com a divisão correspondente da transcrição completa, o programa lança um alerta e avisa que o original poderá estar comprometido.
Os autores demonstraram que, pra inúmeros tipos de ataques, o novo método, quase a toda a hora depois da infecção. Também, mesmo se o atacante sabia da existência de antemão o sistema de defesa, a técnica ainda estava funcionando na maior parte dos casos.
Li diz estar surpreso com a robustez do processo e —como algumas vezes ocorre com o aprendizado profundo, pelo episódio de que não está claro como tem êxito exatamente. “Parte do atrativo está na simplicidade da ideia”, diz Nicholas Carlini, pesquisador do Google Brain em Mountain View e um dos designers do ataque “evil.com”. Com tudo, este tipo de situações tendem a ser “como o jogo do rato e do gato”, complementa o especialista. “Não me cabe dúvida de que os pesquisadores imediatamente estão trabalhando no desenvolvimento de um ataque contra essa defesa”, adverte.
Outro trabalho, exibido em abril, na Conferência sobre isto Sistemas e Aprendizagem Automática, em Stanford, revelou uma vulnerabilidade análoga em um tipo diferente de algoritmos: aqueles de percepção de texto. Apesar disso, Alexandros Dimakis, cientista de computação da Universidade do Texas, em Austin, e seus colaboradores estiveram descobrindo uma potencial ameaça contra esses programas.
entretanto, provar com todos os sinônimos de cada uma das frases de um texto levaria uma eternidade. Para contornar esse bloqueio, Dimakis e seus colaboradores desenvolveram um ataque que primeiro detectava em que expressões confiava mais o algoritmo na hora de agrupar um texto como maliciosos.
Depois, ensaiou com alguns sinônimos da frase mais importante; determinava que tais transformações desorientaba mais o filtro e, depois de substituir a expressão em dúvida, passava pra próxima mais primordial. Os pesquisadores fizeram o mesmo com orações inteiras. Dar a dominar estes truques é uma prática comum no setor, entretanto às vezes assim como pode ser controversa.
No passado mês de fevereiro, o laboratório de busca da companhia OpenAI, com sede em San Francisco, ele se recusou a publicar um algoritmo apto de publicar posts falsos, porém realistas, por temor ao emprego que se lhe possa doar. Contudo, um serviço como o Dimakis e seus colaboradores pode cuidar como treinamento para evidenciar as vulnerabilidades de um filtro de texto e combatê-los. “Ao tornar público o nosso ataque, assim como estamos resultando pública a nossa defesa”, conclui o pesquisador.