Por John Roach
Quem dirige uma empresa sabe que uma das coisas mais difíceis de fazer é acusar um cliente de uma conduta inadequada. É por isso que, antes que os membros da unidade de detecção de fraude da Scandinavian Airlines acusem um cliente de tentar fraudar o programa de pontos de fidelidade da transportadora, os detetives precisam ter certeza de que seu caso é sólido.
“Nos machucaria ainda mais se acidentalmente conseguirmos dizer que algo é fraude, mas não é”, disse Daniel Engberg, chefe de análise de dados e inteligência artificial da SAS, com sede em Estocolmo, Suécia.
Atualmente, a companhia aérea está cumprindo um horário reduzido com serviços de bordo limitados para ajudar a retardar a propagação do COVID-19, a doença causada pelo novo coronavírus. Antes das restrições, a SAS administrava mais de 800 decolagens por dia e 30 milhões de passageiros por ano. Manter a integridade do programa de fidelidade EuroBonus é fundamental, pois a companhia aérea aguarda a retomada das operações regulares, observou Engberg.
Os golpistas do EuroBonus, explicou, tentam ganhar o máximo de pontos o mais rápido possível para reservar viagens de recompensa ou vender. Quando ocorre uma fraude, os clientes legítimos perdem a oportunidade de reivindicar vagas reservadas para o programa de fidelidade e o SAS perde importantes receitas comerciais.
Hoje, uma grande parte dos leads da fraude do EuroBonus vem de um sistema de IA que Engberg e sua equipe criaram com o Microsoft Azure Machine Learning, um serviço para criar, treinar e implantar modelos de aprendizado de máquina fáceis de entender, proteger e controlar.
O sistema SAS AI processa fluxos de voo em tempo real, transações, reivindicações de prêmios e outros dados por meio de um modelo de aprendizagem sobre máquinas com milhares de parâmetros para encontrar padrões de comportamento suspeito.
Para entender as previsões do modelo e, assim, perseguir leads e criar seus casos, a unidade de detecção de fraudes conta com um recurso do Azure Machine Learning chamado interpretabilidade, desenvolvido pelo kit de ferramentas InterpretML. Esse recurso explica quais parâmetros eram mais importantes em qualquer caso. Por exemplo, pode apontar para parâmetros que sugerem um esquema de pontos de agrupamento de contas-fantasma para reservar voos.
A interpretabilidade do modelo ajuda a tirar o mistério do aprendizado de máquina, que por sua vez pode criar confiança nas previsões do modelo, observou Engberg.
“Se construirmos a confiança nesses modelos, as pessoas começarão a usá-los e então poderemos começar a colher os benefícios que o aprendizado de máquina nos prometeu”, disse ele. “Não se trata de explicabilidade por causa da explicabilidade. É ser capaz de fornecer a nossos clientes e nossos próprios funcionários informações sobre o que esses modelos estão fazendo e como eles estão assumindo posições para nós”.
Entenda, proteja e controle a solução de aprendizado da sua máquina
Nos últimos anos, o aprendizado de máquina saiu dos laboratórios de pesquisa para o mainstream e passou de uma disciplina de nicho para cientistas de dados com PHD’s para uma em que todos os desenvolvedores devem participar, observou Eric Boyd, vice-presidente corporativo da Microsoft Azure AI em Redmond, Washington.
A Microsoft criou o Azure Machine Learning para permitir que desenvolvedores de todo o espectro de conhecimento em ciência de dados criem e implantem sistemas de IA. Hoje, observou Boyd, todos os desenvolvedores são cada vez mais solicitados a criar sistemas de IA fáceis de explicar e que cumpram os regulamentos de não discriminação e privacidade.
“É muito desafiador ter uma boa noção de ‘ei, eu realmente avaliei se meu modelo está se comportando de maneira justa?’ Ou ‘eu realmente entendo por que esse modelo em particular está prevendo o que é?’”, Disse ele.
Para superar esses obstáculos, a Microsoft anunciou hoje inovações no aprendizado de máquina responsável que podem ajudar os desenvolvedores a entender, proteger e controlar seus modelos durante todo o ciclo de vida do aprendizado de máquina. Esses recursos podem ser acessados através do Azure Machine Learning e também estão disponíveis em código aberto no GitHub.
A capacidade de entender o comportamento do modelo inclui os recursos de interpretabilidade fornecidos pelo kit de ferramentas InterpretML que o SAS usa para detectar fraudes no programa de fidelidade EuroBonus.
Além disso, a Microsoft disse que o kit de ferramentas Fairlearn, que inclui recursos para avaliar e melhorar a justiça dos sistemas de IA, será integrado ao Azure Machine Learning em junho.
A Microsoft também anunciou que o WhiteNoise, um kit de ferramentas para privacidade diferencial, agora está disponível para os desenvolvedores experimentarem em código aberto no GitHub e também pode ser acessado através do Azure Machine Learning. Os recursos diferenciais de privacidade foram desenvolvidos em colaboração com pesquisadores do Instituto Harvard de Ciências Sociais Quantitativas e da Escola de Engenharia.
Técnicas de privacidade diferenciais possibilitam obter informações de dados privados, fornecendo garantias estatísticas de que informações privadas, como nomes ou datas de nascimento, podem ser protegidas.
Por exemplo, a privacidade diferencial pode permitir que um grupo de hospitais colabore na construção de um modelo preditivo melhor da eficácia dos tratamentos contra o câncer, ajudando ao mesmo tempo a cumprir os requisitos legais para proteger a privacidade das informações do hospital e ajudando a garantir que nenhum dado do paciente vazem do modelo.
O Azure Machine Learning também possui controles internos que permitem que os desenvolvedores rastreiem e automatizem todo o processo de criação, treinamento e implantação de um modelo. Esse recurso, conhecido por muitos como aprendizado de máquina e operações, ou MLOps, fornece uma trilha de auditoria para ajudar as organizações a atender aos requisitos regulamentares e de conformidade.
“O MLOps está realmente pensando no lado operacional e repetível do aprendizado de máquina”, disse Boyd. “Como acompanho todas as diferentes experiências que realizei, os parâmetros que foram definidos com eles, os conjuntos de dados que foram usados para criá-los. E então eu posso usar isso para recriar as mesmas coisas. ”
Contextual bandits e responsabilidade
Em meados da década de 2010, Sarah Bird e seus colegas do laboratório de pesquisa da Microsoft em Nova York estavam trabalhando em uma tecnologia de aprendizado de máquina chamada Contextual Bandits, que aprendem através de experimentos de exploração como executar tarefas específicas cada vez melhor.
Por exemplo, se um visitante de um site de notícias clica em uma história sobre gatos, o Contextual Bandits aprende a apresentar ao visitante mais histórias sobre gatos. Para continuar aprendendo, o Contextual Bandits realiza experimentos como mostrar aos visitantes histórias sobre o Jacksonville Jaguars, uma equipe esportiva e o musical “Cats”. A história em que o visitante clica é outro ponto de dados de aprendizado que leva a uma maior personalização.
“Quando funciona, é incrível, você obtém elevações de personalização que nunca viu antes”, disse Bird, que agora lidera os esforços responsáveis de IA para a IA do Azure. “Começamos a conversar com os clientes e a trabalhar com nossa equipe de vendas para ver quem quer pilotar essa nova tecnologia de pesquisa”.
Os líderes de vendas deram a Bird uma pausa. À medida que os clientes em potencial lançavam ideias sobre o uso de Contextual Bandits para otimizar o processo de entrevista de emprego e as adjudicações de sinistros, ela percebeu que muitas pessoas não tinham entendimento de como os Contextual Bandits funcionam.
“Comecei a dizer: ‘É ético fazer experiências nesses cenários?’”, lembrou Bird.
A pergunta levou a discussões com colegas do grupo de pesquisa Justiça, Responsabilidade, Transparência e Ética na IA, ou FATE, e uma colaboração de pesquisa sobre a história da ética experimental e as implicações para o aprendizado por reforço, o tipo de aprendizado de máquina por trás dos Contextual Bandits.
“A tecnologia é boa o suficiente para usá-la em casos de uso reais e, se estivermos usando para casos de uso reais que afetam a vida das pessoas, é melhor garantirmos que seja justo e melhor que seja seguro, ”Disse Bird, que agora se dedica em tempo integral à criação de ferramentas que tornam o aprendizado de máquina responsável acessível a todos os desenvolvedores.
Huskies, lobos e golpistas
Dentro de alguns anos, a pesquisa ética em IA explodiu em todo o mundo. A imparcialidade e a interpretabilidade do modelo foram tópicos importantes em grandes reuniões da indústria e ferramentas responsáveis de aprendizado de máquina estavam sendo descritas na literatura acadêmica.
Em 2016, por exemplo, Marco Tulio Ribeiro, agora pesquisador sênior do laboratório de pesquisa da Microsoft em Redmond, apresentou uma técnica em um documento acadêmico que visa explicar a previsão de qualquer classificador, tais como modelos de visão computacional treinados para classificar objetos em fotos.
Para demonstrar a técnica, ele deliberadamente treinou um classificador para prever “lobo” se uma foto tivesse fundo nevado e “cão husky” se não houvesse neve. Ele então executou o modelo em fotos de lobos, em sua maioria, em fundos nevados, e huskies, principalmente em fotos sem neve, e mostrou os resultados aos especialistas em aprendizado de máquina com duas perguntas: Você confia no modelo? Como está fazendo previsões?
Muitos especialistas em aprendizado de máquina disseram confiar no modelo e apresentaram teorias sobre por que ele entendia que eram lobos ou huskies, como: lobos têm dentes mais pontudos, observou Ribeiro. Menos da metade mencionou o cenário como um fator potencial e quase ninguém se concentrou na neve.
“Então eu mostrei a eles as explicações e, depois de vê-las, é claro que todo mundo entendeu e disse: ‘Oh, está apenas olhando para o fundo’”, disse ele. “Esta é uma prova de conceito; mesmo os especialistas provavelmente serão enganados por um modelo ruim”.
Uma versão refinada da técnica de explicação de Ribeiro é um dos vários recursos de interpretabilidade disponíveis para todos os desenvolvedores que usam o Azure Machine Learning, o kit de ferramentas que a unidade de detecção de fraude do SAS usa para criar casos contra golpistas no programa de fidelidade EuroBonus.
Outras soluções de IA que o SAS está criando com o Azure Machine Learning incluem uma para previsão de vendas de ingressos e um sistema que otimiza o estoque de alimentos frescos para compras a bordo. A solução de alimentos frescos reduziu o desperdício de alimentos em mais de 60% antes que as vendas de alimentos frescos fossem interrompidas como parte dos esforços globais para retardar a disseminação do COVID-19.
Engberg e sua equipe de análise de dados e Inteligência Artificial continuam a criar, treinar e testar modelos de aprendizado de máquina, incluindo novas experiências com os recursos do Azure Machine Learning para interpretabilidade e justiça.
“Quanto mais abordarmos as coisas que afetam nossos clientes ou nós como indivíduos, acho que esses conceitos de justiça, IA explicável e IA responsável serão ainda mais importantes”, disse Engberg.
Avaliação e mitigação de injustiça
Os colegas de Bird no FATE foram pioneiros em muitos dos recursos do kit de ferramentas Fairlearn. Os recursos permitem que os desenvolvedores examinem o desempenho do modelo em grupos de pessoas, como aquelas baseadas em sexo, tom de pele, idade e outras características.
“Pode ser que você tenha uma ótima ideia do que equidade significa em um aplicativo mas, como esses modelos são tão complexos, você pode nem perceber que não funciona tão bem para um grupo de pessoas quanto para outro grupo”, explicou Bird. “O Fairlearn está permitindo que você encontre esses problemas.”
A EY, líder global em serviços de seguros, impostos, transações e consultoria, testou os recursos de equidade da ferramenta Fairlearn em um modelo de aprendizado de máquina que a empresa construiu para decisões de empréstimo automatizadas.
O modelo foi treinado em dados de adjudicação de hipotecas de bancos que incluem histórico de transações e pagamentos e informações de agências de crédito. Esse tipo de dado é geralmente usado para permitir a avaliação da capacidade e disposição do cliente para pagar um empréstimo. Mas também levanta preocupações sobre questões regulatórias, legais e potencial injustiça contra candidatos de informações demográficas específicas.
A EY usou o Fairlearn para avaliar os resultados do modelo com relação ao sexo biológico. A ferramenta, que apresenta os resultados em um painel visual e interativo, revelou uma diferença de 15,3 pontos percentuais entre as decisões positivas de empréstimos para homens e mulheres.
O Fairlearn permitiu, então, que a equipe da EY desenvolvesse e treinasse rapidamente vários modelos remediados e visualizasse a troca comum entre equidade e a precisão do modelo. A equipe finalmente conseguiu um modelo final que otimizou e preservou a precisão geral, mas reduziu a diferença entre homens e mulheres para 0,43 pontos percentuais.
“A capacidade de qualquer desenvolvedor avaliar e mitigar a injustiça em seus modelos está se tornando essencial em todo o setor financeiro”, observou Boyd.
“Cada vez mais vemos reguladores observando atentamente esses modelos”, disse ele. “Ser capaz de documentar e demonstrar que está seguindo as práticas e que está trabalhando muito para melhorar a imparcialidade dos conjuntos de dados é essencial para poder continuar operando.”
Machine Learning responsável
Bird acredita que o aprendizado de máquina está mudando o mundo para melhor, mas ela disse que todos os desenvolvedores precisam de ferramentas e recursos para criar modelos de maneira a colocar a responsabilidade em primeiro lugar.
Considere, por exemplo, uma colaboração de pesquisa na comunidade médica para compilar conjuntos de dados de pacientes com COVID-19 a fim de construir um modelo de aprendizado de máquina que prediz quem está em alto risco de complicações graves do novo coronavírus.
Antes de implantar esse modelo, ela disse, os desenvolvedores precisam ter certeza de que entenderão como ele toma as decisões para explicar o processo para médicos e pacientes. Os desenvolvedores também desejam avaliar a justiça, garantindo que o modelo capture os riscos elevados conhecidos para os homens, por exemplo.
“Não quero um modelo que nunca preveja que os homens são de alto risco, isso seria terrível”, disse Bird. “Então, obviamente, quero ter certeza de que o modelo não está revelando os dados das pessoas nas quais ele foi treinado, então você precisa usar uma privacidade diferenciada para isso”.
Relacionados
Saiba mais sobre Azure Machine Learning
Acesse a Pesquisa da Microsoft que apoia a IA responsável
Acesse mais recursos de IA responsável
John Roach escreve sobre pesquisa e inovação da Microsoft. Siga-o no Twitter.