Por Chris Stetkiewicz
Quando a Microsoft revelou o Azure Synapse Analytics há um ano, a empresa prometeu colocar dados e o poder da análise na ponta dos dedos das pessoas – em qualquer lugar de uma organização – enquanto liberava trabalhadores especializados em tecnologia para se concentrar em tarefas de maior valor do que gerenciar a infraestrutura de dados.
“Começamos com a hipótese de que é muito difícil para muitas organizações usar seus próprios dados e implantar a IA, e não há engenheiros de software suficientes no planeta para atender a necessidade de todas as análises que precisarão ser feitas”, disse John Macintyre, Diretor de Produtos de Azure Synapse e Plataforma de Análises da Microsoft. “Sabíamos que poderíamos tornar isso tremendamente mais simples.”
Com o Azure Synapse, a Microsoft oferece armazenamento de dados e análises ilimitados, conectando e simplificando múltiplas fontes de dados para que qualquer organização possa obter mais benefícios a partir de suas próprias informações.
Na quinta-feira, a Microsoft anunciou que a versão mais recente do Azure Synapse está em disponibilidade geral, e a empresa também revelou uma nova solução de governança de dados, o Azure Purview.
Nesse ano, desde que o Azure Synapse foi anunciado, a Microsoft diz que o número de clientes do Azure executando cargas de trabalho em escala de petabytes – ou o equivalente a 500 bilhões de páginas de texto impresso padrão – aumentou cinco vezes.
Isso inclui a gigante global de entregas FedEx. A empresa está colaborando com a Microsoft para construir o FedEx Surround, uma nova plataforma que usa produtos do ecossistema Azure, incluindo o Azure Synapse, que ajudará seus clientes a digitalizar suas cadeias de suprimentos e usar dados para gerenciar e rastrear o inventário em tempo real.
A FedEx verifica cada um dos 16 milhões de pacotes que fornece todos os dias mais de uma dúzia de vezes antes de chegar aos seus destinos. Isso gera enormes quantidades de inteligência logística útil. Esses dados são combinados com informações sobre tráfego e clima e armazenados no Azure Data Lake, um serviço de armazenamento e análise de dados escalável. Usando o Azure Synapse e o FedEx Surround, a empresa extrairá insights que poderão permitir entregas mais rápidas e eficientes.
“A capacidade de responder aos sinais digitais e ajustar a cadeia de suprimentos em benefício de nossos clientes e seus clientes é um diferencial fundamental para nós. Esse é o valor de próxima geração que queremos trazer aos clientes, e não poderá ser feito sem aproveitarmos o poder dos dados”, disse Sriram Krishnasamy, Vice-presidente Sênior de Programas Estratégicos da FedEx Services.
Nos próximos meses, a empresa planeja implantar o FedEx Surround para apoiar a distribuição de vacinas de COVID-19, o que exigirá uma orquestração cuidadosa para mantê-las preservadas na faixa de temperatura necessária enquanto se deslocar pela rede da empresa.
“Os insights que ganhamos com a análise contínua nos ajudam a otimizar nossa rede. Assim, à medida que a FedEx move remessas críticas de alto valor em todo o mundo, muitas vezes podemos prever se essa entrega será interrompida pelo tempo ou pelo tráfego e remediar essa interrupção, encaminhando a entrega para outro local”, disse Krishnasamy.
Usando dados para atender melhor os pacientes
Ser capaz de prever e planejar mudanças – imediatas e a longo prazo – pode fazer a diferença em praticamente qualquer negócio. Para Wolters Kluwer, provedor global de informações profissionais, software e serviços, os dados desempenham um papel fundamental em suas operações estratégicas, notadamente em sua divisão de saúde.
Por exemplo, a Wolters Kluwer construiu uma plataforma de engajamento do paciente que ajuda os profissionais de saúde a prever quando as condições médicas podem exigir acompanhamento do tratamento ou uma intervenção rápida após os pacientes saírem de um hospital. Além disso, seus sistemas de vigilância clínica extraem dados em tempo real a partir de prontuários eletrônicos de saúde para gerar alertas sobre condições clínicas críticas usando modelos predictivos.
“Nossos clientes estão tentando normalizar e criar sentido a partir de grandes quantidades de dados. Com nossas soluções Health Language, temos a capacidade de limpar e padronizar dados e terminologias médicas para permitir análises em cima disso”, disse Jean-Claude Saghbini, Diretor de Tecnologia da Wolters Kluwer para Saúde.
Antes de adotar o Azure Synapse, a Wolters Kluwer consolidou todos os seus dados de saúde de vários locais no Azure Data Lake, eliminando os “silos de dados” que impediam os funcionários de acessar e trabalhar com múltiplas fontes de dados. O Azure Synapse forneceu as robustas operações de machine learning (MLOps) necessárias para criação de um data lake entre produtos e fontes de dados, bem como pipelines de dados para suportar análises e IA avançada.
“Isso trouxe todos os nossos ativos de dados para um só lugar, para que as pessoas possam usá-los e processá-los, e usar o Azure Synapse para processar todos os dados é um dos grandes facilitadores dessa estratégia”, comentou Saghbini.
Em outro exemplo do valor de um gerenciamento de dados otimizado, a Wolters Kluwer foi capaz de customizar seu conteúdo aos dois milhões de médicos que usam sua plataforma de suporte clínico UpToDate todos os dias. Os dados anônimos de pesquisas clínicas da empresa têm sido usados por pesquisadores para identificar tendências locais ou globais de saúde. Por exemplo, um estudo mostrou que um aumento nas pesquisas relacionadas ao COVID-19 no UpToDate poderia sinalizar um aumento nas mortes relacionadas ao COVID por mês no futuro.
Uma solução caseira para catalogar dados
Enquanto os clientes estavam usando o preview do Azure Synapse no último ano, os engenheiros da Microsoft estavam ocupados desenvolvendo um novo serviço de governança de dados para automatizar a descoberta e catalogação de todos os dados, seja a partir de ambientes on-premises, multi-nuvem ou Software como um Serviço (SaaS). O Azure Purview, agora disponível em preview público, inicialmente permitirá que os clientes entendam exatamente quais dados eles têm, gerenciem sua conformidade com as regulamentações de privacidade e obtenham insights valiosos mais rapidamente.
O Azure Purview começou como um esforço interno de vários anos para ajudar nos esforços de transformação digital e conformidade de privacidade dentro da própria Microsoft. Mike Flasko, Diretor de Produtos do Azure Purview, lidera a equipe que trabalha com os principais executivos de dados, privacidade e segurança da companhia para criar produtos de análises e gerenciar os próprios volumes de dados da empresa, e os sistemas complicados que a Microsoft implanta para gerenciá-los.
Como muitas empresas, os engenheiros de dados, cientistas de dados e analistas de negócios da Microsoft precisam processar e entender esses grandes e intrincados fluxos de dados.
“À medida que modernizamos e trabalhamos buscando atender nossas próprias necessidades, aprendemos muito sobre o que é preciso para transformar digitalmente a Microsoft e gerenciar a privacidade de dados”, citou Flasko. “Cada vez mais clientes estavam nos dizendo que precisavam entender onde estavam todos os seus dados, como eles se movem e como poderiam acessá-los. Seus desafios eram semelhantes ao que estávamos experimentando dentro da Microsoft.”
Assim como o Azure Synapse representou a evolução do data warehouse tradicional, o Azure Purview é a próxima geração do catálogo de dados, diz a Microsoft. Ele se baseia nos recursos de pesquisa de dados existentes, adicionando aprimoramentos para cumprir as leis de manipulação de dados e incorporar controles de segurança.
“O Azure Purview foi projetado para ajudar os clientes a maximizar o uso compatível de seus dados”, disse Flasko. “Ele garante que você tenha uma compreensão abrangente de seus dados, como eles se movem e com quem você compartilhou os mesmos, o que é fundamental para o uso e governança eficazes dos dados.”
O serviço inclui três componentes principais:
- Detecção, classificação e mapeamento de dados: O Azure Purview encontra automaticamente todos os dados de uma organização no local ou na nuvem, e avalia as características e sensibilidade dos dados. A partir de fevereiro, também será possível fazer o mesmo com dados gerenciados por outros provedores de armazenamento.
- Catálogo de dados: O Azure Purview permite que todos os usuários pesquisem dados confiáveis usando uma experiência simples baseada na Web. Os gráficos visuais permitem que os usuários vejam rapidamente se os dados de interesse são de uma fonte confiável.
- Governança de dados: O Azure Purview fornece uma visão panorâmica do cenário de dados de uma companhia, permitindo que os executivos de dados governem eficientemente seu uso. Isso permite insights fundamentais, como a distribuição de dados entre os ambientes, sobre como os dados estão se movendo e onde os dados confidenciais são armazenados.
A Microsoft diz que essas melhorias ajudarão a quebrar as barreiras internas que tradicionalmente complicavam e retardavam a governança de dados.
“Queríamos tornar o mais fácil possível para que nossos aplicativos, e os aplicativos de nossos clientes, interagissem entre si. Fizemos isso integrando e automatizando os sistemas de dados e ensinando-os a conversar com o Azure Purview. Isso permite que os engenheiros de dados sejam apenas engenheiros de dados, e os cientistas de dados possam ser apenas cientistas de dados”, finaliza Flasko.
Relacionado: