DATAOPS, AIOPS E MLOPS

Nos últimos anos, houve uma explosão de diferentes termos relacionados ao mundo das operações de TI. Não muito tempo atrás, era prática padrão separar as funções de negócios das operações de TI. Mas aqueles dias são uma memória distante agora, e por boas razões.

O cenário de operações se expandiu além da “TI” genérica para incluir DevOps, DataOps, AIOPs, MLOps e muito mais. Cada uma dessas áreas de operações é multifuncional em toda a organização e cada uma oferece um benefício exclusivo. E cada uma das áreas de operações emerge do mesmo mecanismo geral: aplicação de princípios ágeis, originalmente criados para orientar o desenvolvimento de software, à sobreposição de diferentes sabores de desenvolvimento de software, tecnologias relacionadas (aplicativos orientados a dados, IA e ML) e operações .

Assim como no DevOps, o objetivo dos DataOps, AIOps e MLOps é acelerar processos e melhorar a qualidade dos dados, percepções analíticas e modelos de IA, respectivamente. Na prática, vemos DataOps como um superconjunto de AIOps e MLOps com as duas últimas Ops se sobrepondo.

Por que é isso? DataOps descreve o fluxo de dados e o processamento que ocorre nesses dados, por meio de um ou mais pipelines de dados. Nesse contexto, todo aplicativo orientado a dados precisa de DataOps; aqueles que são principalmente orientados por modelos de aprendizado de máquina também precisam de MLOps, e aqueles com recursos de IA adicionais precisam de AIOps. (É confuso, às vezes o ML é considerado separado da IA ​​e, às vezes, simplesmente uma parte importante das tecnologias que fazem parte da IA como um todo.)

O objetivo deste artigo é ajudá-lo a compreender esses novos termos e fornecer uma visão de onde eles vêm, as semelhanças, diferenças e quem os usa em uma organização. Para começar, vamos dar uma olhada em DataOps.

O QUE É DATAOPS

DataOps é o uso de práticas de desenvolvimento ágil para criar, entregar e otimizar produtos de dados de forma rápida e econômica. DataOps é praticado por equipes de dados modernas, incluindo engenheiros de dados, arquitetos, analistas, cientistas e operações.

Os produtos de dados que impulsionam as empresas de hoje variam de análises avançadas, pipelines de dados e modelos de aprendizado de máquina a soluções de IA incorporadas. O uso de uma metodologia DataOps permite que as empresas se movam com mais rapidez, segurança e economia na extração de valor dos dados.

Uma empresa pode adotar uma abordagem DataOps de forma independente, sem comprar nenhum software ou serviço especializado. No entanto, assim como o termo DevOps tornou-se fortemente associado ao uso de contêineres, como software comercial do Docker e como software de código aberto do Kubernetes, o termo DataOps está cada vez mais associado a pipelines de dados e aplicativos.

A ORIGEM DO DATAOPS

DataOps é uma metodologia sucessora do DevOps, que é uma abordagem de desenvolvimento de software que otimiza a implantação contínua e responsiva de aplicativos e atualizações de software. O DataOps aplica essa abordagem em todo o ciclo de vida dos aplicativos de dados e até mesmo para ajudar a produzir ciência de dados.

Como um termo, DataOps tem aumentado gradualmente o uso por vários anos. O Gartner começou a incluí-lo em seu Hype Cycle for Data Management em 2018, e o termo agora está “subindo no Hype Cycle” à medida que se torna mais difundido. A primeira conferência do setor dedicada a DataOps, DataOps Unleashed , foi lançada em março de 2021.

Embora o DataOps às vezes seja descrito como um conjunto de práticas recomendadas para análises contínuas, ele é, na verdade, mais holístico. DataOps inclui a identificação das fontes de dados necessárias para resolver um problema de negócios, o processamento necessário para tornar esses dados prontos para análise, as etapas de análise - que podem ser vistas como incluindo IA e ML - e a entrega de resultados para as pessoas ou aplicativos que os usarão. O DataOps também inclui tornar todo esse trabalho rápido o suficiente para ser útil, quer isso signifique processar o relatório semanal em uma hora ou mais, ou aprovar uma transação com cartão de crédito em uma fração de segundo.

QUEM USA DATAOPS

DataOps é diretamente para equipes de operações de dados, engenheiros de dados e desenvolvedores de software que criam aplicativos baseados em dados e a infraestrutura definida por software que os suporta. Os benefícios das abordagens de DataOps são sentidos pelas próprias equipes; a equipe de TI, que agora pode fazer mais com menos; os “clientes” internos da equipe de dados, que solicitam e usam os resultados analíticos; a organização como um todo; e os clientes da empresa. Em última análise, a sociedade se beneficia, pois as coisas simplesmente funcionam melhor, mais rápido e com menos custos. (Compare a reserva de uma passagem de avião online com ir a um agente de viagens, ou ligar para as companhias aéreas, usando a lista telefônica, como um exemplo simples.)

O QUE É AIOPS

AIOps significa Inteligência Artificial para operações de TI. É uma mudança de paradigma que permite que as máquinas resolvam problemas de TI sem a necessidade de assistência ou interação humana. AIOPs usa aprendizado de máquina e análises para analisar big data obtidos por meio de diferentes ferramentas, o que permite que os problemas sejam identificados automaticamente e tratados em tempo real. (É confuso, às vezes, AIOps também é usado para descrever a operacionalização do projeto de IA, mas continuaremos com a definição usada pelo Gartner e outros, conforme descrito aqui.)

Como parte do DataOps, o AIOps oferece suporte à integração e implantação contínuas para as principais funções de tecnologia de aprendizado de máquina e big data. AIOps ajuda a automatizar operações em ambientes híbridos. AIOps inclui o uso de aprendizado de máquina para detectar padrões e reduzir o ruído.

A ORIGEM DAS AIOPS

O AIOps foi originalmente definido em 2017 pelo Gartner como um meio de descrever o crescente interesse e investimento na aplicação de um amplo espectro de recursos de IA aos desafios de gerenciamento de operações de TI corporativas.

O Gartner define AIOps como plataformas que utilizam big data, machine learning e outras tecnologias analíticas avançadas para aprimorar direta e indiretamente as funções das operações de TI (como monitoramento, automação e service desk) com visão proativa, pessoal e dinâmica.

Dito de outra forma, AIOps refere-se a melhorar a maneira como as organizações de TI gerenciam dados e informações em seus ambientes usando inteligência artificial .

QUEM USA AIOPS

De empresas com ambientes grandes e complexos a pequenas e médias empresas (PMEs) nativas da nuvem, o AIOps está sendo usado globalmente por organizações de todos os tamanhos em uma variedade de setores. Os AIOps são geralmente adquiridos como produtos ou serviços de empresas especializadas; poucas organizações de grande porte estão usando sua própria experiência interna em IA para resolver problemas de operações de TI.

Empresas com ambientes de TI extensos, abrangendo vários tipos de tecnologia, estão adotando AIOps, especialmente quando enfrentam problemas de escala e complexidade. Os AIOps podem dar uma contribuição significativa quando esses desafios são colocados em cima de um modelo de negócios que depende de TI. Se a empresa precisa ser ágil e responder rapidamente às forças do mercado, a TI contará com AIOps para ajudá-la a ser tão ágil no suporte aos objetivos da empresa.

AIOps não é apenas para grandes empresas, no entanto. As PMEs que precisam desenvolver e lançar software continuamente estão adotando AIOps, pois isso permite que melhorem continuamente seus serviços digitais, ao mesmo tempo que evita mau funcionamento e interrupções.

O objetivo final do AIOps é aprimorar as operações de TI. O AIOps oferece filtragem inteligente de sinais a partir do ruído em sistemas de TI. O AIOps observa de forma inteligente os dados das operações de TI para identificar as causas raiz e recomendar soluções rapidamente. Em alguns casos, essas recomendações podem até mesmo ser implementadas sem interação humana.

O QUE É MLOPS

Os MLOps, ou operações de aprendizado de máquina, ajudam a simplificar o gerenciamento, a logística e a implantação de modelos de aprendizado de máquina entre equipes de operações e pesquisadores de aprendizado de máquina.

MLOps é como DataOps - a fusão de uma disciplina (aprendizado de máquina em um caso, ciência de dados em outro) e a operacionalização de projetos dessa disciplina. MLOps e DataOps são diferentes de AIOps, que é o uso de AI para melhorar as operações de AI.

O MLOps usa a metodologia DevOps de integração e implantação contínuas e a aplica ao aprendizado de máquina. Como no desenvolvimento tradicional, há um código que precisa ser escrito e implantado, bem como um teste de bug a ser feito e mudanças nos requisitos do usuário a serem acomodadas. Específico para o tópico de aprendizado de máquina, os modelos estão sendo treinados com dados e novos dados são introduzidos para retreá-los continuamente.

A ORIGEM DOS MLOPS

Segundo a Forbes , as origens dos MLOps remontam a 2015, a partir de um artigo intitulado “ Hidden Technical Debt in Machine Learning Systems. ”O artigo ofereceu a posição de que o aprendizado de máquina oferecia um kit de ferramentas incrivelmente poderoso para construir sistemas de previsão complexos úteis rapidamente, mas que era perigoso pensar que essas vitórias rápidas fossem gratuitas.

QUEM USA MLOPS

Os cientistas de dados tendem a se concentrar no desenvolvimento de modelos que fornecem percepções valiosas para sua organização com mais rapidez. O pessoal de operações tende a se concentrar na execução desses modelos na produção. O MLOps unifica as duas abordagens em uma prática única e flexível, com foco na entrega de valor comercial por meio do uso de modelos de aprendizado de máquina e dados de entrada relevantes.

Como o MLOps segue um padrão semelhante ao DevOps, ele cria uma integração perfeita entre seu ciclo de desenvolvimento e seu processo de operações geral que transforma a forma como sua organização lida com o uso de big data como entrada para modelos de aprendizado de máquina. O MLOps ajuda a gerar ideias com as quais você pode contar e colocar em prática.

A simplificação de MLOps é crítica para organizações que estão desenvolvendo modelos de aprendizado de máquina, bem como para usuários finais que usam aplicativos que dependem desses modelos.

De acordo com uma pesquisa da Finances Online , os aplicativos e plataformas de aprendizado de máquina respondem por 57% (ou US $ 42 bilhões) do financiamento de IA em todo o mundo. As organizações que estão fazendo investimentos significativos desejam garantir que estão obtendo um valor significativo.

Como exemplo do impacto dos MLOps, 97% de todos os usuários móveis usam assistentes de voz com tecnologia de IA que dependem de modelos de aprendizado de máquina e, portanto, se beneficiam dos MLOps. Esses assistentes de voz são o resultado de um subconjunto do ML conhecido como aprendizado profundo. Essa tecnologia de aprendizado profundo é construída em torno do aprendizado de máquina e está no centro de plataformas como Siri da Apple, Amazon Echo e Google Assistant.

O objetivo do MLOps é preencher a lacuna entre cientistas de dados e equipes de operações para fornecer insights de modelos de aprendizado de máquina que podem ser colocados em uso imediatamente.

CONCLUSÃO

Aqui na Unravel Data, oferecemos uma plataforma de DataOps que usa recomendações baseadas em AI - AIOps - para ajudar a identificar e resolver problemas de operações de forma proativa. Essa plataforma complementa a adoção de práticas de DataOps em uma organização, com os resultados finais incluindo melhor desempenho do aplicativo, menos aborrecimentos operacionais, custos mais baixos e a capacidade de TI de assumir novas iniciativas que beneficiam ainda mais as organizações.

Nossa plataforma não oferece suporte explícito a MLOps, embora MLOps sempre ocorra em um contexto de DataOps. Ou seja, os modelos de aprendizado de máquina são executados em dados - geralmente, em big data - e suas saídas também podem servir como entradas para processos adicionais, antes que os resultados de negócios sejam alcançados.

À medida que DataOps, AIOps e MLOps proliferam - como práticas de trabalho e na forma de plataformas e ferramentas de software que suportam abordagens XOPs ágeis - pilhas complexas serão simplificadas e executadas com muito mais rapidez, menos problemas e menos custo. E as organizações de TI sobrecarregadas serão realmente capazes de fazer mais com menos, levando a produtos e serviços novos e aprimorados que talvez nem todos possam ser imaginados hoje.

Artigo original escrito pela Unravel Data (https://www.unraveldata.com/resources/dataops-aiops-and-mlops/), achei extraordinário o link entre DevOps com DataOps. Muito bem escrito, o artigo demonstra a aplicabilidade de DevOps no ecossistemas de dados.