Data Science Hierarchy of Needs -A pirâmide de Monica Rogati

Oi, pessoal! Como vocês estão? Estudando muito? Trouxe um artigo bem legal sobre as necessidades fundamentais em ciência de dados e a relação com os profissionais da área. Qualquer incoerência é culpa do ChatGPT.

Elaborada em 2017 por Monica Rogati, a Pirâmide “Data Science Hierarchy of Needs" ilustra as necessidades fundamentais em Ciência de Dados. No entanto, a pirâmide não contém apenas camadas e etapas necessárias para alcançar valor a partir de Dados, mas também define diferentes papéis de profissionais que lidam com dados.

Construída originalmente como uma metáfora que ajuda a entender a progressão das necessidades de uma organização que deseja se tornar orientada a dados (tomar decisões baseadas em dados), a partir dela é possível observar a atividade fundamental, o profissional envolvido e os serviços que envolvem as tarefas.

1.Coleta de Dados (Collect):

• Base da pirâmide: Foca na coleta e armazenamento dos dados. É fundamental garantir que os dados sejam coletados de maneira consistente e armazenados em um local acessível.
• Profissionais Envolvidos: Engenheiros de Dados, Administradores de Banco de Dados.
• Atividades: Configuração de sistemas de coleta de dados, integração de diversas fontes de dados, construção de pipelines de dados.

2. Movimentação e Armazenamento de Dados (Move/Store):

• Inclui a transferência e o armazenamento de dados coletados em repositórios apropriados, como data lakes e data warehouses.
• Profissionais Envolvidos: Engenheiros de Dados, Administradores de Banco de Dados.
• Atividades: Implementação de processos ETL (Extract, Transform, Load), uso de sistemas de armazenamento escaláveis (Hadoop, S3).

3.Exploração e Transformação de Dados (Explore/Transform):

• Envolve a preparação e transformação dos dados para torná-los utilizáveis para análises.
• Profissionais Envolvidos: Engenheiros de Dados, Analistas de Dados.
• Atividades: Limpeza de dados, transformação de dados brutos em formatos utilizáveis, exploração de dados para detectar padrões.

4.Agregação e Rotulagem de Dados (Aggregate/Label):

• Inclui a agregação de dados e a rotulagem para facilitar análises mais avançadas.
• Profissionais Envolvidos: Analistas de Dados, Engenheiros de Dados, Cientistas de Dados.
• Atividades: Criação de datasets agregados, rotulagem de dados para treinamento de modelos de machine learning.

5.Análise e Modelagem (Analyze):

• Foca na análise dos dados para extrair insights e na construção de modelos preditivos.
• Profissionais Envolvidos: Cientistas de Dados, Analistas de Dados.
• Atividades: Análise exploratória de dados (EDA), construção de modelos de machine learning, validação de modelos.

6.Otimização e Ação (Optimize/Act):

• Topo da pirâmide: Envolve o uso de insights derivados dos dados para tomar decisões informadas e otimizar processos de negócios.
• Profissionais Envolvidos: Cientistas de Dados, Analistas de Negócios, Executivos.
• Atividades: Implementação de modelos preditivos em produção, tomada de decisões baseada em dados, otimização de processos de negócios.

Relação com os Papéis dos Profissionais:

• Engenheiros de Dados: Principalmente envolvidos nas camadas de coleta, movimentação, armazenamento, exploração e transformação de dados.
• Analistas de Dados: Trabalham na exploração, transformação, agregação, rotulagem e análise de dados.
• Cientistas de Dados: Envolvidos na análise, modelagem, otimização e uso dos dados para tomada de decisão.
• Administradores de Banco de Dados: Focados na infraestrutura de armazenamento e na garantia de que os dados estão disponíveis e seguros.
• Analistas de Negócios e Executivos: Utilizam insights derivados dos dados para tomar decisões estratégicas e otimizar processos.

Conclusão:

A pirâmide de Monica Rogati oferece uma visão abrangente das etapas necessárias para transformar dados brutos em decisões informadas e ações estratégicas. Cada camada da pirâmide destaca um conjunto de atividades e competências necessárias, ilustrando claramente os papéis dos diferentes profissionais que trabalham com dados.

Este artigo foi elaborado com a ajuda do ChatGPT, resumido e revisado por humanos.

Boa semana e bons estudos a todos.