Data Science Hierarchy of Needs -A pirâmide de Monica Rogati
Oi, pessoal! Como vocês estão? Estudando muito? Trouxe um artigo bem legal sobre as necessidades fundamentais em ciência de dados e a relação com os profissionais da área. Qualquer incoerência é culpa do ChatGPT.
Elaborada em 2017 por Monica Rogati, a Pirâmide “Data Science Hierarchy of Needs" ilustra as necessidades fundamentais em Ciência de Dados. No entanto, a pirâmide não contém apenas camadas e etapas necessárias para alcançar valor a partir de Dados, mas também define diferentes papéis de profissionais que lidam com dados.
Construída originalmente como uma metáfora que ajuda a entender a progressão das necessidades de uma organização que deseja se tornar orientada a dados (tomar decisões baseadas em dados), a partir dela é possível observar a atividade fundamental, o profissional envolvido e os serviços que envolvem as tarefas.
1.Coleta de Dados (Collect):
- Base da pirâmide: Foca na coleta e armazenamento dos dados. É fundamental garantir que os dados sejam coletados de maneira consistente e armazenados em um local acessível.
- Profissionais Envolvidos: Engenheiros de Dados, Administradores de Banco de Dados.
- Atividades: Configuração de sistemas de coleta de dados, integração de diversas fontes de dados, construção de pipelines de dados.
2. Movimentação e Armazenamento de Dados (Move/Store):
- Inclui a transferência e o armazenamento de dados coletados em repositórios apropriados, como data lakes e data warehouses.
- Profissionais Envolvidos: Engenheiros de Dados, Administradores de Banco de Dados.
- Atividades: Implementação de processos ETL (Extract, Transform, Load), uso de sistemas de armazenamento escaláveis (Hadoop, S3).
3.Exploração e Transformação de Dados (Explore/Transform):
- Envolve a preparação e transformação dos dados para torná-los utilizáveis para análises.
- Profissionais Envolvidos: Engenheiros de Dados, Analistas de Dados.
- Atividades: Limpeza de dados, transformação de dados brutos em formatos utilizáveis, exploração de dados para detectar padrões.
4.Agregação e Rotulagem de Dados (Aggregate/Label):
- Inclui a agregação de dados e a rotulagem para facilitar análises mais avançadas.
- Profissionais Envolvidos: Analistas de Dados, Engenheiros de Dados, Cientistas de Dados.
- Atividades: Criação de datasets agregados, rotulagem de dados para treinamento de modelos de machine learning.
5.Análise e Modelagem (Analyze):
- Foca na análise dos dados para extrair insights e na construção de modelos preditivos.
- Profissionais Envolvidos: Cientistas de Dados, Analistas de Dados.
- Atividades: Análise exploratória de dados (EDA), construção de modelos de machine learning, validação de modelos.
6.Otimização e Ação (Optimize/Act):
- Topo da pirâmide: Envolve o uso de insights derivados dos dados para tomar decisões informadas e otimizar processos de negócios.
- Profissionais Envolvidos: Cientistas de Dados, Analistas de Negócios, Executivos.
- Atividades: Implementação de modelos preditivos em produção, tomada de decisões baseada em dados, otimização de processos de negócios.
Relação com os Papéis dos Profissionais:
- Engenheiros de Dados: Principalmente envolvidos nas camadas de coleta, movimentação, armazenamento, exploração e transformação de dados.
- Analistas de Dados: Trabalham na exploração, transformação, agregação, rotulagem e análise de dados.
- Cientistas de Dados: Envolvidos na análise, modelagem, otimização e uso dos dados para tomada de decisão.
- Administradores de Banco de Dados: Focados na infraestrutura de armazenamento e na garantia de que os dados estão disponíveis e seguros.
- Analistas de Negócios e Executivos: Utilizam insights derivados dos dados para tomar decisões estratégicas e otimizar processos.
Conclusão:
A pirâmide de Monica Rogati oferece uma visão abrangente das etapas necessárias para transformar dados brutos em decisões informadas e ações estratégicas. Cada camada da pirâmide destaca um conjunto de atividades e competências necessárias, ilustrando claramente os papéis dos diferentes profissionais que trabalham com dados.
Este artigo foi elaborado com a ajuda do ChatGPT, resumido e revisado por humanos.
Boa semana e bons estudos a todos.
