Crítica/Resolução desafio - "Processando e Transformando Dados com Power BI"

Desafios do Projeto ETL e Soluções Adotadas

O mundo da análise de dados é repleto de desafios empolgantes, e um deles é o processo ETL (Extract, Transform, Load). No entanto, meu recente envolvimento em um projeto ETL me confrontou com uma série de obstáculos que gostaria de compartilhar e discutir.

A Necessidade de uma Base de Dados Consistente

Ao começar o módulo de ETL, fui imediatamente confrontado com a necessidade de scripts de criação e atualização do banco de dados. Isso fez todo sentido, uma vez que a qualidade da nossa análise depende da integridade dos dados subjacentes. No entanto, surgiu um problema: a obtenção de uma base de dados consistente.

Desafios com a Azure

O desafio proposto envolvia o uso da plataforma Azure, que é uma excelente ferramenta, mas também exige uma conta na Azure e um cartão de crédito para ser plenamente utilizado. Isso se mostrou uma barreira para muitos, incluindo eu mesmo. A questão financeira e a necessidade de criar uma conta na Azure podem ser entraves significativos para alguns alunos.

Solução: Utilizando o MariaDB Localmente

Diante dessas dificuldades, tomei a decisão de utilizar o banco de dados MariaDB localmente. Isso me permitiu prosseguir com o desenvolvimento do projeto sem as barreiras financeiras associadas à Azure. Além disso, essa abordagem me proporcionou mais flexibilidade e controle sobre o ambiente de desenvolvimento.

Obstáculos com o Power BI Desktop

Outro desafio que encontrei durante o projeto foi a integração com o Power BI Desktop. Como não possuía um ambiente Windows, criei uma máquina virtual, mas enfrentei problemas com incompatibilidade de drivers. Isso resultou em travamentos tanto no sistema hospedeiro quanto na máquina virtual.

Problemas com o Conector ODBC

A tentativa de conexão do Power BI com o MariaDB local apresentou outro desafio. Aparentemente, problemas na conexão do conector ODBC impediram uma integração bem-sucedida. Essa questão técnica se mostrou um obstáculo adicional, mesmo após superar as barreiras da Azure.

Alternativas e Recursos Compartilhados

Diante das dificuldades enfrentadas durante o projeto, tomei a iniciativa de compartilhar minha resolução no GitHub. No meu repositório, você encontrará arquivos de criação, inserção, atualização e queries no banco de dados de exemplo proposto pelo desafio.

[Repositório no GitHub](https://github.com/viniciuscardoso-dev/power_bi_analyst/tree/main/M%C3%B3dulo%203/minha_resolucao)

Considerações Finais

Embora tenha enfrentado obstáculos durante o projeto, essa experiência me ensinou a importância da flexibilidade e da busca de alternativas quando as soluções iniciais se mostram inacessíveis. Aprendi a superar desafios e a compartilhar recursos para auxiliar outros estudantes que possam encontrar situações semelhantes.

Este artigo foi escrito com ajuda da IA Generativa - ChatGPT.