A importância do Engenheiro de dados e dos SGBDs

Existe uma grande diversidade de SGBDs para os Modelos Relacionais e Não Relacionais, que proporcionam uma melhor gestão e persistência de dados.

Não podemos considerar que um SGBD Relacional é melhor ou pior que um Não Relacional, mas que ambos servem para contextos diversos e até podem se complementar.

Dessa forma, o papel do Engenheiro de Dados é imprescindível na tecnologia, atuando diretamente na gestão de dados, e sabendo fazer essa análise e combinação de uso de sistemas e tecnologias, o sucesso é garantido.

O Engenheiro de Dados terá grande importância no planejamento dos recursos que irá utilizar e que serão necessários para manter o BD acessível, performático e em funcionamento, desde a mão de obra, recursos financeiros, maquinário e outros.

Além do conhecimento técnico, a gestão de pessoas também é importante, para que o time trabalhe de forma afinada e harmônica, proporcionando um ambiente agradável, colaborativo e motivador.

Em relação ao conhecimento técnico, de forma objetiva, um Banco de Dados Relacional (SQL) é aquele onde os dados tenham relacionamento entre si, com um esquema de dados rígido, como um sistema de pedidos on-line, de um e-commerce. Neste contexto, sabemos que iremos armazenar dados referentes a clientes, pedidos e outros. Esses dados irão se relacionar através de tabelas, gerando informações íntegras e consistentes.

Já o Banco de Dados Não Relacional (NoSQL), surgiu para suprir uma demanda não atendida pelo Modelo Relacional. Ele permite que se mantenha uma estrutura de dados não rígida, para tratar de dados não estruturados, envolvendo imagens, vídeos, fotos e outros. Ele não garante a integridade dos dados como o Relacional, mas entrega maior performance. Como trata de grandes volumes de dados, possui alta escalabilidade horizontal.

Ambos possuem suas particularidades, contextos, e cada um tem o seu propósito.

Enquanto temos definido a forma de recuperar dados no BD Relacional, que utiliza o conceito de chaves e relacionamentos em tabelas, no BD Não Relacional isso se torna mais complexo, porém viável. Podemos recuperar dados através do arquivo Json, que possui um padrão de organização de seu conteúdo, mas não exige que todos os campos tenham algum dado, sendo assim, a forma de recuperar dados no BD NoSQL, deve ser bem estudada e planejada.

Existem informações que podem ser desprezadas e outras não. De qualquer forma, o BD Não Relacional será modelado, e mesmo que não exista uma fórmula, uma “receita de bolo” a ser seguida, o contexto irá delimitar padrões que precisam ser minimamente atendidos.

Devido à variedade de soluções e ferramentas, é importante que o Engenheiro de Dados tenha um conhecimento vasto, mas que conheça a fundo determinada ferramenta que irá atender a determinado contexto.

O desafio faz parte do dia a dia de todos, e tendo isso em vista, qualquer profissional não pode chegar em uma situação de comodismo. Ao se tornar um profissional especialista e expert em determinada skill, é importante se desafiar e dar um passo no sentido de aprender e se aventurar em uma nova habilidade, tecnologia, SGBD.

Não existe só um caminho. Conhecimento é poder, é solução, é resposta a perguntas, traz segurança e mitiga riscos.

O conhecimento, assim como uma equipe capacitada e engajada, permite criar embasamentos para utilizar determinado SGBD, modelo e decisão arquitetural.

A escolha do BD deve ser pensada em como o dado pode ser manipulado para se tornar informação, a questão de conexão com outras soluções e ferramentas também deve ser pensada, enfim, um bom planejamento deve ser traçado.

Com a evolução de ferramentas, em certo momento pode ser decidido a utilização de outra aplicação, SGBD, e essa transição deve ser bem analisada, riscos mapeados juntamente com cenários, para que a migração seja feita com sucesso.

O maior desafio no mundo dos dados, é a manipulação. Existem várias rotinas que compõem essa manipulação, com prazos de execução diária, semanal, mensal, e as soluções de ETL acabam auxiliando nessa tarefa. É importante que a execução seja monitorada e verificado se houve algum problema na carga e qual o tratamento a ser feito na ocorrência de determinado erro.

Percebe-se a existência de um “mundo de dados”, com vários desafios e oportunidades a serem exploradas, tanto para crescimento profissional como para entendimento e conquista de mercado. Equipes trabalham incansavelmente para gerar dados e prover informações.

De forma simplista, o Engenheiro de Dados irá prepará-los e deixá-los disponíveis, para que, por exemplo, os Cientistas de Dados utilizem, para a geração de insights. Este é um dos que irão consumir as informações disponibilizadas. Temos contextos complementares e altamente ligados.

Considerando esse cenário, o Engenheiro de Dados possui a missão de liderar equipes, tomar decisões, mas cabe a ele saber dividir as responsabilidades, de modo que todos se sintam parte do sucesso, crescimento e aprendizado.

Ninguém faz nada sozinho, por isso devemos estar rodeados de ótimas pessoas e profissionais, e estar em busca de adquirir conhecimento frequentemente.

Navegar é preciso!