INGESTÃO DE DADOS – Introdução a Engenharia de Dados na Azure

Tendo como base que em uma conta de armazenamento do Azure é possível encontrar vários tipos de dados disponíveis, podemos afirmar que a conta em si fornece um namespace exclusivo para os dados que podem ser acessados em qualquer lugar do mundo (por HTTP ou HTTPS). Além disso, dentro do Azure é possível encontrar os tipos de armazenamentos, a redundância e os modelos de implantação. Em seguida irei citar alguns exemplos de redundância que podem ser usados nas aplicações dentro do Azure:

·        LRS (armazenamento com redundância local) à Se trata de uma opção de redundância simples de baixo custo, onde se tem a oportunidade dos dados serem copiados três vezes em uma localização física.

·        ZES (armazenamento com redundância de zona) à Onde nesse caso, a redundância abrange situações que podem exigir alta disponibilidade. Além disso, os dados são copiados em três zonas de disponibilidade do Azure.

·        GRS (Armazenamento com redundância geográfica) à Já a GRS se trata de uma redundância entre regiões, onde tem o objetivo a proteção contra interrupções regionais.

Para finalizar, irei abordar mais dois tópicos sobre o tema: Processamento de Dados e Azure Synapse Analytics.

Pois bem, o Processamento de dados, conhecido também pela abreviação ETL (extração, transformação e carregamento) é necessário quando se tem dados sem uma determinada “direção”. Já o Azure Synapse Analytics é justamente para esses tipos de casos de dados “sem direção”, onde usando o Apache Spark e pipelines automatizados, o Synapse pode executar tarefas de processamento paralelo em conjuntos de grandes dados e executar análise de Big Data.