Arquitetura de Dados: Os desafios para estar em conformidade com as boas práticas para a aplicação de técnicas de Ciência de Dados com Python

Resumo:

Este artigo aborda os desafios enfrentados na construção de uma arquitetura de dados que esteja em conformidade com as legislações vigentes e tem como objetivo tirar o maior proveito da Ciência de dados utilizando recursos da linguagem python. Devido a crescente preocupação com a privacidade e a proteção de dados, as organizações enfrentam a necessidade de garantir que suas práticas de coleta, armazenamento e processamento de dados estejam em conformidade com as leis e regulamentações aplicáveis.

PALAVRAS-CHAVES: arquitetura de dados, ciência de dados, análise de dados, governança de dados, arquitetura moderna, python, LGPD, proteção de dados, privacidade de dados, ISO 38505, DAMABOK.

Introdução

O que é Arquitetura de Dados?

Arquitetura de Dados compreende um conjunto de estruturas e diretrizes que regem as informações e determinam a forma como os dados capturados devem ser armazenados, organizados, integrados e utilizados nos sistemas de uma organização. Em essência, a Arquitetura de Dados estabelece normas para todos os sistemas de informação, representando uma visão ou modelo das interações entre esses sistemas de dados.

Como funciona a Arquitetura de Dados?

Para garantir a consistência e eficiência dos sistemas de dados, é fundamental que uma arquitetura de dados siga padrões, diretrizes e normas para todos os sistemas envolvidos, oferecendo uma representação visual ou um modelo que ilustre as possíveis interações entre esses sistemas. Além disso, uma arquitetura de dados descreve as estruturas de informação adotadas pela organização, abrangendo aspectos como: dados armazenados, dados em uso e dados em trânsito e em repouso. Essas arquiteturas também contemplam descrições de repositórios de dados, conjuntos de dados e elementos de dados, além de fornecer mapeamentos desses artefatos de dados para garantir o controle de qualidade, gerenciamento de metadados, entre outras funcionalidades.

Segundo Bergson Lopes: “Quando completa, uma arquitetura de dados traz vários benefícios para uma empresa.”, por exemplo:

Melhor compreensão da estratégia da empresa;
Alinhamento das soluções de dados com a estratégia atual;
Identificação clara de requisitos de dados estratégicos;
Estabelecimento de forma padrão para consumo dos dados;
Inventário dos dados etc.

Boas práticas, legislação e normas

Com o intuito de assegurar o cumprimento das responsabilidades regulatórias e garantir que a área de Tecnologia da Informação (TI) apoie de forma eficiente os objetivos e estratégias do negócio, as empresas têm cada vez mais adotado abordagens, diretrizes e conjuntos de melhores práticas amplamente estabelecidos no mercado, como por exemplo:

ITIL®;
COBIT;
PMBOOK®;
DAMABOK;
ISO38505;
LEI 12965/2014 – Marco Civil da Internet;
LEI 13709/2018 – Lei Geral de Proteção de Dados Pessoais;
PROJETO DE LEI 21/2020;
Outros guias, normas e lei importantes de acordo com a área de atuação do negócio.

Por se tratar de um tema de grande abrangência, este artigo abordará a Lei 13709/2018 e a ISO38505-1. Os demais itens poderão ser abordados como uma forma de melhoria para estudos futuros. Sendo assim, sinta-se a vontade querido leitor de contribuir com o seu comentário.

Desafios para construir uma arquitetura de dados

À medida que o negócio vai crescendo, há a necessidade de se investir em Governança de dados, uma vez que a Arquitetura de Dados reflete e representa os processos e os fluxos de atividades do negócio; e esta arquitetura está sujeita a alterações à medida que os processos são alterados.

Os processos podem ser alterados por vários motivos, e um deles é o fato de que os clientes estão cada vez mais cientes sobre os seus direitos no âmbito do mundo digital, desta forma a cobrança por sistemas cada vez mais seguros é inevitável, uma vez que a arquitetura possa não ter sido projetada de forma confiável.

Então, vocês podem estar se perguntando, mas quais são os desafios que a arquitetura de dados pode enfrentar diante dos avanços das legislações vigentes? São muitos os desafios que uma empresa pode passar para implementar uma arquitetura de dados em conformidade com as legislações vigentes, mas a seguir será abordado de forma genérica os principais desafios enfrentados nesse contexto afim de fornecer insights sobre como superá-los.

Desafio de Implementar de forma correta a Governança de Dados (ISO 38505)

O papel da ISO 38505 na arquitetura de dados está em atender a conformidade com a Lei Geral de Proteção de Dados e os Riscos com o crescimento do volume e complexidade dos dados. A ISO 38505 é uma norma internacional que trata da governança de dados e fornece diretrizes para a gestão eficaz dos recursos de informação em uma organização. Embora não seja uma legislação específica, a ISO 38505 desempenha um papel fundamental na garantia de que a arquitetura de dados esteja em conformidade com as legislações vigentes.

A norma ISO 38505 estabelece princípios e boas práticas que podem ser aplicados à gestão e governança dos dados em conformidade com as leis de proteção de dados. Esses princípios incluem a definição clara de papéis e responsabilidades, a implementação de processos para garantir a integridade e a segurança dos dados, e a realização de auditorias regulares para avaliar a conformidade com as políticas e regulamentações relevantes.

Ao adotar a ISO 38505, as organizações podem se beneficiar de um quadro de referência que ajuda a estruturar e fortalecer sua arquitetura de dados conforme as exigências previstas no normativo. A norma oferece orientações sobre como estabelecer uma governança sólida, definir políticas e procedimentos adequados e estabelecer controles para garantir que as práticas de coleta, armazenamento e processamento de dados estejam em conformidade com as leis aplicáveis.

Além disso, o DAMA promove a adoção de abordagens baseadas em riscos e a conscientização da importância da conformidade com as legislações vigentes. Isso ajuda as organizações a identificar e avaliar os riscos associados ao tratamento de dados, implementar medidas de mitigação apropriadas e garantir a conformidade contínua à medida que as legislações e regulamentações evoluem.

“E a Governança de Dados consiste no exercício de autoridade e controle (planejamento, monitoramento e execução) sobre o gerenciamento de ativos de dados”. (DMBOK, 2012).

É importante destacar que a ISO 38505 não substitui as legislações e regulamentações específicas de proteção de dados, mas fornece um conjunto de diretrizes e boas práticas para fortalecer a Arquitetura de Dados em conformidade com essas leis e com outras boas práticas supracitadas.

Desafio de Implementar de forma correta a Lei Geral de Proteção de Dados - LGPD

A LGDP em seu artigo 46, dispõe:

“Art. 46. Os agentes de tratamento devem adotar medidas de segurança, técnicas e administrativas aptas a proteger os dados pessoais de acessos não autorizados e de situações acidentais ou ilícitas de destruição, perda, alteração, comunicação ou qualquer forma de tratamento inadequado ou ilícito.

§ 1º {... ...}

§ 2º As medidas de que trata o caput deste artigo deverão ser observadas desde a fase de concepção do produto ou do serviço até a sua execução.”. Lei 13.709/18

Diante do exposto, a arquitetura de dados enfrenta alguns desafios que devem ser levados em consideração ao implementar de forma correta a Lei Geral de Proteção de dados; a fim da organização mostrar conformidade com as medidas adotadas em relação a Governança, Políticas e Riscos que possam envolver a mesma.

Desta forma, para que seja possível colocar em prática técnicas da Ciência de Dados, deve-se levar em consideração algumas das medidas administrativas e técnicas de segurança a seguir:

Privacidade e anonimização dos dados
Identificação de dados pessoais e sensíveis;
Métodos de anonimização e pseudonimização;
Proteção dos dados em trânsito e em repouso.
Consentimento e finalidade do processamento dos dados coletados
Garantia de que os dados sejam usados apenas para fins autorizados.
Retenção e exclusão de dados
Determinação dos prazos de retenção de dados.
Segurança e integridade dos dados
Medidas de segurança adequadas para proteger os dados contra acessos não autorizados;
Garantia da integridade dos dados durante o armazenamento e o processamento.
Governança e responsabilidade
Designação de responsabilidades e papéis claros para a conformidade com as legislações;
Implementação de mecanismos de governança e supervisão adequados.

Há outras medidas técnicas, que não foram mencionadas até aqui, por se tratar de um vasto assunto, sendo assim, deixo como aberto o tema para uma nova publicação, caso seja de seu interesse e opinião querido leitor.

São inúmeros os desafios que uma boa implementação da Arquitetura de Dados pode enfrentar, e superá-los será um diferencial competitivo tanto para o negócio, quanto para o time de Ciência de Dados, que tratara e processara toda a informação que será coletada para realização de análises preditivas, qualitativa, geração relatórios, dashboards etc.

Superando os desafios

Querido leitor, quando o assunto é Ciência de Dados um universo de possibilidades se abrem diante de nossos olhos, não é verdade? Qual tópico abordado que mais te chamou atenção até este momento da leitura?

Para superar os desafios que a Arquitetura de Dados pode enfrentar, é necessário um engajamento de toda a organização, um aculturamento, uma alfabetização em dados, é preciso treinamento e muita dedicação em estudos técnicos. Não existe uma receita de bolo pronta para superar os desafios, no entanto existem os guias de boas práticas, normas e diretrizes que direcionam e orientam o rumo a seguir. Assim sendo apresento 3 (três) passos poderosos para superar os desafios supracitados:

Avaliação e mapeamento dos riscos e impactos relacionados à conformidade;
Implementação de diretrizes, políticas e procedimentos robustos de proteção de dados;
Investimento em tecnologias e ferramentas adequadas para suportar a Arquitetura de Dados.

Conclusão

Falar sobre a Ciência de dados com python é um universo de possibilidade do qual podemos escolher alguns subtítulos como por exemplo:

Arquitetura de dados;
Visualização de dados;
Tipos de gráficos e quando usar;
Manipulação e limpeza de dados;
Dentre outros subtítulos relacionados.

Este artigo teve por objetivo destrinchar um pouco do miniuniverso da Arquitetura de Dados, e nele foi abordado os desafios enfrentados para implantar uma boa arquitetura de dados estando em conformidade com as boas práticas, diretrizes, legislações vigentes e normas internacionais. Também abordamos a importância de se adotar medidas técnicas, administrativas para superar estes desafios e evitar penalidades legais, protegendo assim a reputação da organização diante de um mercado fortemente competitivo.

Por fim e não menos importante, abordamos a necessidade contínua de adaptação às mudanças nas legislações e regulamentações, a fim de manter a governança de dados coerente com a estratégia do negócio, podendo assim avaliar riscos inerentes não somente a Arquitetura de Dados, mas também, os riscos decorrentes ao processamento destes dados por meio de aplicação de técnicas de Ciência de dados para geração de insights e tomada de decisões.

Por tanto, conclui-se que a Ciência de dados pode-se tornar um grande diferencial competitivo, quando se tem uma arquitetura de dados alinhada com a estratégia do negócio, atendendo aos requisitos técnicos de segurança e privacidade, além de estar em conformidade com as diretrizes, políticas, boas práticas e normas técnicas.

Referências bibliográficas

Rêgo, Bergson Lopes – Gestão e Governança de Dados: Promovendo dados como ativo de valor nas empresas. BRASPORT Editora. 2013.

Fernandes, A. A.; ABREU, V. F. Implantando a governança de TI: da estratégia à gestão dos processos e serviços. BRASPORT Editora. 2012.

LGPD, Lei Geral de Proteção de Dados 13.709 2018. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/l13709.htm. Acessado em: 27/06/2023.

ISO38505, Information technology — Governance of IT — Governance of data — Part 1: Application of ISO/IEC 38500 to the governance of data. 2017. Disponível em https://www.iso.org/obp/ui/en/#iso:std:iso-iec:38505:-1:ed-1:v1:en:. Acessado em: 27/06/2023.

ISO38505, A Governança de Dados em Tecnologia da Informação T.I. 2020. Disponível em: https://www.normas.com.br/visualizar/artigo-tecnico/3742/a-governanca-de-dados-em-tecnologia-da-informacao-ti. Acessado em: 27/06/2023.

DAMA International, Guia para o corpo de conhecimento em gerenciamento de dados, 2012.

DATA Governance Glossary. Disponível em: https://datagovernance.com/the-data-governance-basics/data-governance-glossary/. Acessado em: 27/06/2023