Como a Netflix armazena filmes e séries com o AWS Amazon S3

Netflix e os serviços AWS

Você já se perguntou como a Netflix uma das maiores plataformas de streaming de vídeo do mundo armazena uma vasta biblioteca de filmes, séries de TV e conteúdo original para seus milhões de assinantes ? Com bilhões de horas de conteúdo sendo transmitidas a cada mês, resultando uma quantidade de dados extremamente grande, seria necessário vários petabytes para armazenar os dados dessa Big Tech.

A Netflix é cliente da Amazon e utiliza o Amazon Web Services para hospedar sua infraestrutura de computação em nuvem e entregar conteúdo de vídeo aos seus milhões de assinantes em todo o mundo utilizando o Amazon S3 como armazenamento de dados principal. Eu vou te mostrar como funciona os serviços de armazenamento da Amazon S3.

Como funciona o AWS Amazon S3 ?

O Amazon Simple Storage Service (Amazon S3) é um serviço de armazenamento de objetos que oferece segurança, performance escalabilidade, durabilidade e disponibilidade de dados para o usuário (Netflix). Ela é projetada para armazenar e recuperar qualquer volume de dados, a qualquer momento, de qualquer lugar da Web de forma altamente escalável e confiável usando buckets.

O armazenamento no bucket dispõem:

• Controle de acesso aos dados
• Otimiza custos com classes de armazenamento
• Replica dados para qualquer região
• Acesso local ou VPC
• Protege e salva seus dados
• Obtém visibilidade do seu armazenamento

O que é um bucket do AWS Amazon S3 ?

Os "buckets são recipientes de armazenamento fundamentais dentro do Amazon S3. Eles são usados para armazenar objetos que podem ser qualquer tipo de dados digitais. Cada objeto armazenado no Amazon S3 é contido em um bucket que possibilita o gerenciamento de objetos, fornecendo um contexto lógico para a organização dos dados. Os buckets são essenciais para a organização, segurança e gerenciamento eficaz dos dados armazenados do Amazon S3.

Como implementar uma política de segurança eficaz para proteger os dados armazenados no AWS Amazon S3 ?

A segurança dos dados armazenados no Amazon S3 é uma responsabilidade compartilhada entre a AWS (provedora do serviço) e o cliente (usuário do serviço). A AWS fornece uma série de recursos e ferramentas avançadas para garantir a segurança dos dados no Amazon S3, e também gerencia a infraestrutura subjacente para garantir a segurança física dos dados.

Para garantir a integridade dos dados os administradores podem:

• Configurar as políticas de acesso e permissões específicas para cada bucket
• Controlar quem pode acessar e manipular os objetos armazenados neles
• Criptografar dados em repouso e em trânsito
• Controlar o acesso aos dados de forma granular
• Bloqueio de acesso público
• Bloqueio de objetos
• AWS Idendity and Access management (IAM)

O IAM é um serviço centralizado de gerenciamento de identidade e acesso da AWS que permite controlar com precisão quem pode acessar seus recursos do Amazon S3 e quais ações eles podem realizar. O usuário acessa o IAM para controlar quem é autenticado (fez login) e autoriza(tem permissões) a usar os recursos.

As categorias de armazenamento do AWS Amazon S3

O Amazon S3 oferece uma variedade de classes de armazenamento com base na performance, acesso aos dados, resiliência e requisitos de custo do workloads dos usuários. As classes de armazenamento do S3 são desenvolvidas especificamente para fornecer o armazenamento de custo mais baixo para diferentes padrões de acesso.

• S3 Standard
• S3 Intelligent-Tiering
• S3 Glacier

Qual a diferença entre o S3 Standart, S3 Intelligent-Tiering e S3 Glacier, quando usar cada um ?

O S3 intelligent-Tiering: É uma classe de armazenamento projetada para otimizar automaticamente os custos, movendo dados automaticamente entre duas camadas de armazenamento (acesso frequente e acesso menos frequente). Os objetos são inicialmente armazenados na camada de acesso frequente, e após 30 dias de inatividade, são movidos para a camada de acesso menos frequente. Se acessados novamente migram para a camada de acesso frequente. Usados para dados com padrões de acesso imprevisíveis ou variáveis, onde a otimização automática de custos é importante.

S3 Standard: É uma classe de armazenamento padrão do Amazon S3, projetada para oferecer alto desempenho, durabilidade e disponibilidade de dados, ideal para dados frequentemente acessados que requerem baixa latência e alta taxa de transferência. É usado para dados que precisam estar prontamente disponíveis para acesso imediato.

S3 Glacier: É uma classe de armazenamento de baixo custo, projetado para armazenar dados que raramente são acessados, mas que precisam ser retidos por longos períodos de tempo, podem levar vários minutos a várias horas para serem recuperados, dependendo da opção de recuperação escolhida (padrão, expedição ou profundidade). Usado para fazer backup de dados, arquivar dados de conformidade ou retenção e armazenar dados históricos que não precisam ser acessados com frequência.

Como otimizar a transferência de grande volumes de dados para o AWS Amazon S3 ?

A Netflix pode ter uma vasta biblioteca de conteúdo de vídeo que precisa ser transferida para o Amazon S3 regularmente. Com o AWS Direct Connect, a Netflix pode estabelecer uma conexão de rede dedicada entre sua infraestrutura local e a AWS, permitindo transferências de dados rápidos e consistentes. Aproveitando uma conexão de alta velocidade e baixa latência diretamente para a Amazon S3.

Além disso, a Netflix também pode aproveitar o Amazon S3 Transfer Acceleration para acelerar ainda mais a transferência de dados, utilizando a rede de entrega de conteúdo (CDN) na AWS para transferir dados para o Amazon S3 de forma rápida e eficiente, especialmente de locais geograficamente distantes do bucket S3.

Para finalizar o nosso artigo a Netflix utiliza serviços adicionais da AWS, como o Amazon CloudFront, para entregar o seu conteúdo aos usuários finais de maneira rápida e eficiente, aproveitando uma CDN (Content Delivery Network) para reduzir a latência e melhorar a experiência do streaming para os assinantes.

Principais referências:

https://docs.aws.amazon.com/pt br/AmazonS3/latest/userguide/welcome.html

https://aws.amazon.com/pt/s3/storage-classes/#:~:text=As%20classes%20de%20armazenamento%20S3,Acess%20(S3%20Standard-IA)

https://docs.aws.amazon/pt br/IAM/latest/UserGuide/introduction.html

https://aws.amazon.com/pt/s3/tranfer-acceleation/

https://aws/amazon/com/pt/s3getting-started/#:~:text=O%20Aamazon%20Simple%20Storage%20Service,de%20qualquer%20lugar%20na%20Web