AWS Storage Extras Revisão SAA-C03 · Domínio 4.1 (Armazenamento) & Domínio 3.5 (Migração e transferência de dados)

1. AWS Snowball

• Dispositivos altamente seguros e portáteis para coletar e processar dados na borda (edge), e migrar dados para dentro e para fora da AWS.
• Ajuda a migrar até Petabytes de dados.

Dispositivo físico: Snowball Edge (ilustrado no material como um case portátil resistente).

2. Data Migrations with Snowball

Challenges (Desafios ao transferir pela rede):

• Conectividade limitada
• Largura de banda limitada
• Alto custo de rede
• Largura de banda compartilhada (não é possível maximizar a linha)
• Estabilidade da conexão

3. Diagramas: Upload Direto vs. Snowball

Upload direto para o S3:

Com o Snowball:

4. What is Edge Computing?

• Processar dados enquanto eles são criados, em uma localização de borda (edge location).
  • Exemplos: um caminhão na estrada 🚚, um navio no mar 🚢, uma estação de mineração no subsolo ⛏️.
• Esses locais podem ter internet limitada e nenhum acesso a poder computacional.
• Configuramos um dispositivo Snowball Edge para fazer o edge computing:
  • Snowball Edge Compute Optimized (dedicado para esse caso de uso) & Storage Optimized.
  • Rode instâncias EC2 ou funções Lambda na borda.
• Casos de uso: pré-processamento de dados, machine learning, transcodificação de mídia.

5. Solution Architecture: Snowball into Glacier

• Snowball não pode importar para o Glacier diretamente.
• Você deve usar o Amazon S3 primeiro, em combinação com uma política de ciclo de vida (S3 lifecycle policy).

6. Amazon FSx — Overview

• Lançar sistemas de arquivos de alta performance de terceiros na AWS.
• Serviço totalmente gerenciado (fully managed).

7. Amazon FSx for Windows (File Server)

• FSx for Windows é um drive de compartilhamento de sistema de arquivos Windows totalmente gerenciado.
• Suporta o protocolo SMB & Windows NTFS.
• Integração com Microsoft Active Directory, ACLs, quotas de usuário.
• Pode ser montado em instâncias EC2 Linux.
• Suporta o Microsoft's Distributed File System (DFS) Namespaces (agrupa arquivos entre múltiplos sistemas de arquivos).

Escala e opções:

• Escala até dezenas de GB/s, milhões de IOPS, centenas de PB de dados.
• Opções de Storage:
  • SSD — workloads sensíveis à latência (bancos de dados, processamento de mídia, análise de dados, ...)
  • HDD — amplo espectro de workloads (diretório home, CMS, ...)
• Pode ser acessado a partir da sua infraestrutura on-premises (VPN ou Direct Connect).
• Pode ser configurado como Multi-AZ (alta disponibilidade).
• Dados são backupeados diariamente para o S3.

8. Amazon FSx for Lustre

• Lustre é um tipo de sistema de arquivos paralelo distribuído, para computação em larga escala.
• O nome Lustre deriva de "Linux" e "cluster".

Casos de uso:

Machine Learning, High Performance Computing (HPC), Processamento de Vídeo, Modelagem Financeira, Automação de Design Eletrônico (EDA).

• Escala até centenas de GB/s, milhões de IOPS, latências sub-ms.
• Opções de Storage:
  • SSD — baixa latência, workloads intensivos em IOPS, operações de arquivo pequenas e aleatórias
  • HDD — workloads intensivos em throughput, operações de arquivo grandes e sequenciais
• Integração perfeita com S3:
  • Pode "ler o S3" como um sistema de arquivos (através do FSx)
  • Pode escrever a saída das computações de volta no S3 (através do FSx)
• Pode ser usado a partir de servidores on-premises (VPN ou Direct Connect).

9. FSx Lustre — File System Deployment Options

Scratch File System

• Armazenamento temporário.
• Os dados não são replicados (não persiste se o servidor de arquivos falhar).
• High burst (6x mais rápido, 200MBps por TiB).
• Uso: processamento de curto prazo, otimização de custos.

Persistent File System

• Armazenamento de longo prazo.
• Os dados são replicados dentro da mesma AZ.
• Substitui arquivos com falha em minutos.
• Uso: processamento de longo prazo, dados sensíveis.

10. Amazon FSx for NetApp ONTAP

• NetApp ONTAP gerenciado na AWS.
• Sistema de arquivos compatível com NFS, SMB, iSCSI.
• Move workloads rodando em ONTAP ou NAS para a AWS.
• Funciona com: Linux, Windows, MacOS, VMware Cloud on AWS, Amazon Workspaces & AppStream 2.0, Amazon EC2, ECS e EKS.
• O armazenamento encolhe ou cresce automaticamente.
• Snapshots, replicação, baixo custo, compressão e deduplicação de dados.
• Clonagem instantânea point-in-time (útil para testar novos workloads).

11. Amazon FSx for OpenZFS

• Sistema de arquivos OpenZFS gerenciado na AWS.
• Sistema de arquivos compatível com NFS (v3, v4, v4.1, v4.2).
• Move workloads rodando em ZFS para a AWS.
• Funciona com: Linux, Windows, MacOS, VMware Cloud on AWS, Amazon Workspaces & AppStream 2.0, Amazon EC2, ECS e EKS.
• Até 1.000.000 de IOPS com < 0.5ms de latência.
• Snapshots, compressão e baixo custo.
• Clonagem instantânea point-in-time (útil para testar novos workloads).

12. Hybrid Cloud for Storage

• A AWS está incentivando o modelo de "hybrid cloud":
  • Parte da sua infraestrutura está na nuvem.
  • Parte da sua infraestrutura está on-premises.
• Isso pode se dever a:
  • Migrações longas na nuvem.
  • Requisitos de segurança.
  • Requisitos de conformidade.
  • Estratégia de TI.
• O S3 é uma tecnologia de armazenamento proprietária (diferente de EFS / NFS), então como você expõe os dados do S3 on-premises?
• AWS Storage Gateway!

13. AWS Storage Cloud Native Options

14. AWS Storage Gateway

• Ponte (bridge) entre dados on-premises e dados na nuvem.

Casos de uso:

• Disaster recovery
• Backup & restore
• Armazenamento em camadas (tiered storage)
• Cache on-premises & acesso a arquivos com baixa latência

Tipos de Storage Gateway:

• S3 File Gateway
• Volume Gateway
• Tape Gateway

15. Amazon S3 File Gateway

• Buckets S3 configurados ficam acessíveis usando os protocolos NFS e SMB.
• Os dados usados mais recentemente ficam em cache no file gateway.
• Suporta S3 Standard, S3 Standard-IA, S3 One Zone-IA, S3 Intelligent-Tiering.
• Transição para o S3 Glacier usando uma Lifecycle Policy.
• Acesso ao bucket usando IAM roles para cada File Gateway.
• Protocolo SMB tem integração com o Active Directory (AD) para autenticação de usuário.

16. Volume Gateway

• Armazenamento em bloco usando o protocolo iSCSI, apoiado pelo S3.
• Apoiado por snapshots do EBS, que podem ajudar a restaurar volumes on-premises!

Cached volumes:

Acesso de baixa latência aos dados mais recentes.

Stored volumes:

O dataset inteiro fica on-premises, com backups agendados para o S3.

17. Tape Gateway

• Algumas empresas ainda têm processos de backup usando fitas físicas (!).
• Com o Tape Gateway, as empresas usam os mesmos processos, mas na nuvem.
• Virtual Tape Library (VTL) apoiada pelo Amazon S3 e Glacier.
• Faz backup dos dados usando processos já existentes baseados em fita (e a interface iSCSI).
• Funciona com os principais fornecedores de software de backup.

18. AWS Transfer Family

• Serviço totalmente gerenciado para transferências de arquivos para dentro e para fora do Amazon S3 ou Amazon EFS, usando o protocolo FTP.

Protocolos suportados:

• AWS Transfer for FTP (File Transfer Protocol)
• AWS Transfer for FTPS (File Transfer Protocol over SSL)
• AWS Transfer for SFTP (Secure File Transfer Protocol)

• Infraestrutura gerenciada, Escalável, Confiável, Altamente Disponível (multi-AZ).
• Pague por endpoint provisionado por hora + transferências de dados em GB.
• Armazena e gerencia as credenciais dos usuários dentro do próprio serviço.
• Integra com sistemas de autenticação já existentes (Microsoft Active Directory, LDAP, Okta, Amazon Cognito, customizado).
• Uso: compartilhamento de arquivos, conjuntos de dados públicos, CRM, ERP, ...

19. AWS DataSync

• Mover grandes quantidades de dados para dentro e para fora de:
  • On-premises / outra nuvem para a AWS (NFS, SMB, HDFS, S3 API...) — precisa de agente.
  • AWS para AWS (diferentes serviços de armazenamento) — não precisa de agente.
• Pode sincronizar com:
  • Amazon S3 (qualquer classe de armazenamento — incluindo Glacier)
  • Amazon EFS
  • Amazon FSx (Windows, Lustre, NetApp, OpenZFS...)
• Tarefas de replicação podem ser agendadas: por hora, diariamente, semanalmente.
• Permissões de arquivo e metadados são preservados (NFS POSIX, SMB...).
• Uma tarefa de agente pode usar 10 Gbps, e é possível configurar um limite de largura de banda.

Transferência entre serviços de armazenamento AWS (sem agente):

20. Storage Comparison (Resumo Geral)

Resumo mental de todos os serviços de armazenamento e transferência da AWS vistos até aqui — muito útil para revisão rápida antes da prova: