Tutorial: Copiar dados para Azure Data Box via NFS

Este tutorial descreve como se conectar e copiar dados do computador host usando a interface do usuário da Web local.

Neste tutorial, você aprenderá como:

Pré-requisitos

Conectar-se à caixa de dados

Com base na conta de armazenamento selecionada, o Data Box cria até:

• Três compartilhamentos para cada conta de armazenamento associada para GPv1 e GPv2.
• Um compartilhamento para armazenamento premium.
• Um compartilhamento para uma conta de armazenamento de blobs, contendo uma pasta para cada uma das quatro camadas de acesso.

A tabela a seguir identifica os nomes dos compartilhamentos do Data Box aos quais você pode se conectar e o tipo de dados carregados em sua conta de armazenamento de destino. Ele também identifica a hierarquia de compartilhamentos e diretórios nos quais você copia seus dados de origem.

Você não pode copiar arquivos diretamente para a pasta raiz de qualquer compartilhamento do Data Box. Em vez disso, crie pastas no compartilhamento do Data Box dependendo do caso de uso.

Os blobs de blocos dão suporte à atribuição de camadas de acesso no nível do arquivo. Antes de você copiar arquivos para o compartilhamento de blob de blocos, a melhor prática recomendada é adicionar novas subpastas na camada de acesso apropriada. Em seguida, depois de criar novas subpastas, continue adicionando arquivos a cada subpasta conforme apropriado.

Um novo contêiner é criado em qualquer pasta que resida na raiz do compartilhamento de blob de blocos. Qualquer arquivo dentro da pasta é copiado para a camada de acesso padrão da conta de armazenamento como um blob de blocos.

Para obter mais informações sobre camadas de acesso de blob, consulte Camadas de acesso para dados de blob. Para obter informações mais detalhadas sobre as práticas recomendadas para camadas de acesso, consulte Práticas recomendadas para usar camadas de acesso para blobs.

A tabela a seguir mostra o caminho UNC para os compartilhamentos no seu Data Box e a URL do caminho correspondente no Armazenamento do Azure para a qual os dados são carregados. A URL final de caminho do Armazenamento do Azure pode ser derivada do caminho de compartilhamento UNC.

Se você estiver usando um computador host Linux, execute as etapas a seguir para configurar o Data Box para permitir o acesso a clientes NFS.

1. Forneça os endereços IP dos clientes permitidos que podem acessar o compartilhamento. Na interface do usuário da web local, acesse a página Conectar e copiar. Nas configurações do NFS, selecione o acesso do cliente NFS.

   

2. Forneça o endereço IP do cliente NFS e selecione Adicionar. Você pode configurar o acesso para vários clientes NFS repetindo essa etapa. Selecione OK.

   

3. Assegure-se de que o computador host Linux tenha uma versão suportada do cliente NFS instalado. Use a versão específica para sua distribuição do Linux.

4. Depois que o cliente NFS for instalado, use o seguinte comando para montar o compartilhamento NFS em seu dispositivo Data Box:

   sudo mount <Data Box device IP>:/<NFS share on Data Box device> <Path to the folder on local Linux computer>

   Use o exemplo a seguir para se conectar a um compartilhamento do Data Box usando o NFS. No exemplo, o IP do dispositivo Data Box é 10.161.23.130. O Mystoracct_Blob de compartilhamento é montado no ubuntuVM e o ponto de montagem é /home/databoxubuntuhost/databox.

   sudo mount -t nfs 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

   Para clientes Mac, você precisa adicionar uma opção extra da seguinte maneira:

   sudo mount -t nfs -o sec=sys,resvport 10.161.23.130:/Mystoracct_Blob /home/databoxubuntuhost/databox

   Importante

   Você não pode copiar arquivos diretamente para a pasta raiz da conta de armazenamento. Dentro da pasta raiz de uma conta de armazenamento de blobs de blocos, você encontrará uma pasta correspondente a cada uma das camadas de acesso disponíveis.

   Para copiar seus dados para Azure Data Box, primeiro você deve selecionar a pasta correspondente a uma das camadas de acesso. Em seguida, crie uma subpasta dentro da pasta dessa camada para armazenar seus dados. Por fim, copie seus dados para a subpasta recém-criada. Sua nova subpasta representa o contêiner criado na conta de armazenamento durante a ingestão. Seus dados são carregados nesse contêiner como blobs.

Determinar as camadas de acesso apropriadas para blobs em blocos

Armazenamento do Azure permite armazenar dados de block blob em diferentes camadas de acesso na mesma conta de armazenamento. Essa capacidade permite que os dados sejam organizados e armazenados de forma mais eficiente com base na frequência com que são acessados. A tabela a seguir contém informações e recomendações sobre Armazenamento do Azure camadas de acesso.

Para obter mais informações sobre camadas de acesso de blob, consulte Camadas de acesso para dados de blob. Para obter práticas recomendadas mais detalhadas, consulte Práticas recomendadas para usar as camadas de acesso de blobs.

Você pode transferir seus dados de blob de blocos para a camada de acesso apropriada copiando-os para a pasta correspondente no Data Box. Esse processo é discutido com mais detalhes na seção Copiar dados para Azure Data Box.

Copiar dados para caixa de dados

Depois de se conectar a um ou mais compartilhamentos do Data Box, a próxima etapa é copiar dados. Antes de começar a cópia de dados, considere as seguintes limitações:

• Certifique-se de copiar seus dados para o compartilhamento que corresponde ao formato de dados necessário. Por exemplo, copie os dados de blob de blocos para o compartilhamento de blobs de blocos. Copie os VHDs para o compartilhamento de blob de páginas. Se o formato de dados não corresponder ao tipo de compartilhamento apropriado, o upload de dados para Azure falhará durante uma etapa posterior.
• Ao copiar dados para os compartilhamentos AzFile ou PageBlob , primeiro crie uma pasta na raiz do compartilhamento e copie os arquivos para essa pasta.
• Ao copiar dados para o compartilhamento BlockBlob , crie uma subpasta dentro da camada de acesso desejada e copie dados para a subpasta recém-criada. A subpasta representa um contêiner no qual os dados são carregados como blobs. Você não pode copiar arquivos diretamente para a pasta raiz de um compartilhamento.
• Ao copiar dados, verifique se o tamanho dos dados está em conformidade com os limites de tamanho descritos nos limites de tamanho da conta de armazenamento Azure.
• Uploads simultâneos do Data Box e de outro aplicativo que não seja do Data Box podem resultar em falhas de trabalho de upload e corrupção de dados.
• Se você usar os protocolos SMB e NFS para cópias de dados, recomendamos que você:
  • Use contas de armazenamento diferentes para SMB e NFS.
  • Não copie os mesmos dados para o mesmo destino final em Azure usando SMB e NFS. Nesses casos, o resultado final não pode ser determinado.
  • Embora a cópia via SMB e NFS em paralelo possa funcionar, não recomendamos fazer isso, pois ela é propensa a erros humanos. Aguarde até que a cópia de dados SMB seja concluída antes de iniciar uma cópia de dados do NFS.
• Ao copiar dados para o compartilhamento de blob de blocos, crie uma subpasta na camada de acesso desejada e copie dados para a subpasta recém-criada. A subpasta representa um contêiner para o qual os dados são carregados como blobs. Você não pode copiar arquivos diretamente para a pasta raiz na conta de armazenamento.
• Em caso de ingestão de diretório e nomes de arquivos que diferenciam maiúsculas de minúsculas de um compartilhamento NFS para NFS em Data Box:

  • O diferença entre maiúsculas e minúsculas é preservada no nome.

  • Os arquivos não fazem distinção entre maiúsculas e minúsculas.

    Por exemplo, se estiver copiando SampleFile.txt e Samplefile.Txt, o caso será preservado no nome quando copiado para o Data Box. No entanto, como eles são considerados o mesmo arquivo, o último arquivo carregado substitui o primeiro arquivo.

Se você estiver usando um computador host Linux, use um utilitário de cópia semelhante ao Robocopy. Algumas das alternativas disponíveis no Linux sãorsync, FreeFileSync, Unison ou Ultracopier.

O cp comando é uma das melhores opções para copiar um diretório. Para obter mais informações sobre o uso, acesse as páginas do cp man.

Se você usar a opção rsync para obter uma cópia com multithread, siga estas diretrizes:

• Instale o pacote CIFS Utils ou NFS Utils , dependendo do sistema de arquivos que seu cliente Linux está usando.

  sudo apt-get install cifs-utils

  sudo apt-get install nfs-utils

• Instalar rsync e Paralelo (varia dependendo da versão distribuída do Linux).

  sudo apt-get install rsync

  sudo apt-get install parallel

• Crie um ponto de montagem.

  sudo mkdir /mnt/databox

• Monte o volume.

  sudo mount -t NFS4 //Databox IP Address/share_name /mnt/databox

• Estrutura do diretório de pasta espelhada.

  rsync -za --include='*/' --exclude='*' /local_path/ /mnt/databox

• Copiar arquivos.

  cd /local_path/; find -L . -type f | parallel -j X rsync -za {} /mnt/databox/{}

  onde j especifica o número de paralelização, X = número de cópias paralelas

  Recomendamos que você comece com 16 cópias paralelas e aumente o número de threads dependendo dos recursos disponíveis.

As notificações são exibidas durante o processo de cópia para indicar erros.

Selecione Baixar lista de problemas.

Abra a lista para exibir os detalhes do erro e selecione a URL de resolução para exibir a resolução recomendada.

Para obter mais informações, consulte Exibir logs de erros durante a cópia de dados para o Data Box. Para obter uma lista detalhada de erros durante a cópia de dados, consulte Solucionar problemas do Data Box.

Para garantir a integridade dos dados, a soma de verificação é computada em linha à medida que os dados são copiados. Quando a cópia estiver concluída, verifique o espaço usado e o espaço livre no seu dispositivo.

Próximas Etapas 

Neste tutorial, você aprendeu sobre tópicos do Azure Data Box como:

Avance para o próximo tutorial para saber como enviar o Data Box novamente à Microsoft.