Capture dados de Hubs de Eventos no formato Delta Lake

Este artigo explica como usar o editor no-code para capturar automaticamente dados em streaming nos Event Hubs para uma conta Azure Data Lake Storage Gen2 no formato Delta Lake.

Pré-requisitos

  • Deve tornar os seus recursos Hubs de Eventos do Azure e Azure Data Lake Storage Gen2 acessíveis publicamente. Não os coloque atrás de um firewall nem os proteja numa Rede Virtual do Azure.
  • Deve serializar os dados nos seus Event Hubs em formato JSON, CSV ou Avro.

Configurar uma tarefa para capturar dados

Use as etapas a seguir para configurar um trabalho do Stream Analytics para capturar dados no Azure Data Lake Storage Gen2.

  1. No portal Azure, vai ao teu hub de eventos.

  2. Selecione Funcionalidades>Processar Dados e selecione Iniciar no painel Capturar dados para ADLS Gen2 no formato Delta Lake.
    Captura de ecrã mostrando os cartões iniciais de dados dos Hubs de Eventos de Processo.

    Alternativamente, selecione Captura de Características> e selecione a opção Delta Lake em Formato de serialização de eventos de saída. Depois, selecione Iniciar configuração de captura de dados. Captura de tela mostrando o ponto de entrada da criação de dados de captura.

  3. Insira um nome para identificar seu trabalho do Stream Analytics. Selecione Criar.
    Captura de tela mostrando a janela de trabalho do New Stream Analytics onde você insere o nome do trabalho.

  4. Especifique o tipo de serialização de seus dados nos Hubs de Eventos e o método de Autenticação que o trabalho usa para se conectar aos Hubs de Eventos. Em seguida, selecione Conectar. Captura de tela mostrando a configuração de conexão dos Hubs de Eventos.

  5. Quando a conexão é estabelecida com êxito, você vê:

    • Campos que estão presentes nos dados de entrada. Você pode escolher Adicionar campo ou selecionar o símbolo de três pontos ao lado de um campo para, opcionalmente, remover, renomear ou alterar seu nome.
    • Uma amostra dinâmica de dados de entrada na tabela de visualização de dados sob o modo de exibição de diagrama. Refresca-se periodicamente. Você pode selecionar Pausar visualização de streaming para obter uma visão estática da entrada de amostra.
      Captura de ecrã a mostrar dados de exemplo em Pré-visualização de Dados.

  6. Selecione o painel Azure Data Lake Storage Gen2 para editar a configuração.

  7. Na página de configuração do Azure Data Lake Storage Gen2 , siga estas etapas:

    1. Selecione a assinatura, o nome da conta de armazenamento e o contêiner no menu suspenso.

    2. Depois de selecionar a subscrição, o método de autenticação e a chave da conta de armazenamento são automaticamente preenchidos.

    3. Para o caminho da tabela Delta, especifique a localização e o nome da sua tabela Delta Lake armazenada em Azure Data Lake Storage Gen2. Você pode optar por usar um ou mais segmentos de caminho para definir o caminho para a tabela delta e o nome da tabela delta. Para saber mais, consulte Escrever numa tabela Delta Lake.

    4. Selecione Ligar.

      Primeira captura de tela mostrando a janela Blob onde você edita a configuração de conexão de um blob.

  8. Quando a conexão é estabelecida, você vê campos que estão presentes nos dados de saída.

  9. Selecione Salvar na barra de comandos para salvar sua configuração.

  10. Selecione Iniciar na barra de comandos para iniciar o fluxo de streaming para capturar dados. Depois, na janela Start Stream Analytics job :

    1. Escolha a hora de início da saída.
    2. Selecione o número de unidades de streaming (SU) com as quais o trabalho é executado. SU representa os recursos de computação alocados para executar um trabalho do Stream Analytics. Para obter mais informações, consulte Unidades de streaming no Azure Stream Analytics.
      Captura de tela mostrando a janela de trabalho do Start Stream Analytics onde você define a hora de início da saída, as unidades de streaming e o tratamento de erros.

  11. Depois de selecionar Iniciar, o trabalho começa a executar dentro de dois minutos e as métricas abrem na aba, como mostrado na imagem seguinte. Captura de tela mostrando o gráfico de métricas.

  12. Pode ver o novo emprego no separador de empregos de Stream Analytics . Captura de ecrã a mostrar o link Open Metrics selecionado.

Verificar a saída

Verifique se os arquivos de parquet com o formato Delta lake são gerados no contêiner do Armazenamento do Azure Data Lake.

Captura de tela mostrando os arquivos Parquet gerados no contêiner do Azure Data Lake Storage (ADLS).

Considerações ao usar o recurso de replicação geográfica de Hubs de Eventos

Os Hubs de Eventos do Azure lançaram recentemente o recurso de Replicação Geográfica em visualização pública. Esse recurso é diferente do recurso de Recuperação de Desastres Geográficos dos Hubs de Eventos do Azure.

Quando o tipo de failover é Forçado e a consistência da replicação é assíncrona, a tarefa do Stream Analytics não garante exatamente uma saída única para os Hubs de Eventos do Azure.

O Azure Stream Analytics, como produtor tendo um hub de eventos como saída, pode observar um atraso na marca d'água no trabalho durante a duração do failover e durante a limitação pelos Hubs de Eventos, caso o atraso de replicação entre o primário e o secundário atinja o máximo atraso configurado.

O Azure Stream Analytics, como consumidor com Hubs de Eventos como Entrada, pode observar atraso de marca d'água no trabalho durante a duração do failover e pode ignorar dados ou localizar dados duplicados após a conclusão do failover.

Devido a estas ressalvas, reinicie o trabalho de Análise de Fluxos com a hora de início adequada logo após a conclusão do failover do Event Hubs. Além disso, como a funcionalidade de Geo-replicação do Event Hubs está em pré-visualização pública, não use este padrão para trabalhos de Análise de Fluxo de produção neste momento. O comportamento atual do Stream Analytics melhorará antes que o recurso de replicação geográfica dos Hubs de Eventos esteja disponível em geral e possa ser usado em trabalhos de produção do Stream Analytics.

Próximos passos

Agora você sabe como usar o editor sem código do Stream Analytics para criar um trabalho que captura dados de Hubs de Eventos para o Azure Data Lake Storage Gen2 no formato Delta lake. Em seguida, você pode saber mais sobre o Azure Stream Analytics e como monitorar o trabalho que você criou.

  • Last updated on