FAQ sobre eventos de ficheiros

Encontre respostas a perguntas frequentes sobre eventos de ficheiros para localizações externas.

O que são eventos de arquivo?

Os eventos de ficheiro permitem que o Azure Databricks detete ficheiros novos ou alterados através de notificações na cloud, em vez de escanear repetidamente o seu armazenamento. Os eventos de ficheiros reduzem a latência de ingestão e os custos de listagem de armazenamento na nuvem e são ativados por defeito em novas localizações externas.

Diagrama que mostra o processo de eventos de ficheiros: uma fonte de ficheiro publica ficheiros para armazenamento na cloud do cliente, que publica notificações para uma subscrição e fila de eventos. O Unity Catalog autoriza o acesso na cloud do serviço de eventos de ficheiros geridos. O serviço estabelece a ligação, obtém eventos de ficheiros da fila, armazena metadados de ficheiros numa base de dados e lista objetos para consumidores de Auto Loader e Triggers.

Como funcionam os eventos de ficheiros?

Quando ativas eventos de ficheiro em modo Automático, Azure Databricks configura a tua conta de armazenamento para enviar notificações de alteração de ficheiros usando Azure Event Grid e Armazenamento do Azure Queues. O serviço de eventos de ficheiros do Azure Databricks lê da fila os metadados do caminho dos ficheiros para detetar ficheiros novos e ficheiros alterados. Como rede de segurança, o serviço também realiza listagens periódicas completas de diretórios para verificar se nenhum ficheiro está em falta.

A infraestrutura de notificações nunca transmite o conteúdo dos ficheiros.

Que funcionalidades do Azure Databricks usam eventos de ficheiro?

As seguintes funcionalidades utilizam eventos de ficheiro quando os ativa numa localização externa:

  • Auto Loader: Deteta novos ficheiros para ingestão incremental sem listagens de diretórios dispendiosas. A partir do Databricks Runtime 18.1 e superiores, o Auto Loader utiliza automaticamente eventos de ficheiro quando disponíveis (useManagedFileEvents = if_available).
  • Disparadores de chegada de ficheiros: Inicia automaticamente o teu trabalho quando chegam novos ficheiros, proporcionando melhor utilização de recursos e eficiência de custos porque o teu cluster só funciona quando há novos ficheiros para processar. Os gatilhos de chegada de ficheiros são significativamente mais escaláveis com eventos de ficheiro ativados. Consulte Acionar trabalhos quando novos arquivos chegam.
  • Acionadores de atualização de tabela: Inicie automaticamente o seu trabalho com base em atualizações numa tabela. Os gatilhos de atualização de tabela são significativamente mais escaláveis com eventos de ficheiro ativados. Consulte Acionar trabalhos quando as tabelas de origem são atualizadas.

Como posso ativar eventos de ficheiros nos meus fluxos de integração e tarefas?

Primeiro, ative os eventos de ficheiro para a sua localização externa. Veja Definir eventos de ficheiro para uma localização externa.

Se utilizar eventos de ficheiro com acionadores de chegada de ficheiros ou de atualização de tabela, não precisa de efetuar qualquer ação adicional. A tarefa beneficia automaticamente de eventos de ficheiro.

Além disso, se usares o Auto Loader com Databricks Runtime 18.1 ou superior, não precisas de tomar medidas adicionais. A pipeline beneficia automaticamente de eventos de ficheiro. Se usar uma versão de runtime anterior, ative eventos de ficheiro no pipeline:

spark.readStream.option("cloudFiles.useManagedFileEvents", "true")...

E se hoje não estiver a usar o Auto Loader ou os gatilhos?

Pode desligar eventos de ficheiros a qualquer momento e o Azure Databricks limpa os recursos de notificação por si. O Databricks recomenda manter os eventos do ficheiro ativados.

Posso desativar os eventos de ficheiro?

O Azure Databricks ativa os eventos de ficheiro por predefinição para as novas localizações externas, porque estes reduzem os custos e melhoram o desempenho das cargas de trabalho de ingestão.

Para criar uma localização externa sem eventos de ficheiro:

Explorador de Catálogos

  1. No Explorador de Catálogos, comece a criar uma nova localização externa.
  2. Se a credencial de armazenamento não tiver permissões para eventos de ficheiro, verá um aviso de validação. Clique em Forçar criar para continuar.
  3. Após a criação, verifique se os eventos do ficheiro estão desligados selecionando a localização e desmarcando a definição de eventos do ficheiro.

API

Defina enable_file_events para false no pedido de criação de localização externa.

Para desativar eventos de ficheiro numa localização externa existente, veja Configurar eventos de ficheiro para uma localização externa.

Recursos adicionais

  • Last updated on