Domande frequenti sugli eventi di file

Trova le risposte alle domande frequenti sugli eventi relativi ai file nelle posizioni esterne.

Che cosa sono gli eventi di file?

Gli eventi di file consentono di Azure Databricks rilevare file nuovi o modificati tramite notifiche cloud anziché analizzare ripetutamente l'archiviazione. Gli eventi dei file riducono la latenza di acquisizione e i costi di elencazione dello storage cloud e sono abilitati per impostazione predefinita sulle nuove posizioni esterne.

Diagramma che mostra il processo degli eventi dei file: un'origine di file pubblica i file nell'archiviazione cloud del cliente, che a sua volta pubblica notifiche a una sottoscrizione di eventi e a una coda. Unity Catalog autorizza l'accesso al cloud del servizio gestito di eventi dei file. Il servizio configura la connessione, recupera gli eventi dei file dalla coda, memorizza i metadati dei file in un database ed elenca gli oggetti per i consumer di Auto Loader e dei trigger.

Come funzionano gli eventi di file?

Quando si attivano gli eventi relativi ai file in modalità Automatic, Azure Databricks configura l'account di archiviazione per inviare notifiche di modifica dei file tramite Griglia di eventi di Azure e le code di Archiviazione di Azure. Il servizio di eventi dei file di Azure Databricks legge i metadati del percorso del file dalla coda per rilevare file nuovi e modificati. Come rete di sicurezza, il servizio esegue anche elenchi di directory completi periodici per verificare che non vengano persi i file.

L'infrastruttura di notifica non trasmette mai il contenuto del file.

Quali Azure Databricks funzionalità usano eventi di file?

Le funzionalità seguenti usano eventi relativi ai file quando vengono abilitate in una posizione esterna:

  • Caricatore automatico: rileva nuovi file per l'inserimento incrementale senza elenchi di directory costosi. A partire da Databricks Runtime 18.1 e versioni successive, Il caricatore automatico usa automaticamente gli eventi di file quando disponibili (useManagedFileEvents = if_available).
  • Trigger di arrivo dei file: avvia automaticamente il processo quando arrivano nuovi file, offrendo un migliore utilizzo delle risorse e un'efficienza dei costi perché il cluster viene eseguito solo quando sono presenti nuovi file da elaborare. I trigger di arrivo dei file sono notevolmente più scalabili con gli eventi di file abilitati. Vedere Attivare i processi quando arrivano nuovi file.
  • Trigger di aggiornamento tabella: avvia automaticamente il processo in base agli aggiornamenti in una tabella. I trigger di aggiornamento delle tabelle sono notevolmente più scalabili con gli eventi di file abilitati. Vedere Attivare processi quando vengono aggiornate le tabelle di origine.

Come è possibile abilitare gli eventi di file nelle pipeline e nei processi?

Prima di tutto, abilitare gli eventi di file per la posizione esterna. Consultare Configurare gli eventi di file in una posizione esterna.

Se si usano eventi di file con trigger di arrivo dei file o di aggiornamento tabella, non è necessario eseguire altre azioni. Il processo usufruisce automaticamente degli eventi dei file.

Inoltre, se si usa il caricatore automatico con Databricks Runtime 18.1 o versione successiva, non è necessario eseguire altre azioni. La pipeline beneficia automaticamente degli eventi relativi ai file. Se si utilizza una versione precedente del runtime, abilitare gli eventi relativi ai file nella pipeline:

spark.readStream.option("cloudFiles.useManagedFileEvents", "true")...

Cosa succede se attualmente non si usa il caricatore automatico o i trigger?

È possibile disattivare gli eventi di file in qualsiasi momento e Azure Databricks pulisce automaticamente le risorse di notifica. Databricks consiglia di mantenere abilitati gli eventi di file.

È possibile rifiutare esplicitamente gli eventi di file?

Azure Databricks abilita per impostazione predefinita gli eventi relativi ai file per i nuovi percorsi esterni perché riducono i costi e migliorano le prestazioni dei carichi di lavoro di acquisizione.

Per creare una posizione esterna senza eventi dei file:

Esploratore di cataloghi

  1. In Catalog Explorer, inizia a creare una nuova location esterna.
  2. Se le credenziali di archiviazione non dispongono delle autorizzazioni per gli eventi di file, viene visualizzato un avviso di convalida. Fare clic su Forza creazione per continuare.
  3. Dopo la creazione, verificare che gli eventi dei file siano disattivati selezionando la posizione e deselezionando l'opzione relativa agli eventi dei file.

API

Impostare enable_file_events su false nella richiesta di creazione di una posizione esterna.

Per disabilitare gli eventi di file in un percorso esterno esistente, vedere Configurare gli eventi di file per un percorso esterno.

Risorse aggiuntive

  • Last updated on