Modelli comuni per le pipeline di inserimento gestite

Lakeflow Connect offre modelli e tecniche per ottimizzare le pipeline di inserimento gestite. Usare questi modelli per controllare quali dati vengono inseriti, gestire gli aggiornamenti della pipeline e configurare comportamenti avanzati.

Non tutti i connettori supportano i modelli comuni in questa sezione.

Argomento Description
Selezione colonna Selezionare o escludere colonne specifiche durante l'inserimento per ridurre il volume di dati e migliorare le prestazioni.
Proprietà della tabella Delta Imposta le proprietà della tabella Delta Lake, ad esempio l'ampliamento del tipo, sulle tabelle di destinazione tramite la specifica della pipeline.
Aggiornamento completo Forzare un ricaricamento completo dei dati dal sistema di origine.
Clustering liquido Abilitare il clustering liquido nelle tabelle di destinazione per ottimizzare il layout dei dati e migliorare le prestazioni delle query.
Tracciamento della cronologia Tenere traccia delle modifiche cronologiche nei dati usando la dimensione a modifica lenta (SCD) di tipo 2.
Monitorare i costi Usare le tabelle di sistema per tenere traccia dei costi della pipeline e monitorare i modelli di utilizzo.
Pipeline multi-destinazione Inserire dati da una singola origine a più tabelle o cataloghi di destinazione.
Manutenzione della pipeline Gestire gli aggiornamenti della pipeline, le pause e i flussi di lavoro per la risoluzione dei problemi.
Assegnazione di tag alla pipeline Applicare i tag della pipeline per l'organizzazione delle risorse, il rilevamento della proprietà e l'attribuzione dei costi.
Filtro delle righe Filtrare le righe durante l'inserimento usando condizioni simili a SQL.
Chiusura intelligente Scopri come un aggiornamento attivato di una pipeline CDC integrata si arresta automaticamente dopo essersi allineato con l'origine, riducendo i costi e limitando la durata dell'aggiornamento.
Configurare l'identità Run as Configurare quali autorizzazioni di identità vengono usate quando la pipeline viene eseguita.
Lineage dei dati di origine Tenere traccia della derivazione della tabella di origine per i dati inseriti in modo che le tabelle di origine vengano visualizzate nelle viste di derivazione end-to-end di Unity Catalog.
Tabelle di destinazione dei nomi Assegnare un nome alle tabelle di destinazione. Per impostazione predefinita, a una tabella di destinazione viene assegnato il nome della tabella di origine corrispondente. Tuttavia, la denominazione di una tabella di destinazione è utile quando si inserisce lo stesso oggetto di origine due volte nello stesso schema. I connettori gestiti non supportano nomi di tabella duplicati nello stesso schema di destinazione. La denominazione di una tabella di destinazione può anche allineare le tabelle alle convenzioni di denominazione dell'organizzazione.
Convalida del certificato del server TLS Configurare la convalida del certificato TLS per le pipeline del connettore di database per verificare l'identità del server di database di origine e impedire attacchi PITM (Person-In-The-Middle).
  • Last updated on