Procedure consigliate per ottenere prestazioni ottimali con Dataflow Gen2

Questo articolo illustra le procedure consigliate per ottimizzare le prestazioni di Dataflow Gen2 in Data Factory di Fabric. Seguendo queste linee guida, è possibile migliorare l'efficienza e la velocità dei processi di integrazione dei dati.

Cosa imparerai

In questo articolo si scoprirà quanto segue:

• Aree chiave di ottimizzazione delle prestazioni: informazioni sui tre componenti critici (origine dati, motore del flusso di dati e destinazione dati) che influisce sulle prestazioni del flusso di dati
• Tecniche di ottimizzazione di base: come sfruttare la copia rapida, il folding delle query e lo staging per massimizzare l'efficienza
• Scenari reali: sfide comuni sulle prestazioni e soluzioni specifiche
• Procedure consigliate: linee guida praticabili per diversi modelli di integrazione dei dati e casi d'uso

Quali sono le aree principali da concentrarsi sull'ottimizzazione delle prestazioni?

All'interno dell'esperienza end-to-end del flusso di dati sono disponibili diverse aree chiave su cui concentrarsi per l'ottimizzazione delle prestazioni. Queste aree includono lo spostamento dei dati, il motore del flusso di dati e le trasformazioni dei dati. Ognuno di questi componenti e i percorsi tra svolgono un ruolo fondamentale nelle prestazioni complessive del flusso di dati e ottimizzarli possono portare a miglioramenti significativi nel tempo di esecuzione e nell'utilizzo delle risorse.

Trasferimento di dati

Lo spostamento dei dati è un aspetto fondamentale delle prestazioni del flusso di dati. Implica il trasferimento di dati tra vari componenti, ad esempio origini dati, aree di gestione temporanea e destinazioni finali. Lo spostamento efficiente dei dati può ridurre significativamente il tempo di esecuzione e il consumo di risorse. In Dataflow Gen2 lo spostamento dei dati è ottimizzato tramite tecniche come Fast Copy, che consente il trasferimento di dati a velocità effettiva elevata senza il sovraccarico delle trasformazioni che non si piegano al sistema di origine. Altre informazioni su Fast Copy.

Trasformazione dei dati

La trasformazione dei dati è il processo di conversione dei dati da una struttura a un'altra, spesso con operazioni come filtri, aggregazioni e join. In Dataflow Gen2 le trasformazioni sono progettate per essere efficienti e applicare le funzionalità di riduzione delle query quando possibile. Il folding delle query consente di eseguire un push delle trasformazioni al sistema di origine, riducendo la quantità di dati trasferiti ed elaborati in Dataflow Gen2. Questa riduzione è particolarmente importante per i set di dati di grandi dimensioni, in quanto riduce al minimo il carico di lavoro nel motore del flusso di dati e accelera il tempo di esecuzione. Per altre informazioni sulla riduzione delle query, vedere Riduzione delle query. Seguire anche altre procedure consigliate per l'ottimizzazione delle query, ad esempio l'applicazione di filtri in anticipo e spesso, l'uso della parametrizzazione per limitare le anteprime dei dati ed evitare trasformazioni non necessarie nel flusso di dati. Per altre informazioni sull'ottimizzazione delle query, vedere Ottimizzazione query.

Calcolo del warehouse e dei dati di staging

I dati di gestione temporanea sono una tecnica usata per migliorare le prestazioni archiviando temporaneamente i risultati intermedi in un'area di gestione temporanea. Dataflow Gen2 viene fornito con un'istanza di staging Lakehouse e un magazzino di staging, che possono essere usati per eseguire trasformazioni in modo più efficiente. Tramite la gestione temporanea dei dati, è possibile usare le risorse di calcolo di queste aree di staging per suddividere i flussi di dati complessi in passaggi gestibili, riducendo il tempo di elaborazione complessivo. Questa suddivisione è particolarmente utile per set di dati di grandi dimensioni o trasformazioni complesse che altrimenti richiedono molto tempo per l'esecuzione in un singolo passaggio. È possibile considerare le posizioni di staging come un'area di archiviazione temporanea che consente di gestire le trasformazioni. Questo approccio è particolarmente utile quando si lavora con origini dati che non supportano la riduzione delle query o quando le trasformazioni sono troppo complesse per essere trasferite al sistema di origine. Per applicare la gestione temporanea in modo efficace, è possibile tenere d'occhio gli indicatori di riduzione nell'editor di flussi di dati per assicurarsi che le trasformazioni vengano spostate verso l'origine. Se si nota che una trasformazione non è piegata, è consigliabile suddividere la query in due query e applicare la trasformazione nella seconda query. Abilitare lo staging nella prima query per eseguire la trasformazione nel calcolo di staging Lakehouse o Warehouse. Questo approccio consente di sfruttare le risorse di calcolo disponibili nelle aree di gestione temporanea assicurando al tempo stesso che il flusso di dati rimanga efficiente e reattivo.

Quando si dispone di dati già allestiti nel Lakehouse o nel Magazzino e si applicano più trasformazioni che si integrano completamente nelle query successive, il flusso di dati scriverà l'output nel Magazzino di staging. Questa operazione può essere più veloce rispetto alla scrittura nel lakehouse di staging perché il set di dati può essere scritto in parallelo da DW e subirà un minor numero di hop di rete con i passaggi di serializzazione corrispondenti.

Scenari e quali ottimizzazioni prendere in considerazione

Quando si usa Dataflow Gen2, è essenziale comprendere i vari scenari che possono verificarsi e come ottimizzare le prestazioni in ogni caso. Le considerazioni seguenti forniscono indicazioni pratiche su come applicare le procedure consigliate alle situazioni reali. Personalizzando l'approccio in base alle caratteristiche specifiche dei dati e delle trasformazioni, è possibile ottenere prestazioni ottimali nei flussi di lavoro di integrazione dei dati. Ecco alcuni scenari comuni che possono verificarsi quando si usa Dataflow Gen2, insieme alle azioni consigliate per ottimizzare le prestazioni. Tenere presente che l'ottimizzazione delle prestazioni è un processo in corso e molto specifico per lo scenario. Potrebbe essere necessario modificare l'approccio in base alle caratteristiche specifiche dei propri dati e trasformazioni.

Considerazione 1: Migliorare lo spostamento dei dati con Copia rapida

In questo scenario si noterà che lo spostamento dei dati tra l'origine dati e l'area di gestione temporanea o la destinazione finale richiede più tempo del previsto. Potrebbero essere coinvolti diversi fattori, ad esempio la latenza di rete, grandi dimensioni del set di dati o metodi di trasferimento dei dati inefficienti.

In questo caso, valutare il percorso di spostamento dei dati e ottimizzarlo per ottenere prestazioni migliori. Un approccio consiste nell'usare Fast Copy per il trasferimento di dati ad alta velocità, che può ridurre significativamente il runtime. Fast Copy è progettato per gestire in modo efficiente volumi elevati di dati, riducendo al minimo il sovraccarico associato ai metodi di trasferimento dei dati tradizionali. Tuttavia, fai attenzione: se si aggiungono trasformazioni nella stessa query di un'operazione di Fast Copy, è possibile disabilitare la Fast Copy se le trasformazioni non si adattano al sistema di origine. In questi casi, è consigliabile separare la query in due passaggi: uno per l'operazione di copia rapida e un altro per le trasformazioni che usano il calcolo di staging Lakehouse o Warehouse. Questo approccio consente di sfruttare La copia rapida per lo spostamento dei dati a velocità effettiva elevata durante l'esecuzione delle trasformazioni necessarie in un passaggio separato. Altre informazioni su Fast Copy.

È possibile abilitare Copia rapida nelle impostazioni del flusso di dati. Questa impostazione è abilitata per impostazione predefinita, ma è anche possibile richiedere l'uso di Copia rapida per una query specifica nel flusso di dati. A tale scopo, selezionare l'opzione Richiedi copia rapida nelle impostazioni della query. Questa azione garantisce che la copia rapida venga usata per la query selezionata e che ignori la soglia minima per la copia rapida. Questa impostazione è particolarmente utile quando si vuole assicurarsi che la copia rapida venga usata per query specifiche, indipendentemente dalle dimensioni dei dati o da altre condizioni. Se è necessaria una copia rapida, assicurarsi che l'origine dati sia compatibile con Fast Copy e che le trasformazioni nella query possano essere spostate nel sistema di origine. Se è necessaria la copia rapida in una query non compatibile con La copia rapida, il flusso di dati avrà esito negativo. Se non è necessaria la copia rapida, il flusso di dati viene ancora eseguito, ma può ritornare al metodo di spostamento dei dati predefinito, che potrebbe risultare meno efficiente rispetto alla copia rapida. Questa flessibilità consente di ottimizzare il flusso di dati in base ai requisiti specifici dei processi di integrazione dei dati.

Considerazione 2: Migliorare il tempo di esecuzione per le trasformazioni complesse usando la gestione temporanea

In questo scenario si dispone di un flusso di dati con più trasformazioni complesse, ad esempio join, aggregazioni e filtro. Il tempo di esecuzione è più lungo del previsto e si vuole ottimizzare le prestazioni di queste trasformazioni.

In questo caso, valutare la possibilità di suddividere il flusso di dati in passaggi più piccoli e gestibili. Invece di eseguire tutte le trasformazioni in una singola query, è possibile organizzare i dati in un'istanza di Staging Lakehouse o Warehouse e quindi applicare le trasformazioni nelle query successive. Questo approccio consente di applicare le risorse di calcolo dell'area di gestione temporanea per trasformazioni complesse, riducendo il tempo di esecuzione complessivo. Assicurarsi inoltre che le trasformazioni siano progettate per essere adattate al sistema di origine, quando possibile, poiché ciò può migliorare significativamente le prestazioni riducendo la quantità di dati trasferiti ed elaborati in Dataflow Gen2. Se si nota che alcune trasformazioni non vengono piegate, è consigliabile suddividerle in query separate e applicarle dopo lo staging dei dati.

Nell'immagine seguente, si noti come gli indicatori di piegatura nell'editor del flusso di dati consentano di identificare quali trasformazioni vengono trasferite al sistema di origine.

Per implementare la gestione temporanea in modo efficace, è possibile suddividere il flusso di dati in due query. Per fare ciò, clic destro sul primo passaggio che non si piega al sistema di origine e seleziona l'opzione Estrai precedente. Questa azione crea una nuova query che esegue lo staging dei dati nell'ambiente di calcolo di staging Lakehouse o Warehouse, consentendo di eseguire la trasformazione in un passaggio separato. Questo approccio consente di sfruttare le risorse di calcolo disponibili nelle aree di gestione temporanea garantendo al contempo che il flusso di dati rimanga efficiente e reattivo.

Specificare quindi un nome per la nuova query e selezionare "OK".

Ora che la nuova query è stata creata, è possibile verificare se l'ambiente di staging è abilitato per la prima query. Se la gestione temporanea non è abilitata, è possibile abilitarla selezionando l'opzione Abilita gestione temporanea nelle impostazioni della query. Questa azione consente di eseguire trasformazioni nell'ambiente di calcolo di Staging Lakehouse o Warehouse, ottimizzando le prestazioni del flusso di dati. La seconda query di staging è facoltativa, ma può migliorare ulteriormente le prestazioni consentendo di eseguire trasformazioni aggiuntive nell'area di staging prima di scrivere l'output finale nella destinazione.

Se ora si esaminano gli indicatori di rientro nell'editor del flusso di dati, le trasformazioni nella prima query vengono trasferite al sistema di origine. La seconda query potrebbe non riflettere gli stessi indicatori di riduzione, perché è solo durante il runtime che riconosce l'area di gestione temporanea e le trasformazioni che possono essere spostate verso il basso nell'area di gestione temporanea.

Per ulteriori informazioni su come ottimizzare le trasformazioni del flusso di dati e assicurarsi che vengano eseguite nel sistema di origine, consultare Riduzione delle query.

Considerazione 3: ottimizzare lo spostamento dei dati dall'area di staging al Lakehouse con destinazione Lakehouse

In questo scenario, usare una destinazione Lakehouse per il flusso di dati e abilitare la gestione temporanea per eseguire trasformazioni prima di scrivere l'output finale. Assicurarsi che il passaggio che sposta i dati di staging nel Lakehouse non aggiunga un carico aggiuntivo non necessario al tempo di aggiornamento complessivo.

Una Lakehouse è una destinazione completamente supportata e ad alte prestazioni per questo modello. Lo spostamento dei dati dal warehouse di staging alla destinazione Lakehouse è ottimizzato, quindi non è più necessario passare la destinazione a un warehouse per ottenere prestazioni ottimali. L'approccio consigliato è il modello ELT: usare Fast Copy per trasferire rapidamente i dati, eseguire le trasformazioni sui dati di staging usando il calcolo di staging Fabric e scrivere l'output finale in Lakehouse. Per set di dati di grandi dimensioni, La copia rapida rimane il modo consigliato per spostare i dati in modo efficiente.

Per sfruttare al meglio questo modello oggi, separa le operazioni di Fast Copy e di trasformazione in due query: una query che esegue la movimentazione dei dati con Fast Copy e una seconda query che applica le trasformazioni ai dati nell'area di staging prima di scriverli nella destinazione Lakehouse. La combinazione di un'operazione Fast Copy con trasformazioni che non supportano il query folding nella stessa query disattiva Fast Copy, quindi tenerle in query separate è l'aspetto principale a cui prestare attenzione. Se le trasformazioni vengono interamente delegate all'origine dati, è anche possibile scrivere direttamente nel Lakehouse con lo staging disabilitato.

Quando si esegue lo staging dei dati e si scrivono i dati in una destinazione Lakehouse, attivare l'opzione Copia ottimizzata in Lakehouse (Anteprima) nella scheda Ridimensionamento per instradare i dati in staging al Lakehouse tramite il percorso di copia più rapido, riducendo così il sovraccarico del passaggio dall'area di staging al Lakehouse. Per altre informazioni, vedere Opzioni di dati a fasi per Dataflow Gen2.

Considerazione 4: anteprime di dati di grandi dimensioni durante la fase di progettazione

In questo scenario si sta lavorando a un flusso di dati con set di dati di grandi dimensioni e l'esperienza in fase di progettazione è lenta a causa delle dimensioni delle anteprime dei dati. Questo processo può rendere difficile creare e testare il flusso di dati in modo efficace.

In questo caso, è consigliabile usare la visualizzazione schema o la parametrizzazione per limitare le dimensioni delle anteprime dei dati. Applicando filtri basati su parametri, ad esempio un intervallo di date o ID specifici, è possibile ridurre la quantità di dati visualizzati nell'ambiente in fase di progettazione. Questo approccio consente di mantenere reattivo ed efficiente l'ambiente di progettazione, consentendo di concentrarsi sulla creazione e il test del flusso di dati senza essere ostacolati da anteprime di dati di grandi dimensioni. Inoltre, è possibile modificare i parametri durante il runtime per recuperare il set di dati completo quando necessario.

Ad esempio, se si usa un set di dati transazionale di grandi dimensioni, è possibile creare un parametro che filtra i dati in base a un intervallo di date specifico. In questo modo, durante la fase di progettazione, viene visualizzato solo un subset dei dati rilevanti per il lavoro corrente. Quando si è pronti per eseguire il flusso di dati, è possibile modificare il parametro in modo da includere il set di dati completo, assicurandosi che i processi di integrazione dei dati rimangano efficienti e reattivi. L'esempio seguente illustra come configurare un parametro in Dataflow Gen2:

1. Selezionare l'opzione Gestisci parametri nell'editor del flusso di dati.

2. Selezionare il pulsante Aggiungi parametro per aggiungere un nuovo parametro.

   

3. Compilare i dettagli del parametro, ad esempio nome, tipo e valore. Ad esempio, è possibile creare un parametro denominato DesignDateFilter di tipo DateTime con un valore predefinito che limita l'anteprima dei dati a un intervallo di date specifico.

   

4. Applicare il parametro nelle query del flusso di dati usandolo nelle condizioni di filtro. Ad esempio, è possibile filtrare i dati in base al parametro DesignDateFilter per limitare l'anteprima dei dati a un intervallo di date specifico. In questo caso i dati vengono filtrati in modo da includere solo i record in cui la colonna "Date" è maggiore del parametro DesignDateFilter .

   

5. È ora possibile usare il parametro DesignDateFilter nelle query del flusso di dati per limitare l'anteprima dei dati durante la fase di progettazione. Quando si è pronti per eseguire il flusso di dati, è possibile modificare il valore del parametro in modo da includere il set di dati completo, assicurandosi che i processi di integrazione dei dati rimangano efficienti e reattivi.

   

Un'altra opzione consiste nell'usare la visualizzazione schema, che consente di visualizzare la struttura dei dati senza caricare l'intero set di dati. Questa vista offre una panoramica generale dei tipi di dati e delle colonne nel set di dati, consentendo di progettare e testare il flusso di dati senza influire sulle anteprime di dati di grandi dimensioni. Per passare alla visualizzazione schema, selezionare l'opzione Visualizzazione schema nell'editor del flusso di dati.

Considerazione 5: Caratteristiche di runtime di Dataflow Gen2 rispetto a Dataflow Gen1

In questo scenario si nota che le prestazioni di Dataflow Gen2 sono più lente rispetto a quelle di Dataflow Gen1, in particolare in termini di tempo di esecuzione e utilizzo delle risorse. Questa differenza di prestazioni può essere dovuta a diversi fattori, incluse le differenze nelle tecniche di ottimizzazione e nei formati di output usati in Dataflow Gen2.

Il Dataflow Gen2 emette dati nel formato Parquet Delta quando si utilizzano destinazioni di staging o Lakehouse, a differenza dell'output CSV di Dataflow Gen1. Anche se Delta Parquet potrebbe comportare runtime ETL più lunghi rispetto a CSV, consente potenti funzionalità downstream come Direct Lake, Lakehouses e Warehouse, consentendo a questi servizi di utilizzare i dati in modo efficiente senza costi aggiuntivi. Questa differenza nel metodo di archiviazione significa che, mentre il tempo di esecuzione iniziale potrebbe essere più lungo, le prestazioni complessive e l'efficienza dei processi downstream possono essere notevolmente migliorate e possono portare a prestazioni migliori a lungo termine dei flussi di lavoro di integrazione dei dati. Altre informazioni sul formato Delta Parquet.

Considerazione 6: Ottimizzazione del tempo di aggiornamento per set di dati transazionali di grandi dimensioni tramite l'aggiornamento incrementale

In questo scenario si sta gestendo un set di dati transazionale di grandi dimensioni che viene aggiornato di frequente e si vuole ottimizzare il tempo di aggiornamento del flusso di dati. Questa ottimizzazione può essere complessa a causa del volume di dati e della necessità di elaborare solo i record nuovi o modificati.

In questo caso, è consigliabile usare l'aggiornamento incrementale o il modello per accumulare dati in modo incrementale. L'aggiornamento incrementale consente di elaborare solo i dati nuovi o modificati dall'ultimo aggiornamento, riducendo la quantità di dati elaborati e accelerando il tempo di esecuzione complessivo. Questo approccio è particolarmente utile per gli scenari in cui i dati vengono aggiornati di frequente, ad esempio nei sistemi transazionali. Implementando l'aggiornamento incrementale, è possibile ottimizzare le prestazioni del flusso di dati e assicurarsi che i processi di integrazione dei dati rimangano efficienti e reattivi. Altre informazioni sull'aggiornamento incrementale o informazioni sul modello di dati di accumulo incrementale.

Considerazione 7: Sto usando un gateway per connettermi alla mia origine dati locale e voglio ottimizzare le prestazioni del mio flusso di dati

In questo scenario si usa un gateway per connettersi all'origine dati locale e si vuole ottimizzare le prestazioni del flusso di dati. I gateway possono introdurre una latenza e un sovraccarico aggiuntivi, che possono influire sulle prestazioni complessive del flusso di dati.

In questo caso, è consigliabile suddividere il flusso di dati in due flussi di dati separati: uno per lo spostamento dei dati dall'origine dati locale a una destinazione dati (ad esempio lakehouse o warehouse) e un altro per le trasformazioni e l'output finale. Questo approccio consente di ottimizzare il passaggio di spostamento dei dati sfruttando la copia rapida per il trasferimento dei dati a velocità effettiva elevata, mantenendo al tempo stesso il passaggio di trasformazione incentrato sull'elaborazione dei dati in modo efficiente e riducendo il tempo di esecuzione complessivo. Separando i passaggi di spostamento e trasformazione dei dati, è possibile ridurre l'impatto delle limitazioni di latenza e capacità del gateway. Il motivo è che il gateway esegue l'intero flusso di dati e, se il flusso di dati è complesso o presenta molte trasformazioni, può portare a prestazioni più lente man mano che il gateway elabora tutte le trasformazioni nel computer che ospita il gateway. Suddividendo il flusso di dati, è possibile assicurarsi che il gateway sia responsabile solo del passaggio di spostamento dei dati, che può migliorare significativamente le prestazioni e ridurre il tempo di esecuzione.

Considerazione 8: Utilizzo i connettori di flusso di dati per consumare dati dal flusso e voglio ottimizzare i miei processi di integrazione dei dati.

In questo scenario si usano connettori del flusso di dati per usare i dati del flusso di dati e si vogliono ottimizzare i processi di integrazione dei dati. I connettori del flusso di dati possono offrire un modo pratico per accedere ai dati e utilizzarli.

In questo caso, prendere in considerazione l'uso di destinazioni dati anziché dei connettori del flusso di dati per utilizzare i dati dal flusso di dati. Le destinazioni dei dati, ad esempio Lakehouse e Warehouse, sono progettate per archiviare e gestire in modo efficiente i dati, consentendo di applicare le relative funzionalità per il consumo downstream. Un vantaggio importante dell'uso delle destinazioni dati è che spesso servono modi più generici per connettersi ai dati, ad esempio l'endpoint SQL o usare le funzionalità Direct Lake, che possono migliorare significativamente le prestazioni e ridurre il consumo delle risorse.

Considerazioni 9: Abilitare l'analizzatore moderno per migliorare le prestazioni di esecuzione delle query

In questo scenario si vuole migliorare le prestazioni complessive del flusso di dati, in particolare per le trasformazioni complesse o quando si utilizzano connettori che non supportano la riduzione delle query.

In questo caso, prendere in considerazione l'abilitazione del motore di valutazione query moderno (analizzatore moderno) per Dataflow Gen2 con CI/CD. L'analizzatore moderno è un nuovo motore di esecuzione di query in esecuzione in .NET Core 8 che può migliorare significativamente le prestazioni delle esecuzioni del flusso di dati. È consigliabile abilitare sempre questa funzionalità per gli scenari supportati, perché offre diversi vantaggi principali:

• Esecuzione più rapida del flusso di dati: il motore moderno può ridurre notevolmente il tempo di valutazione delle query. Molti flussi di dati vengono eseguiti notevolmente più velocemente, consentendo di aggiornare i dati più frequentemente o di soddisfare finestre di aggiornamento strette.
• Elaborazione più efficiente: il motore è ottimizzato per l'efficienza, usando algoritmi migliorati e un runtime moderno. Ciò significa che può gestire trasformazioni complesse con un sovraccarico inferiore, che consente di mantenere le prestazioni man mano che aumenta il volume di dati.
• Scalabilità e affidabilità: accelerando l'esecuzione e riducendo i colli di bottiglia, il Modern Evaluator consente ai flussi di dati di scalare a volumi più grandi con maggiore stabilità. È possibile prevedere durate di aggiornamento più coerenti e un minor numero di problemi di timeout nei flussi di dati di grandi dimensioni.

L'analizzatore moderno è particolarmente utile quando:

• Si stanno lavorando con connettori non piegabili o parzialmente piegabili
• Si stanno applicando filtri, derivazioni di colonne o operazioni di pulizia dei dati
• Si gestiscono volumi di dati di grandi dimensioni o trasformazioni complesse
• I flussi di dati vengono eseguiti più volte al giorno ed è necessario accumulare risparmi di tempo

Per abilitare l'analizzatore moderno:

1. Aprire il flusso di dati nell'editor di Power Query.
2. Selezionare Opzioni dal menu.
3. Passare alla scheda Scala .
4. Attivare l'opzione Motore di valutazione query moderno.
5. Salva ed esegui il flusso di dati.

L'analizzatore moderno supporta un elenco crescente di connettori. Per l'elenco completo dei connettori supportati e dello stato corrente delle funzionalità, vedere Analizzatore moderno per Dataflow Gen2 con CI/CD. Se il flusso di dati usa connettori non inclusi nell'elenco supportato, tali query continuano a essere eseguite con il motore standard.

Per altre informazioni sull'analizzatore moderno, vedere Analizzatore moderno per Dataflow Gen2 con CI/CD.

Conclusion

Seguendo queste procedure consigliate e considerando le caratteristiche specifiche dei dati e delle trasformazioni, è possibile ottimizzare le prestazioni di Dataflow Gen2 in Fabric Data Factory. Sia che si lavori con set di dati di grandi dimensioni, trasformazioni complesse o modelli di integrazione dei dati specifici, queste linee guida forniscono informazioni dettagliate utili per migliorare l'efficienza e la velocità dei processi di integrazione dei dati. Tenere presente che l'ottimizzazione delle prestazioni è un processo in corso e potrebbe essere necessario modificare l'approccio in base alle esigenze in continua evoluzione dei flussi di lavoro di integrazione dei dati. Monitorando e ottimizzando continuamente i flussi di dati, è possibile assicurarsi che rimangano efficienti e reattivi ai requisiti aziendali.