Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questa guida copre strategie di aggiornamento, criteri decisionali e approcci passo dopo passo per trasferire pipeline di Azure Data Factory (ADF) su Fabric Data Factory. Per le migliori pratiche a livello di implementazione per ogni componente di aggiornamento, vedi Migliori pratiche di aggiornamento.
Ragioni dell'aggiornamento
L'aggiornamento dalle pipeline ADF e Synapse a Fabric Data Factory è più di un semplice passaggio e spostamento: è un'opportunità per semplificare la governance, standardizzare i pattern e utilizzare nuove funzionalità per migliorare la strategia di integrazione dei dati.
Fabric offre molte nuove funzionalità, tra cui:
- Attività della pipeline integrate, ad esempio posta elettronica e Teams per il routing dei messaggi
- Integrazione continua/distribuzione continua (pipeline di distribuzione) predefinita senza dipendenze Git esterne
- Integrazione perfetta dell'area di lavoro con OneLake, Warehouse e Lakehouse per l'analisi unificata
- Gli aggiornamenti del modello di dati semantico semplificato scalano per soddisfare sia le esigenze di self-service che quelle dei dati aziendali.
- Funzionalità di intelligenza artificiale predefinite con Copilot per facilitare la creazione e la gestione delle pipeline
Per un confronto dettagliato, vedere la guida al confronto tra Azure Data Factory e Data Factory di Fabric.
Differenze di architettura critiche
Prima di passare da Azure Data Factory a Fabric Data Factory, considera queste differenze architettoniche critiche che tendono ad avere il maggiore impatto sulla pianificazione degli aggiornamenti:
| Categoria | Azure Data Factory | Fabric Data Factory | Impatto sull'aggiornamento |
|---|---|---|---|
| Codice personalizzato | Attività personalizzata | Attività di Azure Batch | Il nome dell'attività è diverso, ma supporta la stessa funzionalità. |
| Dataflows | Mappatura dei flussi di dati con esecuzione basata su Spark | Dataflow Gen2 supporta trasformazioni di Mapping Flusso di dati (MDF) con esecuzione basata su Spark. Le trasformazioni MDF sono attualmente disponibili in anteprima. | I flussi di dati di mapping idonei di Azure Data Factory e Azure Synapse Analytics possono essere migrati nelle trasformazioni MDF in Dataflow Gen2 utilizzando la procedura di migrazione integrata. Rivedi i connettori supportati, le trasformazioni, i metodi di autenticazione e le limitazioni di anteprima prima della migrazione. Per scenari non supportati, riprogetta la trasformazione utilizzando Power Query in Dataflow Gen2, Fabric Warehouse SQL, notebook o un'altra funzionalità Fabric. |
| Set di dati | Oggetti set di dati separabili e riutilizzabili | Le proprietà vengono definite in linea all'interno delle attività | Quando si esegue la conversione da ADF a Fabric, le informazioni sul "dataset" si trovano all'interno di ogni attività. |
| Connessioni dinamiche | Le proprietà del servizio collegato possono essere dinamiche usando i parametri | Le proprietà di connessione non supportano proprietà dinamiche, ma le attività della pipeline possono usare contenuto dinamico per gli oggetti connessione | Per le soluzioni basate sull'architettura basata sui metadati che si basano su connessioni con parametri, parametrizzare l'oggetto connessione in Fabric. |
| parametri globali | Parametri globali | libreria di variabili Fabric | Modelli di implementazione e tipi di dati diversi, anche se abbiamo una guida agli aggiornamenti. |
| Attività di HDInsight | Cinque attività separate (Hive, Pig, MapReduce, Spark, Streaming) | Attività HDInsight singola | È necessario un solo tipo di attività durante la conversione, ma tutte le funzionalità sono supportate. |
| Identity | Identità gestita | Identità dell'ambiente di lavoro Fabric | Modelli di identità diversi, con una pianificazione necessaria per lo spostamento. |
| Archivio di chiavi | Integrazione avanzata con tutti i tipi di autenticazione | Integrazione limitata tramite Fabric Key Vault Reference | Confrontare le origini e l'autenticazione di Key Vault attualmente supportate con le configurazioni esistenti. |
| Esecuzione della pipeline | Attività Execute Pipeline | Richiamare l'attività pipeline con il tipo di connessione FabricDataPipeline | Il nome dell'attività e i requisiti di connessione cambiano durante la conversione. |
| Pianificazione | Un trigger per molte pipeline o molti trigger per ogni pipeline con gestione centralizzata | Una pianificazione per pipeline o molti programmi per ogni pipeline senza riutilizzo dei programmi o un hub centrale | Fabric attualmente richiede la gestione della pianificazione per ogni pipeline. |
Percorsi di aggiornamento
I percorsi di upgrade dipendono dalle risorse ADF e dalla loro parità di caratteristiche. Le opzioni disponibili sono:
- Elementi di Azure Data Factory in Fabric per la continuità. - Una visualizzazione in tempo reale della tua istanza Azure Data Factory esistente all'interno di Fabric, che consente un aggiornamento e un test graduali. Questa esperienza è anche un buon primo passo prima di usare strumenti di conversione o replatforming.
- Utilizza l'esperienza di aggiornamento integrata per le pipeline di Azure Data Factory - Valuta direttamente la prontezza delle pipeline in Azure Data Factory, rivedi i risultati di compatibilità e aggiorna le pipeline supportate a uno spazio di lavoro Fabric utilizzando una UX guidata.
- Aggiornamento manuale per ambienti complessi - Ricostruire pipeline in Fabric per sfruttare nuove funzionalità e ottimizzare le prestazioni. Questo approccio è necessario per pipeline con bassa parità o logica personalizzata, ma rappresenta anche un'opportunità per modernizzare la propria architettura.
Elementi di Azure Data Factory nello spazio di lavoro Fabric
Aggiungi un ADF esistente al tuo spazio di lavoro Fabric per ottenere visibilità e governance immediate mentre aggiorni gradualmente. Questo approccio è ideale per l'individuazione, l'assegnazione della responsabilità e i test in parallelo, poiché i team possono vedere le pipeline, organizzarle negli spazi di lavoro di Fabric e pianificare i passaggi per ciascun dominio. Usare gli elementi di Azure Data Factory per catalogare ciò che esiste, assegnare priorità prima alle pipeline di maggior valore/minore rischio e stabilire convenzioni (denominazione, cartelle, riutilizzo delle connessioni) che gli script di conversione e gli strumenti dei partner possono seguire in modo coerente.
Puoi eseguire il montaggio in Fabric tramite il tipo di elemento Azure Data Factory: Porta Azure Data Factory in Fabric.
Aggiorna le pipeline di Azure Data Factory utilizzando l'esperienza integrata
Fabric offre un'esperienza di aggiornamento integrata, basata sulla valutazione, che puoi utilizzare per valutare e aggiornare pipeline di Azure Data Factory direttamente tramite le esperienze utente di Azure Data Factory e Fabric - senza script o strumenti personalizzati. Questa esperienza consente di:
- Valutare la prontezza delle pipeline e delle attività direttamente in Azure Data Factory.
- Comprendi le lacune di compatibilità prima di fare l'upgrade.
- Aggiungi Azure Data Factory a un workspace Fabric per un confronto affiancato.
- Aggiorna in modo incrementale le pipeline supportate a Microsoft Fabric partendo dalla tua data factory montata.
- Aggiorna i Mapping Data Flows supportati nelle pipeline selezionate alle trasformazioni MDF in Dataflow Gen2.
- Pianifica la correzione o la riprogettazione per gli elementi che richiedono aggiornamenti, utilizzano funzionalità non supportate o che saranno disponibili a breve.
Ogni pipeline e attività è chiaramente categorizzata (Pronto, Necessità di revisione, Prossimamente in arrivo o Non compatibile), aiutando i team a pianificare intenzionalmente gli aggiornamenti e a convalidare i risultati prima di cambiare carico di lavoro in produzione. Questo approccio è particolarmente adatto ai clienti che desiderano un percorso di aggiornamento guidato, a basso rischio e incrementale, mantenendo al contempo la visibilità delle funzionalità non supportate e dei prossimi passi. Per istruzioni dettagliate passo passo, vedi Aggiornamento delle pipeline di Azure Data Factory a Fabric.
L'esperienza di aggiornamento integrata supporta anche pipeline idonee contenenti flussi di dati di mappatura. I flussi di dati di mappatura supportati vengono aggiornati in trasformazioni MDF in Dataflow Gen2, preservando la loro logica di trasformazione e il modello di esecuzione basato su Spark. Questa funzionalità è attualmente in anteprima. Per requisiti, limitazioni e istruzioni di aggiornamento, consulta Upgrade Azure Data Factory Mapping Flusso di dati pipelines to Fabric.
Aggiornamento manuale
L'aggiornamento manuale è necessario per pipeline complesse con bassa parità, ma è anche un'opportunità per modernizzare la tua architettura e adottare le funzionalità integrate di Fabric. Questo percorso richiede una pianificazione e uno sviluppo più iniziali, ma può produrre vantaggi a lungo termine in manutenibilità, prestazioni e costi.
Per fare un upgrade efficace, segui questi passaggi:
- Valutazione e inventario: catalogare tutti gli asset di Azure Data Factory, incluse pipeline, set di dati, servizi collegati e runtime di integrazione. Identificare le dipendenze e i modelli di utilizzo.
- Identifica duplicati e elementi inutilizzati: Elimina gli elementi inutilizzati o ridondanti in ADF per semplificare l'aggiornamento e l'ambiente di integrazione dei dati.
- Identifica le lacune: Usa lo strumento di valutazione delle pipeline e verifica la parità dei connettori e della parità di attività per identificare le lacune tra le pipeline ADF e Fabric, e pianificare alternative.
- Esaminare le nuove funzionalità: usare la guida alle decisioni per lo spostamento dei dati e la guida decisionale per l'integrazione dei dati per decidere quali strumenti di Fabric funzionano meglio per le proprie esigenze.
- Pianificare: Esaminare le migliori pratiche di aggiornamento per considerare ciascuno dei tuoi articoli e le linee guida per sfruttare al meglio le capacità migliorate di Fabric.
- Se usi parametri globali in ADF, pianifica di aggiornarli alle librerie variabili Fabric. Per informazioni dettagliate, vedere Convertire i parametri globali di Azure Data Factory in librerie di variabili di infrastruttura .
- Transizione ADF: Considera di aggiungere un elemento Azure Data Factory in Microsoft Fabric come primo passo per un aggiornamento, consentendo una transizione graduale su una singola piattaforma.
- Dai priorità: Classifica le tue pipeline in base all'impatto aziendale, alla complessità e alla facilità di aggiornamento.
- Automatizza dove puoi: Usa l'esperienza di aggiornamento integrata per valutare, aggiornare e validare pipeline in modo incrementale prima di spostare i carichi di lavoro in produzione. Per altre informazioni, vedere Lo strumento di aggiornamento.
-
Prendere in considerazione gli strumenti: usare questi strumenti per semplificare le attività ricreative:
- Usare i modelli Fabric come punto di partenza per le pipeline con scenari comuni di integrazione dati.
- Usare la parametrizzazione per creare pipeline riutilizzabili
- Usare Copilot in Fabric Data Factory per facilitare la creazione di pipeline
- Usare le pipeline di distribuzione per CI/CD e il controllo della versione
-
Aggiornamento manuale: Per scenari non supportati da altri metodi di aggiornamento, ricostruiscili in Fabric:
- Ricreare le connessioni: configurarele connessioni in Fabric per sostituire i servizi collegati in Azure Data Factory
- Ricreare le attività: configurare le attività nelle pipeline, sostituendo le attività non supportate con alternative di Fabric o usando l'attività Invoke pipeline
- Programmare e impostare trigger: Ricostruire le pianificazioni e i trigger di eventi in Fabric in modo da farli corrispondere alle pianificazioni di ADF
- Verifica accuratamente: Valida pipeline aggiornate rispetto agli output attesi, ai benchmark di performance e ai requisiti di conformità.
Esempi di scenari di aggiornamento
Il passaggio da ADF a Fabric può comportare strategie diverse a seconda del caso d'uso. Questa sezione illustra i percorsi di aggiornamento comuni e le considerazioni per aiutarti a pianificare efficacemente.
- Scenario 1: pipeline di Azure Data Factory (ADF) e flussi di dati
- Scenario 2: ADF con CDC, SSIS e Airflow
- Scenario 3: Aggiornamento della pipeline con esperienza integrata
- Scenario 4: Elementi di ADF in un'area di lavoro Fabric
Scenario 1: Pipeline e flussi di dati di Azure Data Factory (ADF)
Modernizza il tuo ambiente ETL aggiornando pipeline e flussi di dati a Fabric. Pianificare questi elementi:
- Ricrea i servizi collegati come connessioni Fabric, oppure mappa i servizi collegati alle connessioni Fabric esistenti durante l'esperienza di aggiornamento integrata.
- Ricreare i parametri globali come librerie di variabili.
- Definire le proprietà del set di dati direttamente nelle attività della pipeline.
- Sostituire gli SHIR (runtime di integrazione ospitati in locale) con gli OPDG (gateway dati locali) e gli IR VNet con gateway dati di rete virtuale.
- Per pipeline idonee contenenti Flussi di Dati di Mappatura, utilizzare l'esperienza di aggiornamento integrata per aggiornare i Flussi di Dati di Mappatura supportati alle trasformazioni MDF in Dataflow Gen2.
- Esamina le limitazioni di trasformazione MDF, i connettori supportati, le trasformazioni, i metodi di autenticazione e i requisiti di rete prima di aggiornare.
- Per mappare i flussi di dati che utilizzano funzionalità non supportate nell'anteprima attuale, correggere i componenti non supportati o riprogettare la trasformazione utilizzando Power Query in Dataflow Gen2, Fabric Warehouse SQL, notebook Spark o un'altra funzionalità Fabric appropriata.
- Ricompilare le attività di Azure Data Factory non supportate usando alternative di Fabric o l'attività della pipeline Invoke. Le attività non supportate includono:
- Data Lake Analytics (U-SQL), un servizio di Azure deprecato.
- Attività di validazione, che puoi ricostruire usando Get Metadata, cicli della pipeline e attività if.
- Power Query è completamente integrato in Fabric come flussi di dati in cui è possibile riutilizzare il codice M.
- Attività di Notebook, Jar e Python, che puoi sostituire con l'attività Databricks in Fabric.
- Hive, Pig, MapReduce, Spark e le attività di streaming, che puoi sostituire con l'attività HDInsight in Fabric.
Per requisiti e istruzioni passo dopo passo, consulta Upgrade Azure Data Factory Mapping Flusso di dati pipelines to Fabric.
Ad esempio, ecco la pagina di configurazione del set di dati di Azure Data Factory con le relative impostazioni di compressione e percorso file:
Di seguito è riportata un'attività di copia per Data Factory in Fabric, in cui compressione e percorso del file sono integrati nell'attività.
Scenario 2: ADF con CDC, SSIS e Airflow
Ricreare CDC come elementi di processo di copia . Per Airflow, copia i DAG nell'offerta Apache Airflow di Fabric. Eseguire pacchetti SSIS usando le pipeline di Azure Data Factory e chiamarle da Fabric.
Scenario 3: Aggiornamento della pipeline utilizzando l'esperienza integrata
Questa esperienza guidata, basata sulla valutazione, ti aiuta a valutare la prontezza, identificare le lacune di compatibilità e aggiornare incrementalmente le pipeline supportate verso uno spazio di lavoro Fabric—tutto senza script.
L'esperienza di aggiornamento integrata supporta anche pipeline idonee che contengono Mapping Data Flows. I flussi di dati di mapping supportati vengono convertiti in trasformazioni MDF in Dataflow Gen2, preservando la loro logica di trasformazione e il modello di esecuzione basato su Spark. Questa funzionalità è attualmente in anteprima.
Per ulteriori informazioni consulta:
- Aggiorna le pipeline di Azure Data Factory a Fabric
- Aggiorna le pipeline di Mapping Flusso di dati di Azure Data Factory a Fabric
Scenario 4: Elementi di Azure Data Factory in uno spazio di lavoro Fabric
È possibile aggiungere un'intera Azure Data Factory in un'area di lavoro di Fabric come elemento nativo. In questo modo è possibile gestire le factory di Azure Data Factory insieme agli artefatti di Fabric all'interno della stessa interfaccia. L'interfaccia utente di Azure Data Factory rimane completamente accessibile, consentendo di monitorare, gestire e modificare gli elementi della factory di Azure Data Factory direttamente dall'area di lavoro Fabric. Tuttavia, l'esecuzione di pipeline, attività e runtime di integrazione si verifica ancora all'interno delle risorse di Azure.
Questa funzione è utile per le organizzazioni che stanno passando a Fabric, poiché fornisce una visione unificata sia delle risorse ADF che di Fabric, semplificando la gestione e la pianificazione dell'aggiornamento.
Per ulteriori informazioni, consultare Integra il tuo Azure Data Factory in Fabric.