Aggiorna le pipeline di Azure Data Factory con Mapping Data Flows in Fabric (Anteprima)

Utilizza l'esperienza di aggiornamento integrata di Azure Data Factory per aggiornare pipeline idonee contenenti Mapping Data Flows verso Microsoft Fabric Data Factory. Durante l'aggiornamento, i flussi di dati di mapping supportati vengono convertiti in trasformazioni del flusso di dati di mapping (MDF) in Dataflow Gen2 e le pipeline associate vengono aggiornate alle pipeline Fabric.

Questo articolo descrive i passaggi aggiuntivi di validazione, esecuzione e monitoraggio per le trasformazioni MDF aggiornate. Per una panoramica dell'esperienza completa di aggiornamento di Azure Data Factory, consulta Aggiorna le pipeline di Azure Data Factory a Data Factory in Fabric.

Prerequisiti

Prima di avviare l'aggiornamento, assicurarsi di disporre degli elementi seguenti:

• Un'istanza di Azure Data Factory con almeno una pipeline che contiene un Mapping Flusso di dati.
• Permesso di accedere all'istanza di Azure Data Factory e alle sue pipeline.
• Accesso a un tenant abilitato per Microsoft Fabric.
• Una licenza Fabric. Se non ne hai una, l'esperienza di onboarding View in Fabric (Preview) ti invita a registrarti per una licenza gratuita, se l'iscrizione self-service è abilitata per il tuo tenant.
• Accesso a una capacità Fabric, come una capacità di Trial.
• Permessi di contributore o superiori per creare e aggiornare gli elementi nello spazio di lavoro Fabric.
• Connessioni Fabric per gli archivi dati di origine e destinazione che non vengono creati automaticamente durante l'aggiornamento.

L'esperienza di aggiornamento crea automaticamente connessioni Fabric supportate quando le loro configurazioni di autenticazione Azure Data Factory possono essere mappate in sicurezza. Per altre connessioni, seleziona una connessione Fabric esistente o creala prima di iniziare l'aggiornamento.

Scenari di aggiornamento supportati

L'esperienza di aggiornamento integrata supporta pipeline Azure Data Factory idonee che contengono Mapping Data Flow. Durante il processo di aggiornamento:

• Le pipeline selezionate di Azure Data Factory vengono aggiornati a pipeline Fabric.
• I flussi di dati di mapping supportati vengono convertiti in trasformazioni MDF in Dataflow Gen2.
• Le pipeline e i relativi Mapping Data Flow di riferimento vengono aggiornati insieme.
• I servizi collegati supportati sono mappati a connessioni Fabric nuove o esistenti.
• Le pipeline originali di Azure Data Factory e i Mapping Data Flow rimangono invariati.

Prima di aggiornare, rivedere le limitazioni delle trasformazioni MDF, i connettori supportati, le trasformazioni, i metodi di autenticazione e i requisiti di rete.

Aggiorna le pipeline che contengono flussi di dati di mapping

Avvia l'aggiornamento in Azure Data Factory tramite View in Fabric (Preview). Visualizzare la tua factory in Fabric non aggiorna né modifica le tue pipeline. L'aggiornamento inizia solo dopo aver esaminato la prontezza, selezionato pipeline e selezionato esplicitamente Avvia aggiornamento (Anteprima).

Passo 1: Visualizza la tua Azure Data Factory in Fabric

1. Apri il tuo portale Azure Data Factory.

2. Seleziona la vista in Fabric (Anteprima).

   

3. Se è la prima volta che usi questa esperienza, rivedi e accetta i termini e le condizioni, poi seleziona Prova Fabric Data Factory.

   

4. Segui i passaggi di onboarding per:

   • Verifica o ottieni una licenza Fabric.
   • Seleziona una capacità Fabric.
   • Crea o riutilizza lo spazio di lavoro Fabric associato al tuo Azure Data Factory.
   • Visualizza Azure Data Factory come elemento nello spazio di lavoro.
   • Opzionalmente, condividi l'accesso allo spazio di lavoro con gli utenti e i gruppi già esistenti di Azure Data Factory.

   

Dopo la configurazione, il tuo Azure Data Factory è visibile in Fabric. Nulla viene aggiornato e l'esecuzione e la fatturazione della pipeline rimangono in Azure Data Factory.

Per dettagli completi sull'onboarding, consulta Aggiornare le pipeline di Azure Data Factory a Fabric Data Factory.

Passo 2: Prontezza alla revisione

1. Nell'elemento Azure Data Factory in Fabric, seleziona Valuta e aggiorna.

   

2. Rivedi la valutazione della preparazione.

3. Identifica le pipeline che contengono i Mapping Data Flow che vuoi aggiornare.

4. Rivedi eventuali pipeline categorizzate come Review e affronta le capacità non supportate o parzialmente supportate prima di aggiornare.

5. Seleziona le pipeline idonee che vuoi aggiornare.

La valutazione è di sola lettura e non modifica né aggiorna le pipeline selezionate.

Passo 3: Rivedere le connessioni

1. Selezionare Rivedi connessioni.
2. Esamina i servizi collegati di Azure Data Factory utilizzati dalle pipeline selezionate e dai flussi di dati di mapping.
3. Verifica le connessioni create automaticamente.
4. Per le connessioni non create automaticamente, seleziona una connessione Fabric esistente o crea una nuova connessione.
5. Conferma che ogni sorgente e destinazione richieste sia mappata a una connessione Fabric valida.

Passo 4: Avvia l'aggiornamento

1. Rivedi le pipeline selezionate e le mappature di connessione.
2. Seleziona Avvia aggiornamento (Anteprima).
3. Attendere il completamento dell'aggiornamento.
4. Rivedi lo stato di ogni oggetto potenziato.

Durante l'aggiornamento:

• Pipeline selezionati di Azure Data Factory vengono aggiornati a pipeline Fabric.
• I flussi di dati di mapping supportati a cui fanno riferimento le pipeline selezionate vengono convertiti in trasformazioni MDF in Dataflow Gen2.
• Le pipeline e i relativi Mapping Data Flow vengono aggiornati insieme.
• Gli elementi aggiornati vengono inseriti in una cartella con prefisso costituito dal nome dell’origine Azure Data Factory.
• Le pipeline sorgente di Azure Data Factory e i Mapping Data Flows rimangono invariati.

Convalida le trasformazioni del flusso di dati aggiornate di versione

Dopo il completamento dell'aggiornamento, apri i risultati dell'aggiornamento o la cartella contenente gli elementi aggiornati e convalida le trasformazioni MDF prima di eseguire le pipeline.

Apri l'oggetto aggiornato Dataflow Gen2

1. Apri l'oggetto Dataflow Gen2 aggiornato.

2. Rivedi la logica di trasformazione MDF aggiornata.

3. Valida il grafo di trasformazione.

   

Salva la trasformazione del flusso di dati di mapping aggiornato

1. Aprire il menu Salva ed esegui .

2. Seleziona Salva.

   

Pipeline aggiornate

Dopo la validazione, esegui la pipeline Fabric aggiornata.

Configurare l'esecuzione della pipeline

1. Apri la pipeline Fabric aggiornata.

2. Selezionare l'attività Flusso di dati.

3. Rivedi la query di trasformazione MDF selezionata.

4. Configurare le impostazioni di runtime di Spark, se necessario.

   

Esegui la pipeline aggiornata

1. Convalidare la pipeline.

2. Verifica che tutte le connessioni richieste siano mappate e autenticate.

3. Riattiva tutte le attività che hai disattivato a causa di connessioni non mappate.

4. Esegui la pipeline manualmente.

5. Confronta i suoi risultati con la pipeline originale di Azure Data Factory.

6. Dopo la validazione, eseguire o configurare, e riabilitare pianificazioni e trigger secondo necessità.

   

Convalida i risultati dell'aggiornamento

Prima del passaggio in produzione, valida il carico di lavoro aggiornato in un ambiente non produttivo:

• Conferma di avere mappato e autenticato tutte le connessioni Fabric necessarie.
• Confronta il numero di righe di sorgente e sink con l'esecuzione originale di Azure Data Factory.
• Convalida schema, tipi di dati, gestione del nullo e comportamento della deriva dello schema.
• Convalida la mappatura delle espressioni Flusso di dati e dei risultati delle trasformazioni.
• Verifica il comportamento di inserimento, aggiornamento, upsert ed eliminazione.
• Valida parametri e contenuti dinamici.
• Confermare il comportamento idempotente quando le pipeline vengono rieseguite.
• Rivedi la gestione degli errori e il monitoraggio.
• Confronta il comportamento e le prestazioni in runtime senza presumere una durata di esecuzione identica.
• Riabilita e configura i trigger solo dopo aver completato la validazione end-to-end.

Le pipeline originali di Azure Data Factory e i Mapping Data Flows rimangono disponibili per la validazione affiancata.

Monitorare le esecuzioni delle trasformate aggiornate del flusso di dati della mappatura

Puoi monitorare le esecuzioni di pipeline aggiornate e trasformazioni MDF attraverso:

• Riquadro di output della pipeline
• Hub di monitoraggio
• Esecuzioni di attività
• Dettagli sull'esecuzione dell'attività del flusso di dati

Per esaminare i dettagli di esecuzione:

1. Aprire i dettagli dell'esecuzione della pipeline.

2. Selezionare l'attività Dataflow da Esecuzioni dell'attività.

3. Esaminare lo stato di esecuzione e i dettagli del runtime.

   

   

Limitations

Le limitazioni generali di aggiornamento di Azure Data Factory si applicano anche alle pipeline contenenti Mapping Data Flows. Rivedi le limitazioni note prima di selezionare le pipeline da aggiornare.

Le seguenti limitazioni si applicano attualmente alle trasformazioni MDF durante l'anteprima pubblica:

Contenuti correlati

• Aggiorna le pipeline di Azure Data Factory a Fabric Data Factory
• Trasformazioni del flusso di dati di mapping in Dataflow Gen2 (Anteprima)
• Pianificazione degli upgrade per Azure Data Factory a Fabric Data Factory
• Procedure consigliate per il passaggio da Azure Data Factory a Fabric Data Factory
• Prezzi per Dataflow Gen2