Transformaties van toewijzingsgegevensstromen in gegevensstroom gen2 (preview)

Belangrijk

Toewijzingsgegevensstroomtransformaties in Dataflow Gen2 zijn momenteel in openbare preview en kunnen nog worden gewijzigd.

Met transformaties van toewijzingsgegevensstromen (MDF) in dataflow gen2 kunt u rechtstreeks in Data Factory in Microsoft Fabric op Spark gebaseerde gegevenstransformaties maken, uitvoeren en bewaken.

MDF-transformaties brengen de mogelijkheden van Azure Data Factory en Mapping Data Flows van Azure Synapse Analytics naar Microsoft Fabric via een vertrouwde visuele low-code-ontwerpervaring die is geïntegreerd met dataflow gen2.

Met MDF-transformaties kunt u het volgende doen:

  • Migreer bestaande Mapping Data Flows-pijplijnen van Azure Data Factory en Azure Synapse Analytics naar Fabric.
  • Nieuwe op Spark gebaseerde transformaties rechtstreeks in Fabric maken.
  • MDF-transformaties uitvoeren met behulp van Fabric gegevenspijplijnen.
  • De uitvoering van transformaties bewaken met geïntegreerde bewakingservaringen.
  • Blijf vertrouwde transformatiepatronen van Mapping Gegevensstroom gebruiken in Fabric.

Wat zijn transformaties van toewijzingsgegevensstromen?

MDF-transformaties breiden Dataflow Gen2 uit met door Spark aangedreven transformatiemogelijkheden voor grootschalige workloads voor gegevensvoorbereiding en -transformatie.

MDF-transformaties bieden:

  • Een visuele ontwerpervaring met weinig code
  • Uitvoering op basis van Spark
  • Geïntegreerde orkestratie via Fabric-pijplijnen
  • Inzichten in bewaking en uitvoering rechtstreeks in Fabric

MDF-transformaties gebruiken om:

  • Migreer bestaande Azure Data Factory- of Azure Synapse Analytics Mapping Data Flow-pijplijnen naar Fabric.
  • Bouw nieuwe Spark-gebaseerde transformatiepipelines rechtstreeks in Fabric.

MDF-transformaties zijn volledig geïntegreerd met Dataflow Gen2 en bieden een vertrouwde authoring-ervaring die vergelijkbaar is met die van Azure Data Factory en Azure Synapse Analytics Mapping Data Flows.

Schermopname van de ontwerpfunctie voor de transformatie voor het toewijzen van gegevensstromen, ingesloten in een Gen2-canvas voor gegevensstromen in Microsoft Fabric.

Ondersteunde scenario’s

MDF-transformaties ondersteunen momenteel de volgende scenario's.

Bestaande Mapping Data Flows migreren

U kunt bestaande Mapping Data Flows van Azure Data Factory en Azure Synapse Analytics migreren naar Fabric met behulp van de ingebouwde migratiefunctie van Azure Data Factory/Synapse Analytics.

Schermopname van de Azure Data Factory-migratieomgeving voor het upgraden van Mapping Data Flows-pijplijnen naar Fabric.

Tijdens de migratie:

  1. Toewijzingsgegevensstromen worden geconverteerd naar MDF-transformaties in gegevensstroom gen2.
  2. Pijplijnen en transformatielogica worden samen gemigreerd.
  3. MDF-transformaties worden geopend in het ingebedde transformatiecanvas in Dataflow Gen2.
  4. Bestaande transformatielogica kan nog steeds worden opgesteld, gevalideerd, uitgevoerd en bewaakt in Fabric.

Nieuwe transformaties voor toewijzingsdataflows maken in Fabric

U kunt ook rechtstreeks nieuwe MDF-transformaties maken in gegevensstroom gen2. Met deze ervaring kunt u het volgende doen:

  • Bouw transformaties op basis van Spark met behulp van een visuele interface.
  • Gebruik de vertrouwde transformatiemogelijkheden van Mapping Gegevensstroom.
  • Voer transformaties uit met behulp van Fabric gegevenspijplijnen.
  • Bewaak de uitvoering via geïntegreerde bewakingservaringen.

Vereiste voorwaarden

Voordat u MDF-transformaties in gegevensstroom gen2 gebruikt, moet u ervoor zorgen dat aan de volgende vereisten wordt voldaan:

  • Een Fabric-capaciteit.
  • Inzender- of hogere machtigingen voor de Fabric werkruimte.
  • Bestaande Fabric verbindingen voor ondersteunde gegevensbronnen.
  • (Optioneel) Een bestaande Azure Data Factory of Azure Synapse Analytics werkruimte als u migratiescenario's gebruikt.

Limitations

De volgende mogelijkheden worden momenteel niet ondersteund in openbare preview:

Oppervlak Limitation
Flowlets Wordt niet ondersteund.
Gegevensstroom bibliotheek Wordt niet ondersteund.
Door de gebruiker gedefinieerde functies (UDF's) Wordt niet ondersteund.
Uitvoering van gegevensstroom MDF-transformaties kunnen alleen worden uitgevoerd via de Dataflow-activiteit van de pipeline. Directe uitvoering vanuit Dataflow Gen2 wordt momenteel niet ondersteund. Alleen de actie Opslaan is beschikbaar in het menu Opslaan en uitvoeren .
Beheerd virtueel netwerk Ondersteuning voor beheerde Virtual Network (beheerd VNet) is niet beschikbaar in deze preview.
Uitvoering tijdens runtime Het uitvoeren van MDF-transformaties maakt momenteel gebruik van de onderliggende Synapse Spark-runtime, net als Azure Data Factory en Azure Synapse Analytics Mapping Data Flows.
Functiepariteit Niet alle mogelijkheden van Mapping Gegevensstrooms zijn beschikbaar in deze preview.

Ondersteunde connectors

MDF-transformaties ondersteunen de meest gebruikte bron- en doelconnectors die beschikbaar zijn in Azure Data Factory en Azure Synapse Analytics Mapping Data Flows.

De volgende connectors worden momenteel ondersteund:

Categorie Gegevensarchief MDF-transformaties in gegevensstroom Gen2 (bron/doel) Ondersteunde verificatietypen
Azure Azure Blob Storage (opslagdienst van Azure) ✓/✓ Standaard, Beheerde identiteit / Werkruimte-identiteit, Service-principal
Azure Cosmos DB voor NoSQL ✓/✓ Basic
Azure-gegevensverkenner ✓/✓ Beheerde identiteit/werkruimte-identiteit
Azure Data Lake Storage Gen1 ✓/✓ Standaard, Beheerde identiteit / Werkruimte-identiteit, Service-principal
Azure Data Lake Storage Gen2 ✓/✓ Standaard, Beheerde identiteit / Werkruimte-identiteit, Service-principal
Azure-database voor MySQL ✓/✓ Basic
Azure Databank voor PostgreSQL ✓/✓ Basic
Azure Databricks Delta Lake ✓/✓ Delta-indeling gebruiken Basic
Azure SQL Database ✓/✓ Standaard, Beheerde identiteit / Werkruimte-identiteit, Service-principal
Azure SQL Managed Instance (een beheerde database-instantie van Azure) ✓/✓ Standaard, Beheerde identiteit / Werkruimte-identiteit, Service-principal
Azure Synapse Analytics ✓/✓ Basic
Database Snowflake ✓/✓ Basic
Bestand Amazon S3 ✓/✓ Basic
SFTP ✓/✓ Basic
Algemene REST ✓/✓ Standaard, Service-principal

Tijdens het ontwerpen:

  • Bestaande Fabric verbindingen kunnen opnieuw worden gebruikt.
  • Nieuwe verbindingen kunnen rechtstreeks vanuit de ontwerpervaring worden gemaakt met behulp van de ervaring Gegevens ophalen .
  • De bron- en doelconfiguratie volgt de bekende patronen van de toewijzingsgegevensstroom.

Ondersteunde transformaties

MDF-transformaties bieden een vertrouwde visuele transformatie-ervaring met weinig code voor het bouwen van schaalbare pijplijnen voor gegevenstransformatie op basis van Spark in Fabric.

De volgende transformaties worden momenteel ondersteund:

Name Categorie Description
Aggregate Schemamodificator Definieer aggregaties zoals SUM, MIN, MAX en COUNT gegroepeerd op bestaande of berekende kolommen.
Rij wijzigen Rijmodifier Beleidsregels voor invoegen, verwijderen, bijwerken en upsert instellen voor rijen.
Assert Rijmodifier Definieer assertregels voor rijen in de gegevensstroom.
Cast Schemamodificator Wijzig kolomgegevenstypen met typecontrole.
Voorwaardelijke splitsing Meerdere invoer/uitvoer Rijen routeren naar verschillende streams op basis van overeenkomende voorwaarden.
Afgeleide kolom Schemamodificator Genereer nieuwe kolommen of wijzig bestaande velden met behulp van expressies.
Externe aanroep Schemamodificator Externe eindpunten inline aanroepen voor elke rij.
Exists Meerdere invoer/uitvoer Controleer of gegevens in een andere bron of stream aanwezig zijn.
Filter Rijmodifier Rijen filteren op basis van voorwaarden.
Flatten Formateerders Zet hiërarchische structuren, zoals JSON-arrays, om in rijen.
Join Meerdere invoer/uitvoer Gegevens uit twee bronnen of streams combineren.
Lookup Meerdere invoer/uitvoer Referentiegegevens uit een andere bron of stream.
Nieuwe vestiging Meerdere invoer/uitvoer Meerdere transformatiepaden toepassen op dezelfde stroom.
Parse Formateerders JSON, tekst met scheidingstekens of xml-opgemaakte tekenreeksen parseren.
Pivot Schemamodificator Afzonderlijke rijwaarden transformeren in kolommen.
Rank Schemamodificator Geordende classificaties genereren op basis van sorteervoorwaarden.
Select Schemamodificator De naam van kolommen wijzigen, opnieuw ordenen of verwijderen.
Sink - Definieer het doel voor getransformeerde gegevens.
Sort Rijmodifier Rijen in de huidige gegevensstroom sorteren.
Source - Definieer de bron voor de gegevensstroom.
Stringify Formateerders Complexe typen converteren naar tekenreekswaarden.
Surrogaatsleutel Schemamodificator Oplopende surrogaatsleutelwaarden genereren.
Union Meerdere invoer/uitvoer Combineer meerdere gegevensstromen verticaal.
Unpivot Schemamodificator Transformeer kolommen naar rijwaarden.
Window Schemamodificator Aggregaties op basis van vensters definiëren voor gegevensstromen.

Een toewijzingsgegevensstroom maken in Dataflow Gen2

Een nieuwe MDF-transformatie maken in Fabric:

  1. Open uw Fabric-werkruimte.

  2. Selecteer Nieuw item.

  3. Selecteer Gegevensstroom Gen2.

  4. Geef een naam op voor het gegevensstroom gen2-item en selecteer Maken.

  5. Gebruik in het canvas voor gegevensstroom gen2 een van de volgende opties:

    • Selecteer Transformaties van toewijzingsgegevensstromen uitvoeren in de actiegroep Nieuw op het startlint van gegevensstroom gen2.
    • Selecteer de tegel Toewijzingsgegevensstroomtransformaties uitvoeren (ADF-toewijzingsgegevensstromen) op het canvas.

    Schermopname waarop de optie wordt weergegeven om op het lint van Gegevensstroom Gen2 in Microsoft Fabric een transformatie voor een toewijzingsgegevensstroom te maken.

    Schermopname met de optie om vanuit de Dataflow Gen2-canvastegel in Microsoft Fabric een toewijzingsgegevensstroomtransformatie te maken.

Er verschijnt een nieuwe MDF-transformactie op het canvas van Dataflow Gen2 en daarmee wordt de ingebouwde ontwerpomgeving voor MDF-transformaties geopend.

Tip

De ontwerpomgeving voor MDF-transformaties gebruikt een vertrouwde visuele interface die lijkt op Azure Data Factory en Azure Synapse Analytics Mapping Data Flows.

Transformaties van toewijzingsgegevensstromen ontwerpen

Nadat u een MDF-transformatie hebt gemaakt, kunt u beginnen met het ontwerpen van transformatielogica.

Foutopsporingsmodus inschakelen

Voor interactieve creatie en voorbeeld van gegevens:

  1. Schakel de wisselknop voor foutopsporing voor gegevensstromen in vanaf de zwevende werkbalk.
  2. Wacht tot de foutopsporingssessie is geïnitialiseerd.
  3. Nadat deze is ingeschakeld, kunt u tijdens het ontwerpen een voorbeeld van bron- en transformatiegegevens bekijken.

Schermopname van het transformatiecanvas voor toewijzingsgegevensstromen met de foutopsporingsmodus voor gegevensstromen ingeschakeld.

Note

Het kan enkele minuten duren voordat foutopsporingssessies zijn geïnitialiseerd, afhankelijk van de beschikbaarheid van Spark-runtime.

Een bron toevoegen

Een bron configureren:

  1. Selecteer Bron toevoegen.
  2. Selecteer het verbindingstype.
  3. Selecteer een bestaande Fabric-verbinding of maak zo nodig rechtstreeks nieuwe verbindingen via de ervaring Gegevens ophalen.
  4. Blader en selecteer het bronbestand, de tabel of de gegevensset.

Schermopname van de instellingen voor bronconfiguratie in de ontwerpomgeving voor transformaties van toewijzingsgegevensstromen.

Nadat u de bronverbinding en -gegevensset hebt geconfigureerd, gebruikt u het tabblad Voorbeeld van gegevens om de brongegevens te valideren en te bekijken tijdens interactieve creatie.

Schermafbeelding van het tabblad Gegevensvoorbeeld waarin brongegevens worden weergegeven in de ontwerpomgeving voor transformaties van toewijzingsgegevensstromen.

Transformaties toevoegen

Transformaties toevoegen:

  1. Selecteer het + pictogram naast een bron of transformatie.
  2. Selecteer het transformatietype.
  3. Transformatie-instellingen configureren.

U kunt transformatielogica blijven bouwen met behulp van het canvas voor visuele transformatie.

Schermafbeelding van de visuele transformatiegrafiek in de ontwerpomgeving voor mappinggegevensstroomtransformatie.

Een sink configureren

Nadat de transformatielogica is voltooid:

  1. Voeg een sinktransformatie toe.
  2. Configureer de doelverbinding.
  3. Schrijfinstellingen configureren.

Schermopname van de sinktransformatieconfiguratie in de ontwerpervaring voor transformatie van toewijzingsgegevensstromen.

Valideren en opslaan

Vóór uitvoering:

  1. Selecteer Valideren op de werkbalk voor MDF-transformatie.

    Schermopname van de knop Valideren in de transformatiewerkbalk voor toewijzingsgegevensstromen.

  2. Los validatieproblemen op als deze worden gerapporteerd.

  3. Selecteer Opslaan in het menu Opslaan en uitvoeren .

    Schermopname van de optie Opslaan in het menu Opslaan en uitvoeren voor een transformatie van een toewijzingsgegevensstroom.

Note

Alleen de actie Opslaan wordt momenteel ondersteund voor gegevensstroom gen2 met MDF-transformaties in openbare previewversie.

Transformaties van toewijzingsgegevensstromen uitvoeren met Fabric-pijplijnen

U voert MDF-transformaties uit via Fabric gegevenspijplijnen met behulp van een gegevensstroomactiviteit.

Een MDF-transformatie uitvoeren:

  1. Maak een nieuwe Fabric-pijplijn.
  2. Voeg een gegevensstroomactiviteit toe aan de pijplijn.
  3. Selecteer in de activiteitsinstellingen het gegevensstroom gen2-item met de MDF-transformatie.
  4. Selecteer de MDF-transformatiequery die u wilt uitvoeren.
  5. Configureer indien nodig spark-runtime-instellingen.
  6. Valideer en publiceer de pijplijn.
  7. Voer de pijplijn handmatig uit of stel een schema of triggers in.

Schermopname van een Fabric-pijplijn met een gegevensstroomactiviteit die is geconfigureerd voor de uitvoering van een transformatie van een toewijzingsgegevensstroom.

Spark-runtime-instellingen configureren

MDF-transformaties worden uitgevoerd met beheerde Spark-runtime die is geïntegreerd met Data Factory in Microsoft Fabric. U kunt spark-runtime-instellingen configureren tijdens het uitvoeren van de pijplijn, waaronder:

  • Grootte berekenen
  • Sink-eigenschappen

Schermopname van de configuratie-instellingen van spark-runtime voor een gegevensstroomactiviteit in een Fabric-pijplijn.

Uitvoeringen van transformaties van toewijzingsgegevensstromen bewaken

U kunt de uitvoering van MDF-transformatie bewaken via:

  • Het uitvoerdeelvenster voor pijplijnen

    Schermopname van het uitvoerdeelvenster van de pijplijn met de uitvoeringsresultaten van de transformatie in de toewijzingsgegevensstroom.

  • De Monitoring Hub

    Schermafbeelding van de Monitoring Hub met activiteitsuitvoeringen voor de uitvoering van een transformatie van een toewijzingsgegevensstroom.

Bewakingsgegevens weergeven:

  1. Open de details van de pijplijnuitvoering.
  2. Selecteer de gegevensstroomactiviteit in Activiteitsuitvoeringen.
  3. Controleer de uitvoeringsstatus en runtimegegevens.

Schermafbeelding van de monitoringspagina voor de transformatie van de toewijzingsgegevensstroom met uitvoeringsstatus en runtimedetails.

Verwante inhoud

  • Last updated on