Dataflow-Definition

Dieser Artikel enthält eine Aufschlüsselung der Definitionsstruktur für Datenflusselemente.

Definitionsteile

Definitionsteilpfad Typ Erforderlich BESCHREIBUNG
queryMetadata.json Metadateninhaltdetails (JSON) Wahr Beschreibt Metadaten im Zusammenhang mit Abfrageoptionen im Datenfluss
mashup.pq Mashup ContentDetails (PQ) Wahr Beschreibt Mashup-Inhalt der Nutzlast. Sie enthält eine Abfolge aller Schritte, die im Datenfluss ausgeführt wurden.
<mdfTransformName>.mdf MDFTransform ContentDetails (JSON) Falsch Beschreibt die Zuordnungs-Datenfluss (MDF)-Transformationsinhalte der Nutzlast. Es können mehrere MDF-Transformationen innerhalb eines Datenflusses vorhanden sein.

Metadateninhaltsdetails

Beschreibt den Inhalt der Nutzlast

Name Typ Erforderlich BESCHREIBUNG
formatVersion Schnur Wahr Version des Datenflusselementformats. Der einzige zulässige Wert ist 202502
Name Schnur Wahr Der Name des Mashups
computeEngineSettings ComputeEngineSettings Falsch Die Einstellungen des Computemoduls
queryGroups QueryGroup-[] Falsch Abfragegruppen
documentLocale Schnur Falsch Das Gebietsschema des Dokuments; muss BCP-47-Sprachcodes sein
gatewayObjectId Schnur Falsch Die Gatewayobjekt-ID
queriesMetadata QueriesMetadata- Falsch Abfragen von Metadaten
Verbindungen Connection[] Falsch Benutzerverbindungen
fastCombine Boolescher Typ (Boolean) Falsch Gibt an, ob schnelle Kombination verwendet werden soll. True – schnelle Kombination verwenden. False (Standard) – schnelle Kombination nicht verwenden
allowNativeQueries Boolescher Typ (Boolean) Falsch Gibt an, ob systemeigene Abfragen zulässig sind. True (Standard) – systemeigene Abfragen zulassen. False - Native Abfragen nicht zulassen
skipAutomaticTypeAndHeaderDetection Boolescher Typ (Boolean) Falsch Gibt an, ob die automatische Typ- und Headererkennung übersprungen werden soll. True – Erkennung überspringen. False (Standard) – Erkennung nicht überspringen
parametrisch Boolescher Typ (Boolean) Falsch Gibt an, ob der parametrische Modus verwendet wird. True - Parametrischer Modus wird verwendet. False (Standard) – parametrischer Modus wird nicht verwendet.

ComputeEngineSettings-Inhalt

Name Typ Erforderlich BESCHREIBUNG
allowFastCopy Boolescher Typ (Boolean) Falsch Gibt an, ob schnelle Kopie aktiviert ist oder nicht. True (Standard) – schnelle Kopie zulassen. False - Schnelle Kopie nicht zulassen
maxConcurrency Ganze Zahl Falsch Die maximale Anzahl gleichzeitiger Auswertungen, die beim Ausführen des Datenflusses verwendet werden sollen

QueryGroups Contents

Name Typ Erforderlich BESCHREIBUNG
id Schnur Falsch Die ID der Abfragegruppe
Name Schnur Falsch Der Name der Abfragegruppe
Beschreibung Schnur Falsch Die Beschreibung der Abfragegruppe
parentId Schnur Falsch Die übergeordnete ID der Abfragegruppe
Reihenfolge Ganze Zahl Falsch Die Reihenfolge der Abfragegruppe

QueriesMetadata-Inhalte

Name Typ Erforderlich BESCHREIBUNG
queryId Schnur Wahr Die Abfrage-ID
queryName Schnur Wahr Der Name der Abfrage
queryGroupId Schnur Falsch Die Abfragegruppen-ID
isHidden Boolescher Typ (Boolean) Falsch Gibt an, ob die Abfrage ausgeblendet ist. True – Abfrage ist ausgeblendet. False (Standard) – Abfrage ist nicht ausgeblendet
loadEnabled Boolescher Typ (Boolean) Falsch Gibt an, ob das Laden aktiviert ist. True (Standard) – Ladevorgang ist aktiviert. False – Laden ist nicht aktiviert

Verbindungsinhalte

Name Typ Erforderlich BESCHREIBUNG
Pfad Schnur Falsch Der Verbindungspfad
Art Schnur Falsch Der Verbindungstyp
connectionId Schnur Falsch Die Verbindungs-ID

Beispiel für Metadateninhaltdetails

{
  "formatVersion": "202502",
  "computeEngineSettings": {
    "allowFastCopy": true,
    "maxConcurrency": 1
  },
  "name": "SampleDataflowGen",
  "queryGroups": [
    
  ],
  "documentLocale": "en-US",
  "gatewayObjectId": null,
  "queriesMetadata": {
    "publicholidays": {
      "queryId": "a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1",
      "queryName": "publicholidays",
      "queryGroupId": null,
      "isHidden": false,
      "loadEnabled": true
    },
    "MDF transform": {
      "queryId": "9c6d7c87-83db-4718-b382-c0c1aa1636d7",
      "queryName": "MDF transform",
      "loadEnabled": false
    }
  },
  "connections": [
    {
      "path": "Lakehouse",
      "kind": "Lakehouse",
      "connectionId": "{\"ClusterId\":\"b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2\",\"DatasourceId\":\"c2c2c2c2-dddd-eeee-ffff-a3a3a3a3a3a3\"}"
    }
  ],
  "fastCombine": false,
  "allowNativeQueries": true,
  "skipAutomaticTypeAndHeaderDetection": false
}

Mashup ContentDetails(Beispiel)

[StagingDefinition = [Kind = "FastCopy"]]
section Section1;
shared publicholidays = 
let  Source = Lakehouse.Contents([]),  
#"Navigation 1" = Source{[workspaceId = "d3d3d3d3-eeee-ffff-aaaa-b4b4b4b4b4b4"]}[Data],  
#"Navigation 2" = #"Navigation 1"{[lakehouseId = "e4e4e4e4-ffff-aaaa-bbbb-c5c5c5c5c5c5"]}[Data],  
#"Navigation 3" = #"Navigation 2"{[Id = "publicholidays", ItemKind = "Table"]}[Data],  
#"Changed column type" = Table.TransformColumnTypes(#"Navigation 3", {{"normalizeHolidayName", type text}}),  
#"Lowercased text" = Table.TransformColumns(#"Changed column type", {{"countryRegionCode", each Text.Lower(_), type nullable text}}),  
#"Uppercased text" = Table.TransformColumns(#"Lowercased text", {{"normalizeHolidayName", each Text.Upper(_), type nullable text}}),  
#"Calculated text length" = Table.TransformColumns(#"Uppercased text", {{"countryOrRegion", each Text.Length(_), type nullable Int64.Type}})in  #"Calculated text length";
[ItemType = "MDF"]
shared #"MDF transform" = "___ExternalResource-Placeholder___";

MDFTransform ContentDetails

Beschreibt den Inhalt einer Zuordnung Datenfluss Nutzlast.

Name Typ Erforderlich BESCHREIBUNG
Name Schnur Wahr Der Name des Zuordnungsdatenflusses
properties Eigenschaften Wahr Die Eigenschaften des Zuordnungsdatenflusses

Inhalt der MDFTransform-Eigenschaften

Name Typ Erforderlich BESCHREIBUNG
Typ Schnur Wahr Der Typ des Datenflusses. Der zulässige Wert ist MappingDataFlow
typeProperties TypeProperties Wahr Die Typeigenschaften des Zuordnungsdatenflusses

MDFTransform TypeProperties-Inhalt

Name Typ Erforderlich BESCHREIBUNG
Quellen Quelle[] Falsch Die Liste der Quellen im Zuordnungsdatenfluss
sinks Sink[] Falsch Die Liste der Senken im Zuordnungsdatenfluss
transformations Verwandlung[] Falsch Die Liste der Transformationen im Zuordnungsdatenfluss
scriptLines String[] Wahr Die Skriptzeilen, die die Zuordnungsdatenflusslogik definieren

MDFTransform-Quellinhalt

Name Typ Erforderlich BESCHREIBUNG
Name Schnur Wahr Der Name der Quelle
externe Referenzen ExternalReferences Falsch Die externen Verweise für die Quelle

MDFTransform Sink Inhalt

Name Typ Erforderlich BESCHREIBUNG
Name Schnur Wahr Der Name der Spüle
externe Referenzen ExternalReferences Falsch Die externen Bezüge für die Spüle

Inhalt der MDFTransform-Transformation

Name Typ Erforderlich BESCHREIBUNG
Name Schnur Wahr Der Name der Transformation

Inhalte von MDFTransform ExternalReferences

Name Typ Erforderlich BESCHREIBUNG
connection Schnur Falsch Die Verbindungs-ID für den externen Verweis

Beispiel für MDFTransform ContentDetails

{
  "name": "MDF",
  "properties": {
    "type": "MappingDataFlow",
    "typeProperties": {
      "sources": [
        {
          "name": "source1",
          "externalReferences": {
            "connection": "<source1ConnectionId>"
          }
        }
      ],
      "sinks": [
        {
          "name": "sink1",
          "externalReferences": {
            "connection": "<sink1ConnectionId>"
          }
        }
      ],
      "transformations": [
        {
          "name": "derivedColumn1"
        }
      ],
      "scriptLines": [
        "source(output(",
        "          Column1 as short,",
        "          Column2 as string,",
        "          Column3 as date,",
        "          Column4 as boolean,",
        "          Column5 as string,",
        "          Column6 as double",
        "     ),",
        "     useSchema: false,",
        "     allowSchemaDrift: true,",
        "     validateSchema: false,",
        "     ignoreNoFilesFound: false,",
        "     format: 'delimited',",
        "     fileSystem: 'folder1',",
        "     fileName: 'file1.csv',",
        "     columnDelimiter: ',',",
        "     escapeChar: '\\\\',",
        "     quoteChar: '\\\"',",
        "     columnNamesAsHeader: true) ~> source1",
        "source1 derive(isColumn6GreaterThan10 = Column6>10) ~> derivedColumn1",
        "derivedColumn1 sink(allowSchemaDrift: true,",
        "     validateSchema: false,",
        "     format: 'json',",
        "     fileSystem: 'output1',",
        "     umask: 0022,",
        "     preCommands: [],",
        "     postCommands: [],",
        "     skipDuplicateMapInputs: true,",
        "     skipDuplicateMapOutputs: true) ~> sink1"
      ]
    }
  }
}
  • Last updated on