Definition af dataflow

Denne artikel indeholder en oversigt over definitionsstrukturen for dataflowelementer.

Definitionsdele

Sti til definitionsdel type Påkrævet Beskrivelse
queryMetadata.json JSON (Metadata ContentDetails) sand Beskriver metadata, der er relateret til forespørgselsindstillinger i dataflow
mashup.pq Mashup ContentDetails (PQ) sand Beskriver miksindhold af nyttedata. Den indeholder en sekvens af alle de trin, der er udført i dataflowet
<mdfTransformName>.mdf MDFTransform ContentDetails (JSON) falsk Beskriver MDF-transformeringsindholdet (Mapping dataflow). Der kan være flere MDF-transformationer i et dataflow

MetadataindholdDetaljer

Beskriver indholdet af nyttedata

Navn Slags Påkrævet Beskrivelse
formatVersion Streng sand Version af dataflowelementformat. Den eneste tilladte værdi er 202502
Navn Streng sand Navnet på mikset
computeEngineSettings ComputeEngineSettings falsk Indstillinger for beregningsprogram
queryGroups QueryGroup-[] falsk Forespørgselsgrupper
documentLocale Streng falsk Dokumentets landestandard. skal være BCP-47-sprogkoder
gatewayObjectId Streng falsk Gatewayobjekt-id'et
queriesMetadata QueriesMetadata falsk Forespørgsler om metadata
Forbindelser forbindelse[] falsk Brugerforbindelser
fastCombine Boolean falsk Angiver, om du vil bruge kombiner hurtigt. True – brug kombiner hurtigt. False (standard) – brug ikke kombiner hurtigt
allowNativeQueries Boolean falsk Angiver, om oprindelige forespørgsler er tilladt. True (standard) – tillad oprindelige forespørgsler. False – tillad ikke oprindelige forespørgsler
skipAutomaticTypeAndHeaderDetection Boolean falsk Angiver, om automatisk type- og overskriftsregistrering skal springes over. True – registrering af spring over. False (standard) – spring ikke registrering over
Parametrisk Boolean falsk Angiver, om parametrisk tilstand bruges. Sand – parametrisk tilstand bruges. False (standard) – parametrisk tilstand bruges ikke

Indhold af ComputeEngineSettings

Navn Slags Påkrævet Beskrivelse
allowFastCopy Boolean falsk Angiver, om hurtig kopiering er aktiveret eller ej. Sand (standard) – tillad hurtig kopiering. Falsk - Tillad ikke hurtig kopiering
maxConcurrency Heltal falsk Det maksimale antal samtidige evalueringer, der skal bruges ved udførelse af dataflowet

Indhold i Forespørgselsgrupper

Navn Slags Påkrævet Beskrivelse
id Streng falsk Id'et for forespørgselsgruppen
Navn Streng falsk Navnet på forespørgselsgruppen
beskrivelse Streng falsk Beskrivelsen af forespørgselsgruppen
parentId Streng falsk Det overordnede id for forespørgselsgruppen
rækkefølge Heltal falsk Rækkefølgen af forespørgselsgruppen

Indholdet af QueriesMetadata

Navn Slags Påkrævet Beskrivelse
queryId Streng sand Forespørgsels-id'et
queryName Streng sand Navnet på forespørgslen
queryGroupId Streng falsk Id'et for forespørgselsgruppen
isHidden Boolean falsk Angiver, om forespørgslen er skjult. Sand – forespørgslen er skjult. False (standard) – forespørgslen er ikke skjult
loadEnabled Boolean falsk Angiver, om indlæsning er aktiveret. Sand (standard) – indlæsning er aktiveret. False – indlæsning er ikke aktiveret

Forbindelsesindhold

Navn Slags Påkrævet Beskrivelse
sti Streng falsk Forbindelsesstien
slags Streng falsk Forbindelsestypen
connectionId Streng falsk Forbindelses-id

Eksempel på metadataindholddetaljer

{
  "formatVersion": "202502",
  "computeEngineSettings": {
    "allowFastCopy": true,
    "maxConcurrency": 1
  },
  "name": "SampleDataflowGen",
  "queryGroups": [
    
  ],
  "documentLocale": "en-US",
  "gatewayObjectId": null,
  "queriesMetadata": {
    "publicholidays": {
      "queryId": "a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1",
      "queryName": "publicholidays",
      "queryGroupId": null,
      "isHidden": false,
      "loadEnabled": true
    },
    "MDF transform": {
      "queryId": "9c6d7c87-83db-4718-b382-c0c1aa1636d7",
      "queryName": "MDF transform",
      "loadEnabled": false
    }
  },
  "connections": [
    {
      "path": "Lakehouse",
      "kind": "Lakehouse",
      "connectionId": "{\"ClusterId\":\"b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2\",\"DatasourceId\":\"c2c2c2c2-dddd-eeee-ffff-a3a3a3a3a3a3\"}"
    }
  ],
  "fastCombine": false,
  "allowNativeQueries": true,
  "skipAutomaticTypeAndHeaderDetection": false
}

Eksempel på Mashup ContentDetails

[StagingDefinition = [Kind = "FastCopy"]]
section Section1;
shared publicholidays = 
let  Source = Lakehouse.Contents([]),  
#"Navigation 1" = Source{[workspaceId = "d3d3d3d3-eeee-ffff-aaaa-b4b4b4b4b4b4"]}[Data],  
#"Navigation 2" = #"Navigation 1"{[lakehouseId = "e4e4e4e4-ffff-aaaa-bbbb-c5c5c5c5c5c5"]}[Data],  
#"Navigation 3" = #"Navigation 2"{[Id = "publicholidays", ItemKind = "Table"]}[Data],  
#"Changed column type" = Table.TransformColumnTypes(#"Navigation 3", {{"normalizeHolidayName", type text}}),  
#"Lowercased text" = Table.TransformColumns(#"Changed column type", {{"countryRegionCode", each Text.Lower(_), type nullable text}}),  
#"Uppercased text" = Table.TransformColumns(#"Lowercased text", {{"normalizeHolidayName", each Text.Upper(_), type nullable text}}),  
#"Calculated text length" = Table.TransformColumns(#"Uppercased text", {{"countryOrRegion", each Text.Length(_), type nullable Int64.Type}})in  #"Calculated text length";
[ItemType = "MDF"]
shared #"MDF transform" = "___ExternalResource-Placeholder___";

MDFTransform ContentDetails

Beskriver indholdet af en tilknytning dataflow nyttedata.

Navn Slags Påkrævet Beskrivelse
Navn Streng sand Navnet på tilknytningsdataflowet
Egenskaber Egenskaber sand Egenskaberne for tilknytningsdataflowet

Indhold af MDFTransform-egenskaber

Navn Slags Påkrævet Beskrivelse
type Streng sand Typen af dataflow. Den tilladte værdi er MappingDataFlow
typeProperties TypeEgenskaber sand Typeegenskaberne for tilknytningsdataflowet

Indhold af MDFTransform TypeProperties

Navn Slags Påkrævet Beskrivelse
Kilder Kilde[] falsk Listen over kilder i tilknytningsdataflowet
vaske Vask[] falsk Listen over vaske i tilknytningsdataflowet
Transformationer Transformation[] falsk Listen over transformationer i tilknytningsdataflowet
scriptLines String[] sand De scriptlinjer, der definerer tilknytningen af dataflowlogikken

Indhold af MDFTransform-kilde

Navn Slags Påkrævet Beskrivelse
Navn Streng sand Navnet på kilden
externalReferences Eksterne referencer falsk De eksterne referencer til kilden

Indhold af MDFTransform Sink

Navn Slags Påkrævet Beskrivelse
Navn Streng sand Navnet på vasken
externalReferences Eksterne referencer falsk De eksterne referencer til vasken

Indhold af MDFTransform-transformation

Navn Slags Påkrævet Beskrivelse
Navn Streng sand Navnet på transformationen

Indhold af MDFTransform ExternalReferences

Navn Slags Påkrævet Beskrivelse
forbindelse Streng falsk Forbindelses-id'et for den eksterne reference

Eksempel på MDFTransform ContentDetails

{
  "name": "MDF",
  "properties": {
    "type": "MappingDataFlow",
    "typeProperties": {
      "sources": [
        {
          "name": "source1",
          "externalReferences": {
            "connection": "<source1ConnectionId>"
          }
        }
      ],
      "sinks": [
        {
          "name": "sink1",
          "externalReferences": {
            "connection": "<sink1ConnectionId>"
          }
        }
      ],
      "transformations": [
        {
          "name": "derivedColumn1"
        }
      ],
      "scriptLines": [
        "source(output(",
        "          Column1 as short,",
        "          Column2 as string,",
        "          Column3 as date,",
        "          Column4 as boolean,",
        "          Column5 as string,",
        "          Column6 as double",
        "     ),",
        "     useSchema: false,",
        "     allowSchemaDrift: true,",
        "     validateSchema: false,",
        "     ignoreNoFilesFound: false,",
        "     format: 'delimited',",
        "     fileSystem: 'folder1',",
        "     fileName: 'file1.csv',",
        "     columnDelimiter: ',',",
        "     escapeChar: '\\\\',",
        "     quoteChar: '\\\"',",
        "     columnNamesAsHeader: true) ~> source1",
        "source1 derive(isColumn6GreaterThan10 = Column6>10) ~> derivedColumn1",
        "derivedColumn1 sink(allowSchemaDrift: true,",
        "     validateSchema: false,",
        "     format: 'json',",
        "     fileSystem: 'output1',",
        "     umask: 0022,",
        "     preCommands: [],",
        "     postCommands: [],",
        "     skipDuplicateMapInputs: true,",
        "     skipDuplicateMapOutputs: true) ~> sink1"
      ]
    }
  }
}
  • Last updated on