Tietovuon määritys

Tässä artikkelissa on erittely tietovuon kohteiden määritysrakenteesta.

Määritysosat

Määritysosan polku tyyppi Pakolliset Kuvaus
queryMetadata.json Metadata ContentDetails (JSON) tosi Kuvailee tietovuon kyselyasetuksiin liittyvät metatiedot
mashup.pq Mashup ContentDetails (PQ) tosi Kuvailee tietojen koostesisältöä. Se sisältää kaikki tietovuossa suoritetut vaiheet
<mdfTransformName>.mdf MDFTransform ContentDetails (JSON) väärä Kuvailee tietojen tietovuo (MDF) muunna sisältöä. Tietovuossa voi olla useita MDF-muunnoksia

Metadata ContentDetails

Kuvailee tietojen sisältöä

Nimi Tyyppi Pakolliset Kuvaus
formatVersion Merkkijono tosi Tietovuon kohdemuodon versio. Ainoa sallittu arvo on 202502
Nimi Merkkijono tosi Koosuksen nimi
computeEngineSettings ComputeEngineSettings väärä Laskentamoduulin asetukset
queryGroups QueryGroup[] väärä Kyselyryhmät
documentLocale Merkkijono väärä Asiakirjan aluekohtaiset asetukset; pitää olla BCP-47-kielikoodit
gatewayObjectId Merkkijono väärä Yhdyskäytävän objektitunnus
queriesMetadata QueriesMetadata väärä Kyselyjen metatiedot
Yhteydet Yhteys[] väärä Käyttäjäyhteydet
fastCombine totuusarvo väärä Ilmaisee, käytetäänkö nopeaa yhdistämista vai ei. True – käytä nopeaa yhdistämista. Epätosi (oletus) – älä käytä nopeaa yhdistämista
allowNativeQueries totuusarvo väärä Ilmaisee, onko alkuperäiset kyselyt sallittuja. True (oletus) – salli alkuperäiset kyselyt. Epätosi – älä salli alkuperäisiä kyselyitä
skipAutomaticTypeAndHeaderDetection totuusarvo väärä Ilmaisee, ohitetaanko automaattinen tyypin ja otsikon tunnistus. True – ohita tunnistaminen. Epätosi (oletus) – älä ohita tunnistamista
parametrinen totuusarvo väärä Ilmaisee, käytetäänkö parametritilaa vai ei. True – parametrimittaritilaa käytetään. Epätosi (oletus) – parametritilaa ei käytetä

ComputeEngineSettings Contents

Nimi Tyyppi Pakolliset Kuvaus
allowFastCopy totuusarvo väärä Ilmaisee, onko nopea kopiointi käytössä vai ei. True (oletus) – salli nopea kopiointi. Epätosi – Älä salli nopeaa kopiointia
maxConcurrency Kokonaisluku väärä tietovuon suorittamisessa käytettävien samanaikaisten arviointien enimmäismäärä

QueryGroups-sisältö

Nimi Tyyppi Pakolliset Kuvaus
henkilöllisyystodistus Merkkijono väärä Kyselyryhmän tunnus
Nimi Merkkijono väärä Kyselyryhmän nimi
kuvaus Merkkijono väärä Kyselyryhmän kuvaus
parentId Merkkijono väärä Kyselyryhmän päätunnus
järjestys Kokonaisluku väärä Kyselyryhmän järjestys

QueriesMetadata-sisältö

Nimi Tyyppi Pakolliset Kuvaus
queryId Merkkijono tosi Kyselytunnus
queryName Merkkijono tosi Kyselyn nimi
queryGroupId Merkkijono väärä Kyselyryhmän tunnus
isHidden totuusarvo väärä Ilmaisee, onko kysely piilotettu. Tosi – kysely on piilotettu. Epätosi (oletus) – kyselyä ei ole piilotettu
loadEnabled totuusarvo väärä Ilmaisee, onko lataus käytössä vai ei. Tosi (oletus) – lataaminen on käytössä. Epätosi – latausta ei ole otettu käyttöön

Yhteyden sisältö

Nimi Tyyppi Pakolliset Kuvaus
polku Merkkijono väärä Yhteyspolku
tyyppi Merkkijono väärä Yhteystyyppi
connectionId Merkkijono väärä Yhteystunnus

Esimerkki metadata ContentDetails

{
  "formatVersion": "202502",
  "computeEngineSettings": {
    "allowFastCopy": true,
    "maxConcurrency": 1
  },
  "name": "SampleDataflowGen",
  "queryGroups": [
    
  ],
  "documentLocale": "en-US",
  "gatewayObjectId": null,
  "queriesMetadata": {
    "publicholidays": {
      "queryId": "a0a0a0a0-bbbb-cccc-dddd-e1e1e1e1e1e1",
      "queryName": "publicholidays",
      "queryGroupId": null,
      "isHidden": false,
      "loadEnabled": true
    },
    "MDF transform": {
      "queryId": "9c6d7c87-83db-4718-b382-c0c1aa1636d7",
      "queryName": "MDF transform",
      "loadEnabled": false
    }
  },
  "connections": [
    {
      "path": "Lakehouse",
      "kind": "Lakehouse",
      "connectionId": "{\"ClusterId\":\"b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2\",\"DatasourceId\":\"c2c2c2c2-dddd-eeee-ffff-a3a3a3a3a3a3\"}"
    }
  ],
  "fastCombine": false,
  "allowNativeQueries": true,
  "skipAutomaticTypeAndHeaderDetection": false
}

Esimerkki koostesisällöstäDetails

[StagingDefinition = [Kind = "FastCopy"]]
section Section1;
shared publicholidays = 
let  Source = Lakehouse.Contents([]),  
#"Navigation 1" = Source{[workspaceId = "d3d3d3d3-eeee-ffff-aaaa-b4b4b4b4b4b4"]}[Data],  
#"Navigation 2" = #"Navigation 1"{[lakehouseId = "e4e4e4e4-ffff-aaaa-bbbb-c5c5c5c5c5c5"]}[Data],  
#"Navigation 3" = #"Navigation 2"{[Id = "publicholidays", ItemKind = "Table"]}[Data],  
#"Changed column type" = Table.TransformColumnTypes(#"Navigation 3", {{"normalizeHolidayName", type text}}),  
#"Lowercased text" = Table.TransformColumns(#"Changed column type", {{"countryRegionCode", each Text.Lower(_), type nullable text}}),  
#"Uppercased text" = Table.TransformColumns(#"Lowercased text", {{"normalizeHolidayName", each Text.Upper(_), type nullable text}}),  
#"Calculated text length" = Table.TransformColumns(#"Uppercased text", {{"countryOrRegion", each Text.Length(_), type nullable Int64.Type}})in  #"Calculated text length";
[ItemType = "MDF"]
shared #"MDF transform" = "___ExternalResource-Placeholder___";

MDFTransform ContentDetails

Kuvailee yhdistämismäärityksen tietovuo hyötykuorman sisällön.

Nimi Tyyppi Pakolliset Kuvaus
Nimi Merkkijono tosi Yhdistämismäärityksen tietovuon nimi
Majoituspaikkaa Majoituspaikkaa tosi Yhdistämisen tietovuon ominaisuudet

MDF Muunna ominaisuudet -sisältö

Nimi Tyyppi Pakolliset Kuvaus
tyyppi Merkkijono tosi Tietovuon tyyppi. Sallittu arvo on MappingDataFlow
typeProperties TypeProperties tosi Yhdistämismäärityksen tietovuon ominaisuudet

MDF Muunna tyyppiOminaisuudet-sisältö

Nimi Tyyppi Pakolliset Kuvaus
Lähteistä Lähde[] väärä Luettelo tietovuon tietovuon lähteistä
Nieluja Nielu [] väärä Luettelo kartoituksen tietovuon nieluista
muunnokset Muunnos[] väärä Luettelo tietovuon muunnoksista
scriptLines String[] tosi Komentosarjarivit, jotka määrittävät tietovuon logiikan yhdistämisen

MDF Muunna lähdesisältö

Nimi Tyyppi Pakolliset Kuvaus
Nimi Merkkijono tosi Lähteen nimi
externalReferences ExternalReferences väärä Lähteen ulkoiset viittaukset

MDF Muunna nielun sisältö

Nimi Tyyppi Pakolliset Kuvaus
Nimi Merkkijono tosi Altaan nimi
externalReferences ExternalReferences väärä Altaan ulkoiset viittaukset

MDF Muunna muunnoksen sisältö

Nimi Tyyppi Pakolliset Kuvaus
Nimi Merkkijono tosi Muunnoksen nimi

MDFTransform ExternalReferences Contents

Nimi Tyyppi Pakolliset Kuvaus
yhteys Merkkijono väärä Ulkoisen viittauksen yhteystunnus

Esimerkki MDFTransform ContentDetails-kohteesta

{
  "name": "MDF",
  "properties": {
    "type": "MappingDataFlow",
    "typeProperties": {
      "sources": [
        {
          "name": "source1",
          "externalReferences": {
            "connection": "<source1ConnectionId>"
          }
        }
      ],
      "sinks": [
        {
          "name": "sink1",
          "externalReferences": {
            "connection": "<sink1ConnectionId>"
          }
        }
      ],
      "transformations": [
        {
          "name": "derivedColumn1"
        }
      ],
      "scriptLines": [
        "source(output(",
        "          Column1 as short,",
        "          Column2 as string,",
        "          Column3 as date,",
        "          Column4 as boolean,",
        "          Column5 as string,",
        "          Column6 as double",
        "     ),",
        "     useSchema: false,",
        "     allowSchemaDrift: true,",
        "     validateSchema: false,",
        "     ignoreNoFilesFound: false,",
        "     format: 'delimited',",
        "     fileSystem: 'folder1',",
        "     fileName: 'file1.csv',",
        "     columnDelimiter: ',',",
        "     escapeChar: '\\\\',",
        "     quoteChar: '\\\"',",
        "     columnNamesAsHeader: true) ~> source1",
        "source1 derive(isColumn6GreaterThan10 = Column6>10) ~> derivedColumn1",
        "derivedColumn1 sink(allowSchemaDrift: true,",
        "     validateSchema: false,",
        "     format: 'json',",
        "     fileSystem: 'output1',",
        "     umask: 0022,",
        "     preCommands: [],",
        "     postCommands: [],",
        "     skipDuplicateMapInputs: true,",
        "     skipDuplicateMapOutputs: true) ~> sink1"
      ]
    }
  }
}
  • Last updated on