Avancerede konfigurationsindstillinger i Azure Synapse Link

Azure Synapse Link tilbyder flere måder at skrive og læse dine data på, så de passer til forskellige analysescenarier. Afhængigt af dit analytiske scenarie kan du vælge en bestemt konfiguration blandt indstillingerne nedenfor.

Scenarie Gælder for Tilgængelige konfigurationsindstillinger
Driftsrapportering Microsoft Dataverse-tabeller, økonomi- og operationstabeller og -objekter. Indstillingen Synapse Analytics med Delta Lake giver bedre svartider for forespørgsler, der især gælder for forespørgsler om store mængder data. Flere oplysninger: Synapse Link med indstillingen Delta lake
Driftsrapportering Kun Dataverse-tabeller Konfigurationsindstillingen Synapse Link med konfiguration af "Lokal opdatering" indeholder CSV-filer i din datasø, der opdateres næsten i realtid.

Dette er en ældre indstilling der er tilgængelig for Dataverse-tabeller. Denne indstilling understøttes ikke for tabeller fra finance- og operationsapps.
Dataintegration Dataverse-tabeller og økonomi- og driftstabeller og -enheder. "Indstillingen Tilføj kun giver CSV-filer, der indeholder inkrementelle data. Du kan bygge pipelines, der forbruger inkrementelle data og fylde downstream-systemer op

Brugerdefineret datapartitionsfunktion gør det muligt at vælge en brugerdefineret datapartitioneringsstrategi specifikt til Dataverse tabeller. Finans- og driftstabeldata partitioneres af systemet baseret på en passende partitionsstrategi. Denne indstilling er ikke tilgængelig for økonomi- og driftsapps.

Note

Azure Synapse Link til Dataverse blev tidligere kaldt Eksportér til datasø. Microsoft omdøbte tjenesten i maj 2021. Tjenesten eksporterer fortsat data til Azure Data Lake Storage samt Azure Synapse Analytics. Fra og med september 2023 giver Azure Synapse Link dig også mulighed for at vælge data fra Dynamics 365 økonomi- og driftsprogrammer. Ikke alle integrationsmønstre understøttes med programmer til finans og drift. Hvis du vil have vejledning i, hvordan du skifter fra eksport til data lake-funktion i finance and operations-apps til Synapse Link, skal du gå til Transition-vejledningen.

Denne artikel omhandler avancerede konfigurationsindstillinger, der er tilgængelige for Dataverse tabeller. Disse indstillinger er ikke tilgængelige for programmer til finans og drift.

  1. Direkte opdateringer vs. Skrive kun tilføjelser.
  2. Brugerdefineret datapartitionering.

Direkte opdateringer vs. kun tilføjelsesskrivninger

Når du skriver Dataverse-tabeldata til den Azure datasø baseret på værdien createdOn, som er den dato og det klokkeslæt, hvor posten blev oprettet, er der to forskellige indstillinger at vælge imellem. De er Direkte opdatering og Tilføj kun.

Standardindstillingen (for tabeller, hvor createdOn er tilgængelig) er at udføre en direkte opdatering eller upsert (opdatering eller indsættelse) af de trinvise data i destinationen. Hvis ændringen er ny, og den tilsvarende række ikke findes i søen, scannes destinationsfilerne i tilfælde af oprettelse, og ændringerne indsættes i den tilsvarende filpartition i søen. Hvis ændringen er en opdatering, og der findes en række i søen, opdateres den tilknyttede fil i søen, i stedet for at blive indsat, med de trinvise data. Med andre ord er standardindstillingen for alle CUD-ændringer (opret, opdater, slet) i Dataverse-tabeller, hvor createdOn er tilgængelig, at foretage en lokal opdatering på destinationen i Azure data lake.

Du kan ændre standardfunktionsmåden for en direkte opdatering ved hjælp af en valgfri indstilling, der kaldes Tilføj kun. I stedet for en direkte opdatering føjes trinvise data fra Dataverse-tabeller til den tilsvarende filpartition i søen i tilstanden Tilføj kun. Dette er en indstilling for de enkelte tabeller, og den er tilgængelig som et afkrydsningsfelt under Avanceret>Vis avancerede konfigurationsindstillinger. I forbindelse med Dataverse-tabeller, hvor Tilføj kun er slået til, føjes alle CUD-ændringer trinvist til de tilsvarende destinationsfiler i søen. Når du vælger denne indstilling, angives partitionsstrategien som standard til År, og når der skrives data til dataene, opdeles de efter år. Kun Tilføj er også standardindstillingen for Dataverse-tabeller, der ikke har createdOn-værdi.

I tabellen nedenfor beskrives, hvordan rækker håndteres i søen i forhold til CUD-hændelser for hver enkelt dataskrivningsindstilling.

Hændelse Opdatering på stedet Tilføj kun
Opret Rækken indsættes i partitionsfilen og er baseret på createdOn-værdien i rækken. Rækken føjes til slutningen af partitionsfilen og er baseret på createdOn-værdien i posten.
Vedligeholdelse Hvis rækken findes i partitionsfilen, erstattes eller opdateres den med opdaterede data. Hvis den ikke findes, indsættes den i filen. Rækken tilføjes sammen med den opdaterede version i slutningen af partitionsfilen.
Slet Hvis rækken findes i partitionsfilen, fjernes den fra filen. Rækken tilføjes i slutningen af partitionsfilen med IsDelete column = True.

Note

I forbindelse med Dataverse-tabeller, hvor Kun tilføjelse er aktiveret, sletter eller fjerner sletning af en række i kilden ikke rækken i søen. Den slettede række tilføjes i stedet som en ny række i databasen, og kolonnen isDeleted angives til True.

Læsning af ubekræftede data (ALLOW_INCONSISTENT_READS) for serveruafhængig er aktiveret for tilstanden Tilføj kun. ALLOW_INCONSISTENT_READS betyder, at brugeren kan læse de filer, der hele tiden kan ændres, mens SELECT-forespørgslen kører. Resultaterne er konsistente og svarer til at læse et snapshot af filen. Det svarer ikke til isolering af databasesnapshots på grund af tidsforskellen for oprettelse af snapshots.

Ikke alle CUD-ændringer registreres kun i tilføjelse: Synapse Link behandler ændringer i data i grupper eller "batches", før de publiceres i datasøen. Hvis brugeren foretager ændringer inden for et kort tidsinterval, registreres det derfor ikke alle CUD-ændringer i datasøen.

Her er nogle flere oplysninger om, hvornår du skal bruge en af indstillingerne.

  • På stedet opdatering (ældre): Denne indstilling er standardindstillingen og anbefales kun, hvis du vil oprette direkte forbindelse til dataene i søen og har brug for den aktuelle tilstand (ikke historik eller trinvise ændringer). Filen indeholder det fulde datasæt og kan bruges via Power BI eller ved at kopiere hele datasættet til ETL-pipelines (Extract, Transfer, Load).

    Vigtig

    In-place-opdatering er en ældre tilstand og skalerer ikke godt med store datamængder eller når der sker hyppige ændringer. Hvis din tabel har en stor mængde data eller oplever en høj grad af oprettelse, opdateringer eller sletninger, skal du kun bruge Tilføj i stedet for at sikre pålidelig og effektiv dataeksport.

  • Tilføj kun: Vælg denne indstilling, hvis du ikke direkte opretter forbindelse til data i søen og ønsker at kopiere data trinvist til et andet mål ved hjælp af ETL-pipelines. Denne indstilling indeholder en oversigt over ændringer, der muliggør scenarier med AI og ML. Dette er den anbefalede indstilling for tabeller med store datamængder eller hyppige dataændringer.

    Vigtig

    Tilstanden Kun tilføjelse understøtter kun partitionsstrategien Year. Enhver anden partitioneringsstrategi understøttes ikke og vil ikke blive overholdt under dataeksport med tilstanden Tilføj kun . Hvis der er konfigureret en anden partitionsstrategi, kan poster skrives til forkerte partitioner, hvilket kan resultere i datakonsekvenser og unøjagtig behandling eller rapportering af downstream.

Du kan slå Vis avancerede konfigurationsindstillinger under Advanced i Azure Synapse Link for Dataverse for at tilpasse din datapartitionsstrategi og vælge indstillinger, der skal skrives til den Azure datasø.

Vis avanceret konfiguration.

Dataopdeling

Når du skriver Dataverse-tabeldata til Azure Data Lake Storage ved hjælp af Azure Synapse Link, partitioneres tabellerne i søen baseret på værdien createdOn på hver række i kilden. Standardpartitionsstrategien er pr. måned, så data partitioneres i Azure Data Lake hver måned.

Afhængigt af Dataverse-tabelmængden og datadistributionen kan du vælge at partitionere dataene efter år. Når Dataverse-tabeldata skrives til Azure-datasøen, partitioneres de hvert år på baggrund af værdien createdOn for hver række i kilden. Hvis der er tabeller uden kolonnen createdOn, partitioneres rækkerne med data i en ny fil for hver 5.000.000 poster. Dette er en indstilling for de enkelte tabeller, og den er tilgængelig som et afkrydsningsfelt under Avanceret>Vis avancerede konfigurationsindstillinger.

Her er eksempler på, hvordan data kan håndteres i søen med en årlig eller månedlig partitionsstrategi.

Partitionsstrategi.

Se også

Azure-Synapse Link til Dataverse