Konfigurer ressursprofiler i Microsoft Fabric

Gjelder for:✅ Fabric Data Engineering og Data Science

Ressursprofiler i Fabric Data Engineering hjelper deg med å få optimaliserte Spark-beregningskonfigurasjoner uten manuell justering. Du beskriver arbeidsmengden din ved å velge et primært brukstilfelle, datavolum og noen andre høynivåinput. Fabric genererer deretter en anbefalt konfigurasjon — inkludert nodestørrelser, autoskaleringsinnstillinger og kjøretidsversjon — basert på dokumenterte beste praksiser og interne ytelsesdata.

Hvorfor bruke ressursprofiler

Ressursprofiler gir:

• Optimalisert fra starten: Din første Spark-økt kjører på beregning tilpasset arbeidsmengden din — ingen iterativ benchmarking kreves.
• Konsistens: Alle Spark-jobber i arbeidsområdet deler samme ytelsesjusterte konfigurasjon.
• Bedre pris-ytelse: Riktige ressurser reduserer sløsing og forbedrer gjennomstrømningen.
• Lavere driftskostnader: Færre tuning-sykluser og færre støtteeskaleringer.

Forutsetninger

For å konfigurere ressursprofiler må du ha administratorrollen for arbeidsområdet.

Konfigurer en ressursprofil

For å konfigurere en ressursprofil for arbeidsområdet ditt:

1. Gå til arbeidsområdet ditt, og velg Arbeidsområdeinnstillinger.

2. Utvid Data Engineering/Science i venstre panel og velg deretter Spark-innstillinger.

3. For å få en anbefalt beregningskonfigurasjon for å optimalisere ressursbruken din, under Optimaliser for ditt brukstilfelle, velg Kom i gang.

   

4. I siden Optimaliser for ditt brukstilfelle , oppgi følgende input:

   • Primært brukstilfelle: Velg enten Medallion-laget eller Oppgavebasert, og velg deretter et spesifikt alternativ fra nedtrekksmenyen. Medallion-lagalternativene er bronse, sølv eller gull. Oppgavebaserte alternativer er leseoptimalisert eller skriveoptimalisert. For veiledning om valg av brukstilfelle, se Primær bruksreferanse.
   • Typisk datavolum: Velg et volum fra nedtrekksmenyen: Opptil 1 GB,10 GB,100 GB,1 TB, eller Over 1 TB.
   • Maksimale kapasitetsenheter (CU): Bruk skyveknappen for å sette maksimal CU-grense for Spark-poolen.

5. Velg Få anbefaling.

   

   Fabric genererer en optimalisert konfigurasjon basert på inputene dine.

6. Gå gjennom anbefalingen. Anbefalingen inkluderer verdier for to kategorier:

   • Spark pool: Pooltype, nodefamilie, nodestørrelse, autoskalering og dynamisk eksekutorallokering.
   • Miljø: Runtime-versjon, Spark-driverkjerner og minne, Spark-executor-kjerner, minne og instanser.

   

   Hvis du vil justere inputene dine, velg bakoverpilen for å gå tilbake til forrige side, oppdater valgene dine, og velg deretter Hent anbefaling igjen.

7. Skriv inn et Spark-poolnavn og miljø for konfigurasjonen, og velg deretter Apply for å lagre det i arbeidsområdet.

   

Etter at du har brukt en ressursprofil, oppretter Fabric en egendefinert Spark-pool med anbefalte innstillinger.

Primær bruksreferanse

Bruk følgende veiledning for å velge riktig inngang for primært brukstilfelle når du konfigurerer en ressursprofil:

Medaljonglaget

Velg Medallion-laget hvis datapipelinen din følger medaljongarkitekturmønsteret, hvor data beveger seg gjennom Bronse (rå), Sølv (renset) og Gull (kuratert) stadier. Hvert alternativ justerer for lese-/skriveegenskapene som er typiske for det stadiet.

Oppgavebasert

Velg Oppgavebasert hvis arbeidsmengden din ikke følger medallion-mønsteret eller hvis den domineres av et enkelt tilgangsmønster. For eksempel kan du bruke dette alternativet for frittstående ETL-jobber, interaktive analysenotatbøker eller strømmingspipelines.

Automatisk oppdatering av ressursprofiler

Ressursprofiler støtter en automatisk oppdateringsfunksjon som holder Spark-beregningskonfigurasjonen din i tråd med de nyeste optimaliseringene fra Fabric. Når auto-oppdatering er aktivert, anvender Fabric arbeidsbelastningsspesifikke Spark-egenskaper basert på ressursprofiltypen din, uten å kreve manuell justering.

Auto-oppdateringskonfigurasjoner

Fabric tilbyr tre automatiske oppdateringsprofiler, hver tilpasset et spesifikt arbeidsmengdemønster:

Lesetyngre for Spark-arbeidsbelastninger

Satt via spark.fabric.resourceProfile.readHeavyForSparkAutoUpdate:

{
    "spark.databricks.delta.optimizeWrite.enabled": "true",
    "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true",
    "spark.databricks.delta.optimizeWrite.binSize": "128"
}

Bruk denne profilen når arbeidsmengden din domineres av Spark-lesninger med moderate behov for skriveoptimalisering.

Lesetyngre for Power BI-arbeidsbelastninger

Satt via spark.fabric.resourceProfile.readHeavyForPBIAutoUpdate:

{
    "spark.sql.parquet.vorder.default": "true",
    "spark.databricks.delta.optimizeWrite.enabled": "true",
    "spark.databricks.delta.optimizeWrite.binSize": "1g"
}

Bruk denne profilen når dataene dine hovedsakelig brukes av Power BI. V-order er aktivert for optimal Direct Lake-ytelse, og en større bin-størrelse gir færre, større filer egnet for analytiske lesinger.

Skrivetunge arbeidsbelastninger

Satt via spark.fabric.resourceProfile.writeHeavyAutoUpdate:

{
    "spark.sql.parquet.vorder.default": "false",
    "spark.databricks.delta.optimizeWrite.binSize": "128",
    "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true"
}

Bruk denne profilen når arbeidsmengden din er skriveintensiv (for eksempel high-volume ingestion eller ETL). V-ordenen er deaktivert for å redusere skriveoverhead, og optimalisert skriving med partisjonering er aktivert for effektiv fillayout.

Hvordan automatisk oppdatering fungerer

Når en ressursprofil med automatisk oppdatering brukes:

1. Fabric velger riktig automatisk oppdateringskonfigurasjon basert på ditt primære bruksområde og arbeidsbelastningstype.
2. Spark-egenskapene brukes automatisk på nye økter i arbeidsområdet.
3. Aktive økter påvirkes ikke før de starter på nytt.

Konfigurasjonsreferanse

Relatert innhold

• Spark-beregning
• Spark arbeidsområdeinnstillinger
• Konfigurer ressursprofilkonfigurasjoner