Datamängdmaterialisering i AI/BI-dashboards

AI/BI-dashboards byggs på datauppsättningar som är begränsade till instrumentpanelen. Som standard utvärderas varje datamängd live, så varje gång en dashboard laddas eller en betraktare interagerar med den, körs de underliggande frågorna, joins och källkodsskanningarna igen på ditt SQL-lager. För dashboards som bygger på kostsamma källfrågor eller många sammanfogningar är det långsamt och dyrt att köra om de frågorna vid varje interaktion.

Datasetmaterialisering förberäknar och lagrar resultaten bakom en datauppsättning, så det tunga arbetet sker en gång enligt ett schema i stället för vid varje inläsning av en instrumentpanel eller interaktion. Interaktioner renderas sedan från de lagrade resultaten, vilket gör publicerade dashboards snabbare.

Materialisering använder Unity Catalog metric view-materialiseringsteknologi. Se Materialisering för måttvyer.

Vad som materialiseras

Materialisering innebär att data i en datamängd beräknas i förväg och lagras. Vad som lagras skiljer sig mellan de två datasettyperna:

• För SQL-dataset är hela frågeresultatet förberäknat och lagrat.
• För lokala metrikvyer lagras datamodellen på radnivå (källdata, sammanfogningar och filterfält), medan måtten fortfarande beräknas vid frågekörning utifrån den förberäknade basen.

Benefits

Datasetmaterialisering ger följande fördelar:

• Snabbare instrumentpaneler utan ombyggnad. Dyra sammanfogningar och skanningar av datakällor körs schemalagt en gång i stället för vid varje inläsning, vilket eliminerar den väntetid som användare upplever när en instrumentpanel gör om frågor mot stora tabeller.
• Lägre kostnad för datalager vid läsåtkomst. Förberäkning av basdatamodellen undviker att upprepa samma tunga sökning för varje tittare och varje sidinladdning, vilket minskar redundant lageranvändning.
• Ingen operativ belastning. Azure Databricks skapar, lagrar och uppdaterar den materialiserade datan åt dig. Det finns ingen pipeline, schema eller lagring att hantera.

Costs

Datasetmaterialisering medför lagrings- och beräkningskostnader:

• Lagring. Du betalar för att lagra den materialiserade datan. Avgifterna beror på den underliggande lagringen som används. För en översikt av lagring i Unity Catalog, se Koppla till molnobjektlagring med hjälp av Unity Catalog.
• Beräkna. Inledande skapande och uppdateringar körs i serverlösa Lakeflow-pipelines och medför beräkningskostnader. Se prissättning för Lakeflow-pipelines.

Väg dessa kostnader mot besparingarna genom att undvika upprepade källskanningar och sammanfogningar. Välj ett uppdateringsschema som balanserar datans färskhet med beräkningskostnaderna.

När materialisering ska användas

Materialisering är inte alltid rätt hävstång för prestation. Fördelen kommer från att ersätta upprepad, fullständig omberäkning av en datamängd (skanning och sammanfogning) med läsningar mot en förberäknad tabell. Skapa en datamängd när en eller flera av följande gäller:

• Mycket interaktiva instrumentpaneler. Instrumentpanelen har många filter, korsfiltrering eller drilldown-funktioner. Utan materialisering körs frågan mot datauppsättningen om vid varje interaktion, så att förberäkna dessa datauppsättningar ger utdelning gång på gång under en session.
• Dyra datamängder. Datauppsättningen bygger på sammanfogningar av flera tabeller, tunga vyer eller gemensamma tabelluttryck (CTE:er), fönsterfunktioner eller unioner mellan många tabeller.
• Selektiva filter på stora tabeller. Datasetet väljer en liten delmängd, till exempel en region eller de senaste 7 dagarna av miljarder rader. Materialisering lagrar endast den lilla delmängden.
• Tolerans för schemalagd färskhet. Datan behöver bara vara så färsk som dashboardens uppdateringsschema, till exempel tim- eller dagligt, snarare än i realtid.

För små datamängder eller dashboards som sällan laddas är live-sökningen ofta tillräckligt snabb, och materialisering kanske inte är värt kostnaden. Eftersom materialisering är frivilligt per publicering och per dataset kan du bara tillämpa det där det lönar sig.

Requirements

• Åtkomst till en AI/BI-instrumentpanel.
• Dashboarden publiceras med alternativet Dela databehörigheter . Materialisering stöds inte för instrumentpaneler publicerade med individuella databehörigheter. Se Vad är delade databehörigheter?.
• Serverlös databehandling aktiverat för arbetsytan. Den initiala skapningen och uppdateringar körs på serverlösa Lakeflow-pipelines. Se Konfigurera serverlösa SQL-lager.
• KAN ANVÄNDA behörighet på ett SQL-lager som kör Databricks Runtime 17.3 och senare.

Aktivera materialisering av datamängder

Dataset är valda för materialisering som standard, men materialisering är avstängt för instrumentpanelen tills du aktiverar Materialisera-dataset-alternativet vid publicering.

Välj vilka dataset som ska materialiseras

På fliken Data , klicka på materialiseringsikonen bredvid en datamängd för att inkludera eller exkludera den.

När du exkluderar en datamängd från materialisering returnerar frågor mot den datamängden resultat i realtid, medan frågor mot materialiserade datamängder återspeglar den senaste materialiseringskörningen. När alla dataset använder samma materialiseringsschema har widgets konsekvent datafärskhet.

Publicera med materialisering

1. Klicka på Publicera i utkastets dashboard.
2. Välj behörigheter för att dela data i publiceringsdialogen.
3. Slå på alternativet Materialisera dataset för att materialisera de dataset som valts på fliken Data .
4. Klicka på Publicera.

Slå på alternativet Materialize datasets vid varje publicering.

Sätt ett uppdateringsschema

Materialiserade data uppdateras i dashboardens uppdateringsschema. Använd dashboardschemat för att justera uppdateringsfrekvensen.

Om instrumentpanelen inte har något schema läggs ett dagligt uppdateringsschema till vid publicering med aktiverad materialisering. Befintliga scheman bevaras. Utan ett aktivt schema uppdateras inte materialiserad data automatiskt efter skapandet.

Visa materialiseringsstatus

I den publicerade instrumentpanelen, öppna och välj Info. Sidofältet visar status och uppdateringsinformation för varje materialiserad dataset.

Återanvändning och sanering

Azure Databricks hanterar livscykeln för din materialiserade data:

• Återanvänd över olika versioner. Om en dashboard publiceras om av samma användare och en datamängd är oförändrad, kommer den befintliga materialiseringen att återanvändas, vilket undviker slöseri med beräkning.
• Automatisk städning. Azure Databricks tar bort materialiseringar som en publicerad dashboard inte längre hänvisar till, till exempel efter en definitionsändring eller att dashboarden avpubliceras.

Återpublicering uppdaterar inte nödvändigtvis materialiserad data.

Limitations

Datasetmaterialisering har följande begränsningar:

• Endast publicerade dashboards. Materialisering gäller publicerade dashboards. Utkast fortsätter att fråga livedata.
• Inga parametriserade datamängder. Dataset som definierar parametrar kan inte materialiseras. Om du aktiverar materialisering för en parameteriserad datauppsättning rapporterar Azure Databricks den som misslyckad i stället för att materialisera den.
• Uppdatering följer endast schemat för instrumentpanelen. Det finns inget separat uppdateringsschema per dataset. Materialisering uppdateras på din dashboards schemalagda uppdateringsfrekvens.
• Serverless krävs. Det första skapandet och uppdateringar körs på serverlösa Lakeflow-pipelines, så arbetsytan måste ha serverlös beräkning aktiverad.
• Skyddad data levereras inte från materialiseringar. Materialisering kan inte skapas för källdata som skyddas av radnivåsäkerhet, kolumnmasker eller attributbaserade åtkomstkontrollpolicyer (ABAC). Om säkerhet på radnivå läggs till i en källtabell efter att materialiseringen skapats, kringgår efterföljande frågor mot metrikvyn materialiseringen och körs mot källdatan.
• Behörigheter för delningsdata krävs. Du kan aktivera materialisering endast när du publicerar med delade datarättigheter. Du kan inte aktivera det när du publicerar med individuella databehörigheter.

Vanliga frågor och svar

Följande frågor täcker beteende för materialisering av datamängder, uppdateringar och behörigheter.

Förändrar materialisering mina mätvärden eller resultat?

Materialisering bevarar datamängdens frågelogik, men dess data speglar den senaste lyckade uppdateringen. För lokala metriska vyer beräknas måtten vid frågetiden mot de materialiserade datana. Se vad som materialiseras.

Vad händer om en materialisering inte är klar eller inte tillgänglig?

Om en materialisering inte är klar eller inte tillgänglig vid frågetillfället returnerar frågan ett fel istället för att skicka live-data. Vänta tills materialiseringen är klar, kör sedan om frågan.

Var lagras den materialiserade datan?

Azure Databricks lagrar de materialiserade data i hanterad intern lagring avsedd för din publicerade dashboard. Det finns inget för dig att publicera i Unity Catalog, och inget schema eller lagring att hantera. Åtkomsten fortsätter att följa behörigheterna för din instrumentpanel och underliggande data.

Hur ofta uppdateras den materialiserade datan?

Materialiserade data uppdateras i dashboardens uppdateringsschema. Se Sätt ett uppdateringsschema.

Vilka beräkningsresurser använder materialiseringen?

Initial skapande och uppdateringar körs båda på serverlösa Lakeflow-pipelines som hanteras av Azure Databricks. Det är därför serverlös datorkapacitet måste aktiveras för arbetsytan.

Påverkar materialisering behörigheter?

No. Materialisering ger inte ytterligare åtkomst till data. Access följer fortfarande dashboardens delningskonfiguration och de behörigheter som används för att publicera den.

Vad händer när jag publicerar om?

Befintliga materialiseringar kan återanvändas när samma användare återpublicerar en oförändrad datamängd. Se Återanvändning och städning. Slå på alternativet Materialize datasets vid varje publicering.

Ytterligare resurser

• Materialisering för metriska vyer
• Datasetoptimering och cachelagring
• Datamodellering i AI/BI-instrumentpaneler