Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Stordataarkitekturen behöver ofta ett analysdatalager som hanterar bearbetade data i ett strukturerat format. Du kan köra frågor mot dessa data med hjälp av analysverktyg. Analytiska datalager som stöder frågekörning av både hot-path- och cold-path-data kallas gemensamt för det betjänande lagret eller data som betjänar lagring.
Servicelagret hanterar bearbetade data från både den snabba vägen och den långsamma vägen. I Lambda-arkitekturen delas serveringsskiktet in i två lager. Det hastighetsbetjäningslager som innehåller inkrementellt bearbetade data. Batch-serveringsskiktet innehåller batchbearbetade utdata.
Även om det övergripande serverlagret kräver starkt stöd för slumpmässiga läsningar som har låg svarstid, bör datalagring för hastighetslagret också ha stöd för slumpmässiga skrivningar eftersom batchinläsning av data i det här arkivet medför oönskade fördröjningar. Omvänt måste datalagring för batchlagret ha stöd för batchskrivningar, inte slumpmässiga skrivningar.
Ingen enskild datahanteringslösning passar för varje datalagringsuppgift. Olika lösningar är optimala för specifika uppgifter. De flesta verkliga molnappar och stordataprocesser har olika datalagringskrav och använder ofta en kombination av lagringslösningar.
Moderna analyslösningar, till exempel Microsoft Fabric, tillhandahåller en omfattande plattform som integrerar olika datatjänster och verktyg för att uppfylla olika analytiska behov. Fabric innehåller OneLake, som är en enda, enhetlig, logisk datasjö för hela organisationen. OneLake är utformat för att lagra, hantera och skydda alla organisationsdata på en plats. Med den här flexibiliteten kan din organisation hantera en mängd olika datalagrings- och bearbetningskrav.
Välj ett analysdatalager
Microsoft erbjuder flera alternativ för lagring för dataservering, beroende på dina behov:
- Nätverk, särskilt:
- Azure Databricks
- Azure SQL Database
- SQL Server på en virtuell Azure-dator
- Azure Analysis Services
- Azure Cosmos DB
Olika databasmodeller passar olika typer av uppgifter:
Nyckel/värde-datalager innehåller ett enda serialiserat objekt för varje nyckelvärde. De kan hantera stora mängder data när hämtningen baseras på en specifik nyckel, utan att behöva köra frågor mot andra objektegenskaper.
Dokumentdatalager är nyckel/värde-datalager där värdena är dokument. I det här sammanhanget är ett dokument en samling med namngivna fält och värden. Datalagret lagrar vanligtvis data i ett format som XML, YAML, JSON eller binär JSON, men kan använda oformaterad text. Dokumentdatalager kan köra frågor mot icke-nyckelfält och definiera sekundära index för att förbättra frågeeffektiviteten. Den här funktionen gör en dokumentdatabas mer lämplig för program som behöver hämta data baserat på kriterier som är mer komplexa än värdet för dokumentnyckeln. Du kan till exempel fråga efter fält som produkt-ID, kund-ID eller kundnamn.
Kolumnfamiljedatalager är nyckelvärdesdatalager som håller varje kolumn separat på disken. Ett brett kolumnlager lagrar kolumnfamiljer, inte bara enskilda kolumner. En censusdatabas kan till exempel ha en separat kolumnfamilj för var och en av en individs attribut:
- För-, mellan- och efternamn
- Postadress
- Profilinformation, till exempel födelsedatum eller kön
Datalagret kan lagra varje kolumnfamilj i en separat partition, samtidigt som alla data för en person som är relaterade till samma nyckel lagras. Ett program kan läsa en enskild kolumnfamilj utan att genomsöka alla data efter en entitet.
Graph-datalager innehåller information som en samling objekt och relationer. Ett diagramdatalager kan effektivt utföra frågor som passerar nätverket av objekt och relationerna mellan dem. Objekten kan till exempel vara anställda i en personaldatabas och du kanske vill underlätta frågor som "hitta alla anställda som direkt eller indirekt arbetar för Scott".
Telemetri- och tidsseriedatabaser är en samling av objekt som bara kan läggas till. Telemetridatabaser indexera effektivt data i olika kolumnlager och minnesinterna strukturer. Den här funktionen gör dem till det optimala valet för att lagra och analysera stora mängder telemetri- och tidsseriedata.
Fabric stöder olika databasmodeller, inklusive nyckelvärde, dokument, kolumnlager, graf- och telemetridatabaser. Den här flexibiliteten säkerställer skalbarhet för en mängd olika analytiska uppgifter. Information om hur du väljer rätt Fabric datalager för dina analytiska arbetsbelastningar finns i Fabric beslutsguide: välj ett datalager.
Kriterier för nyckelval
Tänk på följande kriterier för att förfina urvalsprocessen:
Behöver du serveringslagring som kan fungera som en frekvent sökväg för dina data? Om ja väljer du alternativ som är optimala för ett hastighetsbetjäningslager.
Behöver du stöd för massivt parallell bearbetning, där frågor distribueras automatiskt över flera processer eller noder? Om ja väljer du ett alternativ som stöder utskalning av frågor.
Föredrar du att använda ett relationsdatalager? Om du gör det väljer du alternativ som har en relationsdatabasmodell. Vissa icke-relationslager stöder dock SQL-syntax för frågor, och du kan använda verktyg som SQL-analysslutpunkter för att köra frågor mot icke-relationella datalager som OneLake.
Samlar du in tidsseriedata? Använder du data som enbart kan läggas till? OneLake stöder flera analysmotorer, inklusive Analysis Services, T-SQL och Apache Spark. Eventhouse passar bra för olika databearbetnings- och frågebehov i tidsserier.
Kapacitetsmatris
I följande tabeller sammanfattas de viktigaste skillnaderna i funktioner mellan dessa hanterade tjänster.
Allmänna funktioner
| Kapacitet | Lakehouse | Data Warehouse | Eventhouse | Fabric SQL-databas | Azure SQL Database | Azure Cosmos DB | Analystjänster |
|---|---|---|---|---|---|---|---|
| Primär databasmodell | Enhetlig datasjö, relationsbaserat, användarhanterat Delta Lake-format med Apache Parquet | Enhetlig datasjö, relationellt, systemhanterat Delta Lake-format med Apache Parquet | Tidsseriebaserat datalager för sekventiell tilläggning, graf, vektor | Relationell (kolumnlagerformat när du använder kolumnlagerindex) | Relationell (kolumnlagerformat när du använder kolumnlagerindex) | Dokumentarkiv, diagram, nyckel/värde-arkiv, stort kolumnarkiv | Tabellsemantiska modeller |
| Stöd för SQL-språk | Ja1 | Ja | Ja2 | Ja | Ja | Ja | Nej |
| Optimerad för snabbutleveranslager | Ja | Ja | Ja3 | Ja4 | Ja5 | Ja | Nej |
[1] T-SQL via SQL-analysslutpunkten.
[2] Kusto Query Language (KQL) har delvis stöd för T-SQL-språk.
[3] Stöder inmatning i kö och strömmande inmatning.
[4] Stöder transaktionsprecision med åtkomst med låg svarstid och realtidsuppdateringar.
[5] Genom att använda minnesoptimerade tabeller och hash- eller icke-grupperade index.
Skalbarhetsfunktioner
| Kapacitet | Lakehouse | Data Warehouse | Eventhouse | Fabric SQL-databas | Azure SQL Database | Azure Cosmos DB | Analystjänster |
|---|---|---|---|---|---|---|---|
| Redundanta regionala servrar för hög tillgänglighet | Ja1,2 | Ja1,2 | Ja | Ja | Ja | Ja | Ja |
| Stöder skalning av frågebegäran | Ja3 | Ja4 | Ja5 | Ja | Nej | Ja | Ja |
| Dynamisk skalbarhet (skala upp) | Ja3 | Ja4 | Ja5 | Ja | Ja | Ja | Ja |
| Stöder minnesintern cachelagring av data | Ja6 | Ja6 | Ja7 | Ja | Ja | Ja | Nej |
SQL-slutpunkter dirigeras via globala trafikhanterare, men den tilldelade Fabric-kapacitetsregionen bearbetar alltid datan.
[2] Lakehouse och Warehouse lagrar data i OneLake i Delta Parquet-format, som stöder frågor och replikering mellan motorer.
[3] Lakehouse stöder Spark-baserad utskalning för ostrukturerade och strukturerade data.
[4] Warehouse använder T-SQL och stöder multitable-transaktioner, autonom arbetsbelastningshantering och distribuerad frågebearbetning (DQP). DQP fungerar som en klusterhanterare och allokerar dynamiskt beräkningsresurser baserat på frågekomplexitet.
[5] Eventhouse stöder KQL- och SQL-federation för realtidsanalys över flera källor och för att skala upp beräkningsresurser om användningen av frekvent cache överskrider ~95%.
[6] Intelligent cache för Spark-jobb, minnesintern cachelagring, cachelagring av resultatuppsättningar för SQL-analysslutpunkter.
[7] Data som används ofta lagras i en het cache som omfattar lagring i minnet och SSD-lagring.
Säkerhetsfunktioner
| Kapacitet | Lakehouse | Data Warehouse | Eventhouse | Fabric SQL-databas | Azure SQL Database | Azure Cosmos DB | Analystjänster |
|---|---|---|---|---|---|---|---|
| Autentisering | Microsoft Entra ID | Microsoft Entra ID | Microsoft Entra ID | Microsoft Entra ID | SQL- eller Microsoft Entra-ID | Databasanvändare eller Microsoft Entra-ID via åtkomstkontroll (identitets- och åtkomsthantering) | Microsoft Entra ID |
| Datakryptering vid lagring | Ja | Ja | Ja | Ja | Ja1 | Ja | Ja |
| Säkerhet på radnivå | Ja | Ja | Ja | Ja | Ja | Nej | Ja |
| Stöder brandväggar | Ja2 | Ja2 | Ja3 | Ja | Ja | Ja | Ja |
| Dynamisk dataskydd | Ja4 | Ja4 | Nej | Ja | Ja | Nej | Nej |
[1] Kräver att du använder transparent datakryptering för att kryptera och dekryptera dina data i vila.
[2] Använd privata länkar och Villkorsstyrd åtkomst i Microsoft Entra för att begränsa åtkomsten till Fabric resurser.
[3] Arbetsbelastningar i Fabric Eventhouse och Real-Time Intelligence kan mata in data från säkra källor som Kafka, Azure Event Hubs och AMQP, med routning via säkra slutpunkter.
[4] Använd den på Fabric SQL-slutpunktsnivå.
Bidragsgivare
Microsoft ansvarar för den här artikeln. Följande deltagare skrev den här artikeln.
Huvudförfattare:
- Mohit Agarwal | Huvudarkitekt för molnlösning
Om du vill se linkedin-profiler som inte är offentliga loggar du in på LinkedIn.
Nästa steg
- Fabric beslutsguide: välj ett datalager
- Snabbstart: Få in data i OneLake
- Skapa ett lager i Fabric
- Skapa ett eventhouse
- Skapa en enkel databas i SQL Database
- Kom igång med Azure Databricks
- Utforska Azure arkitektur och tjänster
- Fråga efter data i Azure Cosmos DB för NoSQL
- Användningsfall för Lakehouse SQL-analysslutpunkter