Utforma och implementera en klustringsstrategi

Slutförd

Tips/Råd

Mer information finns på fliken Text och bilder !

Att optimera hur data är fysiskt ordnade på disk påverkar direkt frågeprestanda och lagringseffektivitet. När du utformar en klustringsstrategi för dina Delta Lake-tabeller avgör du hur frågemotorn hittar och hämtar relevanta data. Rätt metod kan avsevärt minska mängden data som genomsöks under frågor, vilket sänker både svarstiderna och beräkningskostnaderna.

Azure Databricks tillhandahåller flera kompletterande tekniker för dataorganisation. Att förstå när du ska använda likvidklustring, Z-beställning eller borttagningsvektorer hjälper dig att fatta beslut som balanserar prestanda, underhållsarbete och kompatibilitet med dina befintliga tabeller.

Förstå grunderna för data skipping

Innan man undersöker specifika klustringstekniker är det viktigt att förstå den underliggande mekanism som de alla utnyttjar: datahopp. Delta Lake samlar automatiskt in statistik för varje datafil, inklusive lägsta och högsta värden, null-antal och antal poster för varje kolumn. När du kör en fråga med filtervillkor kontrollerar frågemotorn statistiken först och hoppar över filer som eventuellt inte kan innehålla matchande poster.

Om du till exempel frågar efter försäljningsdata för januari 2026, och en viss fils statistik visar att den endast innehåller poster från mars 2026, hoppar motorn över filen helt utan att läsa dess innehåll. Den här optimeringen sker automatiskt, men dess effektivitet beror på hur väl dina data är ordnade.

Diagram som förklarar hur data hoppar över grunderna.

Datahoppningen blir kraftfull när relaterade poster lagras tillsammans i samma filer. Om poster för varje månad sprids slumpmässigt över alla filer kan motorn inte hoppa över några filer eftersom varje fil innehåller poster från varje månad. Klustringstekniker finns för att lösa exakt det här problemet.

Implementera flytande kluster för nya tabeller

Flytande klustring är den rekommenderade metoden för att organisera data i nya Delta Lake-tabeller och är även tillgänglig i offentlig förhandsversion för hanterade Apache Iceberg-tabeller i Unity Catalog (Databricks Runtime 16.4 LTS och senare). Till skillnad från traditionell partitionering kan du med flytande klustring ändra klustringsstrategin utan att skriva om befintliga data. Den här flexibiliteten är värdefull när frågemönster utvecklas eller när du är osäker på vilka kolumner som filtreras oftast.

Note

För hanterade Iceberg-tabeller i Unity Catalog tolkas en PARTITION BY-sats som dynamiska klustringsnycklar – inte traditionella Hive-partitioner. Det finns inget separat isbergsspecifikt partitionsbeteende; all layoutoptimering går igenom vätskebaserad klustring.

Om du vill aktivera flytande klustring använder du CLUSTER BY -satsen när du skapar en tabell:

CREATE TABLE sales.transactions (
    transaction_id STRING,
    customer_id STRING,
    product_category STRING,
    region STRING,
    transaction_date DATE,
    amount DECIMAL(12,2)
)
CLUSTER BY (region, transaction_date);

Du kan ange upp till fyra klustringsnycklar. Välj kolumner som visas ofta i dina frågefilter. Ordningen på klustringsnycklar spelar mindre roll än att välja rätt kolumner, eftersom flytande klustring optimeras för alla angivna nycklar samtidigt.

När du har skapat en klustrad tabell kör OPTIMIZE du kommandot för att tillämpa klustring på dina data:

OPTIMIZE sales.transactions;

Flytande klustring är inkrementell. Varje OPTIMIZE körning klustrar endast de data som behöver omorganiseras, vilket gör regelbundet underhåll effektivt. Databricks rekommenderar att du OPTIMIZE schemalägger jobb var eller varannan timme för tabeller med frekventa infogningar eller uppdateringar.

Tips/Råd

För hanterade Unity Catalog-tabeller aktiverar du förutsägande optimering för att automatisera OPTIMIZE åtgärder. Azure Databricks analyserar dina arbetsbelastningsmönster och kör underhållsåtgärder automatiskt.

Ändra klustringsnycklar när det behövs

En betydande fördel med flytande klustring jämfört med partitionering är möjligheten att ändra klustringsstrategin. Om frågemönstren ändras uppdaterar du klustringsnycklarna med en ALTER TABLE instruktion:

ALTER TABLE sales.transactions
CLUSTER BY (customer_id, transaction_date);

Efterföljande OPTIMIZE åtgärder använder den nya klustringsmetoden. Tidigare skrivna data skrivs inte om automatiskt. Om du vill tillämpa ny klustring på alla befintliga data kör du:

OPTIMIZE sales.transactions FULL;

Aktivera val av automatisk klustringsnyckel

Azure Databricks kan intelligent välja klustringsnycklar baserat på dina faktiska frågemönster. Automatisk flytande klustring analyserar arbetsbelastningshistoriken och väljer kolumner som ger den största fördelen med datahopp:

CREATE TABLE sales.orders CLUSTER BY AUTO;

Du kan aktivera automatisk klustring i befintliga tabeller:

ALTER TABLE sales.transactions CLUSTER BY AUTO;

Automatisk flytande klustring kräver att förutsägande optimering aktiveras. Azure Databricks utvärderar regelbundet om olika klustringsnycklar skulle förbättra prestanda och justerar strategin i enlighet med detta.

Migrera från Z-ordering till dynamisk klustring

Z-ordering är en gammal teknik som organiserar data för att placera relaterad information i samma filer. Även om flytande klustring rekommenderas för nya tabeller, kommer du att stöta på befintliga tabeller som använder Z-ordning och behöver förstå båda metoderna.

Z-ordning använder kommandot OPTIMIZE med en ZORDER BY sats:

OPTIMIZE sales.legacy_transactions
ZORDER BY (region, transaction_date);

Z-ordering skiljer sig från flytande klustring på flera viktiga sätt:

Aspekt Flytande klustring Z-ordning
Viktig flexibilitet Ändra nycklar utan omskrivning av data Att ändra nycklar kräver fullständig omskrivning
Skrivprestanda Klustring vid skrivning för behöriga operationer Tillämpas endast under OPTIMIZE
Samtidiga skrivningar Samtidighet på radnivå stöds Samtidighet på transaktionsnivå
Compatibility Kräver Databricks Runtime 13.3 LTS eller senare Stöds i alla körmiljöer

När du ärver en Z-ordnad tabell har du två alternativ. Fortsätt att använda Z-ordering för konsekvensens skull eller migrera till flytande klustring för ökad flexibilitet. Om du vill migrera aktiverar du först flytande klustring i den befintliga opartitionerade tabellen:

ALTER TABLE sales.legacy_transactions
CLUSTER BY (region, transaction_date);

Kör sedan en fullständig optimering för att omorganisera alla befintliga data:

OPTIMIZE sales.legacy_transactions FULL;

Viktigt!

Flytande klustring är inte kompatibelt med partitionering. För partitionerade tabeller utvärderar du om fördelarna med flytande klustring motiverar migrering till en icke-partitionerad tabellstruktur.

Hantera borttagningsvektorer för effektiva uppdateringar

Borttagningsvektorer hanterar en annan aspekt av dataorganisationen: hur Delta Lake hanterar ändrade eller borttagna poster. När du uppdaterar eller tar bort en enskild rad i en Parquet-fil måste Delta Lake som standard skriva om hela filen. För tabeller med frekventa ändringar skapar detta betydande omkostnader.

När borttagningsvektorer är aktiverade markerar Delta Lake ändrade rader som borttagna i en separat metadatafil i stället för att skriva om Parquet-filen omedelbart. Efterföljande läsningar tillämpar dessa borttagningar i farten och kombinerar den ursprungliga filen med borttagningsvektorn för att returnera korrekta resultat.

Borttagningsvektorer är aktiverade som standard för nya tabeller som skapats med Databricks Runtime 14.1 eller senare. Du kan aktivera dem explicit i befintliga tabeller:

ALTER TABLE sales.transactions
SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);

Borttagningsvektorer tillämpas fysiskt när datafilerna skrivs om under:

  • Ett OPTIMIZE kommando
  • Utlösare för automatisk komprimering
  • En REORG TABLE ... APPLY (PURGE) åtgärd

För efterlevnadsscenarier där du måste se till att borttagna data tas bort fysiskt kör du en REORG åtgärd följt av VACUUM:

REORG TABLE sales.transactions APPLY (PURGE);
VACUUM sales.transactions;

Borttagningsvektorer möjliggör också samtidighet på radnivå, vilket gör att flera samtidiga transaktioner kan ändra olika rader i samma tabell utan konflikter. Den här funktionen är särskilt värdefull för tabeller med höga uppdateringsvolymer.