Partitioneren voor Delta-tabellen

Partitionering in Hive-stijl verdeelt een Delta-tabel in fysieke submappen op basis van de waarden van een of meer partitiekolommen. Elke unieke combinatie van partitiekolomwaarden maakt een afzonderlijke map. Met deze indeling kunnen partities worden verwijderd: de engine slaat hele mappen over wanneer een query filtert op de partitiekolom.

Wanneer partitionering gebruiken

De primaire use case voor partitioneren in Delta Lake is het inschakelen van gelijktijdige schrijfbewerkingen die niet conflicteren. Delta Lake maakt gebruik van optimistisch gelijktijdigheidsbeheer en twee bewerkingen die dezelfde bestanden aanraken, kunnen conflicteren. Partitionering maakt het mogelijk voor gelijktijdige bewerkingen om niet-aaneengesloten sets bestanden te targeten door te werken op afzonderlijke partities.

Partitionering gebruiken wanneer:

• U hebt gelijktijdige schrijvers die dezelfde tabel moeten bijwerken, verwijderen of samenvoegen zonder conflicten, bijvoorbeeld meerdere pijplijnen die verschillende bedrijfseenheden of regio's tegelijk verwerken.
• De partitiekolom heeft een lage tot gemiddelde kardinaliteit (tientallen tot honderden afzonderlijke waarden, niet duizenden). Opmerking: grotere tabellen kunnen meer partities bevatten. Richt u op ten minste 1 GB aan gegevens in elke partitie.
• Partitiewaarden zijn afgestemd op uw schrijfpatronen. Elke schrijver is van nature gericht op een specifieke partitie.

Een gepartitioneerde tabel maken

CREATE TABLE sales.orders (
    order_id BIGINT,
    order_date DATE,
    region STRING,
    amount DECIMAL(10,2)
)
USING DELTA
PARTITIONED BY (region)

from delta.tables import DeltaTable

DeltaTable.create(spark) \
    .tableName("sales.orders") \
    .addColumn("order_id", "BIGINT") \
    .addColumn("order_date", "DATE") \
    .addColumn("region", "STRING") \
    .addColumn("amount", "DECIMAL(10,2)") \
    .partitionedBy("region") \
    .execute()

import io.delta.tables.DeltaTable

DeltaTable.create(spark)
    .tableName("sales.orders")
    .addColumn("order_id", "BIGINT")
    .addColumn("order_date", "DATE")
    .addColumn("region", "STRING")
    .addColumn("amount", "DECIMAL(10,2)")
    .partitionedBy("region")
    .execute()

Partitionering en gelijktijdige schrijfbewerkingen

Partitionering is het primaire mechanisme in Delta Lake om conflicten tussen gelijktijdige schrijfbewerkingen te voorkomen. Wanneer een tabel wordt gepartitioneerd, werken bewerkingen die zijn gericht op verschillende partities, op niet-aaneengesloten sets bestanden en conflicteren ze niet met elkaar.

Twee gelijktijdige MERGE INTO bewerkingen in een tabel die door elkaar region zijn gepartitioneerd, conflicteren bijvoorbeeld niet zolang elke bewerking gericht is op een andere regio, mits de partitiekolom expliciet is opgenomen in de samenvoegvoorwaarde:

-- Pipeline A: processes North America only
MERGE INTO sales.orders AS target
USING staged_orders AS source
ON target.order_id = source.order_id
    AND target.region = 'NA'
    AND source.region = 'NA'
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *

spark.sql("""
MERGE INTO sales.orders AS target
USING staged_orders AS source
ON target.order_id = source.order_id
    AND target.region = 'NA'
    AND source.region = 'NA'
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *
""")

spark.sql("""
MERGE INTO sales.orders AS target
USING staged_orders AS source
ON target.order_id = source.order_id
    AND target.region = 'NA'
    AND source.region = 'NA'
WHEN MATCHED THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *
""")

Zonder partitionering, of zonder de partitiekolom in de bewerkingsvoorwaarde op te tellen, kunnen dezelfde bewerkingen conflicteren, zelfs als ze logisch verschillende rijen wijzigen. De partitiekolom moet worden weergegeven in de samenvoegvoorwaarde zelf, niet alleen in de brongegevens. Zonder dit kan Delta Lake niet bepalen op het moment van validatie dat de twee bewerkingen niet aan elkaar gekoppelde bestandssets raakten.

Zie Gelijktijdigheidsbeheer voor een volledige handleiding voor conflicttypen en oplossingsstrategieën.

Veelvoorkomende valkuilen

• Kolommen met hoge kardinaliteitspartitie (bijvoorbeeld user_id met miljoenen waarden) maken duizenden kleine mappen en bestanden, waardoor zowel schrijf- als leesprestaties afnemen.
  • Datumkolommen moeten zorgvuldig worden gekozen. Voor veel tabellen resulteert partitioneren op een datumkolom in te veel kleine partities. Richt u op ten minste 1 GB aan gegevens in elke partitie.
• Partitiekolommen kunnen niet worden gewijzigd nadat de tabel is gemaakt zonder de hele tabel opnieuw te schrijven.
• Het probleem met kleine bestanden is gebruikelijk bij streaming of frequente toevoegbewerkingen in veel partities, omdat elke schrijfbewerking ten minste één bestand per partitie maakt.
• Partitionering en liquide clustering zijn niet compatibel in dezelfde tabel. U moet één strategie kiezen.

Partitionering en liquide clustering vergelijken

Verwante inhoud

• Gelijktijdigheidsbeheer
• Vloeistofclustering
• Z-Order
• Tabelcompressie
• Bestand overslaan
• V-orde
• Onderhoud van Delta-tabellen