Een tijdelijke tabel (geschiedenis) ontwerpen en implementeren om wijzigingen in de loop van de tijd vast te leggen
Aanbeveling
Zie het tabblad Tekst en afbeeldingen voor meer informatie.
Gegevenspijplijnen vereisen vaak het bijhouden van niet alleen de huidige waarden, maar elke wijziging die zich in de loop van de tijd voordoet. Tijdelijke tabellen bieden een mechanisme voor het automatisch vastleggen van wijzigingen op rijniveau, het inschakelen van query's in een bepaald tijdstip en het voltooien van audittrails. In tegenstelling tot langzaam veranderende dimensies die zich richten op de geschiedenis van zakelijke gegevens, leggen tijdelijke tabellen technische geschiedenis vast voor operationele tracering en foutopsporing.
Inzicht in tijdelijke tabellen versus SCD-type 2
Tijdelijke tabellen en SCD Type 2-dimensies dienen verschillende doeleinden, hoewel beide historische wijzigingen bijhouden. Als u weet wanneer u elke benadering gebruikt, kunt u geschikte oplossingen ontwerpen.
SCD Type 2 houdt wijzigingen in bedrijfsentiteiten in de loop van de tijd bij voor analytische rapportage. Wanneer een klant overstapt van Seattle naar Portland, wilt u historische verkopen toewijzen aan de locatie van de klant op het moment van elke transactie. SCD Type 2 onderhoudt zakelijke zinvolle versies met expliciete begin- en einddatums.
Tijdelijke tabellen (geschiedenis) leggen technische wijzigingen vast voor operationele behoeften. Wanneer u problemen wilt oplossen waarom gegevens onjuist zijn geladen, moet u precies zien welke waarden er bestaan op elk moment, welke bestanden zijn verwerkt en wanneer er wijzigingen zijn opgetreden. Tijdelijke tabellen bieden deze forensische mogelijkheid automatisch.
Overweeg het gebruik van tijdelijke tabellen wanneer u het volgende moet doen:
- Problemen met gegevensopname opsporen door de tabelstatus te onderzoeken op specifieke tijdstempels
- Alle wijzigingen voor nalevings- of wettelijke vereisten controleren
- Analyses of rapporten van een bepaald tijdstip reproduceren
- Operationele metagegevens bijhouden, zoals laadtijden en bronbestandsgegevens
Gegevenswijzigingsfeed inschakelen voor bijhouden op rijniveau
De wijzigingsgegevensfeed van Delta Lake legt elke wijziging op rijniveau automatisch vast. Wanneer deze functie is ingeschakeld, worden gebeurtenissen gewijzigd met metagegevens die aangeven of elke rij is ingevoegd, verwijderd of bijgewerkt. Wijzigingenfeed is standaard uitgeschakeld, dus u moet deze expliciet inschakelen voor tabellen waarvoor u deze mogelijkheid nodig hebt.
Ga als volgt te werk om wijzigingenfeed in te schakelen voor een nieuwe tabel:
CREATE TABLE bronze.sales_transactions (
transaction_id STRING,
customer_id STRING,
amount DECIMAL(10,2),
transaction_date TIMESTAMP,
source_file STRING,
load_timestamp TIMESTAMP
)
USING DELTA
TBLPROPERTIES (delta.enableChangeDataFeed = true);
Voor bestaande tabellen schakelt u de wijzigingengegevensfeed in met een ALTER TABLE statement.
ALTER TABLE bronze.sales_transactions
SET TBLPROPERTIES (delta.enableChangeDataFeed = true);
Belangrijk
Wijzigingen in de gegevensfeed worden alleen vastgelegd nadat u deze hebt ingeschakeld. Eerdere wijzigingen in een tabel worden niet vastgelegd. Schakel deze functie in voordat u productiegegevens laadt.
Geschiedenis van querytabel
Zodra wijzigingenfeed is ingeschakeld, kunt u een query uitvoeren op de wijzigingsgeschiedenis om precies te zien welke wijzigingen zijn aangebracht. De wijzigingengegevensfeed voegt drie metagegevenskolommen toe aan uw gegevens:
| Rubriek | Description |
|---|---|
_change_type |
Het type wijziging: insert, update_preimage, update_postimageof delete |
_commit_version |
De Delta-logboekversie met de wijziging |
_commit_timestamp |
De tijdstempel waarop de wijziging is doorgevoerd |
Querywijzigingen binnen een bepaald tijdsbereik:
SELECT
transaction_id,
amount,
_change_type,
_commit_version,
_commit_timestamp
FROM table_changes('bronze.sales_transactions', '2026-01-01', '2026-01-31')
WHERE _change_type IN ('insert', 'update_postimage')
ORDER BY _commit_timestamp;
Deze query helpt te identificeren wanneer specifieke records zijn gewijzigd, wat waardevol is voor het opsporen van problemen met de kwaliteit van gegevens.
Gebruik maken van tijdreizen voor momentopnames van query's
Delta Lake onderhoudt een transactielogboek waarmee query's kunnen worden uitgevoerd op gegevens die op elk moment in de geschiedenis bestaan. Deze mogelijkheid biedt ondersteuning voor foutopsporingsscenario's waarbij u de huidige gegevens moet vergelijken met een eerdere status.
Query uitvoeren op gegevens op een specifieke tijdstempel:
SELECT * FROM bronze.sales_transactions
TIMESTAMP AS OF '2026-01-15 14:30:00';
Query's uitvoeren op gegevens op een specifieke versie:
SELECT * FROM bronze.sales_transactions
VERSION AS OF 42;
Ga als volgt te werk om de volledige geschiedenis weer te geven van bewerkingen die in een tabel worden uitgevoerd:
DESCRIBE HISTORY bronze.sales_transactions;
De geschiedenisuitvoer bevat het bewerkingstype, de tijdstempel, de gebruiker en gedetailleerde metrische gegevens voor elke wijziging.
Opmerking
De beschikbaarheid van tijdreizen hangt af van de retentie-instellingen. Delta Lake bewaart standaard gegevensbestanden gedurende 7 dagen en logboekbestanden gedurende 30 dagen. Configureer delta.deletedFileRetentionDuration en delta.logRetentionDuration voor langere bewaarperioden.
Wijzigingsgeschiedenis behouden voor langetermijncontrole
Omdat Delta Lake's ingebouwde tijdreisfunctie retentielimieten heeft, moet u wijzigingsgegevens opslaan in een afzonderlijke geschiedenistabel voor langdurige auditdoeleinden. Met deze methode maakt u een permanente record van alle wijzigingen.
Gebruik Structured Streaming om continu wijzigingen vast te leggen:
(spark.readStream
.option("readChangeFeed", "true")
.option("ignoreDeletes", "false")
.table("bronze.sales_transactions")
.writeStream
.option("checkpointLocation", "/checkpoints/sales_history")
.trigger(availableNow=True)
.toTable("audit.sales_transactions_history")
)
De readChangeFeed optie geeft Spark de opdracht om de wijzigingenfeed te lezen, die wijzigingen op rijniveau retourneert, waaronder invoegingen, updates en verwijderingen. Met de ignoreDeletes optie bepaalt u of verwijderbewerkingen zijn opgenomen in de stream. Door deze instelling op false te zetten, worden verwijderde records vastgelegd in de geschiedenistabel, waardoor een volledige audit-trail van alle gegevenswijzigingen wordt geboden.
De geschiedenistabel bevat elke wijzigingsgebeurtenis met volledige metagegevens, waardoor het mogelijk wordt om tijdens de gehele levensduur van uw gegevens query's uit te voeren, niet alleen tijdens de retentieperiode.
Aanbeveling
Plan het proces voor het vastleggen van de geschiedenis in om uit te voeren na elke gegevenslading. Het gebruik van trigger(availableNow=True) verwerkt alle beschikbare wijzigingen in batchvorm, wat goed werkt met geplande workflows.
Retentie configureren voor nalevingsvereisten
Voor tijdelijke tabellen die nalevings- of wettelijke behoeften ondersteunen, configureert u bewaarinstellingen om aan uw vereisten te voldoen:
ALTER TABLE bronze.sales_transactions
SET TBLPROPERTIES (
delta.logRetentionDuration = 'interval 90 days',
delta.deletedFileRetentionDuration = 'interval 90 days'
);
Beide eigenschappen moeten samen worden ingesteld. De logRetentionDuration beheert hoe lang historiek metagegevens worden bewaard, terwijl deletedFileRetentionDuration bepaalt hoe lang verwijderde gegevensbestanden worden bewaard voordat VACUUM ze verwijdert.
Langere bewaarperioden verhogen de opslagkosten, maar bieden uitgebreide tijdreiziggerelateerde toegang en beschikbaarheid van gegevensfeeds voor wijzigingen voor controle.
Wanneer tijdelijke tabellen correct zijn geconfigureerd, kunt u elke wijziging in uw gegevens traceren door middel van transformatie, waardoor zowel operationele foutopsporing als nalevingsvereisten voor regelgeving worden ondersteund.