Onderhoud van de Delta-tafels in het meerhuis

Voer tabelonderhoud uit op Delta-tabellen om ze in de loop van de tijd in orde te houden door kleine bestanden te comprimeren, leesoptimalisaties toe te passen en verouderde bestanden te verwijderen waarnaar niet meer wordt verwezen.

Je kunt onderhoud uitvoeren als een ad hoc operatie in het Fabric-portaal (lakehouse-tabel Onderhoudsactie) of als een gepland en georkestreerd proces met behulp van notebooks, pipelines of REST API. Fabric Data Factory-pijpleidingen bevatten een speciale Lakehouse Maintenance-activiteit (Preview) die OPTIMIZE (met optionele V-order) en VACUUM kan uitvoeren op Lakehouse Delta-tabellen als onderdeel van geplande pipeline-workflows. Dit artikel is gericht op de werkstroom van de ad-hocportal.

Zie Cross-workloadtabelonderhoud en optimalisatie voor onderhoudsrichtlijnen voor meerdere workloads, waaronder aanbevelingen voor sql-analyse-eindpunten, Power BI Direct Lake en Data Warehouse consumenten. Voor code-first onderhoudspatronen, zie Delta Lake tabeloptimalisatie en V-order en Beheer het lakehouse met Fabric REST API.

Onderhoud van de run-table vanuit het meerhuis

Tafelonderhoud in Lakehouse geldt alleen voor Delta-tafels. Verouderde Hive-tabellen die gebruikmaken van indelingen zoals Parquet, ORC, AVRO of CSV worden niet ondersteund.

Kies in het dialoogvenster Onderhoudsopdrachten uitvoeren opties op basis van uw doel.

Als algemene praktijk voert u onderhoud uit na een grote opname- of updateactiviteit, of wanneer u veel kleine bestanden en tragere leesprestaties bekijkt.

1. Vanuit je Fabric-account navigeer je naar het gewenste lakehouse.

2. In Lakehouse Explorer klikt u onder Tabellen met de rechtermuisknop op de doeltabel (of gebruikt u de ellips).

3. Selecteer de menuopdracht Onderhoud .

   

4. Kies in het dialoogvenster Onderhoudsopdrachten uitvoeren de onderhoudsopties:

   • Selecteer de optie Aan om kleine Parquet-bestanden te comprimeren in grotere bestanden voor efficiëntere leesbewerkingen.

   • Als Aan is geselecteerd, kun je ook het vakje V-order Toepassen aanvinken. Wanneer je deze optie kiest, past Fabric V-order toe (geoptimaliseerd sorteren, coderen en compressie) als onderdeel van optimaliseren.

     Notitie

     V-orde heeft ongeveer 15% invloed op de gemiddelde schrijftijden. Het kan ook maximaal 50% meer compressie bieden.

   • Selecteer de optie Aan om de Delta Lake-opdracht VACUUM uit te voeren en niet-gerefereerde bestanden te verwijderen die ouder zijn dan uw retentiedrempel. Zie Instellingen voor vacuümretentie voor retentiegedrag en veiligheidsdetails.

   • Selecteer de optie Aan om transacties samen te voegen in parquet-bestanden en de extra verwijderingsvectorbestanden te verwijderen, maak ruimte schoon en optimaliseer tabelbewerkingen.

5. Selecteer Nu uitvoeren om de onderhoudstaak van de tabel uit te voeren.

6. Taakuitvoering bijhouden op een van deze plaatsen:

   • Het deelvenster Meldingen (belpictogram in de koptekst van het Fabric-portaal) voor de directe uitvoeringsstatus.
   • Bewakingshub (selecteer Monitor in het linkernavigatievenster) voor volledige taakdetails. Zoek naar activiteiten waarvan de activiteitennaam TableMaintenance bevat voor uitvoeringen die door het portal zijn geïnitieerd. Voor het uitvoeren van onderhoud via Fabric Data Factory-pijplijnen zoekt u de uitvoering van de pijplijn in de weergave Pijplijnen van de Monitoringhub > en filtert u op de naam van de Lakehouse-onderhoudsactiviteit.

Nadat u onderhoud hebt uitgevoerd, wordt geslaagd weergegeven als een voltooide tabelonderhoudsactiviteit in Meldingen en als een geslaagde TableMaintenance vermelding in Monitoring Hub.

Zie De bewakingshub gebruiken voor meer informatie over navigatie en filters van de bewakingshub.

Instellingen voor vacuümretentie

Met de VACUUM opdracht worden bestanden verwijderd waarnaar niet meer wordt verwezen door het Delta-logboek en die ouder zijn dan uw retentiedrempel. De standaardretentiedrempel is zeven dagen.

Het gebruik van een korter bewaarinterval kan de geschiedenis van Delta-tijdreizen verminderen en kan invloed hebben op gelijktijdige lezers of schrijvers. Fabric-portal- en API-onderhoudsaanvragen mislukken standaard voor retentie-intervallen van minder dan zeven dagen.

Als u een bewaarinterval van minder dan zeven dagen moet gebruiken, stelt u spark.databricks.delta.retentionDurationCheck.enabled in op false in de Spark-eigenschappen in de Fabric-omgeving van uw workspace Spark-workloads. Zie Een omgeving maken, configureren en gebruiken in Fabric - en Spark-rekenconfiguratie-instellingen in Fabric-omgevingen voor meer informatie over het configureren en koppelen van omgevingen.

Gerelateerde inhoud

• Overzicht van Delta Lake in Fabric
• Lakehouse-onderhoudsactiviteit (preview)
• Onderhoud en optimalisatie van tabellen tussen werkbelastingen
• Delta Lake-tabeloptimalisatie en V-orde
• Beheer het lakehouse met de Fabric REST API