Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Lakeflow Connect biedt patronen en technieken voor het optimaliseren van uw pipelines voor beheerde data-verwerking. Gebruik deze patronen om te bepalen welke gegevens worden opgenomen, pijplijnupdates beheren en geavanceerd gedrag configureren.
Niet alle connectors ondersteunen de algemene patronen in deze sectie.
| Onderwerp | Description |
|---|---|
| kolomselectie | Selecteer of sluit specifieke kolommen uit tijdens de opname om het gegevensvolume te verminderen en de prestaties te verbeteren. |
| Doorlopende modus | Voer een geïntegreerde CDC-pijplijn uit als een doorlopende stroom voor gegevensinname met lage latentie. |
| Eigenschappen van Delta-tabel | Stel Delta Lake-tabeleigenschappen, zoals typeverbreding, in op doeltabellen via de pipelinespecificatie. |
| Volledig vernieuwen | Dwing een volledige herladen van uw gegevens uit het bronsysteem af. |
| Liquid clustering | Schakel vloeistofclustering in op doeltabellen om de gegevensindeling te optimaliseren en de queryprestaties te verbeteren. |
| Geschiedenis bijhouden | Houd historische wijzigingen in uw gegevens bij met SCD-type 2 (Slowly Changing Dimension). |
| Kosten bewaken | Gebruik systeemtabellen om de kosten van pijplijnen bij te houden en gebruikspatronen te bewaken. |
| Pijplijnen met meerdere bestemmingen | Gegevens van één bron opnemen in meerdere doeltabellen of -catalogi. |
| Pijplijnonderhoud | Pijplijnupdates, onderbrekingen en probleemoplossingswerkstromen beheren. |
| Pijplijnmarkering | Pas pijplijntags toe voor de resourceorganisatie, het bijhouden van eigendom en het toewijzen van kosten. |
| Rijfiltering | Filter rijen tijdens opname met behulp van SQL-achtige voorwaarden. |
| Slimme sluiting | Begrijp hoe een geactiveerde geïntegreerde CDC-pijplijn automatisch stopt nadat deze is bijgewerkt tot op het niveau van de bron, waardoor de kosten dalen en de duur van de update begrensd blijft. |
| De identiteit Uitvoeren als configureren | Configureer welke machtigingen van de identiteit worden gebruikt wanneer de pijplijn wordt uitgevoerd. |
| Herkomst van brongegevens | Houd de herkomst van brontabellen bij voor geïngesteerde gegevens, zodat brontabellen zichtbaar zijn in end-to-end-lineageweergaven van Unity Catalog. |
| Naam van doeltabellen | Geef de doeltabellen een naam. Standaard krijgt een doeltabel de naam van de bijbehorende brontabel. Het benoemen van een doeltabel is echter handig wanneer u hetzelfde bronobject tweemaal in hetzelfde schema opneemt. Beheerde connectors bieden geen ondersteuning voor dubbele tabelnamen in hetzelfde doelschema. Als u een doeltabel een naam geeft, kunt u ook tabellen uitlijnen op de naamconventies van uw organisatie. |
| Validatie van TLS-servercertificaat | Configureer TLS-certificaatvalidatie voor databaseconnectorpijplijnen om de identiteit van de brondatabaseserver te verifiëren en persoon-in-the-middle-aanvallen (PITM) te voorkomen. |