Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Lakeflow Connect stellt Muster und Techniken bereit, um Ihre verwalteten Aufnahmepipelines zu optimieren. Verwenden Sie diese Muster, um zu steuern, welche Daten aufgenommen werden, Pipelineupdates verwalten und erweiterte Verhaltensweisen konfigurieren.
Nicht alle Anschlüsse unterstützen die üblichen Muster in diesem Abschnitt.
| Thema | Description |
|---|---|
| Spaltenauswahl | Markieren oder ausschließen Sie bestimmte Spalten während der Aufnahme, um das Datenvolumen zu reduzieren und die Leistung zu verbessern. |
| Delta-Tabelleneigenschaften | Legen Sie Delta Lake-Tabelleneigenschaften, wie z. B. Typverbreiterung, für Zieltabellen über die Pipeline-Spezifikation fest. |
| Vollständige Aktualisierung | Erzwingen Sie das vollständige Neuladen Ihrer Daten aus dem Quellsystem. |
| Clusterbildung von Flüssigkeiten | Aktivieren Sie liquid clustering in Zieltabellen, um das Datenlayout zu optimieren und die Abfrageleistung zu verbessern. |
| Verlaufsverfolgung | Verfolgen Sie historische Änderungen in Ihren Daten mithilfe von SCD -Typ 2 (Langsam ändernde Dimension). |
| Kosten überwachen | Verwenden Sie Systemtabellen, um Pipelinekosten nachzuverfolgen und Nutzungsmuster zu überwachen. |
| Pipelines mit mehreren Zielzielen | Eingabe von Daten aus einer einzelnen Quelle in mehrere Zieltabellen oder Kataloge. |
| Pipelinewartung | Verwalten von Pipeline-Aktualisierungen, Pausen und Fehlerbehebungs-Workflows. |
| Pipeline-Tagging | Wenden Sie Pipelinetags für Ressourcenorganisation, Besitznachverfolgung und Kostenzuordnung an. |
| Zeilenfilterung | Filtert Zeilen während der Aufnahme mithilfe von SQL-ähnlichen Bedingungen. |
| Intelligentes Schließen | Erfahren Sie, wie ein getriggertes Update einer integrierten CDC-Pipeline automatisch stoppt, sobald es den Stand der Quelle eingeholt hat, wodurch die Kosten gesenkt und die Laufzeit des Updates begrenzt werden. |
| Konfigurieren der Ausführung als-Identität | Konfigurieren Sie, welche Berechtigungen einer bestimmten Identität verwendet werden, wenn die Pipeline ausgeführt wird. |
| Quelldatenlinie | Verfolgen Sie die Datenherkunft der Quelltabellen für eingelesene Daten, damit Quelltabellen in den End-to-End-Herkunftsansichten von Unity Catalog angezeigt werden. |
| Zieltabellen benennen | Benennen Sie Zieltabellen. Standardmäßig erhält eine Zieltabelle den Namen der entsprechenden Quelltabelle. Das Benennen einer Zieltabelle ist jedoch nützlich, wenn Sie dasselbe Quellobjekt zweimal im selben Schema aufnehmen. Verwaltete Connectors unterstützen keine doppelten Tabellennamen im gleichen Zielschema. Das Benennen einer Zieltabelle kann die Tabellen auch an die Benennungskonventionen Ihrer Organisation anpassen. |
| TLS-Serverzertifikatüberprüfung | Konfigurieren Sie die TLS-Zertifikatüberprüfung für Datenbankkonnektorpipelines, um die Identität des Quelldatenbankservers zu verifizieren und Person-in-the-Middle-Angriffe (PITM) zu verhindern. |