Konfigurieren von Pipelines

Konfigurieren Sie die grundlegenden Einstellungen für eine Pipeline, einschließlich Quellcode, Zielkatalog und Schema, Berechnung und Pipelinemodus, in der Arbeitsbereichsbenutzeroberfläche.

Databricks empfiehlt, neue Pipelines ohne Server zu entwickeln. Konfigurationsanweisungen für serverlose Pipelines finden Sie unter Konfigurieren einer serverlosen Pipeline.

Die Konfigurationsanweisungen auf dieser Seite verwenden Unity-Katalog. Anweisungen zum Konfigurieren von Pipelines mit legacy Hive metastore finden Sie unter Lakeflow-Pipelines mit legacy Hive metastore verwenden.

Auf dieser Seite werden Funktionen für den aktuellen Standardveröffentlichungsmodus für Pipelines erläutert. Pipelines, die vor dem 5. Februar 2025 erstellt wurden, können den Legacy-Veröffentlichungsmodus und LIVE das virtuelle Schema verwenden. Weitere Informationen finden Sie unter LIVE-Schema (Legacy).

Hinweis

Die Benutzeroberfläche verfügt über eine Option zum Anzeigen und Bearbeiten von Einstellungen in JSON. Sie können die meisten Einstellungen entweder mit der Benutzeroberfläche oder mit einer JSON-Spezifikation konfigurieren. Einige erweiterte Optionen sind nur mit der JSON-Konfiguration verfügbar.

JSON-Konfigurationsdateien sind auch bei der Bereitstellung von Pipelines in neuen Umgebungen oder bei Verwendung der CLI oder der REST-API hilfreich.

Eine vollständige Referenz zu den JSON-Konfigurationseinstellungen der Pipeline finden Sie unter Pipelinekonfigurationen.

Pipelineeinstellungen

Pipelineeinstellungen sind in zwei Kategorien unterteilt:

  • Quellcode: Die Sammlung von Dateien, die Datensätze mithilfe der Pipeline-Syntax deklarieren. Siehe "Quellcode konfigurieren".
  • Infrastruktur: Einstellungen, die die Rechenressourcen steuern, wie Updates verarbeitet werden und wo Tabellen gespeichert werden.

Die meisten Einstellungen weisen angemessene Standardwerte auf, aber zwei erfordern vor der Ausführung in der Produktion Aufmerksamkeit:

  • Zielkatalog und Schema: Um Daten außerhalb der Pipeline verfügbar zu machen, deklarieren Sie einen Zielkatalog und ein Schema. Die Daten werden standardmäßig im Unity-Katalog veröffentlicht. Siehe Festlegen des Zielkatalogs und des Schemas.
  • Datenzugriff: Das für die Ausführung verwendete Compute muss über Berechtigungen für Ihre Datenquellen und, falls angegeben, über einen Speicherort verfügen.

Konfigurieren einer neuen Pipeline

Gehen Sie wie folgt vor, um eine neue Pipeline zu konfigurieren:

  1. Klicken Sie oben auf der Randleiste auf das Plussymbol.Neu und wählen Sie dann das Pipelinesymbol aus.ETL-Pipeline.

  2. Geben Sie oben ihrer Pipeline einen eindeutigen Namen.

  3. Unter dem Namen sehen Sie den Standardkatalog und das Standardschema, das für Sie ausgewählt wurde. Ändern Sie diese, um Ihrer Pipeline unterschiedliche Standardwerte zu geben.

    Im Standardkatalog und im Standardschema werden Datasets ausgelesen oder in diese geschrieben, wenn Sie Datasets nicht mit einem Katalog oder Schema in Ihrem Code qualifizieren. Weitere Informationen finden Sie unter Datenbankobjekte in Azure Databricks .

  4. Wählen Sie Ihre bevorzugte Option zum Erstellen einer Pipeline aus:

    • Beginnen Sie mit Beispielcode in SQL , um eine neue Pipeline- und Ordnerstruktur zu erstellen, einschließlich Beispielcode in SQL.
    • Beginne mit Beispielcode in Python, um eine neue Pipeline- und Ordnerstruktur zu erstellen, einschließlich Beispielcode in Python.
    • Beginnen Sie mit einer einzigen Transformation , um eine neue Pipeline- und Ordnerstruktur zu erstellen, mit einer neuen leeren Codedatei.
    • Füge bestehende Assets hinzu, um eine Pipeline zu erstellen, die du mit bestehenden Codedateien in deinem Arbeitsbereich verknüpfen kannst.
    • Erstellen Sie ein quellgesteuertes Projekt, um eine Pipeline mit einem neuen Declarative Automation Bundles-Projekt zu erstellen oder die Pipeline zu einem bestehenden Bundle hinzuzufügen.

    Sie können sowohl SQL- als auch Python-Quellcodedateien in Ihrer ETL-Pipeline haben. Wenn Sie eine neue Pipeline erstellen und eine Sprache für den Beispielcode auswählen, gilt die Sprache nur für den Beispielcode, der standardmäßig in Ihrer Pipeline enthalten ist.

  5. Wenn Sie Ihre Auswahl treffen, werden Sie an die neu erstellte Pipeline umgeleitet.

    Die ETL-Pipeline wird mit den folgenden Standardeinstellungen erstellt:

    Diese Konfiguration wird für viele Anwendungsfälle empfohlen, einschließlich Entwicklung und Tests, und eignet sich gut für Produktionsworkloads, die nach einem Zeitplan ausgeführt werden sollen. Ausführliche Informationen zur Planung von Pipelines finden Sie unter Pipeline-Aufgabe für Aufträge.

    Sie können diese Einstellungen über die Werkzeugleiste der Pipeline anpassen.

Alternativ können Sie eine ETL-Pipeline über den Arbeitsbereichsbrowser erstellen:

  1. Klicken Sie im linken Seitenbereich auf "Arbeitsbereich ".
  2. Wählen Sie einen beliebigen Ordner aus, einschließlich Git-Ordnern.
  3. Klicken Sie in der oberen rechten Ecke auf "Erstellen ", und klicken Sie auf die ETL-Pipeline.

Sie können auch eine ETL-Pipeline auf der Seite "Aufträge und Pipelines" erstellen:

  1. Klicken Sie in Ihrem Arbeitsbereich auf das Symbol Aufträge & Pipelines in der Randleiste.
  2. Klicken Sie unter "Neu" auf "ETL-Pipeline".

Compute-Konfigurationsoptionen

Databricks empfiehlt immer die Verwendung der erweiterten automatischen Skalierung. Standardwerte für andere Computekonfigurationen funktionieren gut für viele Pipelines.

Serverlose Pipelines entfernen Konfigurationsoptionen für die Rechenleistung. Konfigurationsanweisungen für serverlose Pipelines finden Sie unter Konfigurieren einer serverlosen Pipeline.

Verwenden Sie die folgenden Einstellungen zum Anpassen von Computekonfigurationen:

  • Verwenden Sie Clustertags , um die Kosten zu überwachen, die mit Pipelines verbunden sind. Siehe Konfigurieren von Computetags.
  • Konfigurieren Sie Instanztypen , um den Typ der virtuellen Computer anzugeben, die zum Ausführen der Pipeline verwendet werden. Siehe Auswählen von Instanztypen zum Ausführen einer Pipeline.
    • Wählen Sie einen Workertyp aus, der für die in Ihrer Pipeline konfigurierten Workloads optimiert ist.
    • Sie können optional einen Treibertyp auswählen, der sich von Ihrem Arbeitstyp unterscheidet. Dies kann hilfreich sein, um die Kosten in Pipelines mit großen Arbeitertypen und einer geringen Rechnerauslastung des Treibers zu reduzieren oder eine größere Treibervariante zu wählen, um Speicherprobleme in Workloads mit vielen kleinen Arbeitern zu vermeiden.

Run-as-Benutzer festlegen

Mit der Funktion „Ausführen als Benutzer“ können Sie die Identität, die eine Pipeline zur Ausführung verwendet, sowie das Eigentum der von ihr erstellten oder aktualisierten Tabellen ändern. Dies ist in Situationen hilfreich, in denen der ursprüngliche Benutzer, der die Pipeline erstellt hat, deaktiviert wurde, z. B. wenn er das Unternehmen verlassen hat. In diesen Fällen kann die Pipeline nicht mehr funktionieren, und auf die von ihr veröffentlichten Tabellen kann für andere nicht mehr zugegriffen werden. Indem Sie die Pipeline so aktualisieren, dass sie unter einer anderen Identität ausgeführt wird, z. B. unter einem Dienstprinzipal, und die Eigentümerschaft der veröffentlichten Tabellen neu zuweisen, können Sie den Zugriff wiederherstellen und sicherstellen, dass die Pipeline weiterhin funktioniert. Das Ausführen von Pipelines als Dienstprinzipale gilt als bewährte Methode, da sie nicht an einzelne Benutzer gebunden sind, wodurch sie sicherer, stabiler und zuverlässiger für automatisierte Workloads sind.

Erforderliche Berechtigungen

Für den Nutzer, der die Änderung vornimmt:

  • CAN_MANAGE Berechtigungen auf der Pipeline
  • CAN_USE-Rolle für den Service Principal (wenn Run-as auf einen Service Principal festgelegt ist)
  • Mitgliedschaft in der Gruppe oder Erlaubnis für die Gruppe annehmen (wenn Run-as auf eine Gruppe gesetzt wird). Siehe Festlegen der Ausführungsidentität auf eine Gruppe.

Für den Run-as-Benutzer, Service-Principal oder Gruppe:

  • Zugang zum Arbeitsbereich:

    • Arbeitsbereichszugriffsberechtigung zur Tätigkeit innerhalb des Arbeitsbereichs
    • Kann verwenden-Berechtigung für Cluster-Richtlinien, die von der Pipeline verwendet werden.
    • Berechtigung zur Compute-Erstellung im Arbeitsbereich
  • Quellcode-Zugriff:

    • Leseberechtigung für alle im Pipeline-Quellcode enthaltenen Notizbücher
    • Man kann Leseberechtigungen auf Arbeitsbereichsdateien erhalten, wenn die Pipeline diese verwendet
  • Unity-Katalogberechtigungen (für Pipelines, die Unity Catalog verwenden):

    • USE CATALOG auf dem Zielkatalog
    • CREATE MATERIALIZED VIEW und USE SCHEMA auf dem Zielschema, wenn die Pipeline materialisierte Views erzeugt
    • CREATE TABLE und USE SCHEMA auf dem Zielschema, wenn die Pipeline Streaming-Tabellen erstellt
    • MODIFY Berechtigung für bestehende Tabellen, die die Pipeline aktualisiert
    • CREATE SCHEMA im Zielkatalog, wenn die Pipeline neue Schemata erstellt
  • Legacy-Hive-Metastore-Berechtigungen (für Pipelines mit Hive-Metastore):

    • SELECT sowie MODIFY Berechtigungen in Zieldatenbanken und -tabellen
  • Zusätzlicher Cloud-Speicherzugang (sofern zutreffend):

    • Berechtigungen zum Lesen von Quellspeicherorten
    • Berechtigungen zum Schreiben an Zielspeicherorte

Den ausführenden Benutzer festlegen

Sie können den run-as Benutzer in den Pipeline-Einstellungen über die Pipeline-Überwachungsseite oder im Pipeline-Editor festlegen. So wechseln Sie den Benutzer auf der Pipeline-Überwachungsseite:

  1. Klicken Sie auf Aufträge und Pipelines , um die Liste der Pipelines zu öffnen, und wählen Sie den Namen der Pipeline aus, die Sie bearbeiten möchten.
  2. Auf der Pipeline-Überwachungsseite klicken Sie auf Einstellungen.
  3. Klicken Sie in der Seitenleiste der Pipeline-Einstellungen auf Stiftsymbol Bearbeiten neben Ausführen als.
  4. Wählen Sie im Bearbeitungs-Widget eine der folgenden Optionen aus:
  5. Klicken Sie auf "Speichern ", um die Änderungen anzuwenden.

Wenn Sie den ausführenden Benutzer erfolgreich aktualisieren:

  • Die Pipeline-Identität ändert sich, um den neuen Benutzer, Service Principal oder die Gruppe für alle zukünftigen Läufe zu verwenden
  • In Unity Catalog-Pipelines wird der Besitzer von Tabellen, die von der Pipeline veröffentlicht wurden, aktualisiert, sodass er der neuen ausführenden Identität entspricht.
  • Zukünftige Pipeline-Updates verwenden die Berechtigungen und Anmeldeinformationen der neuen ausführenden Identität
  • Wie bei jeder Einstellungsänderung wird die neue Identität erst beim nächsten Pipeline-Update wirksam: Kontinuierliche Pipelines werden automatisch mit der neuen Identität neu gestartet, während ausgelöste Pipelines sie beim nächsten Lauf verwenden. Die Änderung der Ausführungsrechte kann eine laufende Aktualisierung unterbrechen. Sehen Sie sich an, wie Konfigurationsänderungen wirksam werden.

Hinweis

Wenn die Aktualisierung von "run-as" fehlschlägt, erhalten Sie eine Fehlermeldung, die den Grund für den Fehler erklärt. Häufige Probleme sind unzureichende Berechtigungen für den Service Principal.

Setze die Run-as-Identität auf eine Gruppe

Das Setzen der Ausführen als-Identität einer Pipeline auf eine Kontogruppe funktioniert genauso wie auf einen Benutzer oder einen Dienstprinzipal. Pipeline-Updates laufen mit den Berechtigungen der Gruppe, und in Unity Catalog Pipelines gehören die von der Pipeline veröffentlichten Tabellen der Gruppe. Verwenden Sie eine Gruppe, wenn Sie möchten, dass ein Team für eine automatisierte Pipeline verantwortlich ist, anstatt sie an das Konto einer einzelnen Person zu binden. So funktioniert die Pipeline auch dann weiterhin, wenn sich die Teamzusammensetzung ändert.

In Azure Databricks wird eine Rolle als Gruppe implementiert, sodass eine Pipeline, deren Ausführen als auf eine Gruppe gesetzt ist, als diese Rolle ausgeführt wird. Siehe Rollenbasierte Zugriffssteuerung (RBAC).

Das Festlegen von Ausführen als auf eine Gruppe ändert nicht, wem die Pipeline gehört. Eigentum und die Ausführen als-Identität sind getrennte Einstellungen. Um den Besitzer zu ändern, lesen Sie Den Pipeline-Besitzer ändern.

Um Ausführen als auf eine Gruppe zu konfigurieren:

  • Seien Sie Mitglied der Gruppe oder
  • Verfügen Sie über die Berechtigung Assume für die Gruppe, wenn die Gruppe für den exklusiven Zugriff verwendet wird.

Die Gruppe muss eine Kontogruppe sein, die dem Arbeitsbereich zugewiesen ist. Workspace-lokale Gruppen können nicht als ausführende Identität verwendet werden, ebenso wenig wie die breit eingebauten Gruppen admins, users, und account users.

Gewähren Sie der Gruppe alle Berechtigungen, die die Pipeline benötigt, wie unter Erforderliche Berechtigungen aufgeführt. Da Updates als Gruppe laufen, reicht es nicht aus, dir Zugriff auf den Quellcode und die Daten der Pipeline zu gewähren.

Um Ausführen als auf eine Gruppe in der Arbeitsbereich-Benutzeroberfläche zu setzen, folgen Sie den Schritten in Wie man den Ausführen als-Benutzer festlegt und suchen die Gruppe im Bearbeitungs-Widget. Gruppen erscheinen zusammen mit Benutzern und Dienstprinzipalen. Um die Änderung zu bestätigen, öffnen Sie die Seitenleiste der Pipeline-Einstellungen erneut und prüfen Sie, dass Ausführen als die Gruppe anzeigt.

Um eine Gruppe als Ausführen als-Identität mit der REST-API festzulegen, setzen Sie run_as.group_name auf den Namen der Gruppe. Um eine Pipeline zu erstellen, die als Gruppe ausgeführt wird, führen Sie Folgendes aus:

{
  "name": "sales-etl",
  "run_as": {
    "group_name": "Test Group"
  }
}

Für die vollständige Anfrage siehe Pipeline erstellen. Wenn Sie eine bestehende Pipeline-Definition aktualisieren, setzen Sie updated_run_as.group_name stattdessen.

Um eine Gruppe in einem Declarative Automation Bundles-Bundle als Ausführungsidentität festzulegen, setzen Sie group_name in der run_as-Zuordnung der Pipeline-Ressource:

resources:
  pipelines:
    sales_etl:
      name: sales-etl
      run_as:
        group_name: Test Group

Eine SET OWNER TO SQL-Anweisung kann eine Gruppe nicht als Besitzer einer materialisierten Ansicht oder Streaming-Tabelle festlegen. Nutzen Sie dafür die Arbeitsbereich-Benutzeroberfläche. Siehe Verwenden von ALTER-Anweisungen mit Pipeline-Datasets.

Jobs unterstützen dieselbe Ausführen-als-Gruppenkonfiguration. Siehe „Ausführen als“ für eine Gruppe festlegen.

Weitere Konfigurationsüberlegungen

Die folgenden Konfigurationsoptionen stehen auch für Pipelines zur Verfügung:

Legen Sie den Pipeline-Modus fest

Die Pipeline-Moduseinstellung steuert, wie eine Pipeline Daten verarbeitet:

  • Triggered ist der Standard. Die Pipeline aktualisiert alle Tabellen mit den verfügbaren Daten, wenn das Update startet und dann stoppt, sodass die Berechnung nur während der Dauer des Updates läuft. Führen Sie getriggerte Pipelines on-demand oder nach einem Zeitplan aus. Weitere Informationen finden Sie unter Pipelineaufgabe für Aufträge.
  • Continuous hält Tabellen frisch, indem neue Daten verarbeitet werden, sobald sie in den Quellen eintreffen. Dies reduziert die Verzögerung zwischen neuen Daten und aktualisierten Ergebnissen, allerdings auf Kosten eines ständig laufenden Clusters. Wählen Sie den kontinuierlichen Modus nur, wenn Sie nachweislich eine Anforderung an eine niedrige Latenz haben.

Um den Modus einzustellen, verwenden Sie die Option Pipeline-Modus in den Pipeline-Einstellungen, wenn Sie eine Pipeline erstellen oder bearbeiten. Für einen vollständigen Vergleich der beiden Modi und Hinweise zur Wahl zwischen ihnen siehe Triggered vs. continuous pipeline mode.

Wie Konfigurationsänderungen wirksam werden

Wenn du die Einstellungen einer Pipeline bearbeitest und speicherst, gilt die Änderung für das nächste Update der Pipeline. Wenn ein kontinuierlicher Job die Pipeline orchestriert, müssen Sie den Job nicht neu starten, damit die aktualisierten Einstellungen wirksam werden; der Job übernimmt sie beim nächsten Update. Der Zeitplan des Jobs bestimmt den Ausführungsmodus, nicht die Einstellung Pipeline-Modus der Pipeline. Siehe Ausführen einer kontinuierlichen Pipeline mit einem fortlaufenden Auftrag.

Wenn Sie anstelle eines kontinuierlichen Jobs die integrierte Einstellung Pipeline-Modus der Pipeline verwenden:

  • Kontinuierliche Pipelines werden automatisch mit der aktualisierten Konfiguration neu gestartet. Dadurch kann ein aktives Update unterbrochen werden.
  • Das Ändern des Typs von ausgelöst auf kontinuierlich startet automatisch ein neues Update mit den aktualisierten Einstellungen. Umgekehrt führt die Änderung des Typs von kontinuierlich zu ausgelöst zum Abbruch eines aktiven Updates.

Wählen Sie eine Produktedition

Wählen Sie die Produktedition mit den besten Features für Ihre Pipelineanforderungen aus. Die folgenden Produkt editionen sind verfügbar:

  • Core zum Ausführen von Streaming-Ingest-Workloads. Wählen Sie die Core Edition, wenn Ihre Pipeline keine erweiterten Funktionen wie Änderungsdatenerfassung (CDC) oder Expectations erfordert.
  • Pro um Streaming-Ingest- und CDC-Workloads auszuführen. Die Pro Produkt edition unterstützt alle Core Features sowie Unterstützung für Workloads, die Tabellen basierend auf Änderungen in Quelldaten aktualisieren müssen.
  • Advanced zum Ausführen von Streaming-Ingest-Workloads, CDC-Workloads und Workloads, die Erwartungen erfordern. Die Advanced-Produktversion unterstützt die Funktionen der Core- und Pro-Versionen und umfasst Datenqualitätsbeschränkungen mit Erwartungen.

Sie können die Produktedition auswählen, wenn Sie eine Pipeline erstellen oder bearbeiten. Sie können eine andere Edition für jede Pipeline wählen. Ausführliche Informationen, einschließlich einer umfassenderen Funktionsaufschlüsselung nach Edition, finden Sie auf der Produktseite der Apache Spark™ Declarative Pipelines auf Databricks.

Hinweis

Serverlose Pipelines erfordern die Advanced Edition. Classic Compute unterstützt alle Editionen.

Pipelines behalten 60 Tage der letzten Updates in der Pipeline-Benutzeroberfläche und der Pipelines-API bei.

Aktive (nicht terminale) Aktualisierungen werden immer angezeigt. Wenn ein Update älter als das Aufbewahrungsfenster ist, schließt Azure Databricks es aus Listenantworten aus, behält es aber im zugrunde liegenden Ereignisprotokoll bei.

Hinweis: Wenn Ihre Pipeline Features enthält, die von der ausgewählten Produktedition nicht unterstützt werden, z. B. Erwartungen, erhalten Sie eine Fehlermeldung, die den Grund für den Fehler erklärt. Anschließend können Sie die Pipeline bearbeiten, um die entsprechende Edition auszuwählen.

Quellcode konfigurieren

Sie können den Ressourcenbrowser im Lakeflow Pipelines Editor verwenden, um den Quellcode zu konfigurieren, der Ihre Pipeline definiert. Pipelinequellcode wird in SQL- oder Python-Skripts definiert, die in Arbeitsbereichsdateien gespeichert sind. Wenn Sie Ihre Pipeline erstellen oder bearbeiten, können Sie eine oder mehrere Dateien hinzufügen. Der Pipelinequellcode befindet sich standardmäßig im transformations Ordner im Stammordner Ihrer Pipeline.

Da Pipelines Datasetabhängigkeiten automatisch analysieren, um das Verarbeitungsdiagramm zu erstellen, können Sie Quellcoderessourcen in beliebiger Reihenfolge hinzufügen.

Weitere Informationen zur Verwendung des Lakeflow Pipelines-Editors finden Sie unter Entwickeln und Debuggen von ETL-Pipelines mit dem Lakeflow Pipelines Editor.

Verwalten externer Abhängigkeiten für Pipelines, die Python verwenden

Pipelines unterstützen die Verwendung externer Abhängigkeiten in Ihren Pipelines, z. B. Python-Pakete und -Bibliotheken. Informationen zu Optionen und Empfehlungen für die Verwendung von Abhängigkeiten finden Sie unter "Verwalten von Python-Abhängigkeiten für Pipelines".

Verwenden von Python-Modulen, die in Ihrem Azure Databricks-Arbeitsbereich gespeichert sind

Zusätzlich zur Implementierung Ihres Python-Codes in Pipelinequellcodedateien können Sie Databricks Git Folders oder Arbeitsbereichsdateien verwenden, um Ihren Code als Python-Module zu speichern. Das Speichern Ihres Codes als Python-Module ist besonders nützlich, wenn Sie allgemeine Funktionen haben, die Sie in mehreren Pipelines oder Notebooks in derselben Pipeline verwenden möchten. Informationen zum Verwenden von Python-Modulen mit Ihren Pipelines finden Sie unter Importieren von Python-Modulen aus Git-Ordnern oder Arbeitsbereichsdateien.