CI/CD mit Git-Ordnern von Databricks

Verwenden Sie Git-Ordner von Databricks in Ihren CI/CD-Flüssen, um die Arbeit in der Quellcodeverwaltung beizubehalten und in Ihre Data Engineering-Workflows zu integrieren. Eine umfassendere Übersicht über CI/CD mit Azure Databricks finden Sie unter CI/CD auf Azure Databricks.

Verwendungsflüsse

Automatisierung für Git-Ordner zentriert sich auf die anfängliche Ordnerkonfiguration und auf der Azure Databricks Repos REST-API zum Automatisieren von Git-Vorgängen aus Azure Databricks-Aufträgen. Vor dem Erstellen der Automatisierung:

• Überprüfen Sie die Git-Remoterepositorys, die Sie verwenden werden.
• Wählen Sie die richtigen Repositorys und Branches für jede Phase aus (Entwicklung, Integration, Staging, Produktion).

Es gibt drei Hauptflüsse:

• Administratorablauf: Ein Azure Databricks-Arbeitsbereichsadministrator erstellt Ordner auf oberster Ebene, um Git-Produktionsordner zu hosten. Der Administrator klont ein Repository und eine Verzweigung beim Erstellen jedes Ordners und kann sie nach Zweck benennen (z. B. "Produktion", "Test" oder "Staging"). Siehe Erstellen eines Git-Ordners für die Produktion.
• Benutzerablauf: Ein Benutzer erstellt einen Git-Ordner unter Verwendung von /Workspace/Users/<email>/ aus einem Remote-Repository, arbeitet an einem benutzerspezifischen Branch und pusht Commits an das Remote. Weitere Informationen finden Sie unter "Zusammenarbeit mithilfe von Git-Ordnern".
• Merge-Flow: Nachdem aus einem Git-Ordner gepusht wurde, öffnen Benutzer Pull-Requests (PRs). Wenn eine PR zusammengeführt wird, kann die Automatisierung die Änderungen mithilfe der Azure Databricks Repos API in die Git-Ordner der Produktion ziehen.

Zusammenarbeiten mithilfe von Git-Ordnern

Arbeiten Sie mit anderen zusammen, indem Sie Änderungen aus der Azure Databricks-Benutzeroberfläche abrufen und pushen. Ein gängiges Muster ist die Verwendung eines Feature- oder Entwicklungszweigs, um Arbeit zusammenzufassen.

So arbeiten Sie an einer Featureverzweigung zusammen:

1. Klonen Sie Ihr vorhandenes Git-Repository in Ihren Databricks-Arbeitsbereich.
2. Erstellen Sie eine Featureverzweigung aus der Hauptverzweigung in der Benutzeroberfläche von Git-Ordnern. Sie können mehrere Featurezweige bei Bedarf verwenden.
3. Bearbeiten Sie Azure Databricks-Notizbücher und andere Dateien im Repository.
4. Committen und pushen Sie Ihre Änderungen in das Remoterepository.
5. Andere Mitwirkende können das Repository in ihren eigenen Benutzerordner klonen. Sie arbeiten an einer Verzweigung, ändern Notebooks und Dateien im Git-Ordner und committen und pushen dann zum Remote.
6. Wenn Sie bereit sind, erstellen Sie eine PR auf Ihrem Git-Anbieter, überprüfen sie mit Ihrem Team und führen sie mit der Bereitstellungsverzweigung zusammen.

Auswählen eines CI/CD-Ansatzes

Databricks empfiehlt deklarative Automatisierungspakete zum Packen und Bereitstellen von CI/CD-Workflows. Wenn Sie nur Code im Arbeitsbereich bereitstellen möchten, können Sie stattdessen einen Git-Produktionsordner verwenden. Eine umfassendere CI/CD-Übersicht finden Sie unter CI/CD auf Azure Databricks.

Erstellen eines Git-Ordners für die Produktion

Produktions-Git-Ordner unterscheiden sich von Git-Ordnern auf Benutzerebene unter /Workspace/Users/. Ordner auf Benutzerebene sind lokale Auscheckvorgänge, bei denen Benutzer Änderungen entwickeln und pushen. Git-Ordner für die Produktion werden von Administratoren außerhalb von Benutzerordnern erstellt, enthalten Bereitstellungszweige und dienen als Quelle für automatisierte Workflows. Sie sollten nur dann durch Automatisierung aktualisiert werden, wenn PRs in Bereitstellungsverzweigungen zusammengeführt werden. Beschränken Sie die Git-Produktionsordner auf ausführenden Zugriff für die meisten Benutzer. Nur Administratoren und Azure Databricks-Dienstprinzipale dürfen sie bearbeiten.

So erstellen Sie einen Git-Produktionsordner:

1. Wählen Sie das Git-Repository und den Branch zur Bereitstellung aus.

2. Erstellen oder verwenden Sie einen Dienstprinzipal und konfigurieren Sie Git-Anmeldeinformationen, damit diese auf das Repository zugreifen können.

3. Erstellen Sie einen Git-Ordner in Azure Databricks für das Repository und den Branch in einem Unterordner unter Arbeitsbereich (z. B. pro Projekt, Team oder Phase).

4. Wählen Sie den Ordner aus und klicken Sie dann auf Freigeben (oder klicken Sie mit der rechten Maustaste in der Arbeitsbereichsstruktur auf "Freigeben (Berechtigungen)").

5. Zuweisen von Berechtigungsstufen:

   • Kann ausgeführt werden von Projektbenutzern, die Workflows ausführen müssen.
   • Kann ausführen für jeden Azure Databricks-Dienstprinzipal, der die Automatisierung für diesen Ordner ausführt.
   • Optional Kann anzeigen für alle Benutzer des Arbeitsbereichs, um die Ermittlung und Freigabe zu unterstützen.

   

6. Klicken Sie auf Hinzufügen.

7. Halten Sie den Produktions-Git-Ordner mit dem Remote-Branch synchron, indem Sie eine der folgenden Optionen nutzen:

   • Externe CI/CD: Verwenden Sie Tools wie GitHub Actions, um die neuesten Commits abzurufen, wenn eine PR mit der Bereitstellungsverzweigung zusammengeführt wird. Ein Beispiel finden Sie unter Ausführen eines CI/CD-Workflows, der einen Git-Ordner aktualisiert.
   • Geplanter Auftrag: Wenn externe CI/CD nicht verfügbar ist, führen Sie einen geplanten Auftrag aus, der den Git-Ordner aktualisiert. Verwenden Sie ein einfaches Notizbuch, das nach einem Zeitplan ausgeführt wird.

   from databricks.sdk import WorkspaceClient
   w = WorkspaceClient()
   w.repos.update(w.workspace.get_status(path="<git-folder-workspace-full-path>").object_id, branch="<branch-name>")
   

Weitere Informationen zum Automatisieren mit der Repos-API finden Sie in der Databricks REST-API-Dokumentation für Repos.