Standard-Paket-Repositories konfigurieren

Arbeitsbereichsadministratoren können private oder authentifizierte Paketrepositorys innerhalb von Arbeitsbereichen als Standardpaketrepositorys für Notizbücher, Aufträge, Lakeflow-Pipelines und Databricks-Apps konfigurieren. Python-Repositories gelten für all diese Workloads. Maven-Repositories werden für die clusterweite Installation von Bibliotheken in Databricks Runtime ab Version 18.3 verwendet, und npm-Registries gelten nur für Databricks-Apps.

Wenn ein Arbeitsbereich mit einem standardmäßigen Paket-Repository konfiguriert ist, können Benutzer im Arbeitsbereich Pakete aus internen Repositorys installieren, ohne die Werte index-url oder extra-index-url für Python oder eine Registry für npm explizit anzugeben. Wenn diese Werte im Code, in einem Notizbuch oder in der Datei einer App app.yaml angegeben werden, haben sie Vorrang vor den Standardeinstellungen des Arbeitsbereichs. Siehe Verwenden von Standardpaketrepositorys auf Arbeitsbereichsebene , wie die Rangfolge für Databricks-Apps funktioniert.

Diese Konfiguration nutzt Databricks-Geheimschlüssel, um Repository-URLs und Anmeldeinformationen sicher zu speichern und zu verwalten. Arbeitsbereichsadministratoren können die Einrichtung mithilfe der Seite "Arbeitsbereichsadministratoreinstellungen" oder mithilfe eines vordefinierten geheimen Bereichs und der Geheimen Befehle der Databricks CLI oder der REST-API konfigurieren.

Einrichten von Standardabhängigkeiten für einen Arbeitsbereich

Arbeitsbereichsadministratoren können die Standardpaketrepositorys mithilfe der Seite "Arbeitsbereichsadministratoreinstellungen" hinzufügen oder entfernen.

1. Melden Sie sich als Arbeitsbereichsadministrator beim Databricks-Arbeitsbereich an.
2. Klicken Sie in der oberen Leiste des Databricks-Arbeitsbereichs auf Ihren Benutzernamen, und wählen Sie Einstellungenaus.
3. Klicken Sie auf die Registerkarte Compute.
4. Wählen Sie neben Standardpaketrepositorys die Option Verwalten aus.
5. (Optional) Fügen Sie eine Python Index-URL, zusätzliche Index-URLs, ein benutzerdefiniertes SSL-Zertifikat oder eine npm-Registrierungskonfiguration hinzu oder entfernen Sie sie.
6. Klicken Sie zum Speichern der Änderungen auf Speichern.

Einrichten mithilfe der geheimen CLI- oder REST-API

Um Standardpaketrepositorys mithilfe der CLI- oder REST-API zu konfigurieren, erstellen Sie einen vordefinierten geheimen Bereich und konfigurieren Sie Zugriffsberechtigungen, und fügen Sie dann die geheimen Paketrepositorys hinzu.

Vordefinierter geheimer Bereichsname

Workspace-Administratoren können Standard-Pip-Index-URLs, zusätzliche Index-URLs, ein SSL-Zertifikat, Maven-Repositorien und eine npm-Konfiguration sowie Authentifizierungstokens und Geheimnisse in einem festgelegten Geheimnisbereich unter vordefinierten Schlüsseln festlegen:

• Name des geheimen Reservierungsumfangs: databricks-package-management
• Geheimer Schlüssel für die Index-URL: pip-index-url
• Geheimer Schlüssel für zusätzliche Index-URLs: pip-extra-index-urls
• Geheimer Schlüssel für SSL-Zertifizierungsinhalte: pip-cert
• Geheimer Schlüssel für Maven-Repositorys: maven-repositories (Installation von Bibliotheken im Clusterbereich unter Databricks Runtime 18.3 und höher)
• Geheimer Schlüssel für npm-Konfiguration: npm-rc (Nur Databricks-Apps)

Erstellen des geheimen Reservierungsumfangs

Ein Secret Scope kann mithilfe von Databricks CLI--Geheimbefehlen oder der -REST APIerstellt werden. Konfigurieren Sie nach dem Erstellen des geheimen Bereichs Zugriffssteuerungslisten, um allen Arbeitsbereichsbenutzern Lesezugriff zu gewähren. Dadurch wird sichergestellt, dass das Repository sicher bleibt und von einzelnen Benutzern nicht geändert werden kann. Der Secret Scope muss den vordefinierten Secret Scope Namen databricks-package-managementverwenden.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Geheimnisse für Paket-Repositories hinzufügen

Fügen Sie Details zum Paket-Repository unter Verwendung der Namen vordefinierter geheimer Schlüssel hinzu. Python-Repositories gelten für Notebooks, Jobs, Lakeflow-Pipelines und Databricks-Apps. Maven-Repositories werden für die clusterweite Installation von Bibliotheken in Databricks Runtime ab Version 18.3 verwendet, und npm-Registries gelten nur für Databricks-Apps.

Python

Fügen Sie die Python-Paket-Repositorydetails mithilfe der vordefinierten Schlüsselnamen hinzu, wobei alle drei Felder optional sind.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Maven

Für die clusterweite Installation von Bibliotheken in Databricks Runtime 18.3 und höher können Sie standardmäßige Maven-Paket-Repositories konfigurieren. Workspace-Administratoren können ein primäres Repository und bis zu fünf zusätzliche Repositorien konfigurieren, jeweils mit optionalem Benutzername, Passwort und Realm. Wenn du ein primäres Repository konfigurierst, entfernt es Maven Central aus der Resolver-Kette.

Speichere die Repository-Konfiguration als JSON-Dokument unter dem maven-repositories geheimen Schlüssel:

databricks secrets put-secret databricks-package-management maven-repositories --string-value '<maven-repositories-json>'

Übergeben Sie das JSON in einfache Anführungszeichen, damit die Shell die inneren doppelten Anführungszeichen beibehält. Der Wert <maven-repositories-json> hat folgendes Format:

{
  "primary_repository": {
    "url": "<url>",
    "username": "<username>",
    "password": "<password>",
    "realm": "<realm>"
  },
  "additional_repositories": [
    {
      "url": "<url>"
    },
    {
      "url": "<url>",
      "username": "<username>",
      "password": "<password>"
    }
  ]
}

Node.js

Für Databricks-Apps können Sie auch eine npm-Standardregistrierung konfigurieren, sodass Apps Node.js Pakete, einschließlich privater Pakete, aus der vom Arbeitsbereich konfigurierten Registrierung installieren. Speichern Sie den vollständigen .npmrc Dateiinhalt, einschließlich der Registrierungs-URL und eines beliebigen Authentifizierungstokens, unter dem npm-rc geheimen Schlüssel:

databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "npm-rc", "string_value":"registry=https://npm.example.com/\n//npm.example.com/:_authToken=<token>\n"}'

Wenn eine App im Arbeitsbereich erstellt wird, schreibt Azure Databricks diesen Inhalt in die Datei der App.npmrc. Wie die Rangfolge funktioniert und wie sie für eine bestimmte App außer Kraft gesetzt werden kann, siehe Node.js-Pakete.

Ändern oder Löschen von geheimen Paket-Repositoryschlüsseln

Verwenden Sie den put-secret Befehl, um geheime Paket-Repositoryschlüssel zu ändern. Verwenden Sie zum Löschen der Geheimnisse des Paketrepositorys delete-secret, wie unten gezeigt:

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete the Maven repositories secret
databricks secrets delete-secret databricks-package-management maven-repositories

# delete the npm configuration secret (Databricks Apps only)
databricks secrets delete-secret databricks-package-management npm-rc

# delete scope
databricks secrets delete-scope databricks-package-management