Configurer les référentiels de package par défaut

Les administrateurs d’espace de travail peuvent configurer des référentiels de package privés ou authentifiés dans des espaces de travail en tant que référentiels de package par défaut pour les notebooks, les travaux, les pipelines Lakeflow et Databricks Apps. Les dépôts Python s’appliquent à toutes ces charges de travail. Les dépôts Maven s’appliquent à l’installation de bibliothèques à portée de cluster sur Databricks Runtime 18.3 et versions ultérieures, et les registres npm ne s’appliquent qu’aux applications Databricks.

Si un espace de travail est configuré avec un référentiel de packages par défaut, les utilisateurs de cet espace de travail peuvent installer des packages à partir de référentiels internes sans définir explicitement les valeurs index-url ou extra-index-url pour Python, ni un registre npm. Si ces valeurs sont spécifiées dans le code, dans un bloc-notes ou dans le fichier d’une app.yaml application, elles sont prioritaires sur les valeurs par défaut de l’espace de travail. Consultez Utiliser les référentiels de package par défaut au niveau de l’espace de travail pour connaître le fonctionnement de la priorité pour Databricks Apps.

Cette configuration utilise les secrets Databricks pour stocker et gérer en toute sécurité les URLs et les identifiants du référentiel. Les administrateurs d’espace de travail peuvent configurer la configuration à l’aide de la page des paramètres d’administration de l’espace de travail ou à l’aide d’une étendue secrète prédéfinie et des commandes de secrets CLI Databricks ou de l’API REST.

Configurer les dépendances par défaut pour un espace de travail

Les administrateurs d’espace de travail peuvent ajouter ou supprimer les référentiels de package par défaut à l’aide de la page des paramètres d’administration de l’espace de travail.

1. En tant qu’administrateur d’espace de travail, connectez-vous à l’espace de travail Databricks.
2. Cliquez sur votre nom d’utilisateur dans la barre supérieure de l’espace de travail Databricks, puis sélectionnez Paramètres.
3. Cliquez sur l’onglet Calcul.
4. À côté de Dépôts de paquets par défaut, cliquez sur Gérer.
5. (Facultatif) Ajoutez ou supprimez une URL d’index Python, des URL d’index supplémentaires, un certificat SSL personnalisé ou une configuration de registre npm.
6. Cliquez sur Enregistrer pour enregistrer les modifications.

Configurer à l’aide de l’interface CLI secrète ou de l’API REST

Pour configurer les référentiels de package par défaut à l’aide de l’interface CLI ou de l’API REST, créez une étendue de secret prédéfinie et configurez les autorisations d’accès, puis ajoutez les secrets du référentiel de package.

Nom de l’étendue du secret prédéfini

Les administrateurs de l’espace de travail peuvent définir des URL d’index de pip par défaut, des URL d’index supplémentaires, un certificat SSL, des dépôts Maven et une configuration npm, ainsi que des jetons et secrets d’authentification, dans un champ de contrôle secret désigné sous des clés prédéfinies :

• Nom de l’étendue de secrets : databricks-package-management
• Clé secrète pour index-URL : pip-index-url
• Clé secrète pour les URL extra-index : pip-extra-index-urls
• Clé secrète pour le contenu de certification SSL : pip-cert
• Clé secrète pour les dépôts Maven : maven-repositories (installation de bibliothèques au niveau du cluster sur Databricks Runtime 18.3 et versions ultérieures)
• Clé secrète pour la configuration npm : npm-rc (Databricks Apps uniquement)

Créer l’étendue du secret

Une zone secrète peut être créée à l'aide de la CLI Databricks commandes secrets ou de l'API REST . Après avoir créé l’étendue du secret, configurez les listes de contrôle d’accès pour accorder à tous les utilisateurs de l’espace de travail un accès en lecture. Cela garantit que le référentiel reste sécurisé et ne peut pas être modifié par des utilisateurs individuels. L’étendue du secret doit utiliser le nom d’étendue du secret prédéfini databricks-package-management.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Ajouter des secrets du dépôt de paquets

Ajoutez les détails du référentiel de packages à l’aide des noms de clés secrètes prédéfinis. Les référentiels Python s’appliquent aux notebooks, aux travaux,aux pipelines Lakeflow et aux applications Databricks. Les dépôts Maven s’appliquent à l’installation de bibliothèques à portée de cluster sur Databricks Runtime 18.3 et versions ultérieures, et les registres npm ne s’appliquent qu’aux applications Databricks.

Python

Ajoutez les détails du référentiel de package Python à l’aide des noms de clés secrètes prédéfinis, avec les trois champs facultatifs.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Maven

Pour l’installation de bibliothèques au niveau du cluster sur Databricks Runtime 18.3 et versions supérieures, vous pouvez configurer des dépôts de paquets Maven par défaut. Les administrateurs d’espace de travail peuvent configurer un dépôt principal et jusqu’à cinq dépôts supplémentaires, chacun avec un nom d’utilisateur, un mot de passe et un royaume optionnels. Lorsque vous configurez un dépôt principal, cela retire Maven Central de la chaîne de résolveurs.

Stockez la configuration du dépôt sous forme de document JSON sous la maven-repositories clé secrète :

databricks secrets put-secret databricks-package-management maven-repositories --string-value '<maven-repositories-json>'

Transmettez le JSON entre guillemets simples afin que l’interpréteur de commandes conserve les guillemets intérieurs. La <maven-repositories-json> valeur suit le format suivant :

{
  "primary_repository": {
    "url": "<url>",
    "username": "<username>",
    "password": "<password>",
    "realm": "<realm>"
  },
  "additional_repositories": [
    {
      "url": "<url>"
    },
    {
      "url": "<url>",
      "username": "<username>",
      "password": "<password>"
    }
  ]
}

Node.js

Pour Databricks Apps, vous pouvez également configurer un registre npm par défaut afin que les applications installent des packages Node.js, y compris des packages privés, à partir du registre configuré par l’espace de travail. Stockez le contenu complet .npmrc du fichier, y compris l’URL du Registre et tout jeton d’authentification, sous la npm-rc clé secrète :

databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "npm-rc", "string_value":"registry=https://npm.example.com/\n//npm.example.com/:_authToken=<token>\n"}'

Lorsqu'une application dans l'espace de travail est générée, Azure Databricks écrit ce contenu dans le fichier de .npmrc l'application. Pour savoir comment la priorité fonctionne et comment la remplacer pour une application spécifique, consultez Node.js packages.

Modifier ou supprimer des secrets de dépôt de paquets

Pour modifier les secrets du référentiel de packages, utilisez la put-secret commande. Pour supprimer les secrets du référentiel de packages, utilisez delete-secret comme indiqué ci-dessous :

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete the Maven repositories secret
databricks secrets delete-secret databricks-package-management maven-repositories

# delete the npm configuration secret (Databricks Apps only)
databricks secrets delete-secret databricks-package-management npm-rc

# delete scope
databricks secrets delete-scope databricks-package-management