Configurar repositórios de pacote padrão

Administradores de workspace podem configurar repositórios de pacotes privados ou autenticados dentro de workspaces como os repositórios de pacotes padrão para notebooks, jobs, pipelines do Lakeflow e Databricks Apps. Repositórios em Python se aplicam a todas essas cargas de trabalho. Os repositórios Maven se aplicam à instalação de bibliotecas em nível de cluster no Databricks Runtime 18.3 ou superior, e os repositórios npm se aplicam apenas ao Databricks Apps.

Se um workspace estiver configurado com um repositório padrão de pacotes, os usuários desse workspace poderão instalar pacotes de repositórios internos sem definir explicitamente os valores de index-url ou extra-index-url para Python, nem um registro do npm. Se esses valores forem especificados no código, em um notebook ou no arquivo de app.yaml um aplicativo, eles têm precedência sobre os padrões do workspace. Consulte Usar repositórios de pacotes padrão no nível do espaço de trabalho para entender como a precedência funciona para o Databricks Apps.

Essa configuração aproveita segredos do Databricks para armazenar e gerenciar com segurança as URLs e as credenciais do repositório. Os administradores do workspace podem configurar a configuração usando a página de configurações de administrador do workspace ou usando um escopo de segredo predefinido e os comandos de segredos da CLI do Databricks ou a API REST.

Configurar dependências padrão para um workspace

Os administradores do workspace podem adicionar ou remover os repositórios de pacote padrão usando a página de configurações de administrador do workspace.

1. Como administrador do espaço de trabalho, faça login no espaço de trabalho do Databricks.
2. Clique no seu nome de usuário na barra superior do workspace do Databricks e selecione Configurações.
3. Clique na guia Computação.
4. Ao lado de Repositórios de Pacote Padrão, clique em Gerenciar.
5. (Opcional) Adicione ou remova uma URL de índice Python, URLs de índice extras, um certificado SSL personalizado ou uma configuração de registro npm.
6. Clique em Salvar para salvar as alterações.

Configurar usando a CLI de segredos ou a API REST

Para configurar repositórios de pacote padrão usando a CLI ou a API REST, crie um escopo de segredo predefinido e configure permissões de acesso e adicione os segredos do repositório de pacotes.

Nome do escopo do segredo predefinido

Administradores do workspace podem definir URLs padrão do índice do pip, URLs adicionais de índice, um certificado SSL, repositórios do Maven e uma configuração do npm, junto com tokens e segredos de autenticação, em um escopo de segredos designado, em chaves predefinidas:

• Nome do escopo do segredo: databricks-package-management
• Chave secreta para index-url: pip-index-url
• Chave secreta para urls de índice extra: pip-extra-index-urls
• Chave secreta para conteúdo de certificação SSL: pip-cert
• Chave secreta para repositórios do Maven: maven-repositories (instalação de biblioteca com escopo de cluster no Databricks Runtime 18.3 e superior)
• Chave secreta para a configuração do npm: npm-rc (Somente Aplicativos do Databricks)

Criar um escopo de segredo

Um escopo secreto pode ser criado usando os comandos de segredos da CLI do Databricks ou a API REST . Depois de criar o escopo do segredo, configure listas de controle de acesso para conceder acesso de leitura a todos os usuários do workspace. Isso garante que o repositório permaneça seguro e não possa ser alterado por usuários individuais. O escopo de segredo deve usar o nome predefinido de escopo de segredo databricks-package-management.

databricks secrets create-scope databricks-package-management
databricks secrets put-acl databricks-package-management admins MANAGE
databricks secrets put-acl databricks-package-management users READ

Adicionar segredos do repositório de pacotes

Adicione detalhes do repositório de pacotes usando os nomes de chave secreta predefinidos. Os repositórios Python se aplicam a notebooks, trabalhos, pipelines do Lakeflow e aplicativos do Databricks. Os repositórios Maven se aplicam à instalação de bibliotecas em nível de cluster no Databricks Runtime 18.3 ou superior, e os repositórios npm se aplicam apenas ao Databricks Apps.

Python

Adicione os detalhes do repositório de pacote do Python usando os nomes de chave secreta predefinidos, com os três campos sendo opcionais.

# Add index URL.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-index-url", "string_value":"<index-url-value>"}'

# Add extra index URLs. If you have multiple extra index URLs, separate them using white space.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-extra-index-urls", "string_value":"<extra-index-url-1 extra-index-url-2>"}'

# Add cert content. If you want to pip configure a custom SSL certificate, put the cert file content here.
databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "pip-cert", "string_value":"<cert-content>"}'

Maven

Para instalação de bibliotecas com escopo de cluster no Databricks Runtime 18.3 e superiores, você pode configurar repositórios padrão de pacotes do Maven. Administradores de workspace podem configurar um repositório primário e até cinco repositórios adicionais, cada um com nome de usuário, senha e domínio opcionais. Quando você configura um repositório primário, ele remove o Maven Central da cadeia de resolver.

Armazene a configuração do repositório como um documento JSON sob a maven-repositories chave secreta:

databricks secrets put-secret databricks-package-management maven-repositories --string-value '<maven-repositories-json>'

Passe o JSON entre aspas simples para que o shell preserve as aspas duplas internas. O <maven-repositories-json> valor tem o seguinte formato:

{
  "primary_repository": {
    "url": "<url>",
    "username": "<username>",
    "password": "<password>",
    "realm": "<realm>"
  },
  "additional_repositories": [
    {
      "url": "<url>"
    },
    {
      "url": "<url>",
      "username": "<username>",
      "password": "<password>"
    }
  ]
}

Node.js

Para o Databricks Apps, você também pode configurar um registro npm padrão para que os apps instalem pacotes do Node.js, incluindo pacotes privados, a partir do registro configurado no workspace. Armazene o conteúdo completo do arquivo .npmrc, incluindo a URL do registro e qualquer token de autenticação, sob a chave secreta npm-rc:

databricks secrets put-secret --json '{"scope": "databricks-package-management", "key": "npm-rc", "string_value":"registry=https://npm.example.com/\n//npm.example.com/:_authToken=<token>\n"}'

Quando um aplicativo no espaço de trabalho é compilado, o Azure Databricks grava esse conteúdo no arquivo .npmrc do aplicativo. Para saber como funciona a precedência e como substituí-la por um aplicativo específico, consulte Node.js pacotes.

Modificar ou excluir segredos do repositório de pacotes

Para modificar os segredos do repositório de pacotes, use o put-secret comando. Para excluir segredos do repositório de pacotes, use delete-secret conforme mostrado abaixo:

# delete secret
databricks secrets delete-secret databricks-package-management pip-index-url

databricks secrets delete-secret databricks-package-management pip-extra-index-urls

databricks secrets delete-secret databricks-package-management pip-cert

# delete the Maven repositories secret
databricks secrets delete-secret databricks-package-management maven-repositories

# delete the npm configuration secret (Databricks Apps only)
databricks secrets delete-secret databricks-package-management npm-rc

# delete scope
databricks secrets delete-scope databricks-package-management