Gerir dependências usando ambientes

Na computação clássica, o modo de dependências Environments permite gerir dependências ao nível da carga de trabalho utilizando ambientes base em vez de instalar bibliotecas com âmbito da computação. Este é o mesmo modelo utilizado pela computação sem servidor.

As definições do ambiente mantêm-se isoladas das alterações ao nível dos recursos de computação, pelo que as cargas de trabalho não deixam de funcionar quando os recursos de computação subjacentes mudam. E como o Azure Databricks armazena em cache ambientes base, as dependências não se resolvem nem instalam no arranque, por isso o cálculo começa mais rápido e evita falhas na resolução de pacotes, disponibilidade de repositórios ou fiabilidade da rede.

Depois de se ligar a um recurso de computação que utiliza o modo de dependências Environments, pode selecionar um ambiente de base e adicionar dependências a partir do painel lateral Environment do bloco de notas. Consulte Utilizar ambientes num bloco de notas.

Requerimentos

A definição do modo de dependência só está disponível em computação que cumpra os seguintes requisitos:

• Databricks Runtime 19 (Beta) ou superior
• Modo de acesso padrão
• Computação multiusos executada em cadernos interativos

Para detalhes de suporte, consulte Limitações.

Definir o modo de dependência

Para criar um cálculo que utilize o modo de dependência de Ambientes :

1. Na barra lateral do espaço de trabalho, clique Computar e depois abra o separador de computação multifuncional .

2. Clique em Criar computação.

3. Em Desempenho, selecione 19 Beta ou superior no menu suspenso da versão de execução do Databricks.

4. Expanda a secção Avançada e depois clique em Dependências.

5. Para o modo Dependência, mantém Auto ativado para deixar o Azure Databricks resolver o modo, ou clica em Manual e seleciona Ambientes para o definires tu mesmo. Ver opções de modo de dependência.

   

6. Configura o resto do cálculo e depois clica em Criar.

Depois de o cálculo estar a correr, anexe um caderno e configure o seu ambiente conforme descrito em Utilizar ambientes num caderno.

Opções de modo de dependência

O controlo do modo de dependência tem duas definições que determinam como o modo é escolhido:

• Auto: O Azure Databricks resolve o modo com base na configuração de computação. É automaticamente resolvido como Ambientes, a menos que a computação especifique Docker, variáveis de ambiente do Spark ou scripts de inicialização, caso em que é resolvido como bibliotecas do cluster.
• Manual: Seleciona você mesmo Ambientes ou bibliotecas de clusters.

Ao selecionar Manual, escolha o modo que se adequa às suas necessidades:

• Ambientes: Gerir dependências ao nível da carga de trabalho usando ambientes base. Bibliotecas de cluster, Docker, variáveis de ambiente Spark e scripts de init estão desativados. Utilize este modo para uma experiência consistente e portátil na gestão de dependências, alinhada com a computação sem servidor.
• Bibliotecas de cluster: O comportamento clássico. Instale dependências no computador usando bibliotecas de cluster, scripts de init ou Docker. Usa este modo se a tua carga de trabalho exigir alguma dessas definições.

Atualizar um cálculo existente

Se estiver a editar as definições para computação existente, a mudança para o modo Ambientes é bloqueada se o computador tiver definições incompatíveis, como scripts de init, bibliotecas de cluster ou Docker. Se removeres primeiro as definições incompatíveis, podes depois editar o modo de dependência.

Ao mudar do modo Ambientes para o modo Bibliotecas do cluster, os blocos de notas anexados mantêm as suas seleções de ambiente, mas essas seleções ficam inativas. Se voltares a mudar a computação para o modo Ambientes , essas seleções voltam a estar ativas.

Usar ambientes num caderno

Para usar ambientes num caderno, associe o caderno a um recurso de computação clássico que utilize o modo de dependência de Ambientes . Depois de anexares o notebook, podes configurar as dependências do notebook no painel lateral ambienteAmbiente, da mesma forma que fazes na computação sem servidor.

Selecione um ambiente base

Um ambiente base determina as bibliotecas pré-instaladas e a versão do ambiente disponível para o seu portátil. O seletor de ambiente base no painel lateral de Ambiente é onde escolhes o teu ambiente. A Databricks recomenda usar a versão mais recente para obter as funcionalidades mais recentes do notebook. Para ver detalhes sobre cada versão do ambiente, consulte Versões do Ambiente.

O seletor de ambiente Base inclui as seguintes opções:

• Padrão: O ambiente base padrão com bibliotecas fornecidas pelo Databricks.
• ML: Um ambiente base com os pacotes de Python e sistema do Databricks Runtime for Machine Learning pré-instalados.
• Mais: Expande para mostrar opções adicionais:
  • Versões anteriores de ambientes Standard e ML.
  • Personalizado: Especifique um ambiente personalizado usando um ficheiro YAML.
• Ambientes de espaço de trabalho: Lista todos os ambientes base compatíveis configurados para o seu espaço de trabalho pelos administradores do espaço.

Adicionar dependências ao bloco de notas

O Azure Databricks armazena em cache o ambiente virtual do seu portátil, para que as dependências não se reinstalem sempre que reabre um caderno ou retoma após inatividade.

Para instalar individualmente uma dependência:

1. Na secção Dependências , introduza o caminho da dependência no campo e depois clique em +Adicionar dependência. Você pode especificar uma dependência em qualquer formato que seja válido em um arquivo requirements.txt . Ficheiros wheel do Python ou ficheiros de projeto Python (por exemplo, o diretório que contém um pyproject.toml ou um setup.py) podem ser localizados em ficheiros de armazém de trabalho ou volumes do Unity Catalog.

   • Se estiver usando um arquivo de espaço de trabalho, o caminho deve ser absoluto e começar com /Workspace/.
   • Se estiver usando um arquivo em um volume do Catálogo Unity, o caminho deverá estar no seguinte formato: /Volumes/<catalog>/<schema>/<volume>/<path>.whl.

2. Clique em Apply para instalar as dependências e reiniciar o processo Python.

Para visualizar as dependências instaladas, clique no separador Instalado no painel lateral de Ambiente . Abra os registos de instalação do pip para o ambiente do bloco de notas clicando em pip logs na parte inferior do painel.

Limitations

O modo de dependências Environments suporta cargas de trabalho do Python e dependências em notebooks interativos. Aplicam-se as seguintes limitações:

• As tarefas clássicas não usam o modo de dependência Environments. Quando um trabalho corre em computação multiusos clássica que especifica o modo Ambientes , a definição é ignorada e o trabalho é executado em modo de bibliotecas de cluster .
• %scala O código não é suportado e irá falhar.
• Todas as limitações padrão do modo de acesso aplicam-se, incluindo a ausência de suporte para R. Consulte Requisitos e limitações de computação padrão.

Definições incompatíveis

Quando o modo de dependência de Ambientes está ativado, as seguintes definições de computação são desativadas:

• Docker (Azure Databricks Container Services)
• Variáveis do ambiente Spark
• Scripts de inicialização
• Bibliotecas de cluster