Selecionar e Configurar Computação no Azure Databricks
Intermédio
Engenheiro de Dados
Azure Databricks
O Azure Databricks fornece múltiplas opções de computação otimizadas para diferentes cargas de trabalho. Este módulo explora como escolher o tipo de computação correto, configurar as definições de desempenho, gerir permissões de acesso e instalar bibliotecas. Vai aprender quando usar computação serverless versus computação clássica, como otimizar clusters para custo e desempenho, e as melhores práticas para proteger os recursos de computação.
Objetivos de aprendizagem
Ao final deste módulo, você será capaz de:
- Escolha tipos de computação apropriados para diferentes cargas de trabalho Azure Databricks
- Configurar as definições de desempenho de computação, incluindo tipos de nós, dimensionamento automático e desativação
- Ative funcionalidades de computação como a aceleração Photon e selecione as versões apropriadas do Databricks Runtime.
- Configurar permissões de acesso ao cálculo e modos de acesso a grupos dedicados
- Instalar e gerir bibliotecas em recursos de computação usando vários métodos
Pré-requisitos
Devem ser cumpridos os seguintes pré-requisitos:
- Compreensão básica dos conceitos do Azure Databricks
- Familiaridade com o Unity Catalog e gestão de espaços de trabalho
- Conhecimento dos fundamentos do Spark e da arquitetura de clusters