Selecionar e configurar a computação no Azure Databricks
Intermediário
Engenheiro de dados
Azure Databricks
O Azure Databricks fornece várias opções de computação otimizadas para cargas de trabalho diferentes. Este módulo explora como escolher o tipo de computação correto, definir configurações de desempenho, gerenciar permissões de acesso e instalar bibliotecas. Você aprenderá quando usar a computação sem servidor versus a computação clássica, como otimizar clusters para custo e desempenho e práticas recomendadas para proteger recursos de computação.
Objetivos de aprendizagem
Ao final deste módulo, você saberá como:
- Escolha os tipos de computação apropriados para cargas de trabalho diferentes do Azure Databricks
- Configure as definições de desempenho computacional, incluindo tipos de nós, escalonamento automático e encerramento.
- Habilitar recursos de computação como aceleração do Photon e selecionar versões apropriadas do Databricks Runtime
- Configurar permissões de acesso de computação e modos de acesso de grupo dedicados
- Instalar e gerenciar bibliotecas em recursos de computação usando vários métodos
Pré-requisitos
Os seguintes pré-requisitos devem ser concluídos:
- Compreensão básica dos conceitos do Azure Databricks
- Familiaridade com o Unity Catalog e o gerenciamento de área de trabalho
- Conhecimento de conceitos básicos do Spark e arquitetura de cluster