Introdução

Cada carga de trabalho do Azure Databricks é executada em recursos de computação, mas escolher o tipo ou configuração de computação incorreto leva a custos desnecessários, desempenho ruim ou funcionalidade bloqueada. A computação sem servidor começa em segundos, mas não dá suporte a APIs RDD. A computação clássica oferece flexibilidade completa, mas requer mais sobrecarga de gerenciamento. Os sql warehouses se destacam em consultas analíticas enquanto os clusters de trabalho otimizam para fluxos de trabalho automatizados. Entender essas diferenças ajuda a adequar o uso de computação aos requisitos de carga de trabalho.

Além de selecionar um tipo de computação, as decisões de configuração moldam o desempenho da carga de trabalho. Os tipos de nó determinam a capacidade de processamento e a disponibilidade de memória. O dimensionamento automático equilibra o custo e a capacidade de resposta. As permissões de acesso controlam quem pode usar recursos de computação enquanto as instalações da biblioteca fornecem as dependências de suas necessidades de código. Cada opção de configuração afeta várias dimensões: desempenho, custo, segurança e complexidade operacional.

Acertar a configuração de computação é importante durante todo o ciclo de vida de desenvolvimento. Durante a exploração, você precisa de ciclos de iteração rápidos e sobrecarga mínima de instalação. Na produção, a estabilidade e a eficiência de custo são priorizadas. A aceleração de fótons pode dobrar o desempenho da consulta para cargas de trabalho SQL. Pools de instância reduzem o tempo de inicialização, mas exigem o pagamento pela capacidade ociosa. Os modos de acesso dedicados permitem a colaboração segura em grupo ao impor limites de permissão.

Neste módulo, você aprenderá a avaliar as opções de computação sistematicamente e configurar recursos que correspondam às características da carga de trabalho. Você descobre quando a computação sem servidor fornece a melhor experiência, como ajustar as configurações de desempenho para diferentes cenários e as práticas recomendadas para gerenciar o acesso e as dependências em toda a sua organização.