Introduzione

Ogni carico di lavoro di Azure Databricks viene eseguito sulle risorse di calcolo, ma la scelta del tipo di calcolo o della configurazione errata comporta costi non necessari, prestazioni scarse o funzionalità bloccate. L'ambiente di calcolo serverless viene avviato in secondi, ma non supporta le API RDD. Il calcolo classico offre una flessibilità completa, ma richiede un sovraccarico di gestione maggiore. I magazzini SQL eccellono nelle query analitiche, mentre i cluster di lavoro ottimizzano per i flussi di lavoro automatizzati. La comprensione di queste differenze consente di trovare una corrispondenza tra il calcolo e i requisiti del carico di lavoro.

Oltre a selezionare un tipo di calcolo, le decisioni di configurazione determinano le prestazioni del carico di lavoro. I tipi di nodo determinano la capacità di elaborazione e la disponibilità della memoria. La scalabilità automatica bilancia i costi e la velocità di risposta. Le autorizzazioni di accesso controllano chi può usare le risorse di calcolo mentre le installazioni di libreria forniscono le dipendenze necessarie al codice. Ogni scelta di configurazione influisce su più dimensioni, ovvero prestazioni, costi, sicurezza e complessità operativa.

Assicurarsi la corretta configurazione del calcolo è importante in tutto il ciclo di vita dello sviluppo. Durante l'esplorazione sono necessari cicli di iterazione rapidi e un sovraccarico minimo di configurazione. Nell'ambiente di produzione, stabilità ed efficienza dei costi hanno priorità. L'accelerazione foton può raddoppiare le prestazioni delle query per i carichi di lavoro SQL. I pool di istanze riducono il tempo di avvio, ma richiedono il pagamento della capacità inattiva. Le modalità di accesso dedicato consentono la collaborazione sicura dei gruppi applicando i limiti delle autorizzazioni.

In questo modulo si apprenderà come valutare sistematicamente le opzioni di calcolo e configurare le risorse che corrispondono alle caratteristiche del carico di lavoro. Quando il calcolo serverless offre un'esperienza ottimale, come ottimizzare le impostazioni delle prestazioni per diversi scenari e procedure consigliate per la gestione dell'accesso e delle dipendenze nell'organizzazione.