Creare un cluster Spark

È possibile creare uno o più cluster nell'area di lavoro di Azure Databricks usando l'interfaccia utente dell'area di lavoro di Azure Databricks.

Quando si crea il cluster, è possibile specificare le impostazioni di configurazione, tra cui:

• Nome del cluster.
• Modalità di accesso, che controlla il modo in cui gli utenti interagiscono con il cluster:
  • Standard: più utenti possono condividere il cluster contemporaneamente. L'isolamento tra il codice utente viene applicato automaticamente. Adatto per la progettazione collaborativa dei dati e l'analisi condivisa.
  • Dedicato: il cluster viene assegnato esclusivamente a un singolo utente o gruppo. Obbligatorio per i carichi di lavoro che usano API RDD, accelerazione GPU o supporto del linguaggio R.
• L'architettura del cluster, che determina la modalità di distribuzione del calcolo:
  • Multinodo: un nodo driver più uno o più nodi di lavoro. Consente l'elaborazione distribuita e la scalabilità orizzontale per set di dati di grandi dimensioni.
  • Nodo singolo: solo nodo driver, senza nodi di lavoro. Adatto per set di dati di piccole dimensioni, esplorazione leggera o framework di Machine Learning come scikit-learn che non vengono distribuiti tra i nodi.
• Versione del runtime di Databricks da usare nel cluster; che determina la versione di Spark e i singoli componenti, ad esempio Python, Scala e altri che vengono installati.
• Tipo di macchina virtuale (VM) usata per i nodi di lavoro nel cluster.
• Numero minimo e massimo di nodi di lavoro nel cluster.
• Tipo di macchina virtuale usata per il nodo driver nel cluster.
• Indica se il cluster supporta la scalabilità automatica per ridimensionare dinamicamente il cluster.
• Per quanto tempo il cluster può rimanere inattivo prima di essere arrestato automaticamente.

Come Azure gestisce le risorse del cluster

Quando si crea un'area di lavoro di Azure Databricks, un'appliance Databricks viene distribuita come risorsa di Azure nella sottoscrizione. Quando si crea un cluster nell'area di lavoro, si specificano i tipi e le dimensioni delle macchine virtuali da usare sia per i nodi driver che per i nodi di lavoro e altre opzioni di configurazione, ma Azure Databricks gestisce tutti gli altri aspetti del cluster.

L'appliance Databricks viene distribuita in Azure come gruppo di risorse gestite all'interno della sottoscrizione. Questo gruppo di risorse contiene le macchine virtuali driver e di lavoro per i cluster, insieme ad altre risorse necessarie, tra cui una rete virtuale, un gruppo di sicurezza e un account di archiviazione. Tutti i metadati per il cluster, ad esempio i processi pianificati, vengono archiviati in un database di Azure con replica geografica per la tolleranza di errore.

Azure Databricks è suddiviso in due piani principali: il piano di controllo, costituito da servizi back-end (ad esempio, l'interfaccia utente Web) gestiti da Microsoft e dal piano di calcolo, in cui vengono eseguiti i carichi di lavoro dei dati. Esistono due varianti di calcolo: calcolo classico, che usa la propria sottoscrizione di Azure e la rete virtuale (che offre isolamento all'interno della sottoscrizione) e calcolo serverless, che viene eseguito nell'ambiente gestito di Databricks, ma ancora nella stessa area di Azure dell'area di lavoro, con controlli di rete e sicurezza per isolare tra i clienti. Ogni area di lavoro ha un account di archiviazione nella sottoscrizione che contiene i dati di sistema (notebook, log, metadati del processo), il file system distribuito (DBFS) e gli asset di catalogo (se è abilitato Unity Catalog), con controlli aggiuntivi per la rete, il firewall e l'accesso per garantire la sicurezza e l'isolamento appropriato.