Calcolo serverless vs. classico per pipeline

Ogni pipeline di Lakeflow Pipelines esegue gli aggiornamenti su elaborazione serverless o classica. Il tipo di calcolo è un'impostazione per pipeline che scegli nelle impostazioni della pipeline. Non è automatico: una pipeline viene eseguita su un ambiente di calcolo serverless solo quando si abilita l'impostazione Serverless e, in caso contrario, viene eseguita su un ambiente di calcolo classico. Questa pagina confronta le due opzioni così puoi scegliere quella giusta per ogni pipeline.

Databricks raccomanda il calcolo serverless per quasi tutte le pipeline. Con serverless, Azure Databricks gestisce l'infrastruttura per te. Non ci sono cluster da dimensionare, configurare, proteggere o concedere permessi, e si ottengono funzionalità che il calcolo classico non può offrire, come il refresh incrementale e l'autoscaling verticale. Con il calcolo classico, quell'infrastruttura è tua responsabilità configurare e mantenere. Il serverless supporta quasi tutto ciò che fa il computo classico. Le eccezioni sono il metastore Hive legacy e alcune configurazioni di rete. Per la maggior parte delle pipeline, scegliere il calcolo classico significa assumersi un lavoro manuale che il serverless altrimenti gestirebbe.

Importante

Il refresh incrementale per le visualizzazioni materializzate è disponibile solo su pipeline serverless. Le viste materializzate che girano sul calcolo classico sono sempre completamente ricalcolate. Se il refresh incrementale è un requisito per il tuo carico di lavoro, usa il calcolo serverless. Vedere aggiornamento incrementale per le viste materializzate.

Confronta le opzioni di calcolo

La tabella seguente confronta il calcolo serverless e quello classico tra le capacità che più spesso guidano la scelta:

Capacità Serverless Classic
Gestione dell'infrastruttura Azure Databricks gestisce tutta l'infrastruttura. Non c'è una configurazione di cluster. Devi configurare i cluster, compresi l'autoscaling, i tipi di istanza e i criteri del cluster.
Aggiornamento incrementale per le viste materializzate Supportato. Le viste materializzate vengono aggiornate gradualmente ogni volta che è efficiente in termini di costi, per ridurre i costi di calcolo. Vedere aggiornamento incrementale per le viste materializzate. Non supportato. Le viste materializzate vengono sempre completamente ricalcolate.
Autoscaling Autoscaling migliorato che scala orizzontalmente (più esecutori) e verticalmente (esecutori più grandi). Vedi Ottimizzare l'utilizzo del cluster della pipeline Lakeflow con la scalabilità automatica. Autoscaling migliorato con scalabilità orizzontale. Selezioni i tipi di istanza.
Tubazioni dei corsi d'acqua Abilitata per impostazione predefinita. I microbatch vengono eseguiti contemporaneamente per migliorare la velocità di trasmissione e la latenza. Consulta Configurare una pipeline serverless. Non disponibile.
Permesso di creazione delle risorse di calcolo Non obbligatorio. Tutti gli utenti dello spazio di lavoro possono eseguire pipeline serverless di default. Required. Gli utenti hanno bisogno di permesso illimitato per creare un cluster o di accedere a una policy di calcolo.
Politiche di calcolo e tipi di istanze Gestito da Azure Databricks. Non si impostano tipi di istanza o una policy di calcolo. Si applica manualmente una policy di calcolo e si selezionano i tipi di istanze di worker e driver.
Catalogo Unity Usa sempre Unity Catalog. Puoi usare Unity Catalog o il metastore legacy di Hive.
Attribuzione dei costi Applica tag personalizzati con una politica di utilizzo serverless. Applica tag personalizzati alla pipeline. Devi unire manualmente i dati dei tag ai dati di fatturazione.
Cluster di aggiornamento e manutenzione Gestito da Azure Databricks. Configuri separatamente i cluster di aggiornamento e manutenzione.
Calcolo a nodo singolo Non è necessario. Le dimensioni di Azure Databricks calcolano automaticamente il carico di lavoro. Configuri il calcolo su nodo singolo per carichi di lavoro ridotti o non distribuiti.

Quando utilizzare il calcolo serverless

Usa il calcolo serverless per qualsiasi pipeline che non incontri una delle limitazioni classiche riportate di seguito. In particolare, serverless è la scelta giusta quando:

  • Vuoi che Azure Databricks gestisca l'infrastruttura per te, inclusa la scalatura verticale automatica e la selezione delle istanza, invece di configurare e mantenere i cluster da solo.
  • Vuoi un refresh incrementale per le visualizzazioni materializzate per ridurre i costi di refresh.
  • Vuoi che gli utenti dello spazio di lavoro eseguino pipeline senza permessi di creazione di cluster.

Le pipeline serverless richiedono uno spazio di lavoro con Unity Catalog abilitato e una regione serverless abilitata. Per requisiti e configurazione, vedi Configura una pipeline serverless.

Quando utilizzare il calcolo classico

Il serverless supporta quasi tutti i workload di pipeline, quindi usa il calcolo tradizionale solo quando il serverless non è in grado di eseguire affatto la pipeline.

  • Le tue tabelle usano il metastore legacy Hive invece di Unity Catalog. Per migrare le tabelle del metastore Hive a Unity Catalog e abilitare il serverless, consulta Eseguire l'upgrade delle tabelle e delle viste Hive a Unity Catalog.
  • La tua pipeline richiede una rete privata che il serverless non supporta.
  • La tua pipeline viene eseguita in una regione in cui il serverless non è disponibile.

Con il calcolo classico, spetta a te configurare e gestire le policy di calcolo, i tipi di istanza, il calcolo a nodo singolo e i cluster separati per aggiornamenti e manutenzione, attività di cui il serverless si occupa al posto tuo.

Per le opzioni di installazione e configurazione, vedere Configurare il compute classico per le pipeline.

Imposta il tipo di calcolo

Scegli il tipo di calcolo nelle impostazioni di calcolo della pipeline abilitando o disabilitando l'impostazione Serverless . Le nuove pipeline usano la modalità serverless per impostazione predefinita. Puoi anche convertire una pipeline esistente configurata con Unity Catalog in serverless.

Risorse aggiuntive

  • Last updated on