Replay del lakehouse

Lakehouse Replay migliora la qualità e la stabilità delle future versioni di Databricks Runtime riproducendo automaticamente un piccolo sottoinsieme di carichi di lavoro in sola lettura del tuo workspace sulle prossime versioni del runtime prima che vengano rilasciate in produzione. Quando un carico di lavoro ha esito positivo nell'ambiente di produzione ma ha esito negativo nella versione di runtime futura, Azure Databricks identifica e corregge la regressione prima che venga fornita tale versione. In questo modo, gli aggiornamenti di runtime sono più sicuri, senza alcuna configurazione, configurazione o manutenzione necessaria.

Lakehouse Replay campiona i carichi di lavoro solo dal calcolo serverless, ma le regressioni intercettare migliorano ogni versione di Databricks Runtime, inclusa la versione classica e senza server. L'esecuzione su serverless consente di Azure Databricks eseguire questo test sul calcolo gestito, quindi il lavoro di riproduzione non viene addebitato all'utente.

Funzionamento di Lakehouse Replay

Lakehouse Replay usa l'esecuzione ombra per testare le prossime versioni del runtime:

1. I carichi di lavoro vengono eseguiti in produzione come di consueto.
2. Lakehouse Replay seleziona un piccolo subset di carichi di lavoro sicuri e di sola lettura per i test.
3. Lakehouse Replay riesegue i piani Spark dei carichi di lavoro selezionati su risorse di calcolo shadow gestite da Azure Databricks che eseguono una versione futura del runtime.
4. Se un carico di lavoro ha esito positivo nell'ambiente di produzione ma non riesce nel calcolo shadow, Databricks analizza e risolve la regressione prima di rilasciare la versione di runtime.

Il calcolo shadow viene eseguito interamente all'interno dell'area di lavoro Azure Databricks e non ha alcun impatto sui carichi di lavoro o sui processi di produzione.

Che cosa riproduce Lakehouse Replay

Quando si abilita Lakehouse Replay, Azure Databricks determina automaticamente quali carichi di lavoro sono idonei per la riproduzione.

Attualmente, Lakehouse Replay si concentra sui carichi di lavoro SQL e DataFrame di sola lettura eseguiti su calcolo serverless (warehouse SQL serverless, notebook serverless e processi serverless) e sulle operazioni di lettura sulle tabelle Delta in Unity Catalog. Il supporto per altri tipi di carico di lavoro è in espansione, quindi più carichi di lavoro verranno riprodotti automaticamente man mano che aumenta la copertura.

Per i carichi di lavoro del dataframe, Lakehouse Replay riproduce solo il piano Spark inviato al cluster di produzione. Le celle Python precedenti non vengono eseguite.

Sicurezza dei dati e privacy

Lakehouse Replay non modifica il comportamento esistente di sicurezza e privacy dei dati:

• Nessuna esportazione di dati: Lakehouse Replay confronta solo lo stato di esecuzione e le metriche di runtime per rilevare discrepanze. Non legge, esporta o archivia i risultati delle query.
• Esecuzione con le stesse autorizzazioni: i carichi di lavoro riprodotti vengono eseguiti con la stessa identità utente della query di produzione originale e rispettano le autorizzazioni del catalogo Unity al momento della riproduzione.
• Esecuzione isolata: la risorsa di calcolo shadow di Azure Databricks usata per il replay è isolata dalle risorse di calcolo di produzione e non può accedere ad API, database o altri spazi di lavoro.

Billing

Lakehouse Replay usa il calcolo serverless gestito da Databricks per eseguire la riproduzione e i clienti non vengono fatturati per i costi di calcolo correlati. I carichi di lavoro riprodotti possono comportare costi minimi per l'API di archiviazione degli oggetti, perché un carico di lavoro riprodotto legge i dati usando le stesse autorizzazioni e lo stesso percorso di archiviazione del carico di lavoro originale.

Registri di audit

L'attività Lakehouse Replay viene registrata nella tabella di sistema del log di controllo nel servizio lakehouseReplay. Vedere Gli eventi di Lakehouse Replay.

Domande frequenti

• Devo fare qualcosa per usare Lakehouse Replay?
• Lakehouse Replay influisce sui carichi di lavoro di produzione?
• Come faccio a sapere se i miei carichi di lavoro vengono rieseguiti?
• Con quale frequenza vengono riprodotti i carichi di lavoro?
• Cosa accade se un carico di lavoro riprodotto ha esito negativo?
• Quali tipi di regressioni rileva Lakehouse Replay?

Devo fare qualcosa per usare Lakehouse Replay?

No. Se abilitata nell'area di lavoro, Lakehouse Replay viene eseguito automaticamente senza installazione, configurazione o manutenzione.

Lakehouse Replay influisce sui carichi di lavoro di produzione?

No. Il calcolo shadow viene eseguito separatamente dal calcolo di produzione e non influisce sull'esecuzione di carichi di lavoro, pianificazioni dei processi o prestazioni delle query.

Come faccio a sapere se i miei carichi di lavoro vengono rieseguiti?

I carichi di lavoro riprodotti non vengono visualizzati nella cronologia di esecuzione del processo o nella cronologia delle query. L'attività Lakehouse Replay è disponibile nella tabella di sistema del log di audit.

Con quale frequenza vengono riprodotti i carichi di lavoro?

La frequenza di campionamento è probabilistica e basata sul traffico dell'area di lavoro e sul tipo di carico di lavoro. La maggior parte dei carichi di lavoro viene riprodotta entro un'ora dall'esecuzione originale.

Cosa accade se un carico di lavoro riprodotto ha esito negativo?

Se un carico di lavoro non riesce nell'ambiente di calcolo shadow ma riesce in produzione, Azure Databricks indaga sul problema. Se Azure Databricks conferma l'errore come regressione, Azure Databricks risolve il problema prima di rilasciare la versione di runtime. Azure Databricks non informa l'utente di singoli errori a meno che non richieda un contesto aggiuntivo.

Quali tipi di regressioni rileva Lakehouse Replay?

Lakehouse Replay rileva gli errori di esecuzione. Si tratta di carichi di lavoro che hanno esito positivo nell'ambiente di produzione, ma hanno esito negativo nella versione di runtime futura.