Impostazioni di amministrazione dell'area di lavoro Ingegneria dei dati in Microsoft Fabric

Si applica a:✅ Ingegneria dei dati e data science di Fabric

Quando crei uno spazio di lavoro in Fabric, viene creato automaticamente un pool di starter associato a quell'area di lavoro. Con la configurazione semplificata di Fabric, non è necessario scegliere la dimensione dei nodi o delle macchine, poiché queste opzioni sono gestite per te dietro le quinte. Questa configurazione offre un'esperienza di avvio della sessione apache Spark più veloce (da 5 a 10 secondi) per consentire agli utenti di iniziare ed eseguire i processi Apache Spark in molti scenari comuni senza doversi preoccupare della configurazione del calcolo. Per scenari avanzati con requisiti di calcolo specifici, gli utenti possono creare un pool di Apache Spark personalizzato e ridimensionare i nodi in base alle esigenze di prestazioni.

Per apportare modifiche alle impostazioni di Apache Spark in un'area di lavoro, è necessario avere il ruolo di amministratore di tale area di lavoro. Per altre informazioni, vedere Ruoli nelle aree di lavoro.

Per gestire le impostazioni di Spark per il pool associato all'area di lavoro:

1. Passare alle Impostazioni dell'area di lavoro nell'area di lavoro e scegliere l'opzione Ingegneria dei dati/Data Science per espandere il menu:

   

2. L'opzione Calcolo Spark viene visualizzata nel menu a sinistra:

   

   Nota

   Se si modifica il pool predefinito da Pool di avvio a un pool di Spark personalizzato, l'avvio della sessione potrebbe risultare più lungo (~3 minuti).

Piscina

Pool predefinito per l'area di lavoro

È possibile usare il pool di avvio creato automaticamente o creare pool personalizzati per l'area di lavoro.

• Pool di avvio: pool live pre-idratati creati automaticamente per un'esperienza più veloce. Questi cluster sono di medie dimensioni. Il pool di avvio è impostato su una configurazione predefinita in base allo SKU di capacità Fabric acquistata. Gli amministratori possono personalizzare il numero massimo di nodi ed executor in base ai requisiti di scalabilità del carico di lavoro Spark. Per ulteriori informazioni, vedere Configurare i pool di avvio

• Pool di Spark personalizzato: è possibile ridimensionare i nodi, eseguire la scalabilità automatica e allocare dinamicamente gli executor in base ai requisiti del processo Spark. Per creare un pool di Spark personalizzato, l'amministratore della capacità deve abilitare l'opzione Pool di aree di lavoro personalizzati nella sezione Calcolo Spark delle impostazioni di Amministrazione della capacità.

Gli amministratori possono creare pool di Spark personalizzati in base ai requisiti di calcolo selezionando l'opzione Nuovo pool.

Apache Spark for Fabric supporta cluster a nodo singolo, il che permette agli utenti di selezionare una configurazione minima di nodo 1, nel qual caso driver ed executor girano in un unico nodo. Questi cluster a nodo singolo offrono disponibilità elevata ripristinabile durante gli errori dei nodi e una migliore affidabilità dei processi per i carichi di lavoro con requisiti di calcolo più piccoli. È anche possibile abilitare o disabilitare l'opzione di scalabilità automatica per i pool di Spark personalizzati. Se la scalabilità automatica è abilitata, il pool acquisisce nuovi nodi entro il limite massimo specificato dall'utente e li ritira dopo l'esecuzione del processo per ottenere prestazioni migliori.

È inoltre possibile selezionare l'opzione di allocazione dinamica degli executor per raggruppare automaticamente il numero ottimale di executor entro il limite massimo specificato in base al volume di dati e ottenere così prestazioni migliori.

Altre informazioni sul calcolo di Apache Spark per Fabric.

• Personalizzare la configurazione di calcolo per gli elementi: in qualità di amministratore dell'area di lavoro, è possibile consentire agli utenti di modificare le configurazioni di calcolo (proprietà a livello di sessione che includono Driver/Executor Core, Driver/Executor Memory) per i singoli elementi, ad esempio notebook, definizioni di processi Spark tramite l'Ambiente.

Se l'impostazione è disattivata dall'amministratore dell'area di lavoro, il pool predefinito e le relative configurazioni di calcolo vengono usate per tutti gli ambienti nell'area di lavoro.

Ambiente

L'ambiente offre configurazioni flessibili per l'esecuzione dei processi Spark (notebook, definizioni di processi Spark). In un Ambiente è possibile configurare le proprietà di calcolo, selezionare diversi runtime e impostare le dipendenze dei pacchetti di librerie in base ai requisiti del carico di lavoro.

Nella scheda Ambiente è possibile impostare l'ambiente predefinito. È possibile scegliere la versione di Spark da usare per l'area di lavoro.

In qualità di amministratore dell'area di lavoro Fabric, è possibile selezionare un Ambiente come Ambiente predefinito dell'area di lavoro.

È anche possibile crearne uno nuovo tramite l'elenco a discesa Ambiente.

Se si disabilita l'opzione per avere un ambiente predefinito, è possibile selezionare la versione del runtime di Fabric dalle versioni di runtime disponibili indicate nell'elenco a discesa.

Ulteriori informazioni sui runtime di Apache Spark.

Lavori

Le impostazioni dei processi consentono agli amministratori di controllare la logica di ammissione dei processi per tutti i processi Spark nell'area di lavoro.

Per impostazione predefinita, tutte le aree di lavoro sono abilitate con l'opzione di Optimistic Job Admission. Scopri di più sull'ammissione al lavoro per Spark in Fabric.

È possibile abilitare Riserva core massimi per i lavori Spark attivi, disattivando l'approccio basato sull'ammissione di lavori in modo ottimistico e riservando i core massimi per i loro lavori Spark.

È anche possibile impostare il timeout della sessione Spark per personalizzare la scadenza della sessione per tutte le sessioni interattive del notebook.

Durata massima del lavoro stabilita

Usa l'impostazione Set max lifetime del lavoro come barriera di sicurezza per impedire ai job Spark fuori controllo dal consumare calcoli oltre un limite di tempo definito. Quando attivi questa impostazione e specifichi una durata, Fabric termina automaticamente qualsiasi lavoro Spark idoneo che giri oltre la durata configurata. Gli amministratori dello spazio di lavoro possono usare questo controllo per:

• Ferma i lavori fuori controllo o bloccati prima che mantengano la capacità a tempo indeterminato e blocca altri carichi di lavoro nello spazio di lavoro.
• Applicare politiche di conformità e governance di calcolo limitando la durata per cui un singolo lavoro può funzionare.

Per configurarlo, attiva Imposta la vita massima del lavoro, inserisci un valore, seleziona un'unità di tempo come le ore, e poi seleziona Salva per applicare il limite allo spazio di lavoro.

Quali lavori sono interessati

La durata massima del lavoro si applica solo ai lavori inviati dall'utente - lavori che un utente avvia esplicitamente e che funzionano con l'identità dell'utente. Questi lavori includono, ad esempio:

• Esecuzioni interattive e programmate di notebook, incluse esecuzioni di notebook orchestrate tramite una pipeline.
• La definizione del lavoro di Spark viene eseguita, sia che tu li invii direttamente, su un calendario o tramite una pipeline.
• Sessioni di batch e interattive di Livio, incluse sessioni ad alta concorrenza.

I lavori gestiti dal sistema non sono influenzati da questa impostazione e continuano ad essere eseguiti fino al completamento. Questi lavori sono attivati e gestiti da Fabric per tuo conto, ad esempio:

• Operazioni di manutenzione dei tavoli a casa del lago, come ottimizzare e aspirare.
• La vista sul lago materializzata si rinnova.
• Operazioni della piattaforma, come la sicurezza e l'applicazione delle politiche.

Questa distinzione garantisce che la manutenzione in background e le operazioni della piattaforma che mantengono sani i dati e lo spazio di lavoro non vengano interrotte, mentre i carichi di lavoro degli utenti restano soggetti a una barriera di sicurezza.

Concorrenza elevata

La modalità di concorrenza elevata consente agli utenti di condividere le stesse sessioni Spark in Apache Spark per carichi di lavoro di ingegneria dei dati e data science di Fabric. Un elemento come un notebook usa una sessione Spark per l'esecuzione e, se la modalità è abilitata, consente agli utenti di condividere una singola sessione Spark su più notebook.

Altre informazioni sulla concorrenza elevata in Apache Spark per Fabric.

Registrazione automatica per modelli e esperimenti di Machine Learning

Gli amministratori possono ora abilitare la registrazione automatica per i modelli e gli esperimenti di Machine Learning. Questa opzione acquisisce automaticamente i valori dei parametri di input, delle metriche di output e degli elementi di output di un modello di Machine Learning durante il training. Altre informazioni sulla registrazione automatica.

Contenuto correlato

• Informazioni sui runtime di Apache Spark in Fabric: panoramica, controllo delle versioni, supporto di più runtime e aggiornamento del protocollo Delta Lake.
• Per ulteriori informazioni, consultare la documentazione pubblica di Apache Spark.
• Risposte alle domande frequenti: Domande frequenti sulle impostazioni di amministrazione dell'area di lavoro Apache Spark.