Diagnosticare i problemi di costo e prestazioni usando l'interfaccia utente di Spark

Quando una pipeline o una query dura più a lungo o costa più del previsto, la causa è spesso difficile da individuare solo dal codice. L'interfaccia di Spark mostra cosa ha effettivamente fatto il cluster: quali job sono stati eseguiti, quanto tempo ha impiegato ogni fase, quanti dati sono stati spostati e dove le attività non sono riuscite. Questa guida descrive i pattern nell'interfaccia di Spark e spiega quale pagina leggere successivamente per ciascun pattern. Se non conosci i concetti di driver, worker, executor, stage e task, esamina l'architettura Spark prima di iniziare.

Quando usare questa guida

Usa questa guida quando un carico di lavoro che gira su un cluster presenta uno di questi sintomi:

• Un lavoro, una pipeline o una query richiede più tempo del previsto o più tempo di prima.
• Un carico di lavoro costa più del previsto per la quantità di dati che elabora.
• I lavori o gli esecutori falliscono e il messaggio di errore non identifica la causa.

Uso di questa guida

Inizia con la timeline dei lavori. La timeline mostra la forma complessiva del carico di lavoro, e ogni pattern è collegato alla pagina che diagnostica quel pattern. Segui i link alla fine di ogni pagina per scorrere nella guida. Per diagnosticare un carico di lavoro lento, segui questi passaggi in ordine:

1. Usare la sequenza temporale dei processi per identificare i problemi principali
2. Esaminare la fase più lunga
3. Cercare distorsioni o sversamenti
4. Determinare se la fase più lunga è vincolata dall'I/O
5. Cercare altre cause del runtime di fase lenta

Se la timeline dei lavori mostra lavori falliti, lunghi intervalli tra i lavori o molti piccoli lavori, salta i passaggi rimanenti e segui il link nella pagina della timeline alla pagina relativa a quel pattern.

Come aprire l'interfaccia utente di Spark

1. Vai alla pagina del tuo cluster:

   

2. Fare clic su Interfaccia utente Spark:

   

Passaggio successivo

Successivamente, rivedi la timeline degli eventi per saperne di più sulla tua pipeline o sulla tua query. Consulta cronologia dei lavori.