Kosten- en prestatieproblemen vaststellen met behulp van de Spark-gebruikersinterface

Wanneer een pijplijn of query langer duurt of meer kost dan je verwacht, is de oorzaak vaak moeilijk te zien aan de code alleen. De Spark-gebruikersinterface laat zien wat de cluster daadwerkelijk deed: welke jobs werden uitgevoerd, hoe lang elke stage duurde, hoeveel data er werd verplaatst en waar tasks faalden. Deze gids beschrijft patronen in de Spark-interface en legt uit welke pagina je als volgende moet lezen voor elk patroon. Als je niet bekend bent met de concepten driver, workers, executors, stages en taken, bekijk dan de Spark-architectuur voordat je begint.

Wanneer u deze handleiding gebruikt

Gebruik deze gids wanneer een workload die op een cluster draait een van de volgende symptomen vertoont:

• Een taak, pipeline of query duurt langer dan verwacht of langer dan vroeger.
• Een werklast kost meer dan verwacht voor de hoeveelheid data die het verwerkt.
• Jobs of executors mislukken, en de foutmelding identificeert de oorzaak niet.

Deze handleiding gebruiken

Begin met de tijdlijn van de jobs. De tijdlijn toont de algemene vorm van de werklast, en elk patroon linkt naar de pagina die dat patroon diagnosticeert. Volg de links aan het einde van elke pagina om door de gids te gaan. Om een trage belasting te diagnosticeren, volgt u deze stappen in volgorde:

1. Gebruik de taken tijdlijn om belangrijke problemen te identificeren
2. Bekijk de langste fase
3. Let op vervorming of lekkage
4. Bepalen of de langste fase is gebonden aan I/O-
5. Zoek naar andere oorzaken van trage fase-looptijd

Als de jobtijdlijn mislukte jobs, lange gaten tussen jobs of veel kleine jobs laat zien, sla dan de resterende stappen over en volg de link op de tijdlijnpagina naar de pagina voor dat patroon.

De Spark-gebruikersinterface openen

1. Ga naar de pagina van uw cluster:

   

2. Klik op Spark-gebruikersinterface:

   navigeren

Volgende stap

Bekijk vervolgens de tijdlijn van het evenement om meer te weten te komen over je pipeline of query. Zie Jobs-tijdlijn .