Overvåg ressourceudnyttelsen af Apache Spark-programmer

Grafen over eksekveringsanvendelse under fanen Ressourcer visualiserer allokeringen og udnyttelsen af Spark-eksekvering for det aktuelle Spark-program i næsten realtid under udførelsen af Spark. Grafen giver også en interaktiv oplevelse, så du kan se Spark-job og -opgaver ved at klikke på kørsel af eksekveringsmaskiner på et givet tidspunkt. I øjeblikket er det kun Spark runtime version 3.4 og nyere, der understøtter denne funktion.

Fanen Ressourcer

Klik på fanen Ressourcer for at få adgang til en graf med fire forskellige kurvediagrammer, der hver især viser en anden eksekveringsstatus: Kører, Idled, Allokeretog Maksimale forekomster.

Skærmbillede, der viser overvågningsressourceforbruget.

  • Running: Dette viser det faktiske antal kerner, der bruges af Spark-programmet til at køre Spark-job og -opgaver.

  • Idled: Dette repræsenterer antallet af kerner, der er tilgængelige, men ikke bruges, mens Spark-programmet kører.

  • Allokeret: Dette refererer til de kerner, der er allokeret under driften af Spark-programmet.

  • Maksimale antal forekomster: Dette angiver det maksimale antal kerner, der kan allokeres til Spark-programmet.

Slå farveforklaringen til eller fra for at vælge eller fravælge den tilsvarende graf i diagrammet over ressourceudnyttelse.

Skærmbillede, der viser diagrammet vælg diagrammet.

Diagrammet over ressourceudnyttelse er interaktivt. Når du holder musen over grafen over kørende eksekveringskerner, vises der en oversigt over kernerne og de tilsvarende eksekveringsoplysninger. Hvis du klikker på et punkt i den løbende executor-kernelinje, vises detaljerede oplysninger om den respektive eksekvering og det pågældende job på det specifikke tidspunkt, der vises nederst i grafen.

Skærmbillede, der viser de løbende oplysninger om allokering af eksekveringskerne.

Seddel

I nogle tilfælde kan antallet af opgaver på bestemte tidspunkter overstige eksekveringskernernes kapacitet (dvs. opgavenumre > samlede eksekveringskerner / spark.task.cpus). Dette forventes, da der kan være et tidsinterval mellem en opgave, der er markeret som kørende, og den faktiske udførelse på en eksekveringskerne. Derfor kan nogle opgaver se ud som kørende, men de kører ikke aktivt på nogen kerne.

Relateret indhold

For et overblik over Fabric Spark-overvågning, Spark-applikationsovervågning og notebook-kontekstuel overvågning kan du henvise til:

  • Last updated on