Pijplijnen bewaken in de gebruikersinterface

Bewaak Lakeflow-pijplijnen in de Azure Databricks gebruikersinterface om de voortgang van de update bij te houden, een waarschuwing te ontvangen over pijplijn gebeurtenissen en metrische gegevens van streamingbronnen weer te geven. Deze ingebouwde functies ondersteunen taken zoals:

• De voortgang en status van pijplijnupdates observeren. Zie De details van de pijplijn die beschikbaar zijn op de bewakingspagina.
• Waarschuwingen over pijplijnevenementen, zoals het slagen of mislukken van pijplijnupdates. Zie E-mailmeldingen toevoegen voor pijplijn gebeurtenissen.
• Metrische gegevens weergeven voor streamingbronnen zoals Apache Kafka en Automatisch laden (openbare preview). Zie Bekijk streaming-statistieken.

e-mailmeldingen toevoegen voor pijplijn gebeurtenissen

U kunt een of meer e-mailadressen configureren om meldingen te ontvangen wanneer het volgende gebeurt:

• Een pijplijnupdate is voltooid.
• Een pijplijnupdate mislukt, hetzij met een herstelbare fout hetzij met een niet-herstelbare fout. Selecteer deze optie om een melding te ontvangen voor alle pijplijnfouten.
• Een pijplijnupdate mislukt met een niet-herstelbare (fatale) fout. Selecteer deze optie om alleen een melding te ontvangen wanneer er een fout optreedt die niet opnieuw kan worden geprobeerd.
• Eén gegevensstroom mislukt.

Als u e-mailmeldingen wilt configureren, bewerkt u de instellingen voor een pijplijn. Zie meldingen.

Pijplijnen weergeven in de gebruikersinterface

Zoek uw pijplijn via het Optie Taken en pijplijnen in de zijbalk van de werkruimte. Hiermee opent u de pagina Taken en pijplijnen , waar u informatie kunt bekijken over elke taak en pijplijn waar u toegang toe hebt. Klik op de naam van een pijplijn om de pagina pijplijnbewaking te openen. Als u de taak of pijplijn wilt bewerken, klikt u op het Kies Bewerken.

Gebruik de lijst Taken en pijplijnen

Klik op het om de lijst met pijplijnen weer te geven waarvoor u toegang hebt.Taken en pijplijnen in de zijbalk. Op het tabblad Taken en pijplijnen vindt u informatie over alle beschikbare taken en pijplijnen, zoals de maker, de trigger (indien aanwezig) en het resultaat van de laatste vijf uitvoeringen.

Als u op de naam van een pijplijn of taak klikt, gaat u naar de bewakingspagina voor die pijplijn of taak. Als u de pijplijn of taak wilt bewerken, klik dan op het en selecteer Bewerken.

Als u de kolommen in de lijst wilt wijzigen, klikt u op het en selecteert of deselecteert u kolommen. Als u bijvoorbeeld de Pipeline Type kolom als kolom wilt toevoegen, selecteert u die kolom om weer te geven.

U kunt taken filteren in de lijst Taken en pijplijnen , zoals wordt weergegeven in de volgende schermopname.

1. Zoeken in tekst: trefwoorden zoeken wordt ondersteund voor de velden Naam en ID . Als u wilt zoeken naar een tag die is gemaakt met een sleutel en waarde, kunt u zoeken op de sleutel, de waarde of zowel de sleutel als de waarde. Voor een tag met de sleutel department en de waarde finance, kunt u bijvoorbeeld department of finance gebruiken om overeenkomende jobs te vinden. Als u wilt zoeken op de sleutel en waarde, voert u de sleutel en waarde in, gescheiden door een dubbele punt (bijvoorbeeld department:finance).
2. Type: filteren op taken, pijplijnen of alle. Als u Pijplijnen selecteert, kunt u ook filteren op pijplijntype, waaronder ETL- en opnamepijplijnen.
3. Eigenaar: alleen de banen weergeven waarvan u de eigenaar bent.
4. Favorieten: taken weergeven die u hebt gemarkeerd als favorieten.
5. Tags: Tags gebruiken. Als u op tag wilt zoeken, kunt u de vervolgkeuzelijst tags gebruiken om op hetzelfde moment te filteren op maximaal vijf tags of om rechtstreeks de trefwoordzoekopdracht te gebruiken.
6. Uitvoeren als: Filteren op maximaal twee run as waarden.

Als u een taak of pijplijn wilt starten, klikt u op de afspeelknop . Als u een taak of pijplijn wilt stoppen, klikt u op het . Als u toegang wilt krijgen tot andere acties, klikt u op het U kunt bijvoorbeeld de taak of pijplijn bewerken of verwijderen, of instellingen voor een pijplijn openen vanuit dat menu.

Pijplijndetails die beschikbaar zijn op de bewakingspagina

Als u op de naam van een pijplijn op de pagina Taken en pijplijnen klikt, wordt de bewakingspagina voor die pijplijn weergegeven. Hier kunt u een pijplijnuitvoering starten en de details van de vorige uitvoering bekijken.

De pijplijngrafiek, ook wel de omgeleide acyclische grafiek (DAG) genoemd, wordt weergegeven zodra een update van een pijplijn is gestart. Pijlen vertegenwoordigen afhankelijkheden tussen gegevenssets in uw pijplijn. Op de pagina pijplijnbewaking wordt standaard de meest recente update voor de tabel weergegeven, maar u kunt oudere updates selecteren in een vervolgkeuzelijst.

Bovenaan in het rechtervenster worden de pijplijndetails weergegeven, waaronder de pijplijn-id, de kosten voor rekenkracht, de producteditie en het kanaal. Details van de update worden weergegeven onder de pijplijndetails. Als u toegang wilt krijgen tot de broncode van de pijplijn, klikt u boven aan de pagina op Pijplijn bewerken . Als u naar de code voor een specifieke tabel wilt navigeren, beweegt u de muisaanwijzer over de tabel in de pijplijngrafiek en klikt u op Navigeer naar code.

Als u een tabelweergave van gegevenssets wilt zien, klikt u op het tabblad Lijst . In de lijstweergave kunt u alle gegevenssets in uw pijplijn zien die worden weergegeven als een rij in een tabel en is handig wanneer uw pijplijngrafiek te groot is om te visualiseren in de grafiekweergave . U kunt bepalen welke gegevenssets in de tabel worden weergegeven met behulp van meerdere filters, zoals de naam van de gegevensset, het type en de status. Als u wilt teruggaan naar de pijplijngrafiek, klikt u op Graph.

De Run as-gebruiker is de eigenaar van de pijplijn en pijplijnupdates worden uitgevoerd met de machtigingen van deze gebruiker. Als u de run as gebruiker wilt wijzigen, klikt u op Machtigingen en wijzigt u de eigenaar van de pijplijn.

Wijzigingen in de preview-versie van unified runs list

Als u de preview-versie van Unified Runs List hebt ingeschakeld, ziet u updates voor pijplijnuitvoeringen op de pagina Taken en Pijplijnen.

Selecteer de gecombineerde lijst met uitvoeringen door te gaan naar Uitvoeringen vanuit de zijbalk van de werkruimte of klik op Jobs & Pipelines en kies vervolgens het tabblad Uitvoeringen.

Op het tabblad ziet u een lijst met recente uitvoeringen in de afgelopen 60 dagen. Een grafiek met geslaagde en mislukte uitvoeringen in de afgelopen 48 uur wordt eerst weergegeven, in de volgende gevallen:

• U wordt gefilterd op alleen Jobs of pijplijnen.
• U bent een beheerder, of u filtert om alleen runs weer te geven Run as: Me
• Het kan een uur duren voordat uitvoeringen in de grafiek worden weergegeven.

U kunt de lijst en de grafiek filteren op:

• Naam van de taak of pijplijn.
• Alletaken of pijplijnen.
• Pijplijntype (ETL, Opname, MV/ST of Database Table Sync).
• De Uitvoeren als gebruiker.
• De begintijd van de uitvoering (binnen de afgelopen 48 uur).
• De uitvoeringsstatus.
• De foutcode voor mislukte uitvoeringen.

Naast het bovenstaande kunt u de volgende kolommen in de lijst bekijken:

• Eindtijd
• Uitvoerings-ID
• Of de uitvoering handmatig of volgens een schema is gestart .
• Voer Uitvoeringsduur uit.
• Voer parameters uit.

Als u de kolommen wilt wijzigen die worden weergegeven in de lijst met uitvoeringen, klikt u op Selecteer of hef de selectie van kolommen op.

Als u op de begintijd, eindtijd of naam van een pijplijnuitvoering klikt, gaat u naar de controlepagina voor de pijplijn.

Wanneer een pijplijn actief wordt uitgevoerd, kunt u de uitvoering stoppen door op het te klikken. U kunt op elk gewenst moment ook klikken op in de rij voor de run, en kiezen Pipeline bewerken om de pijplijn in de editor weer te geven.

Gegevenssetdetails weergeven

Als u op een gegevensset in de pijplijngrafiek of gegevenssetlijst klikt, ziet u informatie over de gegevensset in het onderste deelvenster. In het rechtervenster worden nog steeds de details van de pijplijn en de updates weergegeven.

• Schema: Kies de tabel op het tabblad Tabellen in het onderste deelvenster en selecteer vervolgens Kolommen.
• Metrische gegevens over gegevenskwaliteit: zichtbaar in het onderste deelvenster wanneer een tabel is geselecteerd.
• Broncode: Als u naar de code voor een specifieke tabel wilt navigeren, beweegt u de muisaanwijzer over de tabel in de pijplijngrafiek en klikt u op het Navigeer naar de codeknop .
• Querygeschiedenis: kies Prestaties in het onderste deelvenster.
• Tabelopmerkingen: Tabelopmerkingen zijn niet beschikbaar op de pagina met pijplijndetails. Als u tabelopmerkingen wilt weergeven, opent u de tabel in Catalog Explorer. Als u rechtstreeks naar de tabel wilt gaan, houdt u de muisaanwijzer erboven in de pipelinegrafiek, klikt u op en vervolgens op Weergeven in de catalogus. Als u Catalogusverkenner wilt openen vanuit de lijst met tabellen in het onderste deelvenster, klikt u op het

Updategeschiedenis weergeven

Als u de geschiedenis en status van pijplijnupdates wilt weergeven, klikt u op de vervolgkeuzelijst updategeschiedenis in de bovenste balk.

Selecteer de update in de vervolgkeuzelijst om de grafiek, details en gebeurtenissen voor een update weer te geven. Als u wilt terugkeren naar de meest recente update, klikt u op De meest recente update weergeven.

Debug een mislukte pipeline-update

Wanneer een update mislukt, start je bij het Issues-paneel in de Lakeflow Pipelines Editor of in het onderste paneel van de monitoringpagina. Mislukte updates brengen daar fouten naar boven met een knop Logs bekijken die direct naar de relevante gebeurtenislogboekvermeldingen springt, dus je hoeft zelden met de hand door ruwe logs te zoeken.

Werk daarna door de mislukking heen:

• Identificeer wat er is mislukt. In de grafiekweergave worden mislukte tabellen en stromen direct op de DAG gemarkeerd. Selecteer er één om het foutbericht te zien en controleer of de fout geïsoleerd is tot één enkele tabel of is gecascadeerd naar zijn downstream-afhankelijken.
• Zoek in het gebeurtenislogboek naar de volledige foutmelding. De gebruikersinterface kan berichten afkorten. De kolommen error en details van het gebeurtenislogboek bevatten de volledige stacktrace en de gestructureerde context. Zie Het gebeurtenislogboek opvragen.
• Herhaal alleen wat mislukt is. Gebruik Refresh failed tables om alleen de mislukte tabellen plus alles wat er stroomafwaarts van is opnieuw te proberen, in plaats van tabellen die al succesvol zijn te herbewerken. Zie Een pijplijnupdate starten voor mislukte tabellen.
• Valideer voordat je een volledige update geeft. Als de fout lijkt op een code- of configuratieprobleem in plaats van een dataprobleem, voer dan eerst Validate uit. Het controleert de pipeline-grafiek en broncode opnieuw zonder data te materialiseren, zodat je snel een signaal krijgt of je fix de fout oplost voordat je rekenkracht besteedt. Zie Een pijplijn controleren op fouten zonder te wachten tot tabellenzijn bijgewerkt.
• Houd rekening met gedrag bij opnieuw proberen. Updates die handmatig vanuit de editor worden gestart, schakelen automatische nieuwe pogingen uit, zodat je fouten direct ziet, terwijl updates die volgens een planning of via de API worden gestart, automatisch opnieuw worden geprobeerd als er sprake is van herstelbare fouten. Een productiefoutmelding kan zichzelf oplossen bij een herkansing, terwijl dezelfde fout dat niet zal doen tijdens interactieve ontwikkeling. Zie Gedrag van updateuitvoering.

Bekijk streamingstatistieken

U kunt streaminggegevens bekijken uit de gegevensbronnen die worden ondersteund door Spark Structured Streaming, zoals Apache Kafka, Amazon Kinesis, Auto Loader en Delta-tabellen, voor elke streamingstroom in uw pijplijn. Metrische gegevens worden weergegeven als grafieken in het rechterdeelvenster van de pijplijninterface en bevatten backlog-seconden, backlog-bytes, backlog-records en backlog-bestanden. De grafieken tonen de maximumwaarde die per minuut is geaggregeerd, en een tooltip toont de maximumwaarden wanneer je over de grafiek beweegt. De gegevens zijn beperkt tot de afgelopen 48 uur vanaf de huidige tijd.

Tabellen in uw pijplijn met beschikbare streaminggegevens geven het pictogram weer wanneer u de pijplijngrafiek bekijkt in de ui Graph-weergave . Als u de metrische streaminggegevens wilt weergeven, klikt u op het om de grafiek met metrische streaminggegevens weer te geven op het tabblad Stromen in het rechterdeelvenster. U kunt ook een filter toepassen om alleen tabellen met streamingstatistieken weer te geven door te klikken op Lijst en vervolgens te klikken op Heeft streamingstatistieken.

Elke streamingbron ondersteunt alleen specifieke metrische gegevens. Metrische gegevens die niet worden ondersteund door een streamingbron, zijn niet beschikbaar om weer te geven in de gebruikersinterface. In de volgende tabel ziet u de metrische gegevens die beschikbaar zijn voor ondersteunde streamingbronnen: