Administrer stof materialiserede søvisninger afstamning

Fabric materialized lake views (MLV'er) hjælper dig med at administrere og forespørge store datasæt ved at forudberegne og gemme forespørgselsresultater. I Fabric hjælper lineage dig med at forstå afhængigheder og opdatere flowet, så du kan betjene MLV'er mere pålideligt.

Denne artikel forklarer, hvordan man ser på slægtslinje, forstår slægtslinjegrænsefladen og bruger udvidet slægtslinje til at spore afhængigheder på tværs af søhuse.

Vis afstamning

En materialiseret søudsigtslinje viser afhængighedsrækkefølge for opdateringsoperationer. For MLV'er repræsenterer lineage rækkefølgen af visninger, der skal køre, når nye data er tilgængelige.

Efter du har oprettet MLV i Fabric, vælger du fanen Materialized lake views i båndet, og vælg derefter Manage for at navigere til MLV-linjen.

Materialiserede søudsigter-linje

Notebook-koden definerer lineage (MLV-flowet), og Fabric opretter det, når du opretter end-to-end MLV-flowet.

Vigtigt

Linjevisningen behandler alle genveje som kildeenheder. Lineage-visningen behandler alle tabeller eller materialiserede sø-visninger i et genvejsskema som kildeenheder.

Skærmbillede, der viser en jobgraf i afstamning.

For at køre Lineage, planlæg det ud fra dine refresh-behov. Når jobbet er planlagt, gå til det aktuelle run for at se lineage-eksekveringen.

Skærmbillede, der viser en udført afstamningsvisning.

Forstå afstamningsvisningen

I den materialiserede søudsigt lineage-visning behandler systemet data i afhængighedsrækkefølge. Hver materialiseret søvisning repræsenterer en operation (for eksempel læsning fra en kildetabel eller kørsel af en transformation). Pile viser arten af hver afhængighedsrelation og eksekveringsrækkefølge.

Vælg et materialiseret sø-udsyn for at inspicere opstrøms og nedstrøms relationer.

Linjesiden indeholder følgende handlinger:

  • Opdater: Opdaterer linjevisningen for at afspejle nylige statusændringer.

    Notat

    Denne handling opdaterer kun slægtsvisningen. Den opdaterer ikke data. Lineage-visningen opdateres automatisk hvert andet minut, når et run er i gang, og browserfanen er aktiv.

    Skærmbillede, der viser, hvordan du opdaterer en afstamningsbrugergrænseflade.

  • Søg i slægt: Søg efter et specifikt materialiseret sø-udsyn eller en tabel efter navn i slægtsgrafen.

Skærmbillede, der viser, hvordan man søger i Lineage UI.

  • Nyt materialiseret sø-view: Åbner en notesbog, hvor du kan oprette eller ændre MLV'er.

    Notat

    Disse notesbøger er ikke direkte knyttet til linjevisningen.

    Skærmbillede, der viser en ny materialiseret søvisning.

  • Administrer tidsplaner: Åbner panelet Administrer tidsplaner for at oprette eller administrere opdateringsplaner.

    Skærmbillede, der viser knappen Tidsplan.

  • Nulstil lineage: Nulstiller lineage-layoutet til din nuværende skærmstørrelse.

    Skærmbillede, der viser, hvordan du skifter afstamningsvisningslayout.

Se udvidet slægtslinje

Standardlinjen viser afhængigheder i konteksten af det nuværende søhus og dets umiddelbare søhuse eller kilder opstrøms (et niveau dybt). Extended Lineage udvider det syn, så du kan spore alle afhængigheder helt tilbage til dens kilde — rekursivt over søhuse.

Standardlinje Udvidet slægtslinje
Område Nuværende søhus + ét niveau af forældre på tværs af søhuset Fuld rekursiv kæde over alle søhuse
Upstream MLV'er Vist som bladnoder — du kan ikke se, hvad der fodrer dem Fuldt udvidet — alle opstrøms visninger og kilder er synlige
Tværsøhus Ikke vist Synlig, hvis du har læseadgang på det upstream workspace

For at se udvidet slægtslinje:

  1. Åbn fanen Administrer i den materialiserede søvisning.

  2. Slå Extended lineage-knappen til i værktøjslinjen.

Slægtslinjen opdateres for at vise alle afhængigheder opstrøms, inklusive materialiserede søudsigter og kildetabeller i andre søhuse. Hver node i grafen viser sit navn og søhus. Nodetypen (tabel, genvej eller materialiseret sø-visning) angives med et ikon.

Notat

Du kan kun se upstream-afhængigheder i arbejdsområder, hvor du i det mindste har læsetilladelser. Afhængigheder i arbejdsområder, du ikke kan få adgang til, vises som en fejlbehæftet node.

Fejlbehæftede noder

Når en upstream-afhængighed mangler, slettes eller ikke er tilgængelig, fremstår den som en fejlbehæftet node i linjegrafen. Fejlbehæftede noder viser en fejlindikator med en besked, der forklarer problemet (for eksempel "mangler eller er utilgængelig").

Henrettelse over søhuset

Udvidet slægtslinje muliggør udførelse på tværs af søhus. Et enkelt lakehouse kan definere og opdatere materialiserede lake-visninger, der refererer til tabeller på tværs af flere lakehouses — inklusive lakehouses i andre arbejdsområder — og dermed eliminere behovet for at duplikere transformationslogik i hver enkelt.

For eksempel, hvis du har tre søhuse — Bronze, Sølv og Guld — kan du definere alle dine materialiserede søudsigter i Guldsøhuset, mens du refererer til kildetabeller eller materialiserede søudsigter i Bronze og Sølv. Disse søhuse kan være i samme arbejdsområde eller forskellige arbejdspladser. Fabric håndterer cross-lakehouse-læsningerne under opdatering, så du opretholder ét sæt definitioner i stedet for tre.

Planlæg opstrøms materialiserede søudsigter

Fra det udvidede linjeperspektiv kan du planlægge opdateringer for opstrøms materialiserede søudsigter i andre søhuse — uden at navigere til hvert opstrøms søhus separat. Når du laver en tidsplan eller en ad hoc-gennemgang, kan du vælge, hvilke søhuse der skal inkluderes i opdateringen. For detaljer, se Planlæg en materialiseret søvisningsopdatering.

Tilladelser til udvidet slægtslinje

Handling Påkrævet tilladelse
Se udvidet slægtslinje Læseadgang på upstream workspaces
Planlæg opstrøms materialiserede søudsigter Bidragyder om søhuset opstrøms
Se detaljer om upstream-afhængigheder Læs adgang til genstanden

Se slægtslinje til filindlæsning

Når en materialiseret lake-visning indlæser filer med USING OneLake_Files, er dens kilde en fysisk OneLake-mappe, en OneLake-mappegenvej eller en enkelt fil i stedet for en upstream-tabel. Lineage-visningen repræsenterer kildeadressen som en upstream-node, der fodrer fil-indlæsningsvisningen, så du kan spore og overvåge en komplet fil-backet medallion-pipeline.

Linjegrafen starter fra kildestedet, som visningen optager. Kildenoden forbinder til fil-indtagende materialiserede søvisning, som igen kan levere nedstrøms sølv- og guldvisninger, efter samme afhængighedsrækkefølge, som Fabric anvender på tabelbaserede visninger.

Skærmbillede af en materialiseret sø-udsigts-linjegraf, der viser en kildemappe, der giver en bronze-fil-indtagende visning, derefter sølv- og guld-visninger.

For at inspicere en fil-backet pipeline og bekræfte, at opdateringen har registreret kildeændringer, følg disse trin:

  1. Vælg nodepunktet i kildemappen for at åbne dens detaljepanel. Panelet viser OneLake-stien og de filer, der blev opdaget i mappen.

    Skærmbillede af kildemappens detaljepanel, der viser OneLake-stien og filerne i mappen.

  2. Vælg den filindførende materialiserede lake view-node for at se dens detaljer, herunder kildeformat, skema-tilstand og opdateringstilstand.

    Skærmbillede af fil-indlæsning materialiseret søvisningspanel, der viser format, skema-tilstand og opdateringstilstand.

  3. Åbn fanen Seneste kørsler , dyk ned i et administreret kørsel, og vælg fil-indlæsningsvisningen for at se dens filbehandlede og række-tilføjede metrikker.

    Skærmbillede af en gennemspilnings detaljer, der viser antallet af filer behandlet og rækker tilføjet til en fil-indlæsning materialiseret søvisning.

Fortolk filbehandlingsmetrikker

Filer behandlet er en run-level metrik, ikke det samlede antal filer, der aktuelt er til stede i kildemappen. Antallet afhænger af visningens opdateringstilstand:

  • For APPEND_ONLY opdateringstilstanden tæller den de nye filer, som køreren indlæser. Det tæller ikke filer, der allerede har været tilgængelige tidligere.
  • For opdateringstilstand FULL tæller den de læste filer, mens visningen genopbygges fra det aktuelle mappesnapshot.
  • En vellykket kørsel kan rapportere nul behandlede filer, når den administrerede opdatering ikke registrerer nye kildefiler.

Brug kildemappe-detaljepanelet til det aktuelle mappeinventar og kør-detalje-panelet til de filer, der aktiveres ved en specifik opdatering. De to optællinger besvarer forskellige spørgsmål og matcher ikke nødvendigvis for en inkrementel gennemløb.

Tips

Hvis visningen projicerer kildemetadata-kolonnen __filepath__ , brug GROUP BY __filepath__ den til at inspicere filerne, der er repræsenteret i det aktuelle materialiserede resultat. Denne visning afspejler den aktuelle række-linje, mens Filer, der behandles , afspejler det arbejde, som én opdateringskørsel udfører.

Relateret indhold

  • Sidst opdateret den