Inbyggda operatorer i Lakeflow Designer

Lakeflow Designer innehåller inbyggda operatorer för vanliga dataförberedelse- och transformeringsuppgifter. Öppna operatormenyn i sidofönstret till vänster för att bläddra bland operatorer efter kategori, eller använd Sök efter en operator... överst i fönstret. Operatorsökning föreslår operatorer baserat på din avsikt. Om du till exempel skriver returneras average by monthoperatorn Aggregering . Om du vill konfigurera en operator när du har lagt till den på arbetsytan dubbelklickar du på den eller hovra över den och klickar på (Redigera operator) för att öppna konfigurationsfönstret.

Varje operator visar en AI-genererad beskrivning av vad den gör. Beskrivningen fungerar också som redigerare för operatorn: om du redigerar beskrivningen konfigureras operatorn om så att den matchar din beskrivning.

Information om hur du skapar egna användardefinierade operatorer finns i Användardefinierade operatorer i Lakeflow Designer.

Källa och utdata

Source

Importerar data till Designer från en Unity Catalog-tabell eller annan källa som stöds. Om du vill välja en källa söker du efter en tabell eller fil efter namn eller bläddrar efter katalog och schema. Du kan också skapa en ny tabell från det här fönstret.

När du har valt en tabell visas tabellens namn, ägare och senaste uppdateringstid i fönstret. Klicka på Välj en ny datakälla för att ändra källan. Om du ändrar källan ogiltigförklaras utdatacachen för alla underordnade operatorer.

Du kan också använda en måttvy för Unity Catalog som källa. När du väljer en måttvy väljer du de dimensioner och mått som ska inkluderas, och Designer genererar den aggregerade frågan åt dig.

Det fullständiga datainmatningsalternativet, inklusive att rikta in en hel Unity Catalog-volym eller mapp, finns i Mata in data i Lakeflow Designer.

Ange data

Skapar en tabell genom att skriva värden i ett redigeringsprogram i kalkylbladsformat. Använd den här operatorn för att lägga till små mängder referensdata, till exempel uppslagsvärden eller testdata, utan att skapa en separat källtabell.

Resultat

Exporterar data från Designer. Utdataoperatorn kan skriva resultat till en Unity Catalog-tabell, publicera dem som en materialiserad vy eller skriva dem till en fil i en Unity Catalog-volym. Välj mål med utdatatyp.

För tabell - eller filutdata väljer du hur varje körning skriver till målet med skrivläge:

Klicka på Kör för att köra den visuella dataförberedelserna och skriva resultatet. Om tabellen inte finns för tabellutdata skapar operatorn den. Schemalagda körningar skriver till målet med samma skrivläge.

AI-funktion

Kör en inbyggd AI-åtgärd på dina data. Öppna Välj en funktion i konfigurationsfönstret och välj en av funktionerna i följande tabell. Varje funktion visar alternativ i fönstret för indata (till exempel kolumner, prompter, etiketter eller språk) och utdata.

För detaljer om varje funktion, se Transformera ostrukturerad data med AI-funktioner.

Transformations

Följande operatorer utför transformeringar av dina data.

Aggregate

Sammanfattar rader genom att gruppera mängdvärden för data och databehandling.

Kombinera

Sammanfogar data från flera tabeller med matchande scheman i en enda utdata.

Unique

Tar bort dubbletter av rader från indatan. Som standard deduplicerar operatorn över alla kolumner. Du kan istället välja en delmängd av kolumner som nyckel och ordna raderna för att styra vilken dubblettett som behålls.

Filter

Delar rader baserat på om de uppfyller ett eller flera villkor med hjälp av en grafisk villkorsbyggare.

Filteroperatorn har två utdata så att du kan förgrena data baserat på om den uppfyller villkoren:

Ansluta

Länkar två tabeller på en nyckel genom att kombinera två indatauppsättningar baserat på matchande kolumnvärden.

Som standard har kopplingsoperatorn tre utdata så att du kan förgrena ett arbetsflöde baserat på kopplingsresultat:

När du väljer en specifik kopplingstyp (fullständig, inre, vänster eller höger) genererar operatorn en enda ansluten utdata i stället för de tre delade utdata.

Limit

Begränsar antalet rader genom att endast skicka igenom upp till det maximala antalet rader som du anger.

Pivot

Omformar tabelldata i två riktningar. Använd flikarna överst i konfigurationsfönstret för att välja läget.

Rader → kolumner (pivot)

Omvandlar distinkta värden i en kolumn till nya kolumnrubriker, fyllda med aggregerade värden från en annan kolumn.

Kolumner → rader (unpivot)

Viker en eller flera kolumner i rader.

Inkludera kolumner

I båda lägena väljer du vilka kolumner som ska ligga kvar i utdata tillsammans med de pivoterade eller opivoterade värdena och släpper kolumner som du inte behöver före omvandlingen. Designern härleder fasta (gruppering) kolumner från de kolumner som du inte tilldelar till pivoterings-, värde- eller opivotroller.

Sortera

Beställer rader på en eller flera kolumner.

SQL

Skriver anpassad SQL-kod för alla transformeringar som inte omfattas av de andra operatorerna.

Fält	Description
SQL-redigerare	Skriv en SQL-instruktion SELECT . Om du vill referera till utdata för en indataoperator använder du operatorns namn som tabellnamn i frågan. Som exempel: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Klicka på för att öppna det fullständiga SQL-kodfönstret och se hur din instruktion passar in i det fullständiga arbetsflödet.
Parameters	Om du vill referera till en visuell dataförberedelseparameter använder du namngiven parametermarkörsyntax, till exempel :environment. Designern visar ett exempel ovanför redigeraren när du öppnar operatorn för redigering. Se Parametrar.

Välj

Väljer, byter namn på och ändrar ordning på kolumner från indata.

Prepare

Rensar och härleder kolumner genom att länka en eller flera åtgärder på indata. Klicka på + Lägg till åtgärd och välj en åtgärd. Lägg till så många åtgärder som du behöver. De gäller i ordning.

Om du vill ta bort en åtgärd hovra över raden och klicka på .

Anpassade kolumner

Formelåtgärden öppnar uttrycksredigeraren, där du kan skapa en ny kolumn eller skriva över en befintlig kolumn med antingen naturligt språk eller SQL-kod. Redigeraren har två indatarutor och är dubbelriktad:

• Beskrivning: Ange en beskrivning av det naturliga språket för det du vill att kolumnen ska göra. Designer använder Genie för att generera motsvarande koduttryck nedan.
• Uttryck: Om du föredrar att skriva eller redigera kod direkt klickar du på knappen Redigera uttryck. När du redigerar uttrycket genereras automatiskt en beskrivning av naturligt språk.

I uttrycksredigeraren, skriv @ för att öppna en meny med operatörens inmatningskolumner och de inbyggda SQL-funktionerna. Skriv after @ för att filtrera listan, välj sedan en post att infoga: en kolumn infogar dess namn, och en funktion infogar sitt anrop med markören placerad inom parentesen. Samma @ meny finns tillgänglig i uttrycksredigerarna hos andra operatörer, såsom anpassade Filter- och Join-villkor.

Python

Kör anpassade Python (PySpark) på indata.

Ett minimalt mönster är att använda de första indata när de finns, eller en tom DataFrame på annat sätt:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

Därifrån kan du länka DataFrame-åtgärder (till exempel , , eller kopplingar) select innan tilldelningen avslutas eller ersätta filter med en ny DataFrame som skapats från withColumn. resultresultinputs["data"]

Under en förhandsvisning strömmar operatörens utdata in i utdatapanelen när den produceras, inklusive allt du renderar med display() och text du skriver ut, så att du kan se resultat innan körningen är klar.

Python förhandsgranskningsläge

När du bygger en visuell dataförberedelse förhandsgranskar Designer kontinuerligt varje operatörs utdata på ett urval av din data. Dessa förhandsvisningar kör din Python-kod på samma sätt som en fullständig körning. Det är ett problem när din kod har bieffekter, som att anropa ett externt API, skicka en notis eller skriva till ett system utanför Unity Catalog. Du vill vanligtvis inte att de bieffekterna ska aktiveras vid varje förhandsvisning.

För att låta din kod skilja de två åt, läs config["is_preview"], en boolesk designer sätter för dig:

• True Under en förhandsvisning, så du kan hoppa över bieffekter.
• False under en hel genomspelning, som när du klickar på Spring eller på en schemalagd runda.

Till exempel skyddar biverkningar så att de bara körs utanför förhandsvisningar:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

Organisation

Note

Lägger till en anteckning på arbetsytan så att du kan dokumentera själva arbetsflödet: dess syfte, antaganden, varningar eller överlämningskontext för alla som öppnar förberedelsen av visuella data senare.

Group

Grupperar operatorer visuellt på arbetsytan utan att ändra hur data flödar mellan dem, vilket är användbart när en visuell dataförberedelse blir stor eller om du vill återspegla logiska faser.

Visualization

Skapar en visualisering från indata och renderar den direkt på arbetsytan. Anslut en visualiseringsoperator till alla operatorer som skapar tabelldata för att kartlägga resultaten utan att lämna Designer.

Om du vill konfigurera visualiseringen öppnar du operatorn och väljer en visualiseringstyp och mappar sedan kolumnerna till diagrammet.

Ytterligare resurser

• Skapa en visuell dataförberedelse i Lakeflow Designer
• Mata in data i Lakeflow Designer