Hämta data från Azure Storage

I den här artikeln får du lära dig hur du hämtar data från Azure Storage (Azure Data Lake Storage Gen2 containrar, blobcontainrar eller enskilda blobar) till en tabell i en KQL-databas. Du kan mata in data kontinuerligt eller som en engångsinmatning. När inläsningen har slutförts är data tillgängliga för frågor.

  • Kontinuerlig inmatning (förhandsversion): Kontinuerlig inmatning konfigurerar en inmatningspipeline som gör att ett eventhouse kan lyssna på Azure Storage händelser. Pipelinjen meddelar händelsehuset att hämta information när händelser som man prenumererar på inträffar. Händelserna är BlobCreated och BlobRenamed.

  • Engångsinmatning: Använd den här metoden för att hämta data från Azure Storage som en engångsåtgärd.

    Anmärkning

Förutsättningar

Krav för kontinuerlig inmatning

I Azure:

  • Registrera Event Grid-resursprovidern med din Azure-prenumeration.
  • Tilldela rollbehörigheter för Storage Blob Data Reader till arbetsyteidentiteten.
  • Skapa en blobcontainer för att lagra datafilerna.

    • Ladda upp en datafil. Datafilstrukturen används för att definiera tabellschemat. För mer information, se Dataformat som stöds av Real-Time Intelligence.

      Anmärkning

      Du måste ladda upp en datafil:

      • Före konfigurationen för att definiera tabellschemat under konfigurationen.
      • Efter konfigurationen för att utlösa kontinuerlig inmatning, för att förhandsgranska data och för att verifiera anslutningen.

      Anmärkning

      Kontinuerlig inmatning från Azure Storage stöds också när lagringskontot har konfigurerats med privata slutpunkter (Private Link). Kontrollera att Fabric-arbetsytan har åtkomst till lagringskontot via den konfigurerade sökvägen för privat nätverk.

Lägg till arbetsytans identitetsrolltilldelning till lagringskontot

  1. Från inställningarna för arbetsytan i Fabric kopierar du ditt identitets-ID för arbetsytan.

    Skärmbild av arbetsyteinställningen med arbetsyte-ID markerat.

  2. I Azure-portalen bläddrar du till ditt Azure Storage-konto och väljer Access Control (IAM)>Lägg till>Lägg till rolltilldelning.

  3. Välj Lagringsblobdataläsare.

  4. I dialogrutan Lägg till rolltilldelning väljer du + Välj medlemmar.

  5. Klistra in i arbetsytans identitets-ID, välj programmet och välj sedan Granska>+ tilldela.

Skapa en blobcontainer och ladda upp en datafil

  1. I lagringskontot väljer du Containrar.

  2. Välj + Container, ange ett namn för containern och välj Spara.

  3. Ange containern, välj ladda upp och ladda upp datafilen som förbereddes tidigare.

    Mer information finns i format som stöds och komprimering som stöds.

  4. På snabbmenyn [...] väljer du Containeregenskaper och kopiera URL:en för inmatning under konfigurationen.

    Skärmbild av containerlistan med snabbmenyn öppen och alternativet Containeregenskaper markerat.

Välj Azure Storage som datakälla

Öppna flödet Hämta data och välj Azure Storage som källa.

  1. Öppna händelsehuset från arbetsytan och välj databasen.

  2. I menyfliksområdet KQL-databas väljer du Hämta data.

  3. Välj datakällan i den tillgängliga listan. I det här exemplet matar du in data från Azure Storage.

    Skärmbild av hämta datapaneler med Azure lagringsalternativet markerat.

Konfigurera

  1. Välj en måltabell. Om du vill mata in data i en ny tabell väljer du + Ny tabell och anger ett tabellnamn.

    Anmärkning

    Tabellnamn kan innehålla upp till 1 024 tecken, inklusive blanksteg, alfanumeriska tecken, bindestreck och understreck. Specialtecken stöds inte.

  2. I Konfigurera Azure Blob Storage anslutning kontrollerar du att Kontinuerlig inmatning är aktiverat. Den är aktiverad som standard.

  3. Konfigurera anslutningen genom att skapa en ny anslutning eller med hjälp av en befintlig anslutning.

    Så här skapar du en ny anslutning:

    1. Välj Anslut till ett lagringskonto.

      Skärmbild av fliken Konfigurera med kontinuerlig inmatning och anslutning till ett valt konto.

    2. Använd följande beskrivningar för att fylla i fälten.

      inställning Fältbeskrivning
      Prenumeration Prenumerationen på lagringskontot.
      Bloblagringskonto Lagringskontonamn.
      Behållare Lagringscontainern som innehåller den fil som du vill mata in.

    3. I fältet Anslutning öppnar du listrutan och väljer + Ny anslutning och väljer sedan Spara>stäng. Anslutningsinställningarna är förifyllda.

    Anmärkning

    När du skapar en ny anslutning skapar du även en ny händelseström. Namnet definieras som <storage_account_name>_eventstream. Ta inte bort händelseströmmen för kontinuerlig inmatning från arbetsytan.

    Så här använder du en befintlig anslutning:

    1. Välj Välj ett befintligt lagringskonto.

      Skärmbild av fliken Konfigurera med kontinuerlig inmatning och anslutning till ett befintligt konto valt.

    2. Använd följande beskrivningar för att fylla i fälten.

      inställning Fältbeskrivning
      RTA-lagringskonto En händelseström som är ansluten till ditt lagringskonto från Fabric.
      Behållare Lagringscontainern som innehåller den fil som du vill mata in.
      Anslutning Det här fältet är ifyllt med reťazec pripojenia.

    3. Öppna listrutan i fältet Connection och välj den befintliga anslutningssträngen i listan. Välj sedan Spara>stäng.

  4. Du kan också expandera Filfilter och ange följande filter:

    inställning Fältbeskrivning
    Mappsökväg Filtrera data för att mata in filer med en specifik mappsökväg.
    Filtillägg Filtrera data för att mata in filer med ett specifikt filnamnstillägg.

  5. I avsnittet Eventstream-inställningar väljer du de händelser som ska övervakas i Avancerade inställningar>Händelsetyper. Som standard är Ny blob skapad markerad. Du kan också välja Blob byt namn.

    Skärmbild av Avancerade inställningar med listrutan Händelsetyper expanderad.

  6. Välj Nästa för att förhandsgranska data.

Granska förhandsgranskningsdata före inmatning

Fliken Granska öppnas med en förhandsgranskning av data.

Slutför inmatningsprocessen genom att välja Slutför.

Skärmbild av fliken Inspektera som visar en förhandsgranskning av inmatade data innan du väljer Slutför.

Anmärkning

Om du vill utlösa kontinuerlig inmatning och förhandsgranska data laddar du upp en ny blob när du har slutfört konfigurationen.

Valfritt:

  • Använd listrutan schemadefinitionsfil för att ändra den fil som schemat härleds från.

  • Använd listrutan filtyp för att utforska Avancerade alternativ baserat på datatyp.

  • Använd listrutan Table_mapping för att definiera en ny mappning.

  • Välj </> för att öppna kommandovisningsprogrammet för att visa och kopiera de automatiska kommandon som genereras från dina indata. Du kan också öppna kommandona i en KQL-frågeuppsättning.

  • Välj pennikonen för att redigera kolumner.

Redigera kolumner

Anmärkning

  • För tabellformat (CSV, TSV, PSV) kan du inte mappa en kolumn två gånger. Om du vill mappa till en befintlig kolumn tar du först bort den nya kolumnen.
  • Du kan inte ändra en befintlig kolumntyp. Om du försöker mappa till en kolumn med ett annat format kan du få tomma kolumner.

Vilka ändringar du kan göra i en tabell beror på följande parametrar:

  • Tabelltyp är ny eller existerande
  • Mappningstypen är ny eller befintlig
Tabelltyp Mappningstyp Tillgängliga justeringar
Ny tabell Ny kartläggning Byt namn på kolumn, ändra datatyp, ändra datakälla, mappningstransformering, lägga till kolumn, ta bort kolumn
Befintlig tabell Ny kartläggning Lägg till kolumn (där du sedan kan ändra datatyp, byta namn på och uppdatera)
Befintlig tabell Befintlig kartläggning ingen

Skärmbild av kolumnredigeraren med tabellkolumner öppna för redigering av namn, datatyper och mappningar.

Kartläggning av transformationer

Vissa dataformatmappningar (Parquet, JSON och Avro) stöder enkla inmatningstidstransformeringar. Om du vill använda mappningstransformeringar skapar eller uppdaterar du en kolumn i fönstret Redigera kolumner.

Mappningstransformeringar kan utföras på en kolumn av typen sträng eller datetime, där källan har datatypen int eller long. Mer information finns i den fullständiga listan över stödda kartläggningstransformationer.

Avancerade alternativ baserat på datatyp

Tabell (CSV, TSV, PSV):

  • Om du matar in tabellformat i en befintlig tabell kan du välja Avancerat>behåll tabellschema. Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. När det här alternativet är markerat görs mappningen i ordning och tabellschemat förblir detsamma. Om det här alternativet är avmarkerat skapas nya kolumner för inkommande data, oavsett datastruktur.

    Skärmbild av avancerade alternativ.

  • Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. För att använda den första raden som kolumnnamn, välj Första raden är kolumnrubriken.

    Skärmbild från första raden som är kolumnrubriksomkopplaren.

Tabell (CSV, TSV, PSV):

  • Om du matar in tabellformat i en befintlig tabell väljer du Table_mapping>Använd befintligt schema. Tabelldata innehåller inte nödvändigtvis de kolumnnamn som används för att mappa källdata till befintliga kolumner. När du väljer det här alternativet görs mappningen efter ordning och tabellschemat förblir detsamma. Om du avmarkerar det här alternativet skapas nya kolumner för inkommande data, oavsett datastruktur.

  • Om du vill använda den första raden som kolumnnamn väljer du Rubrik för första raden.

    Skärmbild av avancerade CSV-alternativ, inklusive kontroller för rubrik för första raden och avgränsningsinställningar.

JSON:

  • Välj Kapslade nivåer mellan 1 och 100 för att fastställa kolumndelningen för JSON-data.

    Skärmbild av avancerade JSON-alternativ, inklusive inställningen Kapslade nivåer som används för att dela JSON-kolumner.

Granska inmatningssammanfattningen

I fönstret Sammanfattning visar alla steg gröna bockmarkeringar när datainmatningen har slutförts. Du kan välja ett kort för att utforska data, ta bort inmatade data eller skapa en instrumentpanel med nyckelmått.

Skärmbild av sammanfattningssidan för kontinuerlig inmatning med slutförd inmatning.

När du stänger fönstret kan du se anslutningen på fliken Utforskaren under Dataströmmar. Härifrån kan du filtrera dataströmmarna och ta bort en dataström.

Skärmbild av KQL-databasutforskaren med dataströmmar markerade.

Relaterat innehåll

  • Last updated on