Get data from Azure-tallennus

Tässä artikkelissa opit, miten saat dataa Azure-tallennus:sta (Azure Data Lake Storage Gen2 -kontit, blob-kontit tai yksittäiset blobit) taulukkoon KQL-tietokannassa. Voit vastaanottaa dataa jatkuvasti tai kertaluonteisesti. Kun vastaanotto on valmis, data on käytettävissä kyselyä varten.

  • Jatkuva vastaanotto (esikatselu): Jatkuva vastaanotto luo sisäänottoputken, jonka avulla tapahtumatalo voi kuunnella Azure-tallennus -tapahtumia. Jakso ilmoittaa eventhouselle, että se noutaa tiedot tilattujen tapahtumien yhteydessä. Tapahtumat ovat BlobCreated ja BlobRenamed.

  • One-time ingestion: Käytä tätä menetelmää datan hakemiseen Azure-tallennus:sta kertakäyttöisenä operaationa.

    Note

Prerequisites

Jatkuvan käsittelylle edellytykset

Azure:ssa:

  • Rekisteröi Event Gridin resurssipalveluntarjoaja Azure-tilauksesi yhteydessä.
  • Tallennustilan Blob-tietojen lukijan roolien määrittäminen työtilan käyttäjätietoihin.
  • Luoblob-säilö datatiedostojen säilyttämistä varten.

    • Lataa tietotiedosto palvelimeen. Tietotiedostorakennetta käytetään taulukon rakenteen määrittämiseen. Lisätietoja on kohdassa tietomuodot, joita Real-Time Intelligence.

      Note

      Sinun on ladattava tietotiedosto:

      • Ennen määritystä taulukon rakenteen määrittämiseksi asennuksen aikana.
      • Kun olet määrittänut jatkuvan käsittelytoiminnon käynnistämiseksi, tietojen esikatseluksi ja yhteyden varmistamiseksi.

      Note

      Jatkuva vastaanotto Azure-tallennus:sta on myös tuettua, kun tallennustili on konfiguroitu yksityisillä päätelaitteilla (Yksityinen linkki). Varmista, että Fabric-työtila pääsee käsiksi tallennustilille konfiguroidun yksityisen verkkopolun kautta.

Lisää työtilan käyttäjätietojen roolimääritys tallennustilille

  1. Kopioi Fabric-Workspace-asetuksista työtilan identiteetti-ID.

    Työtila-asetuksen näyttökuva, jossa työtilan tunnus on korostettuna.

  2. Azure-portaalissa selaa Azure-tallennus-tiliäsi ja valitse käyttöoikeuksien valvonta (IAM)>Add>Lisää roolijako.

  3. Valitse Blob-tietojen lukijatallennustila.

  4. Valitse Lisää roolimääritys -valintaikkunassa + Valitse jäsenet.

  5. Liitä työtilan käyttäjätunnus, valitse sovellus ja valitse> sittenTarkista + määritä.

Luo blob-kontti ja lataa datatiedosto

  1. Valitse tallennustilillä Säilöt.

  2. Valitse + Kontti, syötä kontille nimi ja valitse Tallenna.

  3. Kirjoita säilö, valitse lataa ja lataa aiemmin valmisteltu datatiedosto.

    Lisätietoja on kohdassa Tuetut muodot ja tuetut pakkaukset.

  4. Valitse pikavalikosta [...]Säilön ominaisuudet ja kopioi määrityksen aikana syötettävä URL-osoite.

    Kuvakaappaus konttilistasta, jossa kontekstivalikko on auki ja Kontin ominaisuudet -valinta korostettuna.

Valitse Azure-tallennus data sourceksi

Avaa Get Data flow ja valitse Azure-tallennus lähteeksi.

  1. Avaa Workspace-tilasi tapahtumatalo ja valitse tietokanta.

  2. Valitse KQL-tietokannan valintanauhassa Nouda tiedot.

  3. Valitse tietolähde käytettävissä olevasta luettelosta. Tässä esimerkissä vastaanotat dataa Azure-tallennus:sta.

    Kuvakaappaus tietojen saamisen laatoista, joissa Azure-tallennusvaihtoehto on korostettu.

Configure

  1. Valitse kohdetaulukko. Tietojen siirtämiseksi uuteen taulukkoon valitse + Uusi taulukko ja syötä taulun nimi.

    Note

    Taulukon nimet voivat olla enintään 1 024 merkkiä, mukaan lukien välilyöntejä, aakkosnumeerisia merkkejä, yhdysviivoja ja alaviivat. Erikoismerkkejä ei tueta.

  2. Configure Azure Blob Storage -yhteydessä varmista, että Continuous ingestion on päällä. Se on oletusarvoisesti käytössä.

  3. Määritä yhteys luomalla uusi yhteys tai käyttämällä olemassa olevaa yhteyttä.

    Luo uusi yhteys seuraavasti:

    1. Valitse Yhdistä tallennustiliin.

      Näyttökuva välilehden määrittämisestä jatkuvalla käsittelyllä ja yhteyden muodostamisesta tiliin valittuna.

    2. Täytä kentät seuraavien kuvausten avulla.

      Setting Kentän kuvaus
      Subscription Tallennustilin tilaus.
      Blob-objektitallennustili Tallennustilin nimi.
      Container Tallennussäilö, joka sisältää sen tiedoston, jonka haluat ottaa käyttöön.

    3. Yhteys-kentässä avaa pudotusvalikko ja valitse + Uusi yhteys, ja valitse sitten Tallenna>sulje. Yhteysasetukset täytetään valmiiksi.

    Note

    Kun luot uuden yhteyden, luot myös uuden tapahtumavirran. Nimi määritellään muodossa <storage_account_name>_eventstream. Älä poista jatkuvan sisäänkäynnin eventstreamia työtilasta.

    Jos haluat käyttää aiemmin luotua yhteyttä:

    1. Valitse Valitse aiemmin luotu tallennustili.

      Näyttökuva välilehden määrittämisestä jatkuvalla käsittelyllä ja yhteyden muodostamisesta aiemmin luotuun tiliin valittuna.

    2. Täytä kentät seuraavien kuvausten avulla.

      Setting Kentän kuvaus
      RTAStorageAccount Tapahtumavirta, joka on yhdistetty tallennustilillesi Fabric:n kautta.
      Container Tallennussäilö, joka sisältää sen tiedoston, jonka haluat ottaa käyttöön.
      Connection Tämä kenttä on esitäytetty yhteysmerkkijono:llä.

    3. Connection-kentässä avaa pudotusvalikko ja valitse olemassa oleva yhteysmerkkijono listasta. Valitse sitten Tallenna>sulje.

  4. Voit halutessasi laajentaa Tiedostosuodattimet ja määrittää seuraavat suodattimet:

    Setting Kentän kuvaus
    Kansion polku Suodata dataa vastaanottamaan tiedostoja, joilla on tietty kansiopolku.
    Tiedostopääte Suodata dataa vastaanottamaan tiedostoja, joilla on vain tietty tiedostopääte.

  5. Eventstream-asetuksista valitse seurattavat tapahtumat Lisäasetuksista>Tapahtumatyypit. Oletusarvoisesti Blob luotu on valittuna. Voit myös valita Blob-objektin uudelleennimeäminen.

    Kuvakaappaus Edistyneistä asetuksista ja Tapahtumatyypit -pudotusvalikon kanssa laajennettu.

  6. Valitse Seuraava, jos haluat esikatsella tietoja.

Tarkista esikatseludata ennen niiden vastaanottamista

Tarkasta-välilehti avautuu, ja siinä on tietojen esikatselu.

Viimeistele käsittelyprosessi valitsemalla Valmis.

Kuvakaappaus Inspect-välilehdestä, jossa esikatselu vastaanotetusta datasta ennen Finish-valintaa.

Note

Jatkuvan vastaanoton ja esikatseludatan käynnistämiseksi lataa uusi möykky, kun konfigurointi on suoritettu.

Optionally:

  • Käytä avattavaa skeeman määritystiedoston valikkoa, kun haluat muuttaa tiedostoa, josta rakenne johdetaan.

  • Avattavan tiedostotyyppivalikon avulla voit tutustua tietotyyppiin perustuviin lisäasetuksiin.

  • Määritä uusi yhdistämismääritys avattavasta Table_mapping-valikosta .

  • Valitsemalla </> avaamalla komennon katseluohjelma voit tarkastella ja kopioida syötteistäsi luotuja automaattisia komentoja. Voit myös avata komennot KQL-kyselysarjassa.

  • Valitse kynäkuvake Muokkaa sarakkeita.

Muokkaa sarakkeita

Note

  • Taulukkomuotoisissa muodoissa (CSV, TSV, PSV) saraketta ei voi yhdistää kahdesti. Jos haluat yhdistää aiemmin luotuun sarakkeeseen, poista ensin uusi sarake.
  • Et voi muuttaa olemassa olevaa saraketyyppiä. Jos yrität yhdistää sarakkeeseen, jonka muoto on erilainen, saatat päätyä tyhjiin sarakkeisiin.

Taulukossa tekemäsi muutokset riippuvat seuraavista parametreista:

  • Taulukkotyyppi on uusi tai olemassa oleva
  • Yhdistämismääritystyyppi on uusi tai olemassa oleva
Pöydän tyyppi Kartoituksen tyyppi Käytettävissä olevat säädöt
Uusi taulukko Uusi kartoitus Sarakkeen nimeäminen uudelleen, tietotyypin muuttaminen, tietolähteen muuttaminen, muunnosmääritys, sarakkeen lisääminen, sarakkeen poistaminen
Olemassa oleva taulukko Uusi kartoitus Lisää sarake (jonka tietotyyppiä voit sitten muuttaa, nimetä uudelleen ja päivittää)
Olemassa oleva taulukko Olemassa oleva kartoitus none

Kuvakaappaus sarakeeditorista, jossa taulukkosarakkeet ovat avoinna nimien, tietotyyppien ja kartoitusten muokkaamiseen.

Muunnosten kartoitus

Jotkin tietomuotojen yhdistämismääritykset (Parquet, JSON ja Avro) tukevat yksinkertaisia käytönaikaisia muunnoksia. Jos haluat ottaa yhdistämismuunnoksia käyttöön, luo tai päivitä sarake Muokkaa sarakkeita -ikkunassa.

Yhdistämisen muunnokset voidaan suorittaa saraketyypille merkkijono tai päivämäärä ja aika, jolloin lähteen tietotyyppi on int tai pitkä. Lisätietoja on tuettujen yhdistämismääritysmuunnosten täydellisessä luettelossa.

Tietotyyppiin perustuvat lisäasetukset

Taulukkomuotoinen (CSV, TSV, PSV):

  • Jos käsittelet taulukkomuotoja aiemmin luodussa taulukossa, voit valita AdvancedKeep -taulukon rakenteen>. Taulukkomuotoiset tiedot eivät välttämättä sisällä sarakkeiden nimiä, joita käytetään lähdetietojen yhdistämiseen olemassa oleviin sarakkeisiin. Kun tämä asetus on valittuna, yhdistäminen tehdään järjestyksen mukaan ja taulukon rakenne pysyy samana. Jos asetuksen valinta ei ole valittu, uusia sarakkeita luodaan saapuville tiedoille tietorakenteesta riippumatta.

    Näyttökuva lisäasetuksista.

  • Taulukkomuotoiset tiedot eivät välttämättä sisällä sarakkeiden nimiä, joita käytetään lähdetietojen yhdistämiseen olemassa oleviin sarakkeisiin. Jos haluat käyttää ensimmäistä riviä sarakkeiden niminä, valitse Ensimmäinen rivi on sarakeotsikko.

    Näyttökuva Ensimmäinen rivi on sarakeotsikko -valitsimesta.

Taulukkomuotoinen (CSV, TSV, PSV):

  • Jos käytät taulukkomuotoja olemassa olevassa taulukossa, valitse Table_mapping>Käytä olemassa olevaa skeemaa. Taulukkomuotoiset tiedot eivät välttämättä sisällä sarakkeiden nimiä, joita käytetään lähdetietojen yhdistämiseen olemassa oleviin sarakkeisiin. Kun valitset tämän vaihtoehdon, kartoitus tehdään järjestyksessä, ja taulukon skeema pysyy samana. Jos tyhjennät tämän vaihtoehdon, uudet sarakkeet syntyvät saapuville datalle riippumatta tietorakenteesta.

  • Jos haluat käyttää ensimmäistä riviä sarakkeiden niminä, valitse Ensimmäinen rivi -otsikko.

    Kuvakaappaus edistyneistä CSV-asetuksista, mukaan lukien ensimmäisen rivin otsikon ja erottimen asetukset.

JSON:

  • Jos haluat määrittää JSON-tietojen sarakejaon, valitse Sisäkkäiset tasot, 1–100.

    Kuvakaappaus edistyneistä JSON-vaihtoehdoista, mukaan lukien Nested levels -asetus, jolla JSON-sarakkeet jaetaan.

Tutustu sisäänkäyntiyhteenvetoon

Yhteenveto-ikkunassa kaikki vaiheet näyttävät vihreät rastit, kun datan vastaanotto onnistuu. Voit valita kortin tietojen tutkimista varten, poistaa poistetut tiedot tai luoda koontinäytön, jossa on tärkeitä mittareita.

Näyttökuva yhteenvetosivusta, jolla voit jatkuvasti käsitellä onnistunutta käsittely loppuun.

Kun suljet ikkunan, näet yhteyden Resurssienhallinta-välilehden Tietovirrat-kohdassa. Täältä voit suodattaa tietovirtoja ja poistaa tietovirran.

Näyttökuva KQL-tietokannanhallinnasta, jossa tietovirrat on korostettu.

Aiheeseen liittyvä sisältö

  • Last updated on