Kysy eventstreamista Microsoft Fabric -ohjelmasta notebookista, jossa on Spark Structured Streaming

Eventstream Microsoft Fabric on täysin hallittu tapahtumien vastaanotto- ja suoratoistopalvelu, joka mahdollistaa reaaliaikaisen datan käsittelyn ja analytiikan. Voit integroida eventstreamin Fabric-muistikirjoihin Spark Structured Streamingin avulla prosessiin ja analysointiin reaaliajassa.

Tämä integraatio mahdollistaa tapahtumavirtojen ja muiden reaaliaikaisten lähteiden tutkimisen Real-Time-hubin kautta suoraan Fabric-muistikirjojesi sisältä. Voit myös luoda uusia tapahtumavirtoja ja alkaa vastaanottaa dataa lähes 30 (ja kasvavasta) suoratoistolähteestä, mukaan lukien CDC-yhteensopivat tietokannat, viestinvälittäjät, suoratoistopalvelut ja julkiset syötteet. Uusi ohjelmointimalli mahdollistaa helpon yhteyden tapahtumavirtaan, suoratoistodatan lukemisen ja reaaliaikaisen analytiikan tekemisen tutuilla Spark-rajapinnoilla ilman yhteysehtoja tai tunnuksia, mikä tekee reaaliaikaisten sovellusten rakentamisesta turvallisemman

Ennakkovaatimukset

Ennen kuin aloitat, varmista, että sinulla on seuraavat edellytykset valmiina:

  • Fabric-työtila, jossa eventstream on käytössä.
  • Muistikirjaympäristö, joka on asetettu Fabric-järjestelmään.
  • Perustiedot Spark Structured Streamingista ja PySparkista tai Scalasta.

Vaiheet Eventstreamin kyselyyn muistikirjasta

  1. Löydä ja lisää tapahtumavirta muistikirjaan:

    1. Avaa Microsoft Fabric -muistikirjasi.

    2. Valitse Lisää tietoelementtejäData-elementit -välilehdeltä ja valitse pudotusvalikosta Real-Time hubista .

    3. Real-Time hubin valintaikkunasta etsi kohdetapahtumavirta, jota haluat kysyä, ja käyttää erilaisia haku- ja suodatusvaihtoehtoja.

    4. Lisää eventstream muistikirjasi ympäristöön.

      Kuvakaappaus, joka näyttää, miten Eventstream löydetään Real-Time-hubista.

      Kun eventstream-kohde on lisätty, se ilmestyy Real-Time-hub-solmun alle muistikirjan objektinhallinnassa esineen nimellä, ja kun solmua laajennetaan, näet oletus- tai johdetun virran tapahtumavirran sisällä.

      Kuvakaappaus, jossa näytetään lisätty tapahtumavirta muistikirjan objektiresurssienhallinnassa.

  2. Lue stream-dataa eventstreamista:

    1. Eventstream-kohteen kontekstivalikosta objektinhallinnassa valitse Lue Sparkilla luodaksesi ennalta määritetty koodisolu luettavaksi valitusta tapahtumavirrasta.

      Kuvakaappaus, joka näyttää, miten eventstreamia luetaan Sparkilla kontekstivalikosta.

    2. Uudessa koodisolussa voit käyttää seuraavaa PySpark-koodipätkää lukeaksesi streamstream-dataa tapahtumavirrasta:

      from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.sql.types import StringType
from pyspark.sql.dataframe import DataFrame

eventstream_options = {
    "eventstream.itemid": __in_eventstream_item_id,
    "eventstream.datasourceid": __in_eventstream_datasource_id
}

# Read from Kafka using the config map
df_raw = spark.readStream.format("kafka").options(**eventstream_options).load()

decoded_df = df_raw.select(
    col("key").cast(StringType()).alias("key"),
    col("value").cast(StringType()).alias("value"),
    col("partition"),
    col("offset")
)

def showDf(x:DataFrame, y:int):
    x.show()

# Print messages to the console
query = decoded_df.writeStream.foreachBatch(showDf).outputMode("append").start()
query.awaitTermination()

      Arvot eventstream.itemid ja eventstream.datasourceid asetukset täytetään automaattisesti tämän koodisolun yläpuolella olevassa parametrisolussa.

      Note

      Jokaista valintaa varten Read with Sparkissa luodaan uusi koodisolu, johon tarvittavat parametrit täytetään automaattisesti, ja uusi Notebook-kohde luodaan Eventstream-kohteelle, jossa kohde eventstream.datasourceid on yksilöllinen kullekin Notebook-kohteelle. Yhdelle muistikirjan kohteelle suosittelemme, että asetat sen kerran kohteeksi yhdelle Eventstream-kohteelle, jotta vältetään useiden kohteiden syntyminen.

      Ennen minkään työn suorittamista voit myös esikatsella suoratoistodataa klikkaamalla Eventstream-kohteen kontekstivalikosta Preview data -painiketta. Sivupaneeli avautuu, joka näyttää suoratoistodatan kuvan muistikirjan vieressä.

      Kuvakaappaus, jossa näytetään, miten Eventstreamin dataa esitarkastellaan kontekstivalikosta.

  3. Lisää muistikirja kohteeksi: Voit myös lisätä muistikirjan kohteeksi, jossa Eventstream alkaa vastaanottaa dataa Eventstreamiin muistikirjan sisältä. Lisätietoja löytyy kohdasta Lisää Spark Notebook -kohde tapahtumavirtaan.

Johtopäätös

Eventstreamin integrointi Fabric-ohjelmaan muistikirjoihin Spark Structured Streamingin avulla mahdollistaa reaaliaikaisen datan saumattoman käsittelyn ja analysoinnin. Noudattamalla tässä artikkelissa esitettyjä vaiheita voit helposti yhdistää tapahtumavirtaan, lukea suoratoistotietoja ja suorittaa reaaliaikaista analytiikkaa tuttujen Spark-rajapintojen avulla. Tämä integraatio avaa uusia mahdollisuuksia reaaliaikaisten sovellusten rakentamiseen ja oivallusten saamiseen suoratoistodatasta Fabric-ekosysteemissä.

Liittyvä sisältö

Jos haluat oppia lisää tapahtumavirtojen ja muistikirjojen kanssa työskentelystä Fabric-ohjelmassa, tutustu seuraaviin resursseihin

  • Viimeksi päivitetty