trigger (DataStreamWriter)

Hiermee stelt u de trigger voor de streamingquery in. Als deze niet is ingesteld, wordt de query zo snel mogelijk uitgevoerd, gelijk aan processingTime='0 seconds'. Er kan slechts één triggerparameter tegelijk worden ingesteld.

Zie Triggerintervallen voor Gestructureerd Streamen configureren.

Rekenen en pijplijnuitvoering

In Lakeflow-pijpleidingen beheert de pijpleiding de uitvoering van de stroom. Gebruik pipeline-uitvoeringsinstellingen om te bepalen wanneer pipelinedata wordt verwerkt.

Als je direct serverless compute gebruikt DataStreamWriter voor notebooks en jobs, gebruik availableNow=Truedan . De standaardtrigger, processingTime, continuous, en realTime worden niet ondersteund op die berekening. Deze beperkingen gelden niet voor serverloze pijplijnuitvoeringsmodi. Zie Beperkingen voor streaming.

Syntaxis

trigger(*, processingTime=None, once=None, continuous=None, availableNow=None, realTime=None)

Parameterwaarden

Kenmerk Typ Beschrijving
processingTime str, optioneel Een tekenreeks voor het verwerkingstijdinterval (bijvoorbeeld '5 seconds', '1 minute'). Voert periodiek een microbatchquery uit op basis van de verwerkingstijd.
once bool, optioneel Als True, verwerkt slechts één batch met gegevens, beëindigt de query. Verouderd in Databricks Runtime 11.3 LTS en hoger. Gebruik in plaats daarvan availableNow=True.
continuous str, optioneel Niet ondersteund op Azure Databricks. Deze parameter maakt de experimentele Continuous Processing-modus van Apache Spark mogelijk, die verschilt van de continue pijplijnmodus. Gebruik real-time modus voor gestructureerde streaming-queries met lage latentie.
availableNow bool, optioneel Als Truealle beschikbare gegevens in meerdere batches worden verwerkt, wordt de query beëindigd.
realTime str, optioneel Een tekenreeks voor batchduur (bijvoorbeeld '5 minutes'). Verwerkt records zodra ze binnenkomen binnen een langlopende batch. De waarde bepaalt de batchduur, niet de vertraging bij de recordverwerking. Bekijk de real-time modus in Structured Streaming.

Retouren

DataStreamWriter

Examples

df = spark.readStream.format("rate").load()

Triggeruitvoering elke 5 seconden:

df.writeStream.trigger(processingTime='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>

Alle beschikbare gegevens in meerdere batches verwerken:

df.writeStream.trigger(availableNow=True)
# <...streaming.readwriter.DataStreamWriter object ...>

Configureer real-time modus met batches van vijf minuten. Records worden verwerkt zodra ze binnenkomen tijdens elke batch. Gebruik een ondersteund type bron, sink en rekenkracht:

kafka_df = (spark.readStream
    .format("kafka")
    .option("kafka.bootstrap.servers", "<bootstrap-servers>")
    .option("subscribe", "<input-topic>")
    .load())
kafka_df.writeStream.trigger(realTime="5 minutes")
# <...streaming.readwriter.DataStreamWriter object ...>
  • Laatst bijgewerkt om