觸發器(DataStreamWriter)

設定串流查詢的觸發條件。 若未設定,查詢會盡可能快速執行,等同 processingTime='0 seconds'於 。 一次只能設定一個觸發參數。

請參閱《設定結構化串流觸發間隔》。

計算與管線執行

在 Lakeflow 管線中,管線負責管理串流執行。 使用 管線執行設定 來控制管線資料的處理時間。

當你直接在無伺服器運算中使用 DataStreamWriter 筆記本和工作時,請使用 availableNow=True。 預設的觸發器 processingTime、 continuous、 在 realTime 該計算中不被支援。 這些限制不適用於無伺服器管線執行模式。 請參閱 串流限制。

語法

trigger(*, processingTime=None, once=None, continuous=None, availableNow=None, realTime=None)

參數

參數 類型 說明
processingTime 力量,選用 一個處理時間區間的字串(例如, '5 seconds', '1 minute')。 會根據處理時間定期執行微批次查詢。
once Bool,選用 若 True,則只處理一批資料,然後終止查詢。 在 Databricks Runtime 11.3 LTS 及以上版本中已棄用。 請改用 availableNow=True。
continuous 力量,選用 不支援 Azure Databricks。 此參數使 Apache Spark 的實驗性連續處理模式得以實現,該模式與連續管線模式不同。 使用即時模式進行低延遲的結構化串流查詢。
availableNow Bool,選用 若 True,則分批處理所有可用資料,然後終止查詢。
realTime 力量,選用 批次時長字串(例如, '5 minutes')。 在長期執行批次中,處理紀錄的到來。 該值控制批次處理時間,而非記錄處理延遲。 請參閱 結構化串流中的即時模式。

退貨

DataStreamWriter

Examples

df = spark.readStream.format("rate").load()

每 5 秒觸發一次:

df.writeStream.trigger(processingTime='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>

分批處理所有可用資料:

df.writeStream.trigger(availableNow=True)
# <...streaming.readwriter.DataStreamWriter object ...>

設定即時模式,每五分鐘批次處理。 每批次到貨時,紀錄都會被處理。 使用支援的 原始碼、匯入與運算類型:

kafka_df = (spark.readStream
    .format("kafka")
    .option("kafka.bootstrap.servers", "<bootstrap-servers>")
    .option("subscribe", "<input-topic>")
    .load())
kafka_df.writeStream.trigger(realTime="5 minutes")
# <...streaming.readwriter.DataStreamWriter object ...>