設定串流查詢的觸發條件。 若未設定,查詢會盡可能快速執行,等同 processingTime='0 seconds'於 。 一次只能設定一個觸發參數。
請參閱《設定結構化串流觸發間隔》。
計算與管線執行
在 Lakeflow 管線中,管線負責管理串流執行。 使用 管線執行設定 來控制管線資料的處理時間。
當你直接在無伺服器運算中使用 DataStreamWriter 筆記本和工作時,請使用 availableNow=True。 預設的觸發器 processingTime、 continuous、 在 realTime 該計算中不被支援。 這些限制不適用於無伺服器管線執行模式。 請參閱 串流限制。
語法
trigger(*, processingTime=None, once=None, continuous=None, availableNow=None, realTime=None)
參數
| 參數 | 類型 | 說明 |
|---|---|---|
processingTime |
力量,選用 | 一個處理時間區間的字串(例如, '5 seconds', '1 minute')。 會根據處理時間定期執行微批次查詢。 |
once |
Bool,選用 | 若 True,則只處理一批資料,然後終止查詢。 在 Databricks Runtime 11.3 LTS 及以上版本中已棄用。 請改用 availableNow=True。 |
continuous |
力量,選用 | 不支援 Azure Databricks。 此參數使 Apache Spark 的實驗性連續處理模式得以實現,該模式與連續管線模式不同。 使用即時模式進行低延遲的結構化串流查詢。 |
availableNow |
Bool,選用 | 若 True,則分批處理所有可用資料,然後終止查詢。 |
realTime |
力量,選用 | 批次時長字串(例如, '5 minutes')。 在長期執行批次中,處理紀錄的到來。 該值控制批次處理時間,而非記錄處理延遲。 請參閱 結構化串流中的即時模式。 |
退貨
DataStreamWriter
Examples
df = spark.readStream.format("rate").load()
每 5 秒觸發一次:
df.writeStream.trigger(processingTime='5 seconds')
# <...streaming.readwriter.DataStreamWriter object ...>
分批處理所有可用資料:
df.writeStream.trigger(availableNow=True)
# <...streaming.readwriter.DataStreamWriter object ...>
設定即時模式,每五分鐘批次處理。 每批次到貨時,紀錄都會被處理。 使用支援的 原始碼、匯入與運算類型:
kafka_df = (spark.readStream
.format("kafka")
.option("kafka.bootstrap.servers", "<bootstrap-servers>")
.option("subscribe", "<input-topic>")
.load())
kafka_df.writeStream.trigger(realTime="5 minutes")
# <...streaming.readwriter.DataStreamWriter object ...>