commit (DataSourceStreamWriter)

將這個微批次提交並附上提交訊息清單。

當所有任務成功執行時,驅動程式會呼叫此方法。 提交訊息是從 write() 每個任務的方法呼叫中收集並傳遞給該方法。 實作應利用提交訊息將微批次提交到串流匯入。

語法

commit(messages: List[Optional[WriterCommitMessage]], batchId: int)

參數

參數 類型 說明
messages WriterCommitMessage 列表 一份提交訊息清單。 若寫入任務失敗,提交訊息將為 None。
batchId int 一個整數,唯一識別正在寫入的資料批次。 整數會隨著每處理一個微批次增加1。