在管線中使用資料匯端

使用 Lakeflow pipeline sink API 搭配 flows 將經管線轉換的紀錄寫入外部資料匯。 外部數據接收器包括 Unity 目錄受控和外部數據表,以及 Apache Kafka 或 Azure 事件中樞等事件串流服務。 你也可以使用資料匯(data sinks)來寫入自訂資料來源,並為該資料來源撰寫 Python 程式碼。

關於匯的概念概述及何時使用,請參閱《 湖流管線中的匯》。

備註

接收端工作流程

當事件資料從串流來源被導入到你的管線時,你會在管線中進行轉換來處理和精煉這些資料。 接著你會使用附加流程處理,將轉換後的資料記錄串流到匯點。 您可以使用 create_sink() 函式建立此接收器。 如需有關 create_sink 函式的詳細資訊,請參閱 Sink API 參考。

如果您有一個管線來建立或處理串流事件資料並準備資料記錄以進行寫入,那麼您已準備好使用接收端。

實作sink包含兩個步驟:

  1. 建立接收器。
  2. 使用 追加流程 或 更新流程 將已準備好的記錄寫入目標端。

建立資料接收端

Databricks 支援多種類型的目的地儲存端點,您可以將處理過的串流資料記錄寫入其中:

  • Delta 表接收器(包含 Unity 目錄管理的及外部資料表)
  • Apache Kafka 匯入點
  • Azure 事件中樞接收端
  • 以 Python 撰寫的自訂接收器,使用 Python 自訂的資料來源

以下是 Delta、Kafka 和 Azure 事件中樞接收,以及 Python 自訂資料來源的設定範例:

Delta下跌

若要根據檔案路徑建立 Delta Sink:

dp.create_sink(
  name = "delta_sink",
  format = "delta",
  options = {"path": "/Volumes/catalog_name/schema_name/volume_name/path/to/data"}
)

若要根據完整目錄和架構路徑,透過數據表名稱建立 Delta 匯集:

dp.create_sink(
  name = "delta_sink",
  format = "delta",
  options = { "tableName": "catalog_name.schema_name.table_name" }
)

Kafka 和 Azure 事件中樞匯出位置

此程式代碼適用於 Apache Kafka 和 Azure 事件中樞的資料匯入端。

credential_name = "<service-credential>"
eh_namespace_name = "dp-eventhub"
bootstrap_servers = f"{eh_namespace_name}.servicebus.windows.net:9093"
topic_name = "dp-sink"

dp.create_sink(
name = "eh_sink",
format = "kafka",
options = {
    "databricks.serviceCredential": credential_name,
    "kafka.bootstrap.servers": bootstrap_servers,
    "topic": topic_name
  }
)

credential_name 是 Unity Catalog 服務憑證的參考。 如需詳細資訊,請參閱 使用 Unity 目錄服務認證連線到外部雲端服務。

Python 自訂資料來源

假設您已將 Python 自訂資料來源註冊為 my_custom_datasource,則下列程式碼可以寫入該資料來源。

from pyspark import pipelines as dp

# Assume `my_custom_datasource` is a custom Python streaming
# data source that writes data to your system.

# Create Lakeflow pipelines sink using my_custom_datasource
dp.create_sink(
    name="custom_sink",
    format="my_custom_datasource",
    options={
        <options-needed-for-custom-datasource>
    }
)

# Create append flow to send data to RequestBin
@dp.append_flow(name="flow_to_custom_sink", target="custom_sink")
def flow_to_custom_sink():
    return read_stream("my_source_data")

關於如何在 Python 中建立自訂資料來源的詳細資訊,請參見 PySpark 自訂資料來源。

如需使用 create_sink 函式的詳細資訊,請參閱 接收 API 參考。

建立資料接收器之後,您就可以開始將已處理的記錄串流至資料接收器。

使用追加式流程寫入接收器

建立匯入點之後,下一個步驟是將已處理的記錄寫入其中,方法是將它指定為附加流程中輸出記錄的目標。 您可以透過將接收器指定為 target 裝飾器中的 append_flow 值來執行此動作。

  • 針對 Unity 目錄管理和外部資料表,請使用格式 delta,並在選項中指定路徑或資料表名稱。 您的管道必須配置為使用 Unity Catalog。
  • 針對 Apache Kafka 主題,請使用 kafka 格式,並在選項中指定主題名稱、連線資訊和驗證資訊。 這些是 Spark 結構化流式處理 Kafka 匯入端支援的相同選項。 請參閱 配置 Kafka 結構化串流寫入器。
  • 針對 Azure 事件中樞,請使用格式 kafka,並在選項中指定事件中樞名稱、聯機資訊和驗證資訊。 使用 Kafka 介面的 Spark 結構化串流事件中樞接收也支援這些相同選項。 請參閱驗證。

以下是如何設定流程以將管線所處理的記錄寫入 Delta、Kafka 和 Azure 事件中樞匯入端的範例。

Delta 水槽

@dp.append_flow(name = "delta_sink_flow", target="delta_sink")
def delta_sink_flow():
  return(
  spark.readStream.table("spark_referrers")
  .selectExpr("current_page_id", "referrer", "current_page_title", "click_count")
)

Kafka 和 Azure 事件中樞匯出位置

@dp.append_flow(name = "kafka_sink_flow", target = "eh_sink")
def kafka_sink_flow():
  return (
  spark.readStream.table("spark_referrers")
  .selectExpr("cast(current_page_id as string) as key", "to_json(struct(referrer, current_page_title, click_count)) AS value")
)

Azure 事件中樞的匯出端必須具備 value 參數。 其他參數,例如 key、partition、headers和 topic 都是選擇性參數。

如需更多有關 append_flow 裝飾器的詳細資訊,請參閱 預設流程與附加流程。

限制

  • 僅支援 Python API。 不支援 SQL。

  • 僅支援串流查詢。 不支援批次查詢。

  • 只有 append_flow 和 update_flow 可用來寫入接收端。 其他流程,例如create_auto_cdc_flow,不受支援,且無法在管線資料集定義中使用接收器。 例如,不支援下列專案:

    @table("from_sink_table")
    def fromSink():
      return read_stream("my_sink")
    
  • 對於 Delta 接收端,資料表名稱必須完整限定。 具體而言,針對 Unity Catalog 管理的外部資料表,資料表名稱必須具有 <catalog>.<schema>.<table>的形式。 針對 Hive 中繼存放區,其格式必須是 <schema>.<table>。

  • 執行 完整重新整理更新 不會清除先前在資料儲存端計算的結果數據。 這表示任何重新處理的資料都會附加到匯入系統,現有資料不會被更改。

  • 不支援管線預期。

  • 無伺服器出口控制僅支援 Kafka 和 Delta Lake 匯流連接器。 請參閱 什麼是無伺服器輸出控制項?。

其他資源