資料流簡化了資料路徑的設置,以移動、轉換及豐富資料。 透過使用資料流程,你可以連接各種資料來源並執行資料操作。 資料流元件模組是 Azure IoT 操作 的一部分,您可以將它部署為 Azure Arc 擴充套件。 你可以透過 Operations Experience 的網頁介面、Azure CLI 或 Azure Resource Manager 範本來配置資料流程。
您可以撰寫各種使用案例的組態,例如:
- 轉換資料後回傳回 MQTT。
- 將資料轉換並傳送到雲端。
- 無需轉換即可將資料傳送到雲端或邊緣。
資料流不限於你部署 IoT Operations 實例的區域。 您可以使用資料流將資料傳送至不同區域中的雲端端點。
Note
資料流取代了早期Azure IoT 操作版本中僅預覽的Data Processor元件。
--include-dp參數 on az iot ops init 已被移除,不再需要。 資料流元件會自動部署。
主要功能
本節描述資料流的主要特徵。
資料處理和路由傳送
數據流動可讓訊息的擷取、處理和路由傳送至指定的匯集地點。 您可以指定:
- 資料來源:你從哪裡接收訊息。
- 目的地:將訊息導出至的位置,並支援動態主題路由。
- 轉換(可選):用於資料處理操作的設定。
變換功能
你可以在處理階段對資料進行轉換,以執行各種操作。 這些作業可能包括:
- 計算新屬性:基於訊息中已有的屬性。
- 屬性重命名:標準化或釐清資料。
- 單位轉換:將數值轉換為不同的計量單位。
- 標準化數值:將屬性值縮放至使用者定義的範圍。
- 將資料置於情境中:為訊息加入參考資料,以豐富內容並推動洞見。
小提示
關於更豐富的處理能力,包括條件路由、基於時間的聚合及可組合轉換管線,請參見 資料流程圖。
設定和部署
使用操作體驗網頁介面、Azure CLI 或 Azure Resource Manager 範本來指定配置。 根據此設定,數據流運算符會建立數據流實例,以確保高可用性和可靠性。
福利
- 簡化設定:輕鬆連接資料來源與目的地。
- 靈活轉換:執行多種資料操作。
- 可擴展配置:使用Azure工具以實現可擴展且易於管理的配置。
- 高可用性:Kubernetes 原生資源確保可靠性。
藉由使用數據流,您可以有效率地管理數據路徑。 您可以確保數據正確傳送、轉換和擴充,以符合您的作業需求。
結構描述登錄
結構描述登錄是 Azure 裝置登錄檔所提供的功能,它是一個在雲端與邊緣之間同步的存放庫。 架構登錄會儲存來自邊緣資產的訊息定義,然後公開 API 以存取邊緣的這些架構。 像是 OPC UA 的南向連接器可以建立訊息結構並加入結構登錄檔,或者你也可以把結構上傳到 Operations Experience 的網頁介面。
數據流會使用訊息架構,將訊息轉換成目的地端點所預期的格式。
欲了解更多資訊,請參閱 「了解訊息結構」。
資料緩衝與磁碟持久化
當資料流向目的地端點發送訊息時,目的地端點或網路可能會變為不可用。 如果無法完成傳送,資料流就不會確認來源訊息。 MQTT 代理會將訊息保留在訂閱者佇列中,資料流會重試傳遞。
如需了解目的地中斷行為、代理用戶佇列、磁碟備份訊息緩衝區、代理者持久性及資料流 requestDiskPersistence的資訊,請參閱 設定資料緩衝與磁碟持久性以支援資料流。