使用 Azure Data Lake 建立 Azure Synapse Link for Dataverse

您可使用 Azure Synapse Link 將 Microsoft Dataverse 資料連接至 Azure Data Lake Storage Gen2，以啟用各種分析案例。 本文章將說明如何執行下列工作：

  1. 使用 Azure Synapse Link 服務，將 Dataverse資料連接至 Azure Data Lake Storage Gen2 帳戶。
  2. 管理 Azure Synapse Link 中包含的 Dataverse 資料表。
  3. 監控您的 Azure Synapse Link。
  4. 解除你的Azure Synapse Link連結。
  5. 重新連結你的Azure Synapse Link。
  6. 查看 Azure Data Lake 中的資料，並了解檔案架構。

備註

Azure Synapse Link for Dataverse 先前稱為「匯出至資料湖」。 該服務於 2021 年 5 月起更名，並將持續匯出資料至 Azure Data Lake 及 Azure Synapse Analytics。

在 Power Apps 中，Azure Synapse Link 現在是連結資料頁面的一部分，並會出現在「其他連結」下。 你現有的連結會繼續運作，不需要遷移或重新連結。

若要建立新的 Azure Synapse Link，請前往 Link data，然後選取 Other Links>+ 新增連結。 Azure Synapse Link 的建立功能已無法從表格>分析選單中取得。

必要條件

  • Azure Data Lake Storage Gen2：您必須擁有 Azure Data Lake Storage Gen2 帳號，以及 擁有者 權限或 自訂角色權限。 您的儲存體帳戶必須啟用初始安裝和增量同步的階層命名空間。只有初始安裝需要允許儲存體帳戶金鑰存取。 您的儲存體帳戶必須將 [允許的複製作業範圍] 設定為 [從任何儲存體帳戶]。

備註

  • 儲存體帳戶必須是在與您 Power Apps 用戶相同的 Microsoft Entra 用戶中所建立。
  • 若要為連結的儲存體帳戶設定已從選取的虛擬網路和 IP 位址啟用，以可讓從選取的 IP 位址進行存取，您必須建立使用受控識別的 Azure Synapse Link。將 Azure 受控識別與 Azure Data Lake Storage 搭配使用 (若未設定受控識別，您必須為 Azure 資源啟用公用網路存取，以便進行初始設定與差異同步)。
  • 強烈建議您在為此目的選擇的儲存體帳戶上啟用虛刪除功能。 啟用軟刪除功能可讓您更快速地從意外的資料刪除中復原。
  • 您必須具備對具有存放裝置帳戶的資源群組的讀者角色存取權。
  • 若要將環境連結至 Azure Data Lake Storage Gen2，您必須擁有 Dataverse 系統管理員資訊安全角色。
  • 只有已啟用變更追蹤的表格可匯出。
  • 在單一 Dataverse 環境下建立的 Azure Synapse Link 設定檔限制為最多 10 個。

將 Dataverse 連接至 Azure Data Lake Storage Gen2

  1. 登入 Power Apps並選取您喜歡的環境。

  2. 在左側導覽窗格，選擇 連結資料，然後選擇 其他連結。 現有的 Azure Synapse 連結會出現在本節中。 如果側邊面板中未顯示 連結資料，請選取 …更多，然後選取 探索全部。 連結資料在 資料管理 區塊。

  3. 在命令列，選取 + 新增資料湖連結。

  4. 選取訂閱，資源群組，和儲存體帳戶。 請確定儲存體帳戶符合先決條件區段中指定的要求 。 選取 [下一步]。

    備註

    作為將環境連結到資料湖的一部分，你會授權 Azure Synapse Link 服務存取你的儲存帳號。 確保你已完成建立及設定 Azure 資料湖儲存帳戶的先決條件，並為自己授與擁有者角色，或授與具有所需權限的自訂角色。 此外，您還會授予 Power Platform 資料流服務存取您儲存帳戶的權限。 其他資訊：使用資料流程的自助資料準備。

  5. 選擇要匯出的資料表，可以逐一選擇，也可以在搜尋框中輸入以逗號分隔的資料表清單，然後選擇儲存。 只能匯出具有追蹤變更屬性的資料表。 詳細資訊：資料表的進階選項。

    選取要匯出的資料表。

您可以依照本文中步驟，在您的 Azure 訂閱中建立從一個環境連至多個 Azure 資料湖的連結。 同樣地，你也可以在同一租戶內，從多個環境建立連結到同一個 Azure 資料湖。

備註

Azure Synapse Link for Dataverse 服務已作為內建功能無縫整合至 Power Platform 中。 它符合為 Power Platform 資料儲存體和治理設定的安全性與治理標準。 其他資訊：資料儲存和治理

Azure Synapse Link 服務匯出的資料在傳輸過程中會使用傳輸層安全（TLS）1.2 或更高版本加密，並在 Azure Data Lake Storage Gen2 靜態時加密。 此外，blob 儲存體中的臨時數據也會進行靜態加密。 Azure Data Lake Storage Gen2 中的加密功能幫助您保護資料、實施企業安全政策，並符合法規遵循要求。 欲了解更多資訊，請參閱 Azure Data Encryption-at-Rest。

管理資料表資料並匯入至資料湖

設定 Azure Synapse Link 之後，您可以使用下列兩種方式之一來管理匯出的資料表：

  • 在Power Apps（make.powerapps.com）連結資料>的「其他連結」區域，然後在指令列選擇「管理資料表」以新增或移除一個或多個連結資料表。

  • 在 Power Apps 製作者入口 資料表區域中，選擇資料表旁的 ...，然後選擇您要匯出資料表資料的連結資料湖。

    選取要匯出的資料表。

設定 Azure Synapse Link 之後，您可以在資料表索引標籤下監視 Azure Synapse Link。

Azure Synapse Link 監視

  • 以下是資料表清單，這些資料表屬於您選擇的 Azure Synapse Link 的一部分。
  • 同步狀態將會在不同階段循環進行。 NotStarted 表示該資料表正在等待同步處理。 表格初始同步完成時，將會有一個後續處理階段，不會發生累加式更新。 這可能需要幾個小時，需視資料大小而定。 當累加式更新開始進行時，將會定期更新上次同步的日期。
  • 計數欄顯示寫入的列數。 當限附加設為否時，這為記錄的總數。 當限附加設為是時，這為變更的總數。
  • 僅附加與分割策略欄位顯示了不同進階設定的使用方式。

  1. 選擇 Azure Synapse 連結以解除連結。

  2. 從命令欄中選取取消連結資料湖。

  3. 若要同時刪除資料湖檔案系統，請選取刪除資料湖檔案系統。

  4. 選取是，並等待幾分鐘讓所有東西取消連結並刪除。

如果你在解除連結時刪除了檔案系統，請依照前述步驟重新連結同一個資料湖。 如果在取消連結時未刪除檔案系統，則必須清除資料才能重新連結：

  1. 移至 Azure Data Lake。

  2. 刪除 Dataverse 容器。

  3. 移至 Power Apps，並重新連結資料湖。

檢視您在 Azure Data Lake Storage Gen2 中的資料

  1. 選取所需的 Azure Synapse Link，然後從頂端面板選取移至 Azure Data Lake。

  2. 展開檔案系統，然後選取 dataverse-environmentName-organizationUniqueName。

model.json 檔案及其名稱和版本，提供已匯出至 data lake 的表格清單。 model.json 檔案也包含初始同步狀態和同步完成時間。

對於匯出至 data lake 的每個表格，會顯示包含快照逗點分隔（CSV 格式）檔的資料夾。 資料湖中的資料表資料。

  1. 在瀏覽器的網址列中，附加 ?athena.updateLake=true 到以 exporttodatalake 結尾的網址。

  2. 選取 Azure Synapse Link 區域中的現有設定檔，然後選取擴充選項。

  3. 選取連結至 Azure Synapse Analytics 工作區，並等待幾分鐘完成所有連結。

持續快照更新

Microsoft Dataverse 資料可以透過建立、更新和刪除交易持續變更。 快照集會提供按定期間隔 (在此案例中是每隔一小時) 更新的唯讀資料複本。 這可確保在任何指定的時間點，資料分析消費者都能可靠地取用 Data Lake 中的資料。

持續快照集更新。

將表格新增為初始匯出的一部分時，表格資料會寫入 data lake 對應資料夾下的 table .csv 檔案。 這是 T1 時間間隔，其中已建立名為 資料表-T1.csv 的快照唯讀檔案，例如 Account-T1.csv 或 Contacts-T1.csv。 此外，還會將 model.json 檔案更新以指向這些快照集檔案。 您可以開啟 model. json 來檢視快照集詳細資料。

以下是 Data Lake 中的 Account .csv 分割檔案及快照集資料夾範例。

帳戶資料表快照。

Dataverse 中的變更會使用涓流傳輸引擎持續傳送至對應的 CSV 檔案。 這是 T2 間隔，在這裡會擷取另一個快照。 資料表-T2.csv — 例如 Accounts-T2 或 Contacts-T2 .csv (假設資料表有變更) — 和 model.json 會更新為新的快照檔案。 從 T2 開始，所有查看快照資料的使用者都會被引導至較新的快照檔案。 如此一來，原先的快照集檢視者就可以繼續處理較舊的快照集 T1 檔案，而新近的檢視者則可以讀取最新的更新。 這在下游程序執行時間較長的案例中非常有用。

備註

  • 只有在資料更新時才會建立新的快照檔案。
  • 僅保留最新的五個快照檔案。 停滯的資料會自動從您的 Azure Data Lake Storage Gen 2 帳戶中移除。

以下是 model.json 檔案的範例，此檔案永遠指向最新時間戳記的帳戶快照檔案。

範例快照集 model.json 檔案。

也請參閱

在 Data Lake 中用 Power BI 分析 Dataverse 的資料

在 Data Lake 中使用 Azure Data Factory 內嵌 Dataverse 資料

Azure Synapse Link for Dataverse 進階設定

Azure Synapse Link FAQ

  • 上次更新時間：