教學：寫入儲存在 Azure Data Lake Storage Gen2 中的 Delta 表

這個教學示範如何建立一個串流分析工作，寫入 Azure Data Lake Storage Gen2 中的 Delta 資料表。 在本教學課程中，您將瞭解如何：

  • 部署事件產生器，將範例資料傳送至事件中樞
  • 建立串流分析作業
  • 配置 Azure Data Lake Storage Gen2 與 Delta 資料表
  • 執行串流分析作業

先決條件

開始之前，請完成下列步驟：

建立串流分析作業

  1. 登入 Azure 入口網站。

  2. 在左側選單中選擇 所有服務 。

  3. 將滑鼠移至 [分析] 區段中的 [串流分析作業] 上方，然後選取 [+ (加號)]。

    螢幕擷取畫面，顯示 [所有服務] 頁面中串流分析作業的選取範圍。

  4. 在Azure入口網站左上角選擇Create a resource。

  5. 從結果清單中選取 [分析>串流分析作業 ]。

  6. 在 New Stream Analytics 的工作中，請遵循以下步驟：

    1. 針對 [訂用帳戶]，選取 Azure 訂用帳戶。
    2. 針對 [資源群組]，選取您稍早在 TollApp 部署中使用的相同資源。
    3. 在Name，輸入職位名稱。 Stream Analytics 的工作名稱只能包含字母數字、連字符和底線。 長度必須介於3到63字之間。
    4. 針對 [託管環境]，確認已選取 [雲端 ]。
    5. 針對 [串流單位]，選取 1。 串流單元代表執行作業所需的運算資源。 想了解串流單元的縮放，請參考「理解與調整串流單元」。

    螢幕擷取畫面，顯示 [建立串流分析作業] 頁面。

  7. 請在頁面底部選擇 [檢閱 + 建立]。

  8. 在 Review + 建立時，檢視設定，選擇 建立 以建立 Stream Analytics 工作。

  9. 在部署頁面，選擇 「前往資源 」即可進入 串流分析職缺 頁面。

設定任務輸入

下一步是利用 TollApp 部署中建立的事件中心，定義工作讀取資料的輸入來源。

  1. 找到上一節中建立的串流分析作業。

  2. 在串流分析作業的 [作業拓撲 ] 區段中，選取 [輸入]。

  3. 選取 [+ 新增輸入 ] 和 [事件中樞]。

    顯示 [輸入] 頁面的螢幕擷取畫面。

  4. 使用透過 TollApp Azure 範本建立的下列值來填寫輸入表單：

    1. 針對 輸入別名，輸入 entrystream。

    2. 選擇 [從訂用帳戶選取事件中樞]。

    3. 針對 [訂用帳戶]，選取 Azure 訂用帳戶。

    4. 針對 [事件中樞命名空間]，選取您在上一節中建立的事件中樞命名空間。

    5. 在其餘設定上使用預設選項，然後選取 [儲存]。

      顯示選取輸入事件中樞的螢幕擷取畫面。

設定作業輸出

下一步是定義一個輸出匯出器，讓工作可以寫入資料。 在本教學課程中，您會將輸出寫入 Azure Data Lake Storage Gen2 中的 Delta 表格。

  1. 在串流分析作業的 [作業拓撲 ] 區段中，選取 [輸出] 選項。

  2. 選取[+ 新增輸出]>[Blob 儲存體/ADLS Gen2]。

    顯示 [輸出] 頁面的螢幕擷取畫面。

  3. 使用下列詳細資料填入輸出表單，然後選取 儲存：

    1. 針對 Output alias，輸入 DeltaOutput。

    2. 選擇 [從訂用帳戶選取 Blob 儲存體/ADLS Gen2]。

    3. 針對 [訂用帳戶]，選取 Azure 訂用帳戶。

    4. 針對 [ 儲存體帳戶]，選擇您建立的 ADLS Gen2 帳戶 （以 tollapp 開頭的帳戶）。

    5. 針對 容器，選取 [ 新建 ]，並提供唯一的 容器名稱。

    6. 針對 [事件序列化格式]，選取 [Delta Lake]。 雖然三角洲湖被列為選項之一，但它並非資料格式。 Delta Lake 使用版本化的 Parquet 檔案來儲存您的資料。 了解更多關於 三角洲湖的信息。

    7. 針對 [Delta 資料表路徑]，輸入 tutorial folder/delta table。

    8. 在其餘設定上使用預設選項，然後選取 [儲存]。

      顯示輸出設定的螢幕擷取畫面。

建立查詢

這時，你會設定一個串流分析工作來讀取輸入的資料流。 下一步是建立即時分析資料的查詢。 查詢會使用類似 SQL 的語言，其中包含一些串流分析特有的延伸模組。

  1. 在左側選單的「工作拓撲」下選擇查詢。

  2. 在查詢視窗中輸入下列查詢。 在此範例中，查詢會從事件中樞讀取資料，並將選取的值複製到 ADLS Gen2 中的 Delta 資料表。

     SELECT State, CarModel.Make, TollAmount
 INTO DeltaOutput
 FROM EntryStream TIMESTAMP BY EntryTime

  3. 選取工具列上的 [儲存查詢]。

    顯示作業查詢的螢幕擷取畫面。

啟動串流分析工作並查看輸出

  1. 返回 Azure 入口網站中的作業概觀頁面，然後選取 [開始]。

    螢幕擷取畫面，顯示在 [概觀] 頁面上選取 [開始作業] 按鈕。

  2. 在 [ 開始作業 ] 頁面上，確認 [ 作業輸出開始時間 ] 已選取 [ 現在 ]，然後選取 頁面底部的 [ 開始 ]。

    螢幕擷取畫面，顯示 [開始作業] 頁面的選取範圍。

  3. 幾分鐘後，在入口網站找到你設定為該工作輸出的儲存帳號和容器。 您現在可以在容器內指定之資料夾中查看 Delta 資料表。 作業第一次啟動需要幾分鐘時間。 啟動後，資料到達時便持續運行。

    顯示容器中輸出資料檔案的螢幕擷取畫面。

清理資源

當你不再需要資源時，刪除資源群組、串流分析工作以及所有相關資源。 刪除作業會停止對該作業所耗用的串流單位計費。 如果你打算未來繼續做這份工作，可以先停下來，之後需要時再重新開始。 如果你不打算繼續使用這個工作，請依照以下步驟刪除你在教學中建立的所有資源：

  1. 從 Azure 入口網站的左側功能表中，選取 [資源群組] ，然後選取您建立的資源名稱。
  2. 在您的資源群組頁面上，選取 [刪除]，在文字方塊中輸入要刪除的資源名稱，然後選取 [刪除]。

後續步驟

在這個教學中，你建立了一個簡單的 Stream Analytics 工作，篩選輸入資料，並在 ADLS Gen2 帳號的 Delta 表格中寫入結果。 想了解更多關於串流分析職缺的資訊，請參閱：

ASA 寫入 Delta Lake 輸出

  • 上次更新時間：