使用 Azure 串流分析處理來自事件中樞的資料

Azure 串流分析服務可讓您輕鬆地從 Azure 事件中樞擷取、處理及分析串流資料，並提供強大的深入解析來推動即時動作。 您可以使用 Azure 入口網站將傳入資料視覺化，並撰寫串流分析查詢。 一旦您的查詢就緒，您只要按幾下，就可以將其移至實際執行環境。

重點優勢

以下是 Azure 事件中樞和 Azure 串流分析整合的主要優點：

  • 預覽資料 – 您可以在 Azure 入口網站中預覽來自事件中樞的傳入資料。
  • 測試您的查詢 –準備轉換查詢並直接在 Azure 入口網站中進行測試。 如需查詢語言的語法，請參閱串流分析查詢語言文件。
  • 將您的查詢部署到實際執行環境 – 您可以藉由建立和啟動 Azure 串流分析作業，將查詢部署到實際執行環境。

端對端流程

重要

  • 如果您不是 Azure 訂用帳戶層級的擁有者或參與者角色成員，則您必須是 Azure 訂用帳戶層級串流分析查詢測試人員角色的成員，才能成功完成本節中的步驟。 此角色可讓您執行測試查詢，而不需要先建立串流分析作業。 如需將角色指派給使用者的指示，請參閱將 AD 角色指派給使用者。
  • 如果您的事件中樞只允許透過私人端點進行私人存取，您必須將串流分析作業加入相同的網路，讓作業可以存取事件中樞中的事件。

  1. 登入 Azure 入口網站。

  2. 瀏覽至您的事件中樞命名空間，然後瀏覽至具有傳入資料的事件中樞。

  3. 在左側導覽功能表上，展開 [功能]，選取 [處理資料]，然後在 [啟用事件中的即時深入解析] 圖格上選取 [開始]。

    顯示 [處理資料] 頁面的截圖，其中選取了 [從事件圖格啟用即時深入解析] 磚塊。

  4. 您會看到已針對下列欄位設定值的查詢頁面。 如果您看到一個有關使用者群組和為您建立的原則的快顯視窗，請選取 確定。 您會立即在此索引標籤中看到最新傳入資料的快照集。

    1. 將你的 事件中樞 作為查詢的輸入來源。

    2. 使用 SELECT 陳述式的範例 SQL 查詢。

    3. 用來參考查詢測試結果的輸出別名。

      螢幕擷取畫面顯示串流分析查詢之查詢編輯器。

    • 系統會自動偵測資料中的序列化類型 (JSON/CSV)。 您也可以手動將其變更為 JSON/CSV/AVRO。

    • 您可以預覽資料表格式或原始格式的傳入資料。

    • 如果顯示的資料不是最新的，請選取 [重新整理] 以查看最新的事件。

    • 在上圖中，結果會以表格格式顯示。 若要查看未經處理資料，請選取 [Raw]

      螢幕擷取畫面顯示 [處理資料] 頁面結果窗格中的 [輸入預覽] 視窗，格式為 raw。

  5. 選取 [測試查詢]，即可在 [測試結果] 索引標籤中看到查詢的測試結果快照集。您也可以下載結果。

    螢幕擷取畫面顯示結果窗格中的 [輸入預覽] 視窗，其中包含測試結果。

    撰寫您自己的查詢來轉換資料。 請參閱串流分析查詢語言參考。

  6. 測試查詢後，如果要將其移至實際執行環境，請選取 [建立串流分析工作]。

    [查詢] 頁面的螢幕擷取畫面，其中已選取 [建立串流分析作業連結]。

  7. 在 [新增串流分析作業] 頁面上，遵循下列步驟：

    1. 指定工作的名稱。

    2. 選取您想要在其中建立工作的 Azure 訂用帳戶。

    3. 選取串流分析工作資源的資源群組。

    4. 選取工作的位置。

    5. 針對事件中樞原則名稱，建立新的原則或選取現有的原則。

    6. 針對事件中樞取用者群組，建立新的取用者群組或選取現有的取用者群組。

    7. 選取 建立 以建立串流分析工作。

      螢幕擷取畫面顯示 [新增串流分析作業] 視窗。

      注意

      我們建議你在 [事件中樞] 頁面上為每個新的 Azure 串流分析 作業建立一個消費者群組和一個原則。 取用者群組只允許同時五個讀取器，因此，為每個作業提供專用的取用者群組，將可避免因超過該限制而產生的任何錯誤。 專用原則可讓您輪替金鑰或撤銷權限，不會影響到其他資源。

  8. 你的串流分析作業已建立完成，其中查詢與你測試的一致，而輸入來源則為你的事件中樞。

    螢幕擷取畫面顯示串流分析作業頁面，其中包含要新增輸出的連結。

  9. 新增您選擇的輸出。

  10. 透過點擊麵包屑導覽中的作業名稱，返回串流分析作業頁面。

  11. 在 [查詢] 視窗上方，選取 [編輯查詢]。

  12. 使用您的輸出名稱更新 [OutputAlias]，然後選取查詢上方的 [儲存查詢] 連結。 選取右上角的 [X]，以關閉 [查詢] 頁面。

  13. 現在，在 [串流分析工作] 頁面上，選取工具列上的 [開始] 以開始工作。

    串流分析作業的 [開始作業] 視窗螢幕擷取畫面。

存取

問題：使用者無法存取預覽資料，因為沒有訂用帳戶的正確權限。

選項 1：想要預覽傳入資料的使用者必須新增為訂用帳戶上的參與者。

選項 2：使用者必須在訂閱服務中新增為 Stream Analytics 查詢測試角色。 前往訂用帳戶的存取控制設定。 將使用者的角色指派新增為「串流分析查詢測試人員」角色。

選項 3：使用者可以建立 Azure 串流分析作業。 將輸入設定為這個事件中樞，然後瀏覽至 [查詢] 以預覽此事件中樞的傳入資料。

選項 4：系統管理員可以在訂用帳戶上建立自訂角色。 將下列權限新增至自訂角色，然後將使用者新增至新的自訂角色。

螢幕擷取畫面顯示 Microsoft.StreamAnalytics 權限頁面。

串流單位

您的 Azure 串流分析作業會預設為三個串流單位 (SU)。 若要調整此設定，請在 Azure 入口網站的 [串流分析作業] 頁面左側功能表上選取 調整規模。 若要深入了解串流單位，請參閱了解及調整串流單位。

螢幕擷取畫面顯示 Stream Analytics 作業的「縮放」頁面。

使用事件中樞地理複寫功能時的考量

「Azure 事件中樞」最近在公開預覽版中推出了 Geo-Replication（地理複寫） 功能。 這項功能與 Azure 事件中樞的異地災害復原功能不同。

當容錯移轉類型為強制且複寫一致性為非同步時，串流分析作業不保證能以「恰好一次」的方式輸出至 Azure 事件中樞的輸出。

Azure 串流分析作為產生者且事件中樞為輸出時，可能會在容錯轉移期間和事件中樞節流期間觀察到作業的浮水印延遲，尤其當主要與次要之間的複寫延遲達到設定的延遲上限時。

Azure 串流分析作為取用者且事件中樞為輸入時，可能會在容錯轉移期間觀察到作業的浮水印延遲，而且在容錯轉移完成後可能會略過資料或發現重複的資料。

由於上述這些限制，請在事件中樞容錯移轉完成後，立即以適當的開始時間重新啟動串流分析作業。 另外，因為 Event Hubs 的地理複製功能目前還在公開預覽階段，目前不要用這個模式來處理生產的 Stream Analytics 工作。 在事件中樞異地復寫功能正式推出之前，目前的串流分析行為將會改善，並可用於串流分析生產作業。

相關內容

若要深入了解串流分析查詢，請參閱串流分析查詢語言

  • 上次更新時間：