Microsoft AI 與機器學習產品

Microsoft 提供多種 AI 與機器學習平台。 每個平台針對受眾、工作負載、資料基礎與部署模式的不同組合。 本文協助解決方案架構師、機器學習工程師、資料科學家及應用程式開發者選擇起始平台,了解平台間的差異,並學習如何在實際架構中結合它們。 涵蓋橫跨 Azure、Microsoft Fabric 與 Microsoft Foundry 的古典機器學習、整合分析的機器學習,以及生成式 AI 工作負載。 本文聚焦於 Microsoft 提供的解決方案。

利用本文比較各種選項並設計端到端解決方案。

Note

本文聚焦於客製化的 AI 與機器學習平台,而非打包軟體即服務(SaaS)助理、低程式碼 SaaS 創作工具,或產品內的終端使用者體驗。

主要工作負載情境

先從你需要加入工作流程的 AI 或機器學習功能開始。 下表將常見功能情境對應到自訂 AI 與機器學習功能的推薦起始平台。 先把它當作初步導向,再檢視平台功能並走過決策樹。

主要情境 建議起點 理由
建立生成式 AI 應用程式或 AI 代理 Microsoft Foundry 提供模型發現、微調、檢索增強生成(RAG)、代理協調、評估及安全工具,集中於一平台。
透過預先建構的 API 加入 AI 功能,涵蓋視覺、語音、語言、搜尋或內容安全 鑄造工具 提供無需自訂訓練的預訓練 API。 在建立自訂模型前先用它們。
訓練、部署並管理客製化的機器學習或深度學習模型 Azure 機器學習 涵蓋完整的機器學習生命週期,包括MLOps、線上與批次端點,以及負責任的AI工具。
在統一的資料與商業智慧(BI)平台上執行整合分析功能的機器學習 Microsoft網狀架構 提供支援 Apache Spark 筆記本、AutoML 及與 Power BI 的 Microsoft OneLake 支援整合的 SaaS 分析平台。
在 Spark、Lakehouse 資料或大型分散式訓練工作上執行機器學習 Azure Databricks 或 Azure HDInsight 中的 Apache Spark Azure Databricks:支援 Lakehouse 規模的 Spark,並整合原生的 MLflow 與 Unity Catalog。

Azure HDInsight:支援 Azure 管理的 Spark 叢集,具備原生儲存與安全整合。
將機器學習保留在 SQL 資料庫、邊緣裝置或桌面應用程式中 SQL 智慧應用程式與人工智慧、Azure SQL 受控執行個體 機器學習服務、SQL Server 機器學習服務或本地machine learning工具 提供一種方式來保留資料,並加入資料庫內預測、向量檢索或 AI 端點整合。

比較平台功能

以下矩陣總結每個平台的主要適用點、提供互補支援的方面,以及哪些方面該能力並非重點。 矩陣使用以下圖示:

  • ✅ 主要能力
  • ⚠️ 支援或互補能力
  • ❌ 不是焦點
Capability Microsoft Foundry Azure Machine Learning Microsoft Fabric Azure Databricks 鑄造工具 SQL 機器學習 邊緣或本地機器學習
生成式人工智慧與代理 ✅ ⚠️(非主要平台) ❌ ⚠️(Lakehouse 範圍限定) ⚠️(僅限積木) ❌ ⚠️(僅限裝置端)
基底模型探索與評估 ✅ ⚠️(非主要平台) ❌ ⚠️(Lakehouse 範圍) ❌ ❌ ❌
自訂模型訓練(經典或深度學習) ⚠️(僅微調) ✅ ⚠️(Analytics 範圍限定) ✅ ❌ ⚠️(資料庫範圍) ⚠️(僅限本地)
大規模或分散式訓練運算資源 ❌ ✅ ⚠️(較小比例) ✅ ❌ ❌ ❌
AutoML ❌ ✅ ✅ ✅ ❌ ❌ ⚠️(僅限 .NET)
MLOps 生命週期(註冊表、管線、持續整合與持續交付(CI/CD)) ⚠️ (via Azure Machine Learning) ✅ ⚠️ (via Azure Machine Learning) ✅ ❌ ❌ ❌
即時(線上)推論 ✅ ✅ ⚠️(預覽中的模型端點) ✅ ✅ ⚠️(僅限資料庫內) ✅
批次(離線)推論 ⚠️(線上優先) ✅ ✅ ✅ ❌ ✅ ⚠️(僅限本地)
本地部署或離線部署 ⚠️(僅限 Edge 子集) ⚠️ (Via Azure Arc) ❌ ❌ ⚠️(僅限容器) ✅ ✅
治理與安全工具 ✅ ✅ ⚠️(有限模型治理) ✅ ⚠️(限於特定服務) ⚠️(資料庫範圍) ❌

以下註解說明矩陣中的特定評級:

  • Foundry Tools 被評為對生成式 AI 與代理具互補性,因為像 Azure AI 搜尋服務、Foundry Control Plane 的內容安全,以及 Foundry Tools 中的 Azure 文件智慧,是 RAG 與代理解決方案的常見建構組件。 生成式 AI 開發的主要平台是 Microsoft Foundry。

  • Microsoft Foundry 治理主要來自 Foundry Control Plane,該平面提供可觀察性、執行時控制、安全整合及代理與應用程式的機群管理。

  • Azure Machine Learning 透過存取 Foundry 模型、管理端點、評估功能,以及針對受支援的基礎模型進行微調,支援生成式 AI。 它並不是生成式 AI 開發的主要平台。

  • Azure Databricks 在治理方面獲得主要評等,因為 Unity Catalog 提供統一的資料與模型治理,包含基於角色的存取控制(RBAC)及 OpenSharing。

  • Microsoft Fabric 在治理方面被評為屬於互補性質,因為 OneLake、Microsoft Purview 整合、敏感度標籤及基於領域的控制措施能良好涵蓋資料資產。 Microsoft Fabric 內建基於 MLflow 的模型登錄系統,用於儲存與追蹤模型。 Microsoft Fabric 也內建了機器學習模型與實驗的血統視圖,包括與 Lakehouse 及程式碼項目的關係。 但 Microsoft Fabric 並沒有包含負責任的 AI 儀表板。 若要更廣泛的模型生命週期治理,建議搭配 Microsoft Fabric 與 Azure Machine Learning。

  • Microsoft Fabric 在即時推論方面被評為互補,因為 Microsoft Fabric Real-Time Intelligence 涵蓋串流分析,而Microsoft Fabric 機器學習模型端點則提供用於即時預測的受管理線上 REST 端點。 模型端點目前處於預覽階段,並支援有限的模型類型。 若要在大規模生產環境中提供線上服務,你也可以將 Microsoft Fabric 與 Azure Machine Learning 管理的線上端點或 Microsoft Foundry 搭配使用。

  • Foundry Local 將 Microsoft Foundry 擴展至邊緣及離線情境的裝置推論。

  • Azure Arc 將 Azure Machine Learning 擴展到本地 Kubernetes 叢集,用於混合訓練或推論。

  • Microsoft Fabric 資料科學包含低程式碼的 AutoML 體驗。 程式碼優先的 AutoML 可透過 Microsoft Fabric 筆記本中的快速輕量 AutoML(FLAML)API 使用。 欲了解目前狀態,請參閱 Microsoft Fabric 文件。

縮小你的平台選擇範圍

請參考以下決策樹縮小你的起始平台選擇範圍。 樹狀結構幫助你為工作負載選擇 主要 平台。 大多數生產解決方案結合多個平台,因此請利用本文中針對產品的特定章節來精細選擇。 也可以考慮使用複合架構模式。 欲了解更多資訊,請參閱 合併平台。

根據情境、開發者類型以及訓練與推論地點,為主要 Microsoft AI 或機器學習平台建立決策樹。

下載此決策樹的 Visio 檔案。

逐步解說

請依照以下步驟逐步瀏覽決策樹。 當你到達平台選擇步驟時,跳過剩下的步驟。

  1. 找出功能情境。

    在你的工作負載內,從功能層級做出平台選擇。 每個功能都可以有獨特的功能性與非功能性需求,一個或多個技術可以滿足這些需求。 使用此流程圖時,請考慮你想解決的特定使用情境需求。

  2. 對於生成式 AI 和代理,請選擇符合你開發者身分的 Microsoft 平台。

  3. 對於客製化機器學習與深度學習,請根據訓練與推論的執行地點來決定。

  4. 對於與分析整合的機器學習,請選擇符合你資料與商業智慧模式的解決方案。

  5. 對於基於 Spark 或分散式運算,請根據你使用 lakehouse 還是管理型 Spark 叢集來做決定。

    • 搭配 MLflow 和 Unity Catalog 治理的 Lakehouse:使用 Azure Databricks。 你仍然可以透過 Azure Machine Learning 受控端點發佈模型,用於提供服務與治理。

    • Azure 上具有原生儲存體和安全性整合的受控 Spark 叢集:在 Azure HDInsight 中使用 Apache Spark。

Note

對於跨雲端與本地環境的架構,可透過 Azure Arc 將本地部署或多雲 Kubernetes 叢集附加到 Azure Machine Learning 工作區。這種架構讓資料保留在本地,同時透過 Azure 進行訓練與推論協調。 欲了解更多詳細資訊,請參閱「配置 Kubernetes 叢集以支援 Azure Machine Learning」。

Azure Machine Learning

Azure Machine Learning 是一個全託管的雲端服務,用於大規模訓練、部署和管理機器學習模型。 它支援數萬個開源 Python 套件,包括 TensorFlow、PyTorch 和 scikit-learn。 它提供涵蓋整個機器學習生命週期的工具,從資料準備到部署、MLOps 以及負責任的 AI。

當你需要以下功能時,請使用 Azure Machine Learning:

  • 客製化訓練。 你會用自訂模型訓練來進行經典機器學習、深度學習或開源大型語言模型的微調。

  • 生產MLOps。 你會使用生產 MLOps 生命週期,包含實驗追蹤、模型版本管理、受治理的模型登錄庫、CI/CD 管線以及生產監控。

  • 受管理的端點。 你會使用託管線上或批次推論端點,這些端點託管在提供自動擴展、受管理身份與監控的環境中。

  • 混合運算。 你會在支援 Azure Arc 的 Kubernetes 叢集中使用混合式訓練或推論。

下表總結了 Azure Machine Learning 在整個機器學習生命週期中所提供的平台功能。

Capability 描述
工作區與資料儲存 一個用於組織實驗、計算、資料集、模型及外部資料庫連結的中央資源。 資產和執行記錄已進行版本控管,以確保可重現性。
運算叢集與實例 配置好的 CPU 與 GPU 運算,用於分散式訓練(運算叢集)及互動式筆記本開發(計算實例)。
無伺服器計算 Azure Machine Learning 會自動建立並擴展用於訓練工作的隨需受控計算。
自動化機器學習 產生模型、管線、超參數調整及特徵工程,用於分類、迴歸、預測、電腦視覺及自然語言處理。
管線和設計工具 基於程式碼及拖放式編排,用於資料準備、訓練、評估與部署。 可整合 CI/CD 工具。
Foundry Models 存取 一個平台,透過 Azure Machine Learning 中的 Foundry 模型,發現、評估、微調及部署來自 Microsoft、OpenAI、Meta、Hugging Face 及其他供應商的支援基礎模型。
MLflow 實驗追蹤與模型管理 透過使用 MLflow 相容的 API 搭配 Azure Machine Learning 工作空間,追蹤實驗、執行、指標、參數、產物及模型。
線上與批次端點 可管理的 REST 端點用於即時推論,以及可調用端點用於批次評分,並支援自動縮放與受控識別。
負責任的 AI 工具 公平性、可解釋性與錯誤分析儀表板。
安全性與混合式支援 與 Azure 虛擬網路、Azure Key Vault、Azure Container Registry、RBAC、受控識別和 Azure Arc 整合。

下表總結了 Azure Machine Learning 的核心採用細節。

層面 詳細資料
類型 雲端機器學習平台。
支援的語言 Python 和 R。同時也支援命令列介面(CLI)及 REST API。
機器學習階段 資料準備、訓練、部署、MLOps,以及負責任的人工智慧。
主要優點 以程式碼為優先的 SDK 與 CLI 工作流程。 以 Studio 為基礎的編寫。 腳本、實驗與運行歷史的集中管理。 可擴充的訓練與部署。 透過 Azure Arc 提供混合式選項。
考慮事項 在採用完整的 MLOps 之前,對工作空間和資產模型有一定的熟悉會很有幫助。

Azure Machine Learning 在以下情況下並不適合:

  • 你只需要使用適用於視覺、語音或語言的預先訓練 API。 這種情況下,請使用Foundry Tools。

  • 機器學習是分析工作負載的小型延伸。 在這種情況下,Microsoft Fabric 或 Azure Databricks 可能是更好的起點。

  • 你的工作範疇是端對端的生成式 AI(模型選擇、代理編排、評估、部署與監控)。 另外,你不需要傳統的機器學習訓練,也不需要 Azure Machine Learning 資產、執行項目和 MLflow 模型。 在這種情況下,僅靠 Microsoft Foundry 就足夠了。 只有在需要 Azure Machine Learning 訓練運算資源、MLOps 生命週期,或是針對自訂模型管理的線上或批次端點時,才需要 Azure Machine Learning 工作空間。

Microsoft Foundry

Microsoft Foundry 是統一的 Azure 平台,用於建置、優化及治理生成式 AI 應用程式與 AI 代理。 Microsoft Foundry 結合了 Foundry 模型目錄、代理程式與編排服務、評估與安全工具,以及執行時治理的控制平面。 在以程式碼為先的代理開發中,Microsoft Foundry 與 Microsoft Agent Framework 搭配使用,後者是統一的 Microsoft SDK,取代了先前 語意核心 與 AutoGen 之間的分離。

當你需要以下功能時,請使用 Microsoft Foundry:

  • 生成式人工智慧或代理程式。 你會打造生成式 AI 或基於代理的解決方案,例如多模型聊天機器人或協調式大型語言模型(LLM)工作流程。

  • 模型發現與評估。 你需要能夠發現、比較並評估多家供應商的基礎模型。

  • 模型自訂與治理。 你希望在一個受管理環境中微調、評估並部署基礎模型,該環境提供內建的可觀察性、內容安全與執行時控制。

下表總結了 Microsoft Foundry 支援生成式 AI 應用與代理程式開發的能力。

Capability 描述
鑄造廠模型 來自 Azure OpenAI、Hugging Face 和 Meta 等供應商的預訓練模型目錄,以及 Microsoft Phi 小型語言模型家族,並附有基準測試與部署選項。
模型自訂 能夠根據自己的資料微調或自訂支援的基礎模型。 部署選項依模型而定,並包含標準型與佈建類型(如有)。
鑄造代理服務 一個用於託管與協調 AI 代理程式的平台,自動化多步驟業務流程。 與 Microsoft Agent Framework SDK 搭配使用,進行以程式碼為優先的代理開發。 實作相容 OpenAI 的回應 API,以提供廣泛的客戶端 SDK 支援。
Foundry IQ 一個管理式知識層,使智慧代理以企業資料為基礎。 建立多來源知識庫,並利用代理式檢索回傳帶有引用的權限感知答案。 建立在 Azure AI 搜尋服務 之上。 知識來源包括索引來源(例如現有的 Azure AI 搜尋服務 索引、Azure Blob 儲存體、直接上傳的檔案、OneLake、Azure SQL 及索引化的 SharePoint)以及執行階段查詢的遠端來源(例如遠端 SharePoint、Microsoft Fabric 本體論、Work IQ、Microsoft Bing 網頁資料、模型內容通訊協定(MCP)伺服器,以及 Microsoft Fabric 資料代理)。 其中數款連接器目前正處於預覽階段。 關於目前的預覽狀態及支援的連接器,請參閱 Azure AI 搜尋服務 中的代理式知識來源。 關於資料儲存選項,請參見「選擇 Azure 服務以進行向量搜尋」。
鑄造廠控制平面 一個介面提供可觀察性、執行時控制、安全整合,以及跨 Microsoft Foundry 代理與應用程式的機群管理。
內容安全性 一項能偵測有害用戶生成及 AI 生成內容的 AI 服務。 請參閱 內容安全。
當地鑄造廠 一種針對邊緣與離線情境下,效能、隱私或成本重要時,進行裝置上 AI 推論的解決方案。

Visual Studio Code 的 Foundry 工具包

Foundry Toolkit for Visual Studio Code 是 Microsoft Foundry 的主要開發體驗。 當你想要本地優先的生成式 AI 應用程式和代理工作流程時,可以用它。 該工具包支援模型探索、本機模型執行、提示與代理程式開發、工具整合、除錯、追蹤、評估、微調,以及從 Visual Studio Code 部署至 Microsoft Foundry。

當解決方案需要程式碼、原始碼控制、本地迭代、代理檢查、MCP 工具整合或模型測試時,請從 Foundry Toolkit 開始。 使用 Foundry 入口網站進行概念驗證探索、專案設定、資源審查、評估審查,以及應用程式與代理執行後的作業可見性。

Foundry portal 同 Azure Machine Learning 工作室

Foundry 入口網站與 Azure Machine Learning 工作室 是互補的網頁體驗。 它們用於原型設計、專案與資源管理、評估審查及營運可視化。

類別 Foundry 入口網站 Azure Machine Learning 工作室
最適合的工作負載 概念驗證、模型探索、智慧代理審查、評估審查,以及生成式 AI 應用與智慧代理的營運可視化。 客製化機器學習、經典機器學習、深度學習,以及更廣泛的機器學習平台工作流程。
資料處理 連接專案資源與支援資料來源的功能,包括 Blob 儲存體、OneLake 及 Azure Data Lake Storage。 工作空間儲存、資料資產,以及已連接的 Azure 儲存帳號。
編寫體驗 基於入口網站的原型設計、沙盒、模型探索、評估審查及專案資源管理。 筆記本、設計器、AutoML、模型管理,以及 SDK 和 CLI 的工作流程。
支援語言與 SDK Python、C#、JavaScript 和 Java SDK。 REST API。 Python、R 和 Azure CLI。 REST API。
核心訓練強度 模型評估及支援的微調。 涵蓋經典機器學習、深度學習與大型語言模型微調的自動機器學習與客製化訓練。
計算與部署 支援基礎模型的管理運算與無伺服器 API。 管理運算、無伺服器運算、線上端點、批次端點,以及 Azure Arc 選項。
生成式 AI 介面 用於 Foundry 模型探索、評估審查、可觀察性及安全工具的 Web 介面。 Foundry Models 在 Azure Machine Learning 平台內提供對支援基礎模型的存取、受控端點、評估及微調。
Governance Foundry 控制平面用於代理與應用程式治理。 負責任的 AI 儀表板、譜系、模型管理與 MLOps 控制。

下表總結了 Microsoft Fabric 的核心採用細節。

層面 詳細資料
類型 一個統一的基礎模型、代理與生成式 AI 應用平台。
支援的語言 Python、C#、JavaScript 和 Java SDKs。 REST API。
機器學習階段 模型發現與評估、應用程式與代理程式開發、支援模型的微調、部署、監控與安全。
主要優點 一份綜合的 Foundry 模型目錄。 整合評估、安全與可觀察性。 支援 Agent 和 RAG。 專案式協作。

Microsoft Foundry 在以下情況下並不適合:

  • 你透過 API 使用預先建置的 AI 功能,例如光學字元辨識(OCR)、語音轉文字轉錄、翻譯或內容審核,且不需要模型選擇、編排或代理程式。 這種情況下,請使用 Foundry Tools。

  • 您的解決方案需要的是自訂模型訓練,適用於傳統機器學習或深度學習,並具備完整的 MLOps 功能。 在這種情況下,請使用 Azure Machine Learning。 Microsoft Foundry 並不提供大規模已佈建的訓練運算資源或用於表格資料的 AutoML。

  • 你的解決方案需要 Spark 規模的資料工程。 此時建議使用 Azure Databricks 或 Microsoft Fabric。

鑄造工具

Foundry Tools,前身為 Azure AI 服務 和 Cognitive Services,是一系列預先訓練的 AI 能力,供您透過 REST API 和 SDK 使用。 每個工具針對特定能力,因此你可以在不建立或訓練自訂模型的情況下,為應用程式加入智慧功能。 如需決定使用哪種服務,請參閱 「選擇 AI 服務技術」。

Tip

Foundry Tools 提供用於機率推論相關常見任務的預訓練 API。 對於生成式 AI 模型、代理和編排,建議使用 Microsoft Foundry,而不是直接使用 Foundry 工具。 Foundry Tools 中的許多服務與 Microsoft Foundry 共享相同的底層 Azure 資源類型(Microsoft.CognitiveServices/accounts),但它們是不同的產品。

在以下情況下使用 Foundry Tools:

  • 預訓練的 API 會涵蓋這個情境,所以你不需要訓練自訂模型。

  • 你需要標準的、受管理的 API,以及與現有應用程式以 API 為基礎的整合。

下表依能力領域將常用服務分類。 生成式 AI 模型、代理程式與協調是 Microsoft Foundry 的一部分,並另行列出供參考。

能力領域 代表服務
視覺 Azure Vision 與 Foundry Tools 中的 Azure Face。
文件與內容理解 Azure Document Intelligence 與 Azure Content Understanding。
語音 Azure 語音用於語音轉文字轉錄、文字轉語音生成及說話者辨識。
語言 Azure Language用於命名實體識別、個人資料偵測及語言偵測。 Azure 翻譯工具 in Foundry Tools 進行翻譯。
搜尋與知識 Azure AI 搜尋服務 用於 AI 驅動的搜尋與 RAG 檢索。
內容安全性 內容安全,用於用戶生成及 AI 生成內容的有害內容偵測。
視訊 Azure AI Video Indexer 用於影片分析與索引。
生成式 AI 模型與代理程式 Microsoft Foundry。 包含 Foundry Agent 服務與 Foundry Models。

要比較某一能力領域的服務並選擇一項,請參閱以下詳細的選擇指南:

下表總結了 Foundry Tools 的核心採用細節。

層面 詳細資料
類型 用於建構智慧應用程式的預訓練 API。
支援的語言 依服務而定,分別支援 C#、Java、JavaScript 和 Python SDK。 REST API。
機器學習階段 透過 API 取用。 部分服務支援客製化。
主要優點 透過 API 加入預先建構的 AI 功能。 僅需具備基本的資料科學專業知識。 受管理的縮放。

Foundry Tools 在以下情況下並不適合:你的情境需要自訂模型架構或訓練資料,超出支援的自訂選項。 在這些情況下,可以使用 Azure Machine Learning 用於經典機器學習或深度學習模型,或使用 Microsoft Foundry 進行生成式 AI 微調。

Microsoft Fabric

Microsoft Fabric 是一個統一的 SaaS 分析平台。 它整合了資料工程、資料科學、資料倉儲、即時智慧與 Power BI,建立在共享的 OneLake 資料基礎上。 使用 Microsoft Fabric 的資料工程師、資料科學家與商業分析師在同一託管環境中協作。

Microsoft Fabric 的資料科學工作負載是與機器學習最相關的部分。 它提供 Spark 筆記本、AutoML、內建的 MLflow 實驗追蹤體驗,以及模型登錄。 欲了解更多詳細資訊,請參閱 Microsoft Fabric 中的資料科學是什麼?

當你需要以下功能時,請使用 Microsoft Fabric:

  • 整合分析功能的機器學習。 機器學習是您解決方案中更廣泛分析工作流程的一部分,例如在 Lakehouse 中建立模型,並將預測提供給 Power BI。

  • 全代管的 SaaS。 你想要一個完全託管的 SaaS 體驗,且幾乎無需管理基礎設施。

  • 共享資料基礎。 你的團隊在同一個 OneLake 基礎上,橫跨資料工程、資料科學與商業智慧等領域工作。

下表總結了與分析整合機器學習最相關的 Microsoft Fabric 功能。

Capability 描述
OneLake 基礎 這是一個由 Microsoft Fabric 工作負載共享的單一邏輯資料湖,包括資料工程、資料科學、Data Warehouse 和 Power BI。
資料科學工作量 一個管理式 Spark 執行環境,包含 Python、R、SQL 和 Scala 筆記本,用於分析與模型訓練。 內建 MLflow 實驗追蹤體驗 及 模型註冊表系統。 你也可以跨工作空間和平台記錄 MLflow 實驗與模型,包括從 Azure Machine Learning 工作空間記錄到 Microsoft Fabric。
AutoML 低程式碼自動機器學習用於分類、迴歸與預測。 Code-first AutoML 可透過 Microsoft Fabric 筆記本中的 FLAML API 使用。
Real-Time 智能與Fabric啟動器 串流分析與無程式碼事件偵測,能觸發 Microsoft Fabric 管線、筆記本或下游動作。
機器學習模型端點 受管理的線上 REST 端點,提供來自註冊 Microsoft Fabric 模型的即時預測。 此功能目前仍處於預覽階段,僅限於一組模型類型,但支援 AutoML 訓練的模型。 欲了解更多詳細資訊,請參閱 「以機器學習模型端點提供即時預測」。
Power BI 系統整合 一種透過語意模型與報告將機器學習輸出暴露給 Power BI 的方法,包括當 Microsoft Fabric 資料留在 OneLake 時使用 Direct Lake,並在需要時匯入或使用 DirectQuery 模式。 利用此整合將預測、異常分數與預報指標整合到商業儀表板與決策流程中。
Microsoft Foundry 整合 一種將 Microsoft Fabric 資料或模型輸出餵入基於 Microsoft Foundry 的應用程式或代理程式的方法,例如 grounded copilot、摘要工作流程或 RAG 體驗。 實務上,Microsoft Foundry 可透過 Microsoft Fabric 資料代理程式或其他支援的資料連線連接 Microsoft Fabric 資料。 接著 Microsoft Foundry 就能利用這些上下文來產生代理回應。 如果你的工作負載只需要在 Microsoft Fabric 裡做傳統機器學習,不需要 LLM 或代理,這種整合通常是不必要的。

下表總結了 Microsoft Fabric 的核心採用細節。

層面 詳細資料
類型 一個統一的 SaaS 分析平台。
支援的語言 Python、R、SQL 和 Scala。
機器學習階段 資料準備、訓練、註冊、批次評分、即時服務(預覽)、即時分析及商業智慧使用。
主要優點 一個共享的 OneLake 基礎。 低營運開銷。 與 Power BI 及更廣泛的 Microsoft 資料資產整合。

Microsoft Fabric 在以下情況下並不適合:你需要大規模深度學習、具備受治理登錄的完整 MLOps,或是細緻的計算控制。 在這種情況下,可以搭配 Azure Machine Learning 或 Azure Databricks 來補充 Microsoft Fabric。 Microsoft Fabric 很好地涵蓋了整合分析的機器學習,但它無法取代專用的機器學習平台。

Note

Microsoft Fabric 是新機器學習整合分析投資的推薦平台。 如需了解 Azure Synapse Analytics 的既有部署,請參閱 Azure Synapse Analytics 中的機器學習。 關於專用的 SQL 池遷移到 Microsoft Fabric Data Warehouse,請參見 Fabric 移轉小幫手 for Data Warehouse。

Azure Databricks

Azure Databricks 是一個統一且開放的分析平台,用於建置、部署、分享及維護資料、分析與人工智慧解決方案。 它結合了資料倉儲與資料湖的能力,採用 Lakehouse 架構,並與 Azure 儲存和安全性整合。

當你需要以下功能時,請使用 Azure Databricks:

  • Spark 規模的機器學習。 你需要在非常大型的資料集或分散式 Spark 叢集上執行機器學習。

  • 統一的 Lakehouse 工作流程。 你會將資料工程、特徵工程、實驗和模型開發整合在同一個資料湖倉工作流程中。

  • 機器學習維運。 你想透過管理式服務端點、自動化工作流程和 MLOps 管線,部署、管理和監控生產環境的機器學習解決方案。

  • Unity Catalog 治理。 你想在 Unity Catalog 中治理資料、功能、模型和函式,因為它提供集中式的存取控制和資料譜系。

  • 生成式人工智慧與代理程式。 你可以在 Azure Databricks 中建置生成式 AI 和 AI 代理工作負載,包括自訂和基礎模型場景。

下表列出了 Azure Databricks 的顯著功能:

Capability 描述
受管理的與開源專案整合 包含 Delta Lake、OpenSharing、MLflow、Spark、Apache Spark 結構化串流及 Unity Catalog。
用於 機器學習 的 Azure Databricks Runtime 提供預裝的經典機器學習與深度學習函式庫,包括 Hugging Face Transformers。
Unity Catalog 中的 MLflow 追蹤與模型 支援實驗追蹤、模型生命週期管理及受治理的模型探索。
特徵工程與特徵服務模式 支援可重複使用的訓練與推論功能。
Azure Databricks Model Serving 提供可管理的即時推論端點,具備自動擴展、版本部署、流量控制及生產監控功能。
AI 閘道 提供模型存取治理、使用追蹤及涵蓋已提供及外部模型的有效載荷記錄。 支援在 Lakehouse 環境中開發、評估及部署客製化或開放模型。
SQL 中的 AI 函式 提供分析師從資料管線呼叫大型語言模型(LLM)的方式。
基礎模型 API 整合外部模型,並提供在各模型供應商之間統一的存取模式。
Unity Catalog 管理 透過 RBAC 與 OpenSharing 等功能,提供資料、特徵、模型與功能的統一治理。
串流分析 透過 Structured Streaming 與 Delta Lake 提供即時及串流分析。
Lakeflow 工作與 MLOps 提供自動化訓練、評估、部署及再培訓流程的作業與工作流程。

下表總結了 Azure Databricks 的核心採用細節。

層面 詳細資料
類型 一個建於 Spark 上的湖倉平台。
支援的語言 Python、R、Scala 和 SQL。
機器學習階段 資料準備、訓練、微調、評估、模型服務與治理。
主要優點 Lakehouse 上的端對端機器學習生命週期 原生 MLflow 整合。 管理部署服務與營運。 Unity Catalog 治理。 支援 Apache Spark 規模的機器學習與生成式人工智慧。
考慮事項 無伺服器模型服務可降低推論基礎設施的開銷,但基於 Spark 的資料準備、特徵工程及模型訓練的成本仍是重要考量。 對於非 Spark 工作負載,Azure Machine Learning 或 Foundry Tools 可能比較直接。

Azure Databricks 在以下情況下並不理想:

  • 你的團隊不需要 Spark 規模的處理。 在這種情況下,叢集的開銷可能沒有其必要。

  • 你的情境完全是用 API 驅動的 AI。 在這種情況下,Foundry Tools 或 Microsoft Foundry 提供了更直接的路徑。

  • 你需要針對 Azure Machine Learning 的專屬治理控制、端點功能,或跨團隊的標準化端點層。 在這種情況下,建議在混合設計中使用 Azure Machine Learning 管理端點。

SQL 智慧應用程式與機器學習

SQL 資料庫內 AI 將受控的關聯資料保留在原本所在的位置,並在 Transact-SQL(T-SQL)中直接加入預測、向量檢索與 AI 端點整合。

在以下情況下使用 SQL in-database AI:

  • 資料必須保留在你的關聯式資料庫中,出於安全、隱私、延遲或法規考量。

  • 你需要在貼近交易時點進行低延遲的評分,例如防詐騙檢查或下一步最佳決策。

  • 你需要直接在資料庫中進行向量搜尋和檢索,供 RAG 和語意匹配模式使用。

  • 你需要從 T-SQL 進行資料庫原生呼叫外部 AI 端點,以進行編排或供代理呼叫的工作流程。

下表列出目前的平台與工具:

Capability 架構中的角色
PREDICT 在 T-SQL 中 為支援的模型在資料庫內原生執行評分,包括可用時採用以 ONNX 為基礎的執行階段模式。
向量資料型態 與 向量函數 在關聯式引擎中儲存嵌入並執行向量相似性操作。
sp_invoke_external_rest_endpoint 從 T-SQL 呼叫外部 AI 端點,包含憑證、標頭、重試選項及受控的對外輸出控制。
AI 功能(Transact-SQL)包括 AI_GENERATE_EMBEDDINGS 新增資料庫原生 AI 操作,用於分塊、嵌入生成及相關 SQL AI 工作流程。
Azure SQL 受控執行個體 機器學習服務 支援在資料庫內執行 Python 與 R 程式碼,以滿足現有 機器學習 Services 風格的工作負載。

下表總結了 Azure SQL 機器學習的核心導入詳細資料。

層面 詳細資料
類型 關聯式資料庫內 AI 功能,用於預測、向量檢索及 AI 端點整合。
支援的語言 先用 T-SQL。 Python 和 R 可透過 Azure SQL 受控執行個體 機器學習 Services 取得。
機器學習階段 資料庫內資料準備、訓練、推論、向量檢索及端點編排。
主要優點 將受控的交易資料保留在原處。 減少資料流動。 能在現有 SQL 工作流程中實現低延遲的 AI 增強。
考慮事項 功能的可用性會依 SQL 平台和版本而異。 大規模模型訓練與分散式深度學習通常在 Azure Machine Learning、Azure Databricks 或 Microsoft Fabric 中處理較佳。

當你想採取以下方法時,可以將 Azure SQL 機器學習與其他平台結合:

  • 在外部訓練,在 SQL 中評分。 若進行大規模或深度學習訓練,請使用 Azure Machine Learning、Azure Databricks 或 Microsoft Fabric 進行訓練。 接著將推論產物帶回 SQL 進行資料庫內評分。

  • Cloud 訓練、database 部署、SQL 預測。 在外部進行訓練,匯出目標 SQL 平台支援的評分成品,然後使用 PREDICT 在 SQL 中執行接近交易資料的預測。

  • 在 SQL 中產生嵌入向量,呼叫端點進行生成。 對於 RAG 和代理情境,請在 SQL 中產生嵌入與向量檢索。 然後,如果你需要回應產生,可以使用 sp_invoke_external_rest_endpoint 從 SQL 呼叫外部模型端點。

邊緣、本地與內部部署機器學習

對於在雲端外、本地裝置、離線環境、應用程式內嵌或內部部署基礎結構內執行的機器學習,Microsoft 提供多種選擇。

當你需要以下功能時,可以使用邊緣、本地及內部部署機器學習:

  • 本機推論。 為了滿足延遲、離線操作或資料隱私需求,你的情境需要推論在本地執行。 例如,在間歇性連接環境中的預測性維護解決方案需要局部推論。

  • 將機器學習嵌入應用程式的能力。 你要打造需要嵌入式機器學習功能的桌面或行動應用程式。

  • 本地執行。 你的情境需要機器學習執行需在內部部署環境中進行,例如本地 SQL Server 部署。

Microsoft 提供以下選項:

  • Microsoft Foundry 在 Windows 上包含 Windows ML,用於在 Windows 裝置上進行本地推論,並支援 CPU、GPU 與 NPU 的硬體加速。 使用 Windows ML 來處理新的 Windows 應用程式和裝置推論工作負載。

  • ML.NET 是一個開源、跨平台的機器學習框架,專為 .NET 開發者設計。 它支援資料載入、訓練(包括 .NET 的 AutoML)及本地推論。 當應用程式需要 .NET 原生模型訓練或推論,包括 ONNX 模型整合時,請使用 ML.NET。

  • SQL Server 機器學習 Services 支援在內部部署 SQL Server 內進行訓練與評分,當資料必須保留在本機資料層時。

  • Foundry Local 是一款裝置端 AI 推論解決方案,將 Microsoft Foundry 擴展到邊緣與離線場景。

  • Azure Local 提供本地虛擬機(VM)和容器的 Azure 管理基礎設施。 用它來承載靠近資料的邊緣 AI 元件,例如 Foundry Local 工作負載、RAG 檢索元件,或是從 Azure Machine Learning 匯出的 ONNX 模型。

  • Kubernetes for Azure Machine Learning 的 Kubernetes Compute 將 Azure Arc 啟用的 Kubernetes 叢集附加到 Azure Machine Learning 工作空間,讓本地或多雲叢集執行訓練與推論,而協調則留在 Azure。

  • Azure IoT Edge 會將容器化的機器學習模型部署到邊緣裝置,使推論能在本地執行。

  • Azure Stack Edge 提供 Microsoft 管理的邊緣設備,可用於硬體加速的機器學習以及虛擬機或容器化工作負載。 裝置僅適用於經過驗證的合作夥伴工作負載或至少 100 個節點的部署。

典型的模式是透過使用 Azure Machine Learning 或 Azure Databricks 在雲端訓練可匯出模型。 當模型和目標執行階段支援該格式時,模型會接著轉換為 ONNX。 最後,該模型可透過 Windows ML、ML.NET、Azure IoT Edge 模組、Foundry Local 或 Azure Local 基礎設施部署用於邊緣推論。

合併平台

生產解決方案可以結合多個平台。 「縮小你的平台選擇」中的決策樹幫助你選擇主要的起始平台。 請參考下表規劃複合架構,並找出每個情境通常需要的支援 Microsoft 元件。

綜合情境 主要平台 支援 Microsoft 元件 Pattern
企業 RAG 或與您的資料對話 Microsoft Foundry Azure AI 搜尋服務(以及 Foundry IQ for grounding)、Azure 文件智慧(資料擷取)、Microsoft Fabric 或 Azure Cosmos DB(資料存儲)、內容安全 匯入企業內容,建立索引以供向量與混合檢索,並讓 Microsoft Foundry 託管代理或大型語言模型應用程式以此為依據。 關於資料儲存選項,請參見「選擇 Azure 服務以進行向量搜尋」。
建立在受治理的分析之上的生成式人工智慧 Microsoft Fabric Microsoft Foundry (agents, models), Power BI (consumption), Azure AI 搜尋服務 使用 Microsoft Fabric 在 OneLake 中擷取並儲存受控資料。 接著在 Microsoft Foundry 中以該資料為基礎建立代理程式或 RAG 應用程式。 在 Power BI 中顯示結果。
客製化機器學習,並結合預建的 AI 功能 Azure Machine Learning Azure Vision, Azure Document Intelligence, Azure Speech, Azure Language, Azure AI 搜尋服務 使用 Foundry Tools 進行預處理、特徵擷取或檢索,並使用 Azure Machine Learning 來訓練、部署及管理基於這些特徵的自訂模型。
Spark 規模訓練與受管服務 Azure Databricks Azure Databricks Model Serving、MLflow、Unity Catalog,選用 Azure Machine Learning(治理或端點標準化) 在 Azure Databricks 中執行特徵工程與分散式訓練。 接著使用 Azure Databricks Model Serving來部署並提供已訓練好的模型。 當你需要 Azure Machine Learning 專屬治理或跨團隊端點標準化時,新增 Azure Machine Learning 受控端點。
雲端訓練, 邊緣部署 Azure Machine Learning 或 Azure Databricks ONNX (model exchange), Windows ML, ML.NET, Foundry Local, Azure IoT Edge, Azure Local, Azure Stack Edge 在雲端訓練可匯出模型,支援時轉換為 ONNX,並部署至裝置、本地閘道器或硬體加速邊緣設備,進行離線或低延遲推論。
混合式本地與雲端機器學習 Azure Machine Learning on Azure Arc 已啟用 Azure Arc 的 Kubernetes 叢集、Azure Machine Learning 工作區、Container Registry、金鑰保存庫 在使用連接 Azure Arc 支援的 Kubernetes 的 Azure Machine Learning 工作空間時,將資料保留在本地,以協調訓練與推論。
使用雲端訓練模型進行資料庫內評分 SQL 機器學習 Azure Machine Learning 或 Azure Databricks(訓練),ONNX,SQL 受管理執行個體 或 SQL Server 在雲端訓練,匯出到 ONNX,並使用 SQL PREDICT 功能,在操作資料旁邊進行低延遲、資料庫內的評分。
多代理程式自動化 Microsoft 代理框架與 Foundry 代理服務 Foundry Models, Foundry IQ, Azure AI 搜尋服務, Azure Functions or Azure Logic Apps (tools), Azure API 管理 利用 Microsoft 代理框架在程式碼中建立多代理工作流程,使用 Foundry 代理服務來架設及協調這些工作流程,並整合企業工具與 API。

開發平台和工具

大多數團隊除了會使用他們選擇的主要平台外,也會搭配橫向通用的開發工具和支援服務。 這些工具會影響 AI 與機器學習工作的開發、測試與封裝,並在執行前完成。 支援服務會影響推論的託管地點,或運算附接到無法移至受管理雲端平台的資料。

本節將主要的開發工具——即日常開發與營運平台——與相鄰的支援服務區分開來,這些服務承載自我管理推論、加速基於 Spark 的機器學習,或將訓練與推論評分擴展至本地基礎設施。

以下工具支援雲端與內部部署平台的開發。

Tool 描述
Foundry 工具包適用於 Visual Studio Code 在 VS Code 中提供開發體驗,用於建置、測試、除錯、評估及部署生成式 AI 應用程式與代理。 支援本地模型、模型目錄、代理開發、工具整合、追蹤及評估。
Foundry 入口 一個用於概念驗證、模型探索、專案資源管理、評估審查,以及跨 Microsoft Foundry 應用程式與代理程式的營運可見性的網頁環境。
Azure Machine Learning Studio 一個針對 Azure Machine Learning 平台的網頁介面。 包含筆記本、管線設計器、AutoML、模型管理及資料標註。
Azure 資料科學虛擬機器 一個預先設定的虛擬機映像檔,並預裝了 Jupyter、R 和 Python 等資料科學工具。
ML.NET 一個開源、跨平台的 .NET 機器學習框架。
Windows 版的 Microsoft Foundry Windows ML 用於硬體加速的 Windows 裝置本地模型推論。
SynapseML 一個開源的分散式機器學習與微服務框架,適用於 Spark。

相鄰的支援服務有助於實驗、自行管理的推論託管、基於 Spark 的機器學習或混合操作,但它們並非決策流程中的主要平台選擇。

服務 在機器學習與人工智慧生態系統中的角色
Azure Kubernetes Service (AKS) 同 Azure 容器應用程式 在 Azure 中托管自管理推論容器的解決方案。 使用容器應用程式(Container Apps)可提供更簡單的受控容器託管;當您需要對服務執行階段和叢集環境有更多控制時,則可使用 AKS。 常見例子包括開源的服務堆疊,如 vLLM、Triton Inference Server 或 BentoML。
SynapseML 一個開源、分散式的 Spark 機器學習與微服務框架。 可支援 Azure Databricks、Microsoft Fabric 及其他 Spark 叢集。
Azure Arc 啟用的機器學習 一個將本地或多雲 Kubernetes 叢集附加到 Azure Machine Learning 工作空間,進行混合訓練與推論的解決方案。

參與者

本文由 Microsoft 維護。 以下貢獻者撰寫了這篇文章。

主要作者:

若要查看非公開的 LinkedIn 個人檔案,請登入 LinkedIn。

下一步