Microsoft AI 與機器學習產品

Microsoft 提供多種 AI 與機器學習平台。 每個平台針對不同的受眾、工作負載、資料基礎與部署模式組合。 本文協助解決方案架構師、機器學習工程師、資料科學家及應用程式開發者選擇起始平台，了解平台間的差異，並學習如何在實際架構中結合它們。 涵蓋傳統機器學習、整合分析的機器學習，以及 Azure、Microsoft Fabric 與 Microsoft Foundry 的生成式 AI 工作負載。 本文聚焦於 Microsoft 提供的解決方案。

利用本文比較各種選項並設計端到端解決方案。

Note

本文聚焦於客製化的 AI 與機器學習平台，而非打包軟體即服務（SaaS）助理、低程式碼 SaaS 創作工具，或產品內的終端使用者體驗。

主要工作負載情境

先從你需要加入工作量的 AI 或機器學習功能開始。 下表將常見功能情境對應到自訂 AI 與機器學習功能的推薦起始平台。 先把它當作初步導向，再檢視平台功能並走過決策樹。

主要情境 建議起點 理由
建立生成式 AI 應用程式或 AI 代理 Microsoft Foundry 提供模型發現、微調、檢索增強生成（RAG）、代理協調、評估及安全工具，集中於一平台。
透過預先建構的 API 加入 AI 功能，涵蓋視覺、語音、語言、搜尋或內容安全 鑄造工具 提供無需自訂訓練的預訓練 API。 在建立自訂模型前先用它們。
訓練、部署並管理客製化的機器學習或深度學習模型 Azure 機器學習 涵蓋完整的機器學習生命週期，包括MLOps、線上與批次端點，以及負責任的AI工具。
在統一的資料與商業智慧（BI）平台上執行整合分析的機器學習 Microsoft網狀架構 提供支援 Apache Spark 筆記本、AutoML 及 Microsoft OneLake 支援的 Power BI 整合的 SaaS 分析平台。
在 Spark、湖屋資料或大型分散式訓練工作上執行機器學習 Azure Databricks or Apache Spark in Azure HDInsight Azure Databricks：支援湖屋規模的 Spark，並整合原生的 MLflow 與 Unity Catalog。

Azure HDInsight：支援 Azure 管理的 Spark 叢集，具備原生儲存與安全整合。
將機器學習存放在 SQL 資料庫、邊緣裝置或桌面應用程式中 SQL 智慧應用程式與人工智慧、Azure SQL 受控執行個體 機器學習服務、SQL Server 機器學習服務或本地machine learning工具 提供一種方式來保留資料，並加入資料庫內預測、向量檢索或 AI 端點整合。

比較平台功能

以下矩陣總結每個平台的主要適用點、提供互補支援，以及能力並非重點。 矩陣使用以下圖示：

  • ✅ 主要能力
  • ⚠️ 支援或互補能力
  • ❌ 不是焦點
Capability Microsoft Foundry Azure Machine Learning Microsoft Fabric Azure Databricks 鑄造工具 SQL 機器學習 邊緣或本地機器學習
生成式人工智慧與代理 ✅ ⚠️（非主要平台） ❌ ⚠️（Lakehouse瞄準鏡） ⚠️（僅限積木） ❌ ⚠️（僅限裝置）
基礎模型的發現與評估 ✅ ⚠️（非主要平台） ❌ ⚠️（Lakehouse瞄準鏡） ❌ ❌ ❌
自訂模型訓練（經典或深度學習） ⚠️（僅微調） ✅ ⚠️（分析範圍） ✅ ❌ ⚠️（資料庫範圍） ⚠️（僅限本地）
大規模或分散式訓練計算 ❌ ✅ ⚠️（較小比例） ✅ ❌ ❌ ❌
AutoML ❌ ✅ ✅ ✅ ❌ ❌ ⚠️（僅限 .NET）
MLOps 生命週期（登錄檔、管線、持續整合與持續交付（CI/CD）） ⚠️ （via Azure Machine Learning） ✅ ⚠️ （via Azure Machine Learning） ✅ ❌ ❌ ❌
即時（線上）推論 ✅ ✅ ⚠️ （Model endpoints in preview） ✅ ✅ ⚠️（僅限資料庫內） ✅
批次（離線）推論 ⚠️（線上優先） ✅ ✅ ✅ ❌ ✅ ⚠️（僅限本地）
本地部署或離線部署 ⚠️（僅限 Edge 子集） ⚠️ （Via Azure Arc） ❌ ❌ ⚠️（僅限容器） ✅ ✅
治理與安全工具 ✅ ✅ ⚠️（有限模型治理） ✅ ⚠️（服務範圍） ⚠️（資料庫範圍） ❌

以下註解說明矩陣中的特定評級：

  • Foundry Tools 被評為生成式 AI 與代理的互補，因為像 Azure AI 搜尋服務、Foundry Control Plane 的內容安全，以及 Foundry Tools 中的 Azure 文件智慧，是 RAG 與代理解決方案的常見建構組件。 生成式 AI 開發的主要平台是 Microsoft Foundry。

  • Microsoft Foundry 治理主要來自 Foundry Control Plane，該平面提供可觀察性、執行時控制、安全整合及代理與應用程式的團隊管理。

  • Azure Machine Learning 透過存取 Foundry 模型、管理端點、評估功能，以及針對支援基礎模型進行微調，支援生成式 AI。 它並不是生成式 AI 開發的主要平台。

  • Azure Databricks 在治理方面獲得主要評價，因為 Unity Catalog 提供統一的資料與模型治理，包含基於角色的存取控制（RBAC）及 OpenSharing。

  • Microsoft Fabric 被評為治理輔助，因為 OneLake、Microsoft Purview 整合、敏感度標籤及基於領域控制的系統能良好涵蓋資料資產。 Microsoft Fabric 內建基於 MLflow 的模型登錄系統，用於儲存與追蹤模型。 Microsoft Fabric 也內建了機器學習模型與實驗的血統視圖，包括與湖屋及程式碼項目的關係。 但 Microsoft Fabric 並沒有包含負責任的 AI 儀表板。 若要更廣泛的模型生命週期治理，建議搭配 Microsoft Fabric 與 Azure Machine Learning。

  • Microsoft Fabric 被評為即時推論的互補，因為 Microsoft Fabric Real-Time Intelligence 涵蓋串流分析，而Microsoft Fabric機器學習模型端點則提供即時預測的線上管理端點。 模型端點目前處於預覽階段，並支援有限的模型類型。 若要廣泛提供生產線上服務，你也可以將 Microsoft Fabric 與 Azure Machine Learning 管理的線上端點或 Microsoft Foundry 搭配使用。

  • Foundry Local 將 Microsoft Foundry 擴展至端端及離線情境的裝置推論。

  • Azure Arc 將 Azure Machine Learning 擴展到本地 Kubernetes 叢集，用於混合訓練或評分。

  • Microsoft Fabric 資料科學包含低程式碼的 AutoML 體驗。 程式碼優先的 AutoML 可透過 Microsoft Fabric 筆記本中的快速輕量 AutoML（FLAML）API 提供。 欲了解目前狀態，請參閱 Microsoft Fabric 文件。

縮小你的平台選擇範圍

請參考以下決策樹縮小你的起始平台選擇範圍。 樹狀圖幫助你選擇 主要 工作平台。 大多數生產解決方案結合多個平台，因此請利用本文中針對產品的特定章節來精細選擇。 也可以考慮使用複合架構模式。 欲了解更多資訊，請參閱 聯合體平台。

根據情境、開發者資料以及訓練與推論地點，為主要 Microsoft AI 或機器學習平台建立決策樹。

下載此決策樹的 Visio 檔案。

逐步解說

請依照以下步驟逐步走過決策樹。 當你選擇平台時，跳過剩下的步驟。

  1. 找出特徵情境。

    在你的工作量內，從功能層級做出平台選擇。 每個功能都可以有獨特的功能性與非功能性需求，一個或多個技術可以滿足這些需求。 使用此流程圖時，請考慮你想解決的特定使用情境需求。

  2. 對於生成式 AI 和代理，請選擇符合你開發者資料的 Microsoft 平台。

  3. 對於客製化機器學習與深度學習，請根據訓練與推論的執行地點來決定。

  4. 對於整合分析的機器學習，請選擇符合你資料與商業智慧模式的解決方案。

  5. 對於基於 Spark 或分散式運算，請根據你使用 lakehouse 還是管理型 Spark 叢集來做決定。

    • Lakehouse with MLflow 和 Unity Catalog 治理：使用 Azure Databricks。 你仍然可以透過 Azure Machine Learning 管理端點發佈模型，用於服務與治理。

    • Managed Spark clusters on Azure with native storage and security integration：在 Azure HDInsight 中使用 Apache Spark。

Note

對於跨雲端與本地環境的架構，可透過 Azure Arc 將本地或多雲 Kubernetes 叢集接入 Azure Machine Learning 工作空間。這種架構讓資料保留在本地，同時透過 Azure 進行訓練與推論協調。 欲了解更多詳細資訊，請參閱「配置 Kubernetes 叢集以支援 Azure Machine Learning」。

Azure Machine Learning

Azure Machine Learning 是一個全託管的雲端服務，用於大規模訓練、部署和管理機器學習模型。 它支援數萬個開源 Python 套件，包括 TensorFlow、PyTorch 和 scikit-learn。 它提供涵蓋整個機器學習生命週期的工具，從資料準備到部署、MLOps 以及負責任的 AI。

當你需要以下功能時，請使用 Azure Machine Learning：

  • 客製化訓練。 你會用自訂模型訓練來進行經典機器學習、深度學習或開源大型語言模型的微調。

  • 生產MLOps。 你會使用生產 MLOps 生命週期，包含實驗追蹤、模型版本管理、受控登錄、CI/CD 管線以及生產監控。

  • 管理端點。 你會使用託管線上或批次推論端點，這些端點託管在提供自動擴展、受管理身份與監控的環境中。

  • 混合運算。 你會在支援 Azure Arc 的 Kubernetes 叢集中使用混合式訓練或推論。

下表總結了 Azure Machine Learning 在整個機器學習生命週期中所提供的平台功能。

Capability 描述
工作區與資料儲存 一個用於組織實驗、計算、資料集、模型及外部資料庫連結的中央資源。 資產和執行歷史會經過版本化以促進重現性。
計算叢集與實例 配置好的 CPU 與 GPU 運算，用於分散式訓練（運算叢集）及互動式筆記本開發（計算實例）。
無伺服器計算 Azure Machine Learning 會自動建立並擴展用於訓練工作所需的按需管理運算。
自動化機器學習 產生模型、管線、超參數調整及特徵工程，用於分類、迴歸、預測、電腦視覺及自然語言處理。
管線與設計者 基於程式碼及拖放式編排，用於資料準備、訓練、評估與部署。 可整合 CI/CD 工具。
Foundry 模型存取權 一個平台，透過 Azure Machine Learning 中的 Foundry 模型，發現、評估、微調及部署來自 Microsoft、OpenAI、Meta、Hugging Face 及其他供應商的支援基礎模型。
MLflow 實驗追蹤與模型管理 透過使用 MLflow 相容的 API 搭配 Azure Machine Learning 工作空間，追蹤實驗、執行、指標、參數、產物及模型。
線上與批次端點 可管理的 REST 端點用於即時推論，以及可調用端點用於批次評分，並支援自動縮放與管理身份。
負責任的 AI 工具 公平性、可解釋性與錯誤分析儀表板。
安全性與混合支援 Integration with Azure 虛擬網路、Azure Key Vault、Azure Container Registry、RBAC、managed identities 同 Azure Arc.

下表總結了 Azure Machine Learning 的核心採用細節。

層面 詳細資料
類型 雲端機器學習平台。
支援的語言 Python 和 R。同時也支援命令列介面（CLI）及 REST API。
機器學習階段 資料準備、訓練、部署、MLOps，以及負責任的人工智慧。
主要優點 以程式碼為優先的 SDK 與 CLI 工作流程。 工作室創作。 腳本、實驗與運行歷史的集中管理。 可擴展的訓練與部署。 透過 Azure Arc 提供混合選項。
考慮事項 在採用完整的 MLOps 之前，對工作空間和資產模型有一定的熟悉會很有幫助。

Azure Machine Learning 在以下情況下並不適合：

  • 你只需要使用視覺、語音或語言的預訓練 API。 這種情況下，請使用Foundry Tools。

  • 機器學習是分析工作負載的小型延伸。 在這種情況下，Microsoft Fabric 或 Azure Databricks 可能是更好的起點。

  • 你的工作負載是端對端的生成式 AI（模型選擇、代理編排、評估、部署與監控）。 另外，你不需要傳統的機器學習訓練或 Azure Machine Learning 資產、執行和 MLflow 模型。 在這種情況下，僅靠 Microsoft Foundry 就足夠了。 只有在需要 Azure Machine Learning 訓練、計算、MLOps 生命週期，或是針對自訂模型管理的線上或批次端點時，才需要 Azure Machine Learning 工作空間。

Microsoft Foundry

Microsoft Foundry 是統一的 Azure 平台，用於建置、優化及管理生成式 AI 應用程式與 AI 代理。 Microsoft Foundry 結合了 Foundry 模型目錄、代理程式與編排服務、評估與安全工具，以及執行時治理的控制平面。 在以程式碼為先的代理開發中，Microsoft Foundry 與 Microsoft Agent Framework 搭配使用，後者是統一的 Microsoft SDK，取代了先前 語意核心 與 AutoGen 之間的分離。

當你需要以下功能時，請使用 Microsoft Foundry：

  • 生成式人工智慧或代理人。 你會打造生成式 AI 或基於代理的解決方案，例如多模型聊天機器人或協調式大型語言模型（LLM）工作流程。

  • 模型發現與評估。 你需要能夠發現、比較並評估多家供應商的地基模型。

  • 建模客製化與治理。 你希望在一個受管理環境中微調、評估並部署基礎模型，並提供內建的可觀察性、內容安全與執行時控制。

下表總結了 Microsoft Foundry 支援生成式 AI 應用與代理程式開發的能力。

Capability 描述
鑄造廠模型 來自 Azure OpenAI、Hugging Face 和 Meta 等供應商的預訓練模型目錄，以及 Microsoft Phi 小型語言模型家族，並附有基準測試與部署選項。
模型自訂 能夠根據自己的資料微調或自訂支援的基礎模型。 部署選項依模型而定，並包含標準型與已配置型態（如有）。
鑄造代理服務 一個用於託管與協調 AI 代理的平台，自動化多步驟業務流程。 與 Microsoft Agent Framework SDK 搭配使用，進行以程式碼為優先的代理開發。 實作相容 OpenAI 的回應 API，以提供廣泛的客戶端 SDK 支援。
Foundry IQ 一個管理式知識層，讓客服人員建立在企業數據之上。 建立多來源知識庫，並利用代理檢索回傳帶有引用的權限感知答案。 建立在 Azure AI 搜尋服務 之上。 知識來源包括索引來源（例如現有的 Azure AI 搜尋服務 索引、Azure Blob 儲存體、直接上傳的檔案、OneLake、Azure SQL 及索引化的 SharePoint）以及執行時查詢的遠端來源（例如 remote SharePoint，Microsoft Fabric 本體論、Work IQ、Microsoft Bing 網頁資料、模型情境協定（MCP）伺服器，以及 Microsoft Fabric 資料代理）。 其中數款連接器目前正處於預覽階段。 關於目前的預覽狀態及支援的連接器，請參閱 Azure AI 搜尋服務 中的代理知識來源。 關於資料儲存選項，請參見「選擇 Azure 服務以進行向量搜尋」。
鑄造廠控制平面 一個介面提供可觀察性、執行時控制、安全整合，以及跨 Microsoft Foundry 代理與應用程式的團隊管理。
內容安全性 一項能偵測有害用戶生成及 AI 生成內容的 AI 服務。 請參閱 內容安全。
當地鑄造廠 一種針對邊緣與離線情境下，效能、隱私或成本重要時，進行裝置上 AI 推論的解決方案。

Visual Studio Code 的 Foundry 工具包

Foundry Toolkit for Visual Studio Code 是 Microsoft Foundry 的主要開發體驗。 當你想要本地優先的生成式 AI 應用程式和代理工作流程時，可以用它。 該工具包支援模型發現、本地模型執行、提示與代理程式開發、工具整合、除錯、追蹤、評估、微調，以及從 Visual Studio Code 部署至 Microsoft Foundry。

當解決方案需要程式碼、原始碼控制、本地迭代、代理檢查、MCP 工具整合或模型測試時，即可在 Foundry Toolkit 中啟動。 使用 Foundry 入口網站進行概念驗證探索、專案設定、資源審查、評估審查，以及應用程式與代理執行後的營運可視性。

Foundry portal 同 Azure Machine Learning 工作室

Foundry 入口網站與 Azure Machine Learning 工作室 是互補的網頁體驗。 它們用於原型設計、專案與資源管理、評估審查及營運可視化。

類別 Foundry 入口網站 Azure Machine Learning 工作室
最適合的工作量 概念驗證、模型探索、代理審查、評估審查，以及生成式 AI 應用與代理的營運可視化。 客製化機器學習、經典機器學習、深度學習，以及更廣泛的機器學習平台工作流程。
資料處理 連接專案資源與支援資料來源的功能，包括 Blob 儲存體、OneLake 及 Azure Data Lake Storage。 工作空間儲存、資料資產，以及已連接的 Azure 儲存帳號。
創作經驗 基於入口網站的原型設計、遊樂場、模型探索、評估審查及專案資源管理。 筆記本、設計器、AutoML、模型管理，以及 SDK 和 CLI 的工作流程。
支援語言與 SDK Python、C#、JavaScript 和 Java SDK。 REST API。 Python、R 和 Azure CLI。 REST API。
核心訓練力量 模型評估及支援的微調。 涵蓋經典機器學習、深度學習與大型語言模型微調的自動機器學習與客製化訓練。
運算與部署 支援基礎模型的管理運算與無伺服器 API。 管理運算、無伺服器運算、線上端點、批次端點，以及 Azure Arc 選項。
生成式 AI 表面 一個用於 Foundry 模型探索、評估審查、可觀察性及安全工具的網頁表面。 Foundry Models 在 Azure Machine Learning 平台內存取、管理端點、評估及微調支援基礎模型。
Governance Foundry 控制平面用於代理與應用程式治理。 負責任的 AI 儀表板、血統、模型管理與 MLOps 控制。

下表總結了 Microsoft Foundry 的核心採用細節。

層面 詳細資料
類型 一個統一的基礎模型、代理與生成式 AI 應用平台。
支援的語言 Python、C#、JavaScript 和 Java SDK。 REST API。
機器學習階段 模型發現與評估、應用程式與代理程式開發、支援模型的微調、部署、監控與安全。
主要優點 一份綜合的鑄造廠模型目錄。 整合評估、安全與可觀察性。 代理和RAG支援。 Project 型協作。

Microsoft Foundry 在以下情況下並不適合：

  • 你使用預設的 AI 功能，例如光學字元辨識（OCR）、語音轉文字轉錄、翻譯或透過 API 進行內容審核，且不需要模型選擇、編排或代理程式。 這種情況下，請使用 Foundry Tools。

  • 您的解決方案需要自訂模型訓練，適用於傳統機器學習或深度學習，並具備完整的 MLOps 功能。 在這種情況下，請使用 Azure Machine Learning。 Microsoft Foundry 並不提供廣泛的訓練運算或 AutoML 來處理表格資料。

  • 你的解決方案需要 Spark 規模的資料工程。 此時建議使用 Azure Databricks 或 Microsoft Fabric。

鑄造工具

Foundry Tools，前身為 Azure AI 服務 和 Cognitive Services，是一系列預先訓練的 AI 能力，透過 REST API 和 SDK 來使用。 每個工具針對特定能力，因此你可以在不建立或訓練自訂模型的情況下，為應用程式加入智慧功能。 如需決定使用哪種服務，請參閱 「選擇 AI 服務技術」。

Tip

Foundry Tools 提供用於常見機率任務的預訓練 API。 對於生成式 AI 模型、代理和編排，建議直接使用 Microsoft Foundry，而不是直接使用 Foundry 工具。 Foundry Tools 中的許多服務與 Microsoft Foundry 共享相同的底層 Azure 資源類型（Microsoft.CognitiveServices/accounts），但它們是不同的產品。

在以下情況下使用鑄造工具：

  • 預訓練的 API 會涵蓋這個情境，所以你不需要訓練自訂模型。

  • 你需要標準的、受管理的 API，以及與現有應用程式的 API 整合。

下表依能力領域將常用服務分類。 生成式 AI 模型、代理程式與協調是 Microsoft Foundry 的一部分，並另行列出供參考。

能力領域 代表服務
視覺 Azure Vision and Azure Face in Foundry Tools.
文件與內容理解 Azure 文件智能與 Azure 內容理解。
語音 Azure 語音用於語音轉文字轉錄、文字轉語音生成及說話者辨識。
語言 Azure 語言用於命名實體識別、個人資料偵測及語言偵測。 Azure 翻譯工具 in Foundry Tools for translation.
搜尋與知識 Azure AI 搜尋服務 用於 AI 驅動的搜尋與 RAG 檢索。
內容安全性 內容安全，用於用戶生成及 AI 生成內容的有害內容偵測。
視訊 Azure AI Video Indexer 用於影片分析與索引。
生成式 AI 模型與代理 Microsoft Foundry。 包含 Foundry Agent 服務與 Foundry Models。

要比較某一能力領域的服務並選擇一項，請參閱以下詳細的選擇指南：

下表總結了 Foundry Tools 的核心採用細節。

層面 詳細資料
類型 用於建構智慧應用程式的預訓練 API。
支援的語言 依服務而定，分別支援 C#、Java、JavaScript 和 Python SDK。 REST API。
機器學習階段 透過 API 消費。 部分服務支援客製化。
主要優點 透過 API 加入預先建構的 AI 功能。 資料科學專業知識要求極低。 管理等級。

Foundry Tools 在以下情況下並不適合：你的情境需要自訂模型架構或訓練資料，超出支援的自訂選項。 在這些情況下，可以使用 Azure Machine Learning 來進行經典或深度學習模型，或使用 Microsoft Foundry 進行生成式 AI 微調。

Microsoft Fabric

Microsoft Fabric 是一個統一的 SaaS 分析平台。 它整合了資料工程、資料科學、資料庫管理、即時智慧與 Power BI，建立在共享的 OneLake 資料基礎上。 使用 Microsoft Fabric 的資料工程師、資料科學家與商業分析師在同一託管環境中協作。

Microsoft Fabric 的資料科學工作負載是與機器學習最相關的部分。 它提供 Spark 筆記本、AutoML、內建的 MLflow 實驗追蹤體驗，以及模型登錄檔。 欲了解更多詳細資訊，請參閱 Microsoft Fabric 中的資料科學是什麼？

當你需要以下功能時，請使用 Microsoft Fabric：

  • 整合分析的機器學習。 機器學習是你解決方案中更廣泛分析工作流程的一部分，例如在湖屋中建立模型，並將預測提供給 Power BI。

  • 全託管的 SaaS。 你需要一個完全託管的 SaaS 體驗，且基礎設施管理極少。

  • 共享資料基礎。 你的團隊在同一 OneLake 基礎上，跨越資料工程、資料科學與商業智慧。

下表總結了與分析整合機器學習最相關的 Microsoft Fabric 功能。

Capability 描述
OneLake 基金會 這是一個由 Microsoft Fabric 工作負載共享的單一邏輯資料湖，包括資料工程、資料科學、Data Warehouse 和 Power BI。
資料科學工作量 一個管理式 Spark 執行環境，包含 Python、R、SQL 和 Scala 筆記本，用於分析與模型訓練。 內建 MLflow 實驗追蹤體驗 及 模型登錄系統。 你也可以跨工作空間和平台記錄 MLflow 實驗與模型，包括從 Azure Machine Learning 工作空間記錄到 Microsoft Fabric。
AutoML 低程式碼自動機器學習用於分類、迴歸與預測。 Code-first-AutoML 可透過 Microsoft Fabric 筆記本中的 FLAML API 提供。
Real-Time 智慧與Fabric啟動器 串流分析與無程式碼事件偵測，能觸發 Microsoft Fabric 管線、筆記本或下游動作。
機器學習模型端點 受管理的線上 REST 端點，提供來自註冊 Microsoft Fabric 模型的即時預測。 此功能目前仍處於預覽階段，僅限於一組模型類型，但支援 AutoML 訓練的模型。 欲了解更多詳細資訊，請參閱 「以機器學習模型端點提供即時預測」。
Power BI 系統整合 一種透過語意模型與報告將機器學習輸出暴露給 Power BI 的方法，包括當 Microsoft Fabric 資料留在 OneLake 時使用 Direct Lake，並在需要時匯入或使用 DirectQuery 模式。 利用此整合將預測、異常分數與預測指標整合到商業儀表板與決策流程中。
Microsoft Foundry 整合 一種將 Microsoft Fabric 資料或模型輸出餵入基於 Microsoft Foundry 的應用程式或代理程式的方法，例如接地副駕駛（grounded copilot）、摘要工作流程或 RAG 體驗。 實務上，Microsoft Foundry 可透過 Microsoft Fabric 資料代理程式或其他支援的資料連線連接 Microsoft Fabric 資料。 接著 Microsoft Foundry 就能利用這些上下文來產生代理回應。 如果你的工作負載只需要在 Microsoft Fabric 裡做傳統機器學習，不需要 LLM 或代理，這種整合通常是不必要的。

下表總結了 Microsoft Fabric 的核心採用細節。

層面 詳細資料
類型 一個統一的 SaaS 分析平台。
支援的語言 Python、R、SQL 和 Scala。
機器學習階段 資料準備、訓練、註冊、批次評分、即時服務（預覽）、即時分析及商業智慧使用。
主要優點 一個共享的OneLake基金會。 低營運成本。 與 Power BI 及更廣泛的 Microsoft 資料整合。

Microsoft Fabric 在以下情況下並不適合：你需要大規模深度學習、具備治理登錄系統的完整機器開發系統，或是細緻的計算控制。 在這種情況下，可以搭配 Azure Machine Learning 或 Azure Databricks 來補充 Microsoft Fabric。 Microsoft Fabric 很好地涵蓋了整合分析的機器學習，但它無法取代專用的機器學習平台。

Note

Microsoft Fabric 是新分析整合機器學習投資的推薦平台。 關於 Azure Synapse Analytics 的現有投資，請參見 Azure Synapse Analytics 中的機器學習。 關於專用的 SQL 池遷移到 Microsoft Fabric Data Warehouse，請參見Fabric 移轉小幫手 Data Warehouse。

Azure Databricks

Azure Databricks 是一個統一且開放的分析平台，用於建置、部署、分享及維護資料、分析與人工智慧解決方案。 它結合了資料倉儲與資料湖的能力，採用湖屋架構，並與 Azure 儲存與安全性整合。

當你需要以下功能時，請使用 Azure Databricks：

  • Spark規模的機器學習。 你需要在非常大型的資料集或分散式 Spark 叢集上執行機器學習。

  • 統一的湖屋工作流程。 你會將資料工程、特徵工程、實驗和模型開發整合在同一個湖屋工作流程中。

  • 生產機器學習作業。 你想透過管理式服務端點、自動化工作流程和 MLOps 管線，部署、管理和監控生產環境的機器學習解決方案。

  • Unity 目錄治理。 你想管理 Unity Catalog 中的資料、功能、模型和功能，因為它提供集中式的存取控制和血統。

  • 生成式人工智慧與代理。 你可以在 Azure Databricks 中建置生成式 AI 和 AI 代理工作負載，包括自訂和基礎模型場景。

下表列出了 Azure Databricks 的顯著功能：

Capability 描述
與開源專案的管理整合 包含 Delta Lake、OpenSharing、MLflow、Spark、Apache Spark 結構化串流及 Unity 目錄。
用於 機器學習 的 Azure Databricks Runtime 提供預裝的經典機器學習與深度學習函式庫，包括 Hugging Face Transformers。
Unity 目錄中的 MLflow 追蹤與模型 支援實驗追蹤、模型生命週期管理及受控模型發現。
特徵工程與特徵服務模式 支援可重複使用的訓練與推論功能。
Azure Databricks Model Serving 提供可管理的即時推論端點，具備自動擴展、版本部署、流量控制及生產監控功能。
AI 閘道 提供模型存取治理、使用追蹤及跨服務及外部模型的有效載荷記錄。 支援在湖屋環境中開發、評估及服務客製化或開放模型。
SQL 中的 AI 函式 提供分析師從資料管線呼叫大型語言模型（LLM）的方式。
基礎模型 API 整合外部模型，並提供跨模型提供者的統一存取模式。
Unity Catalog 管理 透過 RBAC 與 OpenSharing 等功能，提供資料、功能、模型與功能的統一治理。
串流分析 透過 Structured Streaming 與 Delta Lake 提供即時及串流分析。
Lakeflow 工作與 MLOps 提供自動化訓練、評估、部署及再培訓流程的工作與工作流程。

下表總結了 Azure Databricks 的核心採用細節。

層面 詳細資料
類型 一座建於Spark上的湖畔小屋平台。
支援的語言 Python、R、Scala 和 SQL 都學過。
機器學習階段 資料準備、訓練、微調、評估、模型服務與治理。
主要優點 湖邊別墅上的端對端機器學習生命週期。 原生 MLflow 整合。 管理服務與營運。 Unity 目錄治理。 支援Spark規模的機器學習與生成式人工智慧。
考慮事項 無伺服器模型服務可降低推論基礎設施的開銷，但基於 Spark 的資料準備、特徵工程及模型訓練的成本仍是重要考量。 對於非 Spark 工作負載，Azure Machine Learning 或 Foundry Tools 可能比較直接。

Azure Databricks 在以下情況下並不理想：

  • 你的團隊不需要火花規模的處理。 在這種情況下，叢集的開銷可能不合理。

  • 你的情境完全是用 API 驅動的 AI。 在這種情況下，Foundry Tools 或 Microsoft Foundry 提供了更直接的路徑。

  • 你需要針對 Azure Machine Learning 的專屬治理控制、端點功能，或跨團隊的標準化端點層。 在這種情況下，建議在混合設計中使用 Azure Machine Learning 管理端點。

SQL 智慧應用程式與機器學習

SQL 資料庫內 AI 將受控的關聯資料保存在已存在的位置，並在 Transact-SQL（T-SQL）中直接加入預測、向量檢索與 AI 端點整合。

在以下情況下使用 SQL in-database AI：

  • 資料必須保留在你的關聯式資料庫中，出於安全、隱私、延遲或法規考量。

  • 你需要在交易前進行低延遲的評分，例如防詐騙檢查或下一步最佳決策。

  • 你需要直接在資料庫中進行向量搜尋和檢索，以取得 RAG 和語意匹配模式。

  • 你需要在 T-SQL 中原生調用外部 AI 端點來進行編排或代理可呼叫的工作流程。

下表列出目前的平台與工具：

Capability 建築中的角色
PREDICT 在 T-SQL 中 為支援的模型執行原生資料庫評分，包括在可用時使用 ONNX 的執行時模式。
向量資料型態 與 向量函數 在關聯引擎中儲存嵌入並執行向量相似性操作。
sp_invoke_external_rest_endpoint 從 T-SQL 呼叫外部 AI 端點，包含憑證、標頭、重試選項及受控的外站控制。
AI 功能（Transact-SQL）包括 AI_GENERATE_EMBEDDINGS 新增資料庫原生 AI 操作，用於分區、嵌入生成及相關 SQL AI 工作流程。
Azure SQL 受控執行個體 機器學習服務 支援在資料庫內執行 Python 與 R 程式碼，以滿足現有 機器學習 Services 風格的工作負載。

下表總結了 Azure SQL 機器學習的核心採用細節。

層面 詳細資料
類型 關聯式資料庫內 AI 功能，用於預測、向量檢索及 AI 端點整合。
支援的語言 先用 T-SQL。 Python 和 R 可透過 Azure SQL 受控執行個體 機器學習 Services 取得。
機器學習階段 資料庫內資料準備、訓練、推論、向量檢索及端點協調。
主要優點 保持受控的交易資料。 減少資料流動。 能在現有 SQL 工作流程中實現低延遲的 AI 豐富化。
考慮事項 能力的可用性會依 SQL 平台和版本而異。 大規模模型訓練與分散式深度學習通常在 Azure Machine Learning、Azure Databricks 或 Microsoft Fabric 中處理較佳。

當你想採取以下方法時，可以將 Azure SQL 機器學習與其他平台結合：

  • 外部培訓，SQL成績。 若進行大規模或深度學習訓練，請使用 Azure Machine Learning、Azure Databricks 或 Microsoft Fabric 進行訓練。 接著將推理產件帶回 SQL 進行資料庫內評分。

  • 雲端訓練、資料庫部署、SQL 預測。 外部訓練，匯出目標 SQL 平台支援的評分產出件，然後用 PREDICT SQL 執行接近交易資料的預測。

  • 在 SQL 中產生嵌入，呼叫端點進行生成。 對於 RAG 和代理情境，請在 SQL 中產生嵌入與向量檢索。 然後，如果你需要回應產生，可以用 sp_invoke_external_rest_endpoint SQL 呼叫外部模型端點。

邊緣、本地與本地機器學習

對於在雲端外、本地裝置、離線環境、應用程式內嵌或本地基礎設施內執行的機器學習，Microsoft 提供多種選擇。

當你需要以下功能時，可以使用邊緣、本地及本地機器學習：

  • 局部推論。 為了滿足延遲、離線操作或資料隱私需求，你的情境需要推論在本地執行。 例如，在間歇性連接環境中的預測性維護解決方案需要局部推論。

  • 將機器學習嵌入應用程式的能力。 你要打造需要嵌入式機器學習功能的桌面或行動應用程式。

  • 本地執行。 你的情境需要機器學習執行，才能留在本地環境，例如本地 SQL Server 部署。

Microsoft 提供以下選項：

  • Microsoft Foundry 在 Windows 上包含 Windows ML，用於在 Windows 裝置上進行本地推論，並支援 CPU、GPU 與 NPU 的硬體加速。 使用 Windows ML 來處理新的 Windows 應用程式和裝置推論工作負載。

  • ML.NET 是一個開源、跨平台的機器學習框架，專為 .NET 開發者設計。 它支援資料載入、訓練（包括 .NET 的 AutoML）及本地推論。 當應用程式需要 .NET 原生模型訓練或推論，包括 ONNX 模型整合時，請使用 ML.NET。

  • SQL Server 機器學習 Services 支援在本地SQL Server內進行訓練與評分，以應對資料必須留在本地資料層級。

  • Foundry Local 是一款裝置端 AI 推論解決方案，將 Microsoft Foundry 擴展到邊緣與離線場景。

  • Azure Local 提供本地虛擬機（VM）和容器的 Azure 管理基礎設施。 用它來承載靠近資料的邊緣 AI 元件，例如 Foundry Local 工作負載、RAG 檢索元件，或是從 Azure Machine Learning 匯出的 ONNX 模型。

  • Kubernetes for Azure Machine Learning 的 Kubernetes Compute 將 Azure Arc 啟用的 Kubernetes 叢集附加到 Azure Machine Learning 工作空間，讓本地或多雲叢集執行訓練與推論，而協調則留在 Azure。

  • Azure IoT Edge 會將容器化的機器學習模型部署到邊緣裝置，使推論能在本地執行。

  • Azure Stack Edge 提供 Microsoft 管理的邊緣設備，可用於硬體加速的機器學習以及虛擬機或容器化工作負載。 裝置僅適用於經過驗證的合作夥伴工作負載或至少 100 個節點的部署。

典型的模式是透過使用 Azure Machine Learning 或 Azure Databricks 在雲端訓練可匯出模型。 當模型與目標執行時支援 ONNX 格式時，模型會轉換成該格式。 最後，該模型可透過 Windows ML、ML.NET、Azure IoT Edge 模組、Foundry Local 或 Azure Local 基礎設施部署用於邊緣推論。

聯合收割月台

生產解決方案可以結合多個平台。 本文前面的流程圖幫助你選擇 主要 的起點。 請參考下表規劃複合架構，並找出每個情境通常需要的支援 Microsoft 元件。

綜合劇本 主要平台 支援 Microsoft 元件 Pattern
企業 RAG 或與你的資料聊天 Microsoft Foundry Azure AI 搜尋服務（以及 Foundry IQ for grounding）、Azure 文件智慧（收回）、Microsoft Fabric 或 Azure Cosmos DB（資料存儲）、內容安全 匯入企業內容，索引以供向量與混合檢索，並以此為基礎建立 Microsoft Foundry 託管代理或大型語言模型應用程式。 關於資料儲存選項，請參見「選擇 Azure 服務以進行向量搜尋」。
生成式人工智慧建立在受控分析之上 Microsoft Fabric Microsoft Foundry （agents， models）， Power BI （consumption）， Azure AI 搜尋服務 使用 Microsoft Fabric 在 OneLake 中擷取並儲存受控資料。 接著在 Microsoft Foundry 中建立代理程式或 RAG 應用程式。 顯示結果則在 Power BI 中。
客製化機器學習，並結合預建的 AI 功能 Azure Machine Learning Azure Vision， Azure Document Intelligence， Azure Speech， Azure Language， Azure AI 搜尋服務 使用 Foundry Tools 進行預處理、特徵擷取或檢索，並使用 Azure Machine Learning 來訓練、部署及管理基於這些功能的自訂模型。
Spark規模訓練與管理式服務 Azure Databricks Azure Databricks Model Serving、MLflow、Unity Catalog，選用 Azure Machine Learning（治理或端點標準化） 在 Azure Databricks 中執行特徵工程與分散式訓練。 接著使用 Azure Databricks Model Serving來部署並提供已訓練好的模型。 當你需要 Azure Machine Learning 專屬治理或跨團隊端點標準化時，新增 Azure Machine Learning 管理端點。
雲端訓練，邊緣部署 Azure Machine Learning 或 Azure Databricks ONNX （model exchange）， Windows ML， ML.NET， Foundry Local， Azure IoT Edge， Azure Local， Azure Stack Edge 在雲端訓練可匯出模型，支援時轉換為 ONNX，並部署至裝置、本地閘道器或硬體加速邊緣設備，進行離線或低延遲推論。
混合式本地與雲端機器學習 Azure Machine Learning on Azure Arc Azure Arc–enabled Kubernetes clusters， an Azure Machine Learning workspace， Container Registry， 金鑰保存庫 在使用連接 Azure Arc 支援的 Kubernetes 的 Azure Machine Learning 工作空間時，將資料保留在本地，以協調訓練與推論。
使用雲端訓練模型進行資料庫內評分 SQL 機器學習 Azure Machine Learning 或 Azure Databricks （training）， ONNX， SQL 受管理執行個體 或 SQL Server 在雲端訓練，匯出到 ONNX，並使用 SQL PREDICT 功能，在操作資料旁邊進行低延遲、資料庫內的評分。
多代理自動化 Microsoft 代理框架與 Foundry 代理服務 Foundry Models， Foundry IQ， Azure AI 搜尋服務， Azure Functions or Azure Logic Apps （tools）， Azure API 管理 利用 Microsoft 代理框架在程式碼中建立多代理工作流程，使用 Foundry 代理服務來架設與協調，並整合企業工具與 API。

開發平台和工具

大多數團隊會搭配跨領域的開發工具和支援服務，搭配他們選擇的主要平台。 這些工具會影響 AI 與機器學習工作的開發、測試與包裝，然後才會執行。 支援服務會影響推論的託管地點，或計算系統連接無法移至受管理雲端平台的資料。

本節將主要的開發工具——即日常開發與營運平台——與相鄰的支援服務區分開來，這些服務承載自我管理推論、加速基於 Spark 的機器學習，或將訓練與評分擴展至本地基礎設施。

以下工具支援雲端與本地平台的開發。

Tool 描述
Foundry 工具包適用於 Visual Studio Code 在 VS Code 中提供開發經驗，用於建置、測試、除錯、評估及部署生成式 AI 應用程式與代理。 支援本地模型、模型目錄、代理開發、工具整合、追蹤及評估。
Foundry 入口 一個用於概念驗證、模型探索、專案資源管理、評估審查，以及跨 Microsoft Foundry 應用程式與代理程式的營運可視化的網頁環境。
Azure Machine Learning Studio 一個針對 Azure Machine Learning 平台的網頁介面。 包含筆記本、管線設計器、AutoML、模型管理及資料標註。
Azure 資料科學虛擬機器 一個預先設定的虛擬機映像檔，並預裝了 Jupyter、R 和 Python 等資料科學工具。
ML.NET 一個開源、跨平台的 .NET 機器學習框架。
Windows 版的 Microsoft Foundry Windows ML 用於硬體加速的 Windows 裝置本地模型推論。
SynapseML 一個開源的分散式機器學習與微服務框架，適用於 Spark。

相鄰的支援服務有助於實驗、自我管理推論主機、基於 Spark 的機器學習或混合操作，但它們並非決策流程中的主要平台選擇。

服務 在機器學習與人工智慧生態系統中的角色
Azure Kubernetes Service （AKS） 同 Azure 容器應用程式 在 Azure 中托管自管理推論容器的解決方案。 當你需要更多對服務執行時和叢集環境的控制時，可以使用容器應用程式（Container Apps）來做更直接的託管容器主機，或是 AKS。 常見例子包括開源的服務堆疊，如 vLLM、Triton Inference Server 或 BentoML。
SynapseML 一個開源、分散式的 Spark 機器學習與微服務框架。 可支援 Azure Databricks、Microsoft Fabric 及其他 Spark 叢集。
Azure Arc–enabled machine learning 一個將本地或多雲 Kubernetes 叢集附加到 Azure Machine Learning 工作空間，進行混合訓練與推論的解決方案。

參與者

本文由 Microsoft 維護。 以下貢獻者撰寫了這篇文章。

主要作者：

若要查看非公開的 LinkedIn 個人檔案，請登入 LinkedIn。

下一步

  • 上次更新時間：