用本地 AI 搭配 Microsoft Foundry on Windows

Microsoft Foundry on Windows整合 Windows AI APIs、Foundry Local以及Windows ML,讓 Windows 應用程式加入本機 AI 功能。 早期文件以 Windows AI Foundry 作為此統稱;它並非獨立的執行環境或 SDK。

Microsoft Foundry on Windows 為開發者提供...

無論你是 AI 新手,還是經驗豐富的機器學習(ML)專家,Microsoft Foundry on Windows 都能找到適合你的東西。

顯示構成 Microsoft Foundry on Windows (Windows AI APIs、 Foundry Local、 及 Windows ML) 的各種元件的示意圖。

即用型 AI 模型與 API

你的應用程式可以在不到一小時內輕鬆使用以下本地 AI 模型和 API。 模型檔案的分發與執行時由 Microsoft 負責,模型則在多個應用程式間共享。 使用這些模型和 API 只需幾行程式碼,完全不需要機器學習專業知識。

模型類型或 API 這是什麼 選項與支援裝置
大型語言模型(LLM) 生成式文字模型 Phi Silica 透過 AI APIs(支援微調),或 20 多個 OSS LLM 模型透過 Foundry Local

請參考 本地大型語言模型 以了解更多資訊。
圖片說明 取得一張圖片的自然語言文字描述 透過AI APIs的圖片描述(Copilot+ PCs)
影像前景擷取器 分割影像前景 透過 AI APIs 的圖片前景擷取器(Copilot+ PCs)
影像生成 從文字產生圖片 影像生成透過AI APIs(Copilot+ PCs)
清除影像中的物件 從影像中抹除物件 影像物件擦除 透過 AI APIs(Copilot+ PCs)
影像物件擷取器 在影像中分割特定物件 透過AI APIs的影像物件擷取器 (Copilot+ PCs)
影像超高解析度 提升影像解析度 影像超解析度:透過AI APIs(Copilot+ PCs)
語意搜尋 語意搜尋文字與圖片 透過AI APIs的應用程式內容搜尋(Copilot+ PCs)
語音辨識 將語音轉換為文字 透過 Foundry Local 低語,或透過 Windows SDK 進行語音辨識

請參見 語音辨識 以了解更多。
文字辨識(OCR) 從圖片辨識文字 透過 AI APIs 的 OCR(Copilot+ PCs)
視訊超高解析度(VSR) 提升影片解析度 影片超高解析度 AI APIs (NPU、GPU 或 CPU 支援依情境而定;選擇在建立時只進行一次,裝置在品質之前選擇)。 請參閱 裝置選擇與備援。

使用其他帶有 Windows ML 的模型

你可以使用Hugging Face或其他來源的各種模型,甚至自己訓練模型,並在Windows 10及後期電腦上本地運行,Windows ML(模型相容性和效能會依裝置硬體不同)。

如需了解更多,請參閱 尋找或訓練模型以搭配 Windows ML 使用。

Windows ML 與執行提供者搭配使用 ONNX Runtime ,用於 CPU、GPU 與 NPU 執行。 它包含 CPU 與舊有的 DirectML 提供者,並能在相容裝置上取得硬體廠商的執行提供者。 DirectML 是一個 GPU 執行選項,不是每個 Windows ML 工作負載的通用加速層或 NPU API。

CPU 與 DirectML GPU 執行支援 Windows 應用程式 SDK 支援政策中列出的 Windows 版本。 動態取得的硬體優化提供者需要 Windows 11 版本 24H2(建置版 26100)或更新版本,以及相容的硬體與驅動程式。 請參閱 Windows ML 執行提供者 以了解提供者與版本矩陣。

該從哪個選項開始

請依照此決策樹,為您的申請與情境選擇最佳方案:

  1. 檢查內建的 Windows 功能 AI APIs是否涵蓋你的情境。 大多數這些 API 可在 Copilot+ PCs 上運行,部分如 Phi Silica(GPU)、語音識別及視訊超解析度(Video Super Resolution)也能在額外硬體上運行;詳情請參閱支援硬體表。 這是最快且開發投入最小的途徑。

  2. 如果 Windows AI APIs 沒有你需要的功能,或你需要支援 Windows 10 及以後,可以考慮 Foundry Local 用於大型語言模型(LLM)或語音轉文字的情境。

  3. 如果你需要自訂模型,想利用 Hugging Face 或其他來源的現有模型,或有上述選項未涵蓋的特定模型需求,Windows ML 讓你有彈性去尋找或訓練自己的模型(並支援 Windows 10 及後續版本)。

你的應用程式也可以結合這三種技術。

可用於本地人工智慧的技術

以下技術在Microsoft Foundry on Windows中提供:

  Windows AI APIs Foundry Local Windows ML
這是什麼 現成型 AI 模型與 API,涵蓋多種任務類型,主要針對 Copilot+ PCs 優化,部分 PC 也支援額外的 GPU 或 CPU 硬體 即用型大型語言模型與語音轉文字模型 ONNX Runtime 用於執行您找到或訓練的模型的框架
支援的裝置 大多數 API 的 Copilot+ PCs;部分 API(如 Phi Silica 的 GPU、語音辨識及視訊超解析度)也支援其他 Windows 11 電腦——詳見支援硬體表 Windows 10 及以後的 PC 與跨平台

(效能依可用硬體而異,並非所有型號皆有)
Windows 10及後續版本的個人電腦,並透過開源跨平台支援ONNX Runtime

(效能會依可用硬體而有所不同)
可用的模型類型與API LLM
圖片說明
影像前景擷取器
影像生成
清除影像中的物件
影像物件擷取器
影像超高解析度
語意搜尋
文字辨識(OCR)
影片超解析度
大型語言模型(多個)
語音轉文字

瀏覽 20+ 款可用模型
尋找或訓練您自己的模型
模型分發 由 Microsoft 託管,執行時取得,並跨應用程式共享 由 Microsoft 託管,執行時取得,並跨應用程式共享 分發由你的應用程式處理(應用程式庫可以在 不同應用程式間共享模型)
深入了解 閱讀 AI APIs 文件 閱讀 Foundry Local 文件 閱讀 Windows ML 文件

Microsoft Foundry on Windows同時包含開發工具,如 Foundry Toolkit for Visual Studio Code 與 AI 開發者畫廊,能協助你成功建構 AI 能力。

Foundry Toolkit for Visual Studio Code 是一個 VS Code 擴充功能,讓您能在本地下載並執行 AI 模型,並透過 DirectML 提供硬體加速功能,提升效能與擴展性。 這個 Foundry Toolkit 也能幫助你:

  • 使用 REST API 在直覺式遊樂場或應用程式中測試模型。
  • 微調您的 AI 模型,無論是在本機還是雲端中(在虛擬機上),以建立新的技能、改善回應的可靠性、設定回應的音調和格式。
  • 微調熱門的小語言模型(SLM),如 Phi-3 和 Mistral。
  • 將您的 AI 功能部署至雲端,或使用在裝置上執行的應用程式。
  • 在 Windows 應用程式中使用自訂 ONNX 模型時,請使用Windows ML並選擇適合該模型與裝置的執行提供者。 DirectML 提供一條舊有的 GPU 路徑;硬體廠商供應商則提供其他 GPU 與 NPU 加速路徑。 請參見 加速 AI 模型。
  • 使用模型轉換功能來量化和驗證模型以在 NPU 上使用

利用本地 AI 的點子

Windows 應用程式可以利用本地 AI 來提升功能與使用者體驗的幾種方式包括:

  • 應用程式可以使用 生成式 AI LLM 模型 來理解複雜主題,進行摘要、重寫、報告或擴充。
  • 應用程式可以使用 大型語言模型(LLM )模型,將自由形式內容轉換成應用程式能理解的結構化格式。
  • 應用程式可以使用語 意搜尋模型 ,讓使用者能依詞義搜尋內容並快速找到相關內容。
  • 應用程式可以使用自然語言處理模型來推理複雜的自然語言需求,並規劃和執行動作來完成用戶的詢問。
  • 應用程式可以使用影像處理模型,智慧地修改影像、清除或新增物件、提高解析度或產生新內容。
  • 應用程式可以使用預測性診斷模型來協助識別和預測問題,並協助引導使用者或為其執行。

使用雲端 AI 模型

如果使用本機 AI 功能不是適合您的路徑, 則使用雲端 AI 模型和資源 可以是解決方案。

使用負責任的 AI 做法

每當您在 Windows 應用程式中加入 AI 功能時,我們強烈建議遵循 在 Windows 上開發負責任的生成式 AI 應用與功能指引。