Microsoft Foundry on Windows整合 Windows AI APIs、Foundry Local以及Windows ML,讓 Windows 應用程式加入本機 AI 功能。 早期文件以 Windows AI Foundry 作為此統稱;它並非獨立的執行環境或 SDK。
Microsoft Foundry on Windows 為開發者提供...
- 可立即使用的 AI 模型和 API 透過 Windows AI APIs 及 Foundry Local
- AI 推論框架 可透過 Windows ML 在本地執行相容的 ONNX 模型
無論你是 AI 新手,還是經驗豐富的機器學習(ML)專家,Microsoft Foundry on Windows 都能找到適合你的東西。
即用型 AI 模型與 API
你的應用程式可以在不到一小時內輕鬆使用以下本地 AI 模型和 API。 模型檔案的分發與執行時由 Microsoft 負責,模型則在多個應用程式間共享。 使用這些模型和 API 只需幾行程式碼,完全不需要機器學習專業知識。
| 模型類型或 API | 這是什麼 | 選項與支援裝置 |
|---|---|---|
| 大型語言模型(LLM) | 生成式文字模型 | Phi Silica 透過 AI APIs(支援微調),或 20 多個 OSS LLM 模型透過 Foundry Local 請參考 本地大型語言模型 以了解更多資訊。 |
| 圖片說明 | 取得一張圖片的自然語言文字描述 | 透過AI APIs的圖片描述(Copilot+ PCs) |
| 影像前景擷取器 | 分割影像前景 | 透過 AI APIs 的圖片前景擷取器(Copilot+ PCs) |
| 影像生成 | 從文字產生圖片 | 影像生成透過AI APIs(Copilot+ PCs) |
| 清除影像中的物件 | 從影像中抹除物件 | 影像物件擦除 透過 AI APIs(Copilot+ PCs) |
| 影像物件擷取器 | 在影像中分割特定物件 | 透過AI APIs的影像物件擷取器 (Copilot+ PCs) |
| 影像超高解析度 | 提升影像解析度 | 影像超解析度:透過AI APIs(Copilot+ PCs) |
| 語意搜尋 | 語意搜尋文字與圖片 | 透過AI APIs的應用程式內容搜尋(Copilot+ PCs) |
| 語音辨識 | 將語音轉換為文字 | 透過 Foundry Local 低語,或透過 Windows SDK 進行語音辨識 請參見 語音辨識 以了解更多。 |
| 文字辨識(OCR) | 從圖片辨識文字 | 透過 AI APIs 的 OCR(Copilot+ PCs) |
| 視訊超高解析度(VSR) | 提升影片解析度 | 影片超高解析度 AI APIs (NPU、GPU 或 CPU 支援依情境而定;選擇在建立時只進行一次,裝置在品質之前選擇)。 請參閱 裝置選擇與備援。 |
使用其他帶有 Windows ML 的模型
你可以使用Hugging Face或其他來源的各種模型,甚至自己訓練模型,並在Windows 10及後期電腦上本地運行,Windows ML(模型相容性和效能會依裝置硬體不同)。
如需了解更多,請參閱 尋找或訓練模型以搭配 Windows ML 使用。
Windows ML 與執行提供者搭配使用 ONNX Runtime ,用於 CPU、GPU 與 NPU 執行。 它包含 CPU 與舊有的 DirectML 提供者,並能在相容裝置上取得硬體廠商的執行提供者。 DirectML 是一個 GPU 執行選項,不是每個 Windows ML 工作負載的通用加速層或 NPU API。
CPU 與 DirectML GPU 執行支援 Windows 應用程式 SDK 支援政策中列出的 Windows 版本。 動態取得的硬體優化提供者需要 Windows 11 版本 24H2(建置版 26100)或更新版本,以及相容的硬體與驅動程式。 請參閱 Windows ML 執行提供者 以了解提供者與版本矩陣。
該從哪個選項開始
請依照此決策樹,為您的申請與情境選擇最佳方案:
檢查內建的 Windows 功能 AI APIs是否涵蓋你的情境。 大多數這些 API 可在 Copilot+ PCs 上運行,部分如 Phi Silica(GPU)、語音識別及視訊超解析度(Video Super Resolution)也能在額外硬體上運行;詳情請參閱支援硬體表。 這是最快且開發投入最小的途徑。
如果 Windows AI APIs 沒有你需要的功能,或你需要支援 Windows 10 及以後,可以考慮 Foundry Local 用於大型語言模型(LLM)或語音轉文字的情境。
如果你需要自訂模型,想利用 Hugging Face 或其他來源的現有模型,或有上述選項未涵蓋的特定模型需求,Windows ML 讓你有彈性去尋找或訓練自己的模型(並支援 Windows 10 及後續版本)。
你的應用程式也可以結合這三種技術。
可用於本地人工智慧的技術
以下技術在Microsoft Foundry on Windows中提供:
| Windows AI APIs | Foundry Local | Windows ML | |
|---|---|---|---|
| 這是什麼 | 現成型 AI 模型與 API,涵蓋多種任務類型,主要針對 Copilot+ PCs 優化,部分 PC 也支援額外的 GPU 或 CPU 硬體 | 即用型大型語言模型與語音轉文字模型 | ONNX Runtime 用於執行您找到或訓練的模型的框架 |
| 支援的裝置 | 大多數 API 的 Copilot+ PCs;部分 API(如 Phi Silica 的 GPU、語音辨識及視訊超解析度)也支援其他 Windows 11 電腦——詳見支援硬體表 | Windows 10 及以後的 PC 與跨平台 (效能依可用硬體而異,並非所有型號皆有) |
Windows 10及後續版本的個人電腦,並透過開源跨平台支援ONNX Runtime (效能會依可用硬體而有所不同) |
| 可用的模型類型與API |
LLM 圖片說明 影像前景擷取器 影像生成 清除影像中的物件 影像物件擷取器 影像超高解析度 語意搜尋 文字辨識(OCR) 影片超解析度 |
大型語言模型(多個) 語音轉文字 瀏覽 20+ 款可用模型 |
尋找或訓練您自己的模型 |
| 模型分發 | 由 Microsoft 託管,執行時取得,並跨應用程式共享 | 由 Microsoft 託管,執行時取得,並跨應用程式共享 | 分發由你的應用程式處理(應用程式庫可以在 不同應用程式間共享模型) |
| 深入了解 | 閱讀 AI APIs 文件 | 閱讀 Foundry Local 文件 | 閱讀 Windows ML 文件 |
Microsoft Foundry on Windows同時包含開發工具,如 Foundry Toolkit for Visual Studio Code 與 AI 開發者畫廊,能協助你成功建構 AI 能力。
Foundry Toolkit for Visual Studio Code 是一個 VS Code 擴充功能,讓您能在本地下載並執行 AI 模型,並透過 DirectML 提供硬體加速功能,提升效能與擴展性。 這個 Foundry Toolkit 也能幫助你:
- 使用 REST API 在直覺式遊樂場或應用程式中測試模型。
- 微調您的 AI 模型,無論是在本機還是雲端中(在虛擬機上),以建立新的技能、改善回應的可靠性、設定回應的音調和格式。
- 微調熱門的小語言模型(SLM),如 Phi-3 和 Mistral。
- 將您的 AI 功能部署至雲端,或使用在裝置上執行的應用程式。
- 在 Windows 應用程式中使用自訂 ONNX 模型時,請使用Windows ML並選擇適合該模型與裝置的執行提供者。 DirectML 提供一條舊有的 GPU 路徑;硬體廠商供應商則提供其他 GPU 與 NPU 加速路徑。 請參見 加速 AI 模型。
- 使用模型轉換功能來量化和驗證模型以在 NPU 上使用
利用本地 AI 的點子
Windows 應用程式可以利用本地 AI 來提升功能與使用者體驗的幾種方式包括:
- 應用程式可以使用 生成式 AI LLM 模型 來理解複雜主題,進行摘要、重寫、報告或擴充。
- 應用程式可以使用 大型語言模型(LLM )模型,將自由形式內容轉換成應用程式能理解的結構化格式。
- 應用程式可以使用語 意搜尋模型 ,讓使用者能依詞義搜尋內容並快速找到相關內容。
- 應用程式可以使用自然語言處理模型來推理複雜的自然語言需求,並規劃和執行動作來完成用戶的詢問。
- 應用程式可以使用影像處理模型,智慧地修改影像、清除或新增物件、提高解析度或產生新內容。
- 應用程式可以使用預測性診斷模型來協助識別和預測問題,並協助引導使用者或為其執行。
使用雲端 AI 模型
如果使用本機 AI 功能不是適合您的路徑, 則使用雲端 AI 模型和資源 可以是解決方案。
使用負責任的 AI 做法
每當您在 Windows 應用程式中加入 AI 功能時,我們強烈建議遵循 在 Windows 上開發負責任的生成式 AI 應用與功能指引。