語言
Windows AI APIs 是 Microsoft Foundry on Windows 中可立即使用的模型APIs。 它們讓你能在不尋找、包裝或優化自己的機器學習模型的情況下,新增支援的功能。 這些APIs模型可在支援的 Windows 11 裝置上在本機執行;所需的 Windows 組建、SDK 發布通道,以及 NPU、GPU 或 CPU 的能力依 API 而異。
支援的硬體
Windows AI APIs 正從 Copilot+ PCs 擴展到支援更廣泛的硬體。 下表顯示目前 API各硬體支援情況。
備註
在支援APIs的 Copilot+ PC 上,預設通常使用 NPU,但選擇與備援行為會依 API而有所不同。 影片超解析度會在建立時先選擇裝置,先設定固定 NPU,再用 GPU,再依 CPU 優先順序,限制於該場景支援的裝置。 它不會在畫面處理時對裝置進行基準測試,也不會自動切換裝置或型號。 請參閱 VSR 裝置選擇與回退,以及各 API 頁面,以了解 SDK 可用性與硬體需求。
| API | NPU(Copilot+ PC) | GPU | CPU |
|---|---|---|---|
| Phi Silica | ✅ 可取得 | ✅ 可用(NVIDIA 與 AMD) | ❌ 不支援 |
| 文字辨識(OCR) | ✅ 可取得 | ❌ 不支援 | ❌ 不支援 |
| 語音辨識 | 🧪 實驗性 | ❌ 不支援 | 🧪 實驗性(選用,可移除) |
| 影片超解析度 | ✅ 可用(依情境而定) | ✅ 可用(依情境而定) | ✅ 可用(依情境而定) |
| 影像超高解析度 | ✅ 可取得 | ❌ 不支援 | ❌ 不支援 |
| 圖片說明 | ✅ 可取得 | ❌ 不支援 | ❌ 不支援 |
| 影像分割 | ✅ 可取得 | ❌ 不支援 | ❌ 不支援 |
| 物件抹除 | ✅ 可取得 | ❌ 不支援 | ❌ 不支援 |
| 影像生成 | ✅ 可用(選配、可拆卸) | ❌ 不支援 | ❌ 不支援 |
備註
Phi Silica 的 GPU 支援支援於 NVIDIA GeForce RTX 30 系列及更新版本(6+ GB vRAM)及 AMD Radeon RX 9060 系列及更新版本(6+ GB vRAM)。 Phi Silica GPU 推論需要啟用 開發人員模式(設定>>),並直接安裝製造商提供的最新 GPU 驅動程式(請參閱 Phi Silica — GPU driver requirements)。 在 CPU 處理方面,視訊超解析度建議至少 16 個執行緒,而語音辨識則建議至少 4 個實體核心。 兩者都建議使用 3 GHz 或以上的基礎時脈 ,以及 32 MB 或以上的 L3 快取;請參閱各 API 頁面以取得詳細資訊及執行時檢查。
Video Super Resolution 有獨立 的 GPU 需求,包括原生 FP16 著色器操作,以及驅動程式報告的總車道數至少 512 條。
模型可用性
底層 AI 模型如何到達裝置,取決於:API
-
Phi Silica — 在 Copilot+ PCs 上,模型已預裝於 NPU 上。 在 GPU 和 CPU 裝置上,該模型 並非 預裝——而是在應用程式第一次呼叫
EnsureReadyAsync時即時下載。 下載容量可能長達數 GB,並透過 Windows Update 在背景執行。 最終使用者可在設定>>中的系統 AI 元件移除或重新安裝模型。 應用程式應該先檢查GetReadyState並顯示同意對話框,然後才會觸發下載。 請參閱 Phi Silica — 模型可用性與下載 ,了解推薦的使用者體驗模式。 -
影像產生 — 僅在 NPU 上運行,但因安裝容量過大,模型未預先安裝。 當應用程式第一次呼叫
EnsureReadyAsync時,會即時下載,使用者之後可以在設定>>系統 AI 元件中移除。 應用程式應該先檢查GetReadyState並顯示同意對話框,然後才會觸發下載。 請參閱 影像生成 — 模型可用性與下載 ,了解推薦的使用者體驗模式。 - 影片超解析度 — 應用程式會使用 SDK 的部署機制來處理所需的執行階段與模型資產。 就緒呼叫是可選的能力檢查,不是模型下載或裝置準備,且不保證成功建立或處理影格。 請參見 「建立 VideoScaler 工作階段」。
-
語音辨識 — 在 Copilot+ PCs 上,該模型已預裝於 NPU 上。 在僅支援 CPU 的裝置上,該模型
EnsureReadyAsync預先安裝——它是在應用程式第一次呼叫時隨需下載,使用者之後可以在>>系統 AI 元件中移除。 應用程式應該先檢查GetReadyState並顯示同意對話框,再在 CPU 上觸發下載。 請參閱 語音辨識 — 模型可用性與下載 ,了解推薦的使用者體驗模式。
SDK 與 Windows 可用性
不要用功能首次引入的歷史版本來推薦你今天安裝的套件。 從 Windows 應用程式 SDK 版本頻道選擇一個支援的版本,然後檢查您使用的每個API和多載的前置條件。 該頁面連結至目前的發行說明與維護原則。
| 能力 | 功能專屬可用性與前提條件 |
|---|---|
| 語言模型與文字智慧 | Phi Silica,包括模型轉換、硬體、驅動程式、存取權限及 Windows 建置需求 |
| LoRA 適配 | Phi Silica LoRA,包含必要的 SDK 與模型支援 |
| 圖片 APIs | 影像概述 及各連結 API 頁面 |
| 文字辨識 | 文字辨識 |
| 語音辨識 | 語音辨識,包括實驗性API功能及 CPU/NPU 需求 |
| 影片超解析度 | 前提條件與 API 可用性,包括多載特定的合約需求 |
| 語意搜尋 | 應用程式內容搜尋,包括存取權限及 SDK 前置條件 |
部分功能需要預覽或實驗性 SDK 以及 Windows Insider 版本;詳見發佈通道差異。 較新的穩定套件不會自動包含實驗性 APIs、限制功能存取權,或讓不支援的裝置相容。 在 UI 中提供功能前,先檢查執行階段可用性和模型準備度。
備註
Video Super Resolution 的建立選項多載和輸入色彩屬性屬於 experimental contract version 2 API 介面,而不屬於上述列出的基準可用性 API。 確認你所選 SDK 版本的公開成員及 Windows 的前置條件。 請參閱 先修條件與 API 可用性。
用 Windows AI 打造你的第一個應用程式APIs
小提示
為了提高可訪問性和可讀性,此頁面默認顯示靜止圖像。 在某些情況下,您可以單擊圖像來查看動畫版本。
要用這些APIs工具打造你的第一個 Windows 應用程式,請先檢視前置條件並依照《開始用 Windows AI APIs建置應用程式》中的範例程式碼。
接著你可以跟著針對 Phi Silica 攻略、 影像攻略和 文字辨識攻略的專注教學。
在您的電腦上試用APIs和模型
AI Dev Gallery是一款示範應用程式——可於 Microsoft Store 取得——讓你能快速下載、試用並使用 Windows 的 AI APIs 與模型。
在AI Dev Gallery,選取Windows AI APIs標籤,然後選取Phi Silica樣本。 如果您的裝置上已經有模型可用,則該範例會立即執行。 否則,請選取 [要求模型 ] 以下載模型。 下載之後,將會啟動該範例。 深入瞭解AI Dev Gallery何謂 AI Dev Gallery?。
可用的概覽 APIs
以下是一些你可以加入 Windows 應用程式的現成功能:
Phi 矽石
這很重要
Phi Silica 將被 Aion Instruct 取代,這是一款全新的裝置端模型。 Aion Instruct 將於 2026 年 12 月開始推送至 Windows Insider Preview 裝置,並於 2027 年 1 月推送零售裝置,屆時 Phi Silica 將被移除。 有關轉換細節與時間表,請參閱 「與 Phi Silica 開始 」一節。
與大型語言模型(LLM)類似,Phi Silica 是由 Microsoft Research 開發的小型語言模型(SLM),用於在本地裝置上執行語言處理任務(參見 開始使用 Phi Silica)。 Phi Silica 專為配備神經處理單元(NPU)或支援 GPU 的 Windows 裝置設計,允許文字生成與對話功能以高效能、硬體加速的方式直接在裝置上執行。 Phi Silica 未在中國提供。
文字辨識
文字辨識 APIs 能辨識影像中的文字,並將掃描文件、PDF 檔案及相機影像轉換為裝置上可編輯與可搜尋的資料。 請參閱開始使用文字辨識。
成像
縮放與銳化影像(影像超高解析度)、識別影像中的物件(影像物件擷取器)、產生自然語言描述影像(影像描述),以及從影像中移除物件(物件抹除)。 請參閱成像概觀。
圖像超解析度
影像超解析度 APIs 可啟用影像銳化和縮放。
另請參閱 影像超高解析度。
影像物件擷取器
影像物件擷取器 APIs 能在影像中辨識物件。
另見 影像物件擷取器。
影像描述
影像描述 APIs 會以自然語言描述影像。
備註
影像描述功能在中國不可用。
另見 圖片說明
物件擦除
你可以使用物件消除 APIs 功能來移除影像中的物件。
另見 物件抹除
規劃中的功能
以下功能已規劃中,但尚未開放使用:
- 即時翻譯(尚未支援)。 協助所有人使用 Windows,包括聾子或聽力困難的人,透過檢視口語內容的輔助字幕來進一步瞭解音訊(即使音訊內容的語言與系統慣用的語言不同)。
內容審核
了解 Windows AI APIs如何管理內容,以及如何調整敏感度過濾器。 請參閱 Windows AI APIs的內容安全管理。
在新增模型驅動功能時,請參閱 Windows 上的負責任生成式 AI 開發指南。
其他資源
- 程式碼範例與教學。 探索將本機模型和 Windows APIs 新增至應用程式的方法。
- 利用 Windows AI APIs將 AI 整合進企業應用程式。 觀看 2024 年 11 月 Microsoft Ignite 會議的示範研討會。
- 在 Windows 應用程式 SDK GitHub 存放庫中,提供對於這些及其功能的APIs,可以透過建立新問題或回應現有問題來完成。