語言

什麼是 Windows AI APIs?

圖片顯示各種 Windows AI APIs的圖示。

Windows AI APIs 是 Microsoft Foundry on Windows 中可立即使用的模型APIs。 它們讓你能在不尋找、包裝或優化自己的機器學習模型的情況下,新增支援的功能。 這些APIs模型可在支援的 Windows 11 裝置上在本機執行;所需的 Windows 組建、SDK 發布通道,以及 NPU、GPU 或 CPU 的能力依 API 而異。

支援的硬體

Windows AI APIs 正從 Copilot+ PCs 擴展到支援更廣泛的硬體。 下表顯示目前 API各硬體支援情況。

備註

在支援APIs的 Copilot+ PC 上,預設通常使用 NPU,但選擇與備援行為會依 API而有所不同。 影片超解析度會在建立時先選擇裝置,先設定固定 NPU,再用 GPU,再依 CPU 優先順序,限制於該場景支援的裝置。 它不會在畫面處理時對裝置進行基準測試,也不會自動切換裝置或型號。 請參閱 VSR 裝置選擇與回退,以及各 API 頁面,以了解 SDK 可用性與硬體需求。

API NPU(Copilot+ PC) GPU CPU
Phi Silica ✅ 可取得 ✅ 可用(NVIDIA 與 AMD) ❌ 不支援
文字辨識(OCR) ✅ 可取得 ❌ 不支援 ❌ 不支援
語音辨識 🧪 實驗性 ❌ 不支援 🧪 實驗性(選用,可移除)
影片超解析度 ✅ 可用(依情境而定) ✅ 可用(依情境而定) ✅ 可用(依情境而定)
影像超高解析度 ✅ 可取得 ❌ 不支援 ❌ 不支援
圖片說明 ✅ 可取得 ❌ 不支援 ❌ 不支援
影像分割 ✅ 可取得 ❌ 不支援 ❌ 不支援
物件抹除 ✅ 可取得 ❌ 不支援 ❌ 不支援
影像生成 ✅ 可用(選配、可拆卸) ❌ 不支援 ❌ 不支援

備註

Phi Silica 的 GPU 支援支援於 NVIDIA GeForce RTX 30 系列及更新版本(6+ GB vRAM)及 AMD Radeon RX 9060 系列及更新版本(6+ GB vRAM)。 Phi Silica GPU 推論需要啟用 開發人員模式(設定>>),並直接安裝製造商提供的最新 GPU 驅動程式(請參閱 Phi Silica — GPU driver requirements)。 在 CPU 處理方面,視訊超解析度建議至少 16 個執行緒,而語音辨識則建議至少 4 個實體核心。 兩者都建議使用 3 GHz 或以上的基礎時脈 ,以及 32 MB 或以上的 L3 快取;請參閱各 API 頁面以取得詳細資訊及執行時檢查。

Video Super Resolution 有獨立 的 GPU 需求,包括原生 FP16 著色器操作,以及驅動程式報告的總車道數至少 512 條。

模型可用性

底層 AI 模型如何到達裝置,取決於:API

  • Phi Silica — 在 Copilot+ PCs 上,模型已預裝於 NPU 上。 在 GPU 和 CPU 裝置上,該模型 並非 預裝——而是在應用程式第一次呼叫 EnsureReadyAsync時即時下載。 下載容量可能長達數 GB,並透過 Windows Update 在背景執行。 最終使用者可在設定>>中的系統 AI 元件移除或重新安裝模型。 應用程式應該先檢查 GetReadyState 並顯示同意對話框,然後才會觸發下載。 請參閱 Phi Silica — 模型可用性與下載 ,了解推薦的使用者體驗模式。
  • 影像產生 — 僅在 NPU 上運行,但因安裝容量過大,模型未預先安裝。 當應用程式第一次呼叫EnsureReadyAsync時,會即時下載,使用者之後可以在設定>>系統 AI 元件中移除。 應用程式應該先檢查 GetReadyState 並顯示同意對話框,然後才會觸發下載。 請參閱 影像生成 — 模型可用性與下載 ,了解推薦的使用者體驗模式。
  • 影片超解析度 — 應用程式會使用 SDK 的部署機制來處理所需的執行階段與模型資產。 就緒呼叫是可選的能力檢查,不是模型下載或裝置準備,且不保證成功建立或處理影格。 請參見 「建立 VideoScaler 工作階段」。
  • 語音辨識 — 在 Copilot+ PCs 上,該模型已預裝於 NPU 上。 在僅支援 CPU 的裝置上,該模型EnsureReadyAsync預先安裝——它是在應用程式第一次呼叫時隨需下載,使用者之後可以在>>系統 AI 元件中移除。 應用程式應該先檢查 GetReadyState 並顯示同意對話框,再在 CPU 上觸發下載。 請參閱 語音辨識 — 模型可用性與下載 ,了解推薦的使用者體驗模式。

了解如何使用 APIs WinUI,請參考 。

SDK 與 Windows 可用性

不要用功能首次引入的歷史版本來推薦你今天安裝的套件。 從 Windows 應用程式 SDK 版本頻道選擇一個支援的版本,然後檢查您使用的每個API和多載的前置條件。 該頁面連結至目前的發行說明與維護原則。

能力 功能專屬可用性與前提條件
語言模型與文字智慧 Phi Silica,包括模型轉換、硬體、驅動程式、存取權限及 Windows 建置需求
LoRA 適配 Phi Silica LoRA,包含必要的 SDK 與模型支援
圖片 APIs 影像概述 及各連結 API 頁面
文字辨識 文字辨識
語音辨識 語音辨識,包括實驗性API功能及 CPU/NPU 需求
影片超解析度 前提條件與 API 可用性,包括多載特定的合約需求
語意搜尋 應用程式內容搜尋,包括存取權限及 SDK 前置條件

部分功能需要預覽或實驗性 SDK 以及 Windows Insider 版本;詳見發佈通道差異。 較新的穩定套件不會自動包含實驗性 APIs、限制功能存取權,或讓不支援的裝置相容。 在 UI 中提供功能前,先檢查執行階段可用性和模型準備度。

備註

Video Super Resolution 的建立選項多載和輸入色彩屬性屬於 experimental contract version 2 API 介面,而不屬於上述列出的基準可用性 API。 確認你所選 SDK 版本的公開成員及 Windows 的前置條件。 請參閱 先修條件與 API 可用性。

用 Windows AI 打造你的第一個應用程式APIs

小提示

為了提高可訪問性和可讀性,此頁面默認顯示靜止圖像。 在某些情況下,您可以單擊圖像來查看動畫版本。

要用這些APIs工具打造你的第一個 Windows 應用程式,請先檢視前置條件並依照《開始用 Windows AI APIs建置應用程式》中的範例程式碼。

接著你可以跟著針對 Phi Silica 攻略、 影像攻略和 文字辨識攻略的專注教學。

在您的電腦上試用APIs和模型

AI Dev Gallery是一款示範應用程式——可於 Microsoft Store 取得——讓你能快速下載、試用並使用 Windows 的 AI APIs 與模型。

在AI Dev Gallery,選取Windows AI APIs標籤,然後選取Phi Silica樣本。 如果您的裝置上已經有模型可用,則該範例會立即執行。 否則,請選取 [要求模型 ] 以下載模型。 下載之後,將會啟動該範例。 深入瞭解AI Dev Gallery何謂 AI Dev Gallery?。

可用的概覽 APIs

以下是一些你可以加入 Windows 應用程式的現成功能:

Phi 矽石

這很重要

Phi Silica 將被 Aion Instruct 取代,這是一款全新的裝置端模型。 Aion Instruct 將於 2026 年 12 月開始推送至 Windows Insider Preview 裝置,並於 2027 年 1 月推送零售裝置,屆時 Phi Silica 將被移除。 有關轉換細節與時間表,請參閱 「與 Phi Silica 開始 」一節。

與大型語言模型(LLM)類似,Phi Silica 是由 Microsoft Research 開發的小型語言模型(SLM),用於在本地裝置上執行語言處理任務(參見 開始使用 Phi Silica)。 Phi Silica 專為配備神經處理單元(NPU)或支援 GPU 的 Windows 裝置設計,允許文字生成與對話功能以高效能、硬體加速的方式直接在裝置上執行。 Phi Silica 未在中國提供。

一個動畫 GIF 顯示 AI 聊天提示朗讀,自我介紹,並透過 Phi Silica 功能生成回應。

文字辨識

文字辨識 APIs 能辨識影像中的文字,並將掃描文件、PDF 檔案及相機影像轉換為裝置上可編輯與可搜尋的資料。 請參閱開始使用文字辨識。

一個動畫 GIF,顯示截圖中的文字被識別,並搭配文字疊加層,並可利用文字辨識功能複製到檔案或剪貼簿。

成像

縮放與銳化影像(影像超高解析度)、識別影像中的物件(影像物件擷取器)、產生自然語言描述影像(影像描述),以及從影像中移除物件(物件抹除)。 請參閱成像概觀。

圖像超解析度

影像超解析度 APIs 可啟用影像銳化和縮放。

一個動畫 GIF,展示由文字與圖片混合的影像,並利用影像超解析度功能進行銳化與縮放。

另請參閱 影像超高解析度。

影像物件擷取器

影像物件擷取器 APIs 能在影像中辨識物件。

一個動畫動圖,顯示一名男子抬起一隻腳離地,然後選擇「移除背景」,利用影像物件擷取器功能將該男子在白色背景上的影像隔離出來。

另見 影像物件擷取器。

影像描述

影像描述 APIs 會以自然語言描述影像。

備註

影像描述功能在中國不可用。

一個動畫動圖,顯示一隻正在睡覺的狗,並用自然語言跳出圖片描述,讀出一隻蓬鬆、毛髮蓬鬆的狗狗躺在沙發上舒適休息,使用圖片描述功能。

另見 圖片說明

物件擦除

你可以使用物件消除 APIs 功能來移除影像中的物件。

一個動畫 gif,顯示使用者使用物件消除功能移除物件的圖片。

另見 物件抹除

規劃中的功能

以下功能已規劃中,但尚未開放使用:

  • 即時翻譯(尚未支援)。 協助所有人使用 Windows,包括聾子或聽力困難的人,透過檢視口語內容的輔助字幕來進一步瞭解音訊(即使音訊內容的語言與系統慣用的語言不同)。

內容審核

了解 Windows AI APIs如何管理內容,以及如何調整敏感度過濾器。 請參閱 Windows AI APIs的內容安全管理。

在新增模型驅動功能時,請參閱 Windows 上的負責任生成式 AI 開發指南。

其他資源

另請參閱