AI 模型安全(預覽)

這很重要

此功能目前處於預覽階段,並包含在 適用於 AI 服務的 Microsoft Defender 方案中。 預覽期間,AI 模型掃描不需額外收費。 然而,啟用 適用於 AI 服務的 Defender 方案可能會產生與威脅防護功能相關的費用。 AI 模型掃描功能在 適用於 AI 服務的 Defender 正式開放(GA)時是否能持續納入,並不保證,且授權要求可能會有所變動。 若發生此情況,功能關閉前會發送通知,並提供依適用授權重新啟用的選項。 AI 模型掃描旨在協助客戶識別支援模型產物中的潛在安全風險。 掃描結果可能無法識別所有惡意、不安全或濫用內容,且可能產生誤報或假陰性。 偵測覆蓋範圍會依支援的模型格式、掃描技術及現有威脅情報而有所不同。 客戶應獨立審查並驗證掃描結果,不應僅依賴掃描結果來做出部署、安全或合規決策。

隨著組織越來越多地利用人工智慧(AI)模型來推動自動化、洞察與智慧決策,資安團隊需要具備可視性與控制力,以評估 AI 模型進入其環境的安全性與合規性。 這些模型通常擁有廣泛的資料與基礎設施存取權。 缺乏這些能力,執行內部標準將變得越來越困難。

適用於雲端的 Microsoft Defender 的 Defender for AI Security 支援 AI 模型掃描。 AI 模型掃描能主動偵測不安全或惡意的產物,並在整個 AI 生命週期持續監控模型風險。

AI 模型安全會自動掃描 AI 模型,偵測內嵌惡意軟體、不安全的操作者及暴露的機密等安全風險,在模型進入生產前。 該服務直接整合 Azure 機器學習與 CI/CD 流程,提供即時發現與可行的修復指引,讓團隊能在開發過程中早期阻止風險模型。

透過 AI 模型安全,資安團隊能掃描上傳至 Azure Machine Learning 工作空間與登錄檔的自訂 AI 模型,以識別如嵌入式惡意軟體、不安全操作者及暴露機密等威脅。 適用於雲端的 Defender 呈現結果,讓團隊能看到安全發現、嚴重程度評分、修復指引及相關模型元資料,以支持有效的分流與優先排序。 開發者也能透過整合 Azure DevOps 或 GitHub 管線的 CLI 工具,在建置或發佈階段觸發模型掃描,實現靜態掃描及模型進入生產環境前的早期風險偵測。

Prerequisites

  • 您必須擁有 Azure 訂用帳戶,其中包含已註冊於 Azure Machine Learning 登錄或工作區中的 AI 模型。

備註

使用私有連結的工作區和登錄檔不被支援。

  • 啟用 適用於雲端的 Defender Security 態勢管理計畫。

  • 您必須 啟用 AI 服務的威脅防護 功能,以及計畫中的 AI 模型安全 部分。

  • 必要權限:要啟用該計畫,您需要對 Azure 機器學習資源擁有 擁有者 或 貢獻 者層級的權限。

  • 支援的模型檔案格式:Pickle (.pkl)、、HDF5 (.h5)、TorchScript (.pt)ONNX (.onnx)SafeTensors (.safetensors)TensorFlow SavedModel / TFLite (FlatBuffers)NumPy (.npy)Arrow, MsgPack, dill, joblib。 PMML, JSON, POJO, MOJO, GGUF

  • 檔案大小限制:10 GB。 超過 10 GB 的模型檔案無法被掃描。

  • 掃描每週進行一次。

在你環境中找到所有 AI 模型

  1. 登入 Azure 入口網站。

  2. 搜尋並選擇適用於雲端的 Microsoft Defender。

  3. 選擇 雲端安全總管。

  4. 選擇 AI 與 MLS>AI 模型。

    截圖顯示在雲端安全總管中下拉選單中選擇 AI 模型的位置。

  5. 選擇 完成。

  6. 選擇 +。

  7. 選擇>AI 模型元資料。

    截圖顯示如何選擇「AI 模型元資料」選項。

  8. 選擇 搜尋。

雲端安全探索器會顯示你環境中所有的 AI 模型。 您可以選擇 查看 詳細資訊,查看每個選擇型號的更多資訊。

尋找具備安全發現的 AI 模型

使用雲端安全探索器(Cloud Security Explorer)尋找具有活躍安全發現的 AI 模型。

  1. 請依照「 尋找你環境中所有 AI 模型 」區塊的第 1 到 7 步。

  2. 選擇 +。

  3. 選擇 推薦>所有推薦。

    截圖顯示如何選擇「所有推薦」選項。

  4. 選擇 搜尋。

雲端安全探索器會顯示環境中所有具有活躍安全發現的 AI 模型。 選擇 「查看詳情 」以查看每個模型及其相關發現的更多資訊。

在你環境中找到所有 AI 模型

Defender 入口網站的 資產 頁面提供您環境中所有 AI 模型的完整視圖。

  1. 登入 Microsoft Defender 入口網站。

  2. 前往 資產>Cloud>AI>AI 模型。

    截圖顯示如何導航到 Defender Portals 資產頁面,裡面有所有 AI 模型。

  3. 選擇一個 AI 模型並提供推薦。

    顯示至少有一項建議影響這些 AI 模型的螢幕擷取畫面。

  4. 選擇 開啟資產頁面。

    截圖顯示「開啟資產頁面」按鈕的位置。

  5. 選擇 安全建議> 中的相關建議。

  6. 必要時檢視並補救安全發現。

你也可以在 Azure 入口網站管理推薦。

後續步驟