Microsoft 經典版 Foundry Models 的內容篩選

僅適用於：Foundry（經典）入口。 這篇文章無法在新的 Foundry 入口網站中提供。 了解更多關於新入口網站的資訊。

Microsoft Foundry包含一套內容過濾系統，與核心模型及影像生成模型協同運作，並由 Azure AI 內容安全 驅動。 此系統會透過一套分類模型來執行提示與完成，這些模型旨在偵測並防止有害內容的輸出。 內容過濾系統會在輸入提示與輸出補全中偵測並對特定類別的潛在有害內容採取行動。 API 設定與應用程式設計的差異可能影響完成，進而影響過濾行為。

以下章節提供內容過濾類別、過濾嚴重度等級及其可配置性，以及應用設計與實作中可考慮的 API 情境資訊。

除了內容過濾系統外，Azure OpenAI 還進行監控，偵測可能違反適用產品條款使用服務的內容與行為。 欲了解更多有關理解及減少應用程式相關風險的資訊，請參閱 Azure OpenAI 透明度說明。 欲了解更多關於資料如何處理以進行內容過濾與濫用監控的資訊，請參閱 Data， privacy， and security for Azure OpenAI。

內容過濾器類型

Foundry Tools 中 Foundry Models 服務整合的內容過濾系統包含：

• 神經多類別分類模型，能偵測並過濾有害內容。 這些模型涵蓋四個類別（仇恨、性、暴力和自我傷害），並涵蓋四個嚴重程度等級（安全、低、中、高）。 被偵測到「安全」嚴重程度的內容會在註解中標示，但不會被過濾，也無法設定。
• 其他可選分類模型，用於偵測越獄風險及文本與程式碼的已知內容。 這些模型是二元分類器，用來標記使用者或模型行為是否符合越獄攻擊，或是否符合已知文字或原始碼的匹配。 這些模型的使用為可選，但客戶著作權承諾保障可能需要使用受保護材料代碼模型。

¹ 如果您是文字資料的擁有者，並希望提交文字內容以求保護，請 提出申請。

² 非串流場景中無法使用;僅在串流劇本中提供。 以下地區支援接地偵測：美國中部、美國東部、法國中部及加拿大東部

輸入濾波器

文字內容過濾器

請參閱 傷害類別與嚴重程度等級 ，以了解四種內容過濾類別（仇恨、性、暴力及自我傷害）及其嚴重程度（安全、低、中、高）。

影像內容濾鏡

請參閱 傷害類別與嚴重程度等級 ，以了解四種內容過濾類別（仇恨、性、暴力及自我傷害）及其嚴重程度（安全、低、中、高）。

提示詞防護

命令保護是一種安全過濾器，旨在保護生成式 AI 模型的輸入。

輸出濾波器

您也可以啟用以下特殊輸出濾波器：

• 受保護文本：受保護內容文字描述大型語言模型可能輸出的已知文本內容（例如歌曲歌詞、文章、食譜及精選網路內容）。
• 程式碼的受保護材料：受保護的原始碼描述的是與公開資料庫中一組原始碼相符的原始碼，大型語言模型可能在未正確引用原始碼庫的情況下輸出這些原始碼。
• 接地性：接地性檢測過濾器能偵測大型語言模型（LLM）的文本回應是否基於使用者提供的原始資料。
• 個人識別資訊（PII）：PII 過濾器用來偵測大型語言模型（LLM）的文字回應是否包含個人識別資訊（PII）。 PII 指任何可用來識別特定個人的資訊，例如姓名、地址、電話號碼、電子郵件地址、社會安全號碼、駕照號碼、護照號碼或類似資訊。

在 Microsoft Foundry 中建立內容過濾器

在 Foundry 中部署任何模型時，你可以直接使用預設的內容過濾器，但你可能想要有更多控制權。 例如，你可以將過濾器設置得更嚴格或寬鬆，或啟用更進階的功能，例如提示防護和受保護內容偵測。

請依照以下步驟建立內容篩選器：

1. 登入 Microsoft Foundry。 確定 新鑄造廠 的切換開關是關閉的。 這些步驟指的是Foundry (classic)。

   

2. 導航至你的專案。 接著從左側選單選擇「 護欄+控制 」頁面，並選擇 「內容篩選」 標籤。

   

3. 選擇 + 建立內容篩選器。

4. 在 基本資訊 頁面輸入內容過濾設定的名稱。 選取要與內容篩選器建立關聯的連線。 然後選擇 「下一步」。

   

   現在你可以設定輸入過濾器（用於使用者提示）和輸出過濾器（用於模型完成）。

5. 在 輸入篩選器 頁面，你可以設定輸入提示的篩選條件。 前四個內容類別有三個可設定的嚴重程度等級：低、中、高。 如果你判斷應用程式或使用情境需要與預設值不同的過濾，可以使用滑桿設定嚴重度閾值。 有些篩選器，如提示盾（Prompt Shields）和受保護材質偵測（Protected material detection），可以讓你判斷模型是否應該註解和/或阻擋內容。 選擇 Annotate 只會 執行相應模型，並透過 API 回應回傳註解，但不會過濾內容。 除了註解之外，你也可以選擇封鎖內容。

   如果您的使用案例已獲批准修改內容過濾，您將能完全控制內容過濾的設定。 你可以選擇部分或完全關閉過濾，或僅啟用針對內容傷害類別（暴力、仇恨、性及自殘）的註解。

   內容會依類別標註，並依照你設定的門檻封鎖。 針對暴力、仇恨、性及自殘類別，請調整滑桿以阻擋高、中或低嚴重的內容。

   

6. 在 輸出篩選 器頁面，你可以設定輸出篩選器，該過濾器會套用到模型產生的所有輸出內容。 依舊配置個別過濾器。 該頁面提供串流模式選項，讓你能在模型產生內容時即時過濾，並降低延遲。 完成後選擇 「下一步」。

   內容會依每個類別註解，並依照門檻封鎖。 對於暴力內容、仇恨內容、性內容及自傷內容類別，請調整門檻，封鎖嚴重程度相同或更高的有害內容。

   

7. 選擇性地，在 連線 頁面，可以將內容過濾器與部署關聯。 如果所選部署已經附加了過濾器，你必須確認你想要更換它。 你也可以將內容過濾器與後續部署關聯。 選擇 「建立」。

   內容過濾設定會在 Foundry 入口網站的樞紐層建立。 想了解更多關於可配置性的資訊，請參閱 Azure OpenAI 在 Foundry Models 文件。

8. 在 評論 頁面，檢視設定後選擇 建立篩選器。

使用封鎖清單作為過濾器

你可以將區塊清單套用為輸入或輸出過濾器，或兩者兼用。 請在輸入過濾器和/或輸出過濾器頁面啟用方塊清單選項。 從下拉選單中選擇一個或多個封鎖名單，或使用內建的髒話封鎖清單。 你可以將多個阻擋清單合併成同一個過濾器。

套用內容過濾器

篩選器的建立過程會讓你選擇將篩選器套用到你想要的部署上。 你也可以隨時更改或移除部署中的內容過濾器。

請依照以下步驟對部署套用內容過濾器：

1. 到 Foundry 選擇一個專案。

2. 在左側窗格選擇 Models + endpoints，選擇一個部署項目，然後選擇 編輯。

   

3. 在 「更新部署 」視窗中，選擇你想套用到部署的內容過濾器。 然後選擇 儲存並關閉。

   

   必要時，你也可以編輯或刪除內容過濾器設定。 在刪除內容過濾設定之前，你需要在 部署 標籤中取消指派並替換該配置。

現在，你可以到遊樂場測試內容過濾器是否如預期運作。

可配置性

部署至 Microsoft Foundry（前稱 Azure AI Services）的模型，包含所有模型的預設安全設定，但不含 Azure OpenAI Whisper。 這些配置預設能提供 你負責任的使用體驗。

某些模型允許客戶設定內容過濾器並建立符合其使用情境需求的客製化安全政策。 可設定功能可讓客戶分別調整提示和完成的設定，以依下表所述，在不同嚴重性層級篩選各內容類別的內容。 偵測到「安全」嚴重程度的內容會在註解中標示，但不受過濾限制，也無法設定。

¹ 對於Azure OpenAI 模型，只有通過修改內容過濾核准的客戶才擁有完整內容過濾控制權，並可關閉內容過濾。 請透過此表單申請修改內容篩選：Azure OpenAI 有限存取審查：修改內容篩選器。 Azure Government 客戶可透過此表單申請修改後的內容篩選器：Azure Government - 要求修改 Foundry 模型中的 Azure OpenAI 的內容篩選。

在 Foundry 入口網站的資源中建立內容過濾設定，並將其與部署關聯。 學習如何 設定內容過濾器。

內容過濾情境

當內容安全系統偵測到有害內容時，如果提示被認為不適當，你會在 API 呼叫中收到錯誤；而在回應中，finish_reason 將顯示為 content_filter，以表示部分內容已被過濾。 在建置應用程式或系統時，你會想考慮到這些情況，例如完成 API 回傳的內容會被過濾，這可能導致內容不完整。

這種行為可歸納為以下幾點：

• 分類為已篩選類別和嚴重性層級的提示會傳回 HTTP 400 錯誤。
• 非串流完成呼叫在內容被過濾後不會回傳任何內容。 值 finish_reason 設為 content_filter。 在罕見且反應較長的情況下，可能會回傳部分結果。 在這些情況下，finish_reason 會進行更新。
• 對於串流完成呼叫，分段會在完成後即時回傳給使用者。 服務會持續串流，直到達到停止權杖、長度，或偵測到分類為已篩選類別和嚴重性層級的內容為止。

情境一：非串流通話且無過濾內容

當所有世代都依設定通過篩選器時，回應中不會包含內容審核細節。 每一個產生的 finish_reason 都是 stop 或 length。

HTTP 回應代碼： 200

範例請求內容：

{
    "prompt": "Text example", 
    "n": 3,
    "stream": false
}

範例回應：

{
    "id": "example-id",
    "object": "text_completion",
    "created": 1653666286,
    "model": "davinci",
    "choices": [
        {
            "text": "Response generated text",
            "index": 0,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

情境二：多個回應，至少有一個被過濾

當你的 API 呼叫要求多個回應（N>1），且至少有一個回應被過濾時，被過濾的世代值為 finish_reasoncontent_filter。

HTTP 回應代碼： 200

範例請求內容：

{
    "prompt": "Text example",
    "n": 3,
    "stream": false
}

範例回應：

{
    "id": "example",
    "object": "text_completion",
    "created": 1653666831,
    "model": "ada",
    "choices": [
        {
            "text": "returned text 1",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null
        },
        {
            "text": "returned text 2",
            "index": 1,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

情境三：不適當的輸入提示

當提示設置的內容過濾器被觸發時，API 呼叫會失敗。 修改提示詞再試一次。

HTTP 回應代碼： 400

範例請求內容：

{
    "prompt": "Content that triggered the filtering model"
}

範例回應：

{
    "error": {
        "message": "The response was filtered",
        "type": null,
        "param": "prompt",
        "code": "content_filter",
        "status": 400
    }
}

情境四：通話串流但沒有過濾內容

在此情況下，呼叫會以串流方式傳回完整產生內容，且每個產生回應的 finish_reason 會是 length 或 stop。

HTTP 回應代碼： 200

範例請求內容：

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

範例回應：

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670914,
    "model": "ada",
    "choices": [
        {
            "text": "last part of generation",
            "index": 2,
            "finish_reason": "stop",
            "logprobs": null
        }
    ]
}

情境五：串流通話，內容經過過濾

對於給定的世代索引，該世代的最後一段包含非零 finish_reason 值。 當生成被過濾時，數值為 content_filter。

HTTP 回應代碼： 200

範例請求內容：

{
    "prompt": "Text example",
    "n": 3,
    "stream": true
}

範例回應：

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1653670515,
    "model": "ada",
    "choices": [
        {
            "text": "Last part of generated text streamed back",
            "index": 2,
            "finish_reason": "content_filter",
            "logprobs": null
        }
    ]
}

情境六：內容過濾系統無法使用

如果內容過濾系統故障或無法及時完成操作，你的請求仍然會在沒有內容過濾的情況下完成。 你可以透過查看 content_filter_results 物件中的錯誤訊息來判斷過濾器未被應用。

HTTP 回應代碼： 200

範例請求內容：

{
    "prompt": "Text example",
    "n": 1,
    "stream": false
}

範例回應：

{
    "id": "cmpl-example",
    "object": "text_completion",
    "created": 1652294703,
    "model": "ada",
    "choices": [
        {
            "text": "generated text",
            "index": 0,
            "finish_reason": "length",
            "logprobs": null,
            "content_filter_results": {
                "error": {
                    "code": "content_filter_error",
                    "message": "The contents are not filtered"
                }
            }
        }
    ]
}

最佳實務

在設計應用程式時，請考慮以下最佳實務，以提供正面的使用體驗，同時盡量減少潛在的傷害：

• 適當處理過濾內容：決定如何處理使用者發送包含篩選類別與嚴重程度分類內容的提示，或以其他方式濫用你的應用程式的情況。
• 檢查 finish_reason：一律檢查 finish_reason，以查看是否有完成內容遭到篩選。
• 驗證內容過濾器執行：檢查 中 content_filter_results 沒有錯誤物件（表示內容過濾器未執行）。
• 顯示受保護材料的引用：如果你使用受保護材料代碼模型的註解模式，請在應用程式中顯示代碼時顯示引用網址。

相關內容

• 了解Azure AI 內容安全。
• 了解更多關於了解及降低應用相關風險的方法：Azure OpenAI 模型的負責任 AI 實務概述。
• 了解更多資料如何透過內容過濾與濫用監控進行處理：Azure OpenAI 的資料、隱私與安全。