AI 紅隊演練訓練系列:生成式 AI 系統的安全性

Microsoft的 AI Red Teaming 101 訓練系列 可協助專業人員保護產生 AI 系統免於新興威脅。 此系列深入探討弱點、攻擊技術和防禦策略,提供可採取動作的深入解析和實際作體驗。 無論您是安全性專家、機器學習工程師或業務領導者,您都會透過真實世界的案例研究、模組化情節和自動化測試工具獲得實用知識。 探索提示插入式攻擊、多回合對抗技術和可調整防禦方法等主題,以增強 AI 安全性專業知識。

為什麼觀看此訓練系列

取得切實可行的建議,以協助識別、利用及防禦生成式 AI 系統中的重要弱點。 根據Microsoft AI Red Team的實際經驗,瞭解最佳實務、技術和指導原則。

誰應該觀看此培訓課程系列

此訓練系列適用於使用 AI 的安全性小組、ML 工程師、AI 從業者和業務領導者。 它主要著重於:

  • 安全性專業人員:瞭解 AI 特定的攻擊媒介和防禦策略。
  • ML 從業者和 AI 工程師:將安全性測試新增至 AI 開發工作流程。
  • 企業和安全性架構師:建立安全的 AI 系統並探索新興威脅。

小提示

AI Red Teaming 101 影片是模組化的,因此您可以跳到任何感興趣的區段,或從頭開始觀看所有影片。 下載投影片,並依照自己的步調學習。

訓練系列的內容

訓練系列提供了解產生 AI 弱點、執行攻擊技術及實作防禦措施的指引。 研討會包含實作示範、真實案例研究,以及基於 Microsoft 產品人工智慧安全性實踐的自動化測試工具。

小提示

所有集數包括親自示範和存取Microsoft的紅隊實驗室,以獲得實際經驗。

簡介和基本概念

第 1 集:什麼是 AI 紅隊? - AI 紅色小組基本概念簡介、產生 AI 的主要風險,以及 Microsoft AI 紅色小組的使命

第二集:生成式 AI 模型如何運作 ——理解模型架構、訓練階段,以及為何這些模型會帶來獨特的安全風險

第 A 部分 - 核心攻擊技術

第三集:直接提示注入解析 - 攻擊者如何透過注入惡意指令來操控模型行為,包括如 1 美元 SUV 聊天機器人攻擊等真實案例

第四集:間接提示注入解析 - 隱藏惡意指令於外部資料來源如電子郵件、網站或資料庫中的隱秘攻擊

第五集:Single-Turn 攻擊 - 先進的提示工程技術,包括人格駭客、情緒操控,以及透過編碼技巧逃避過濾器

第六集:多回合攻擊 ——像骷髏鑰匙和漸強等技術,逐步引導模型繞過安全防護

第 B 部分 - 防禦與風險降低

第七集:防範攻擊——緩解策略與防護措施,包括 Microsoft 的 spotlighting 防禦方法(分界、資料標記與編碼)

第 C 部分 - 自動化與擴展

第八集:使用 PyRIT 自動化 AI 紅隊 - 介紹 Microsoft 開源工具——Python 風險識別工具(PyRIT),用於自動化與擴展生成式 AI 系統對抗性測試

第九集:自動化 Single-Turn 攻擊 - 實作示範如何設定資料集、目標及評分邏輯,使用 PyRIT 同時傳送多個提示

第10集:多回合攻擊自動化 - 多回合對話的先進自動化技術,包括對抗式模型對話及文字與影像生成系統的測試

您學到什麼

完成此訓練系列之後,您將瞭解:

  • AI 紅色小組與傳統紅色小組方法的基本概念
  • 產生式 AI 系統中的核心弱點,例如提示插入和模型不對齊
  • 攻擊技巧,從簡單的提示作到複雜的多回合對抗策略
  • 防禦策略,包括已證實的緩解技術,例如Microsoft的聚光燈方法
  • 使用 PyRIT 和其他開放原始碼工具擴展紅隊工作的自動化工具
  • 結合Microsoft在生產環境中AI安全性工作的案例研究與實際操作實驗室的實際應用。

應用你學到的東西

從訓練開始,進入威脅分析、防禦設計與實施: