Microsoft的 AI Red Teaming 101 訓練系列 可協助專業人員保護產生 AI 系統免於新興威脅。 此系列深入探討弱點、攻擊技術和防禦策略,提供可採取動作的深入解析和實際作體驗。 無論您是安全性專家、機器學習工程師或業務領導者,您都會透過真實世界的案例研究、模組化情節和自動化測試工具獲得實用知識。 探索提示插入式攻擊、多回合對抗技術和可調整防禦方法等主題,以增強 AI 安全性專業知識。
為什麼觀看此訓練系列
取得切實可行的建議,以協助識別、利用及防禦生成式 AI 系統中的重要弱點。 根據Microsoft AI Red Team的實際經驗,瞭解最佳實務、技術和指導原則。
誰應該觀看此培訓課程系列
此訓練系列適用於使用 AI 的安全性小組、ML 工程師、AI 從業者和業務領導者。 它主要著重於:
- 安全性專業人員:瞭解 AI 特定的攻擊媒介和防禦策略。
- ML 從業者和 AI 工程師:將安全性測試新增至 AI 開發工作流程。
- 企業和安全性架構師:建立安全的 AI 系統並探索新興威脅。
小提示
AI Red Teaming 101 影片是模組化的,因此您可以跳到任何感興趣的區段,或從頭開始觀看所有影片。 下載投影片,並依照自己的步調學習。
訓練系列的內容
訓練系列提供了解產生 AI 弱點、執行攻擊技術及實作防禦措施的指引。 研討會包含實作示範、真實案例研究,以及基於 Microsoft 產品人工智慧安全性實踐的自動化測試工具。
小提示
所有集數包括親自示範和存取Microsoft的紅隊實驗室,以獲得實際經驗。
簡介和基本概念
第 1 集:什麼是 AI 紅隊? - AI 紅色小組基本概念簡介、產生 AI 的主要風險,以及 Microsoft AI 紅色小組的使命
第二集:生成式 AI 模型如何運作 ——理解模型架構、訓練階段,以及為何這些模型會帶來獨特的安全風險
第 A 部分 - 核心攻擊技術
第三集:直接提示注入解析 - 攻擊者如何透過注入惡意指令來操控模型行為,包括如 1 美元 SUV 聊天機器人攻擊等真實案例
第四集:間接提示注入解析 - 隱藏惡意指令於外部資料來源如電子郵件、網站或資料庫中的隱秘攻擊
第五集:Single-Turn 攻擊 - 先進的提示工程技術,包括人格駭客、情緒操控,以及透過編碼技巧逃避過濾器
第六集:多回合攻擊 ——像骷髏鑰匙和漸強等技術,逐步引導模型繞過安全防護
第 B 部分 - 防禦與風險降低
第七集:防範攻擊——緩解策略與防護措施,包括 Microsoft 的 spotlighting 防禦方法(分界、資料標記與編碼)
第 C 部分 - 自動化與擴展
第八集:使用 PyRIT 自動化 AI 紅隊 - 介紹 Microsoft 開源工具——Python 風險識別工具(PyRIT),用於自動化與擴展生成式 AI 系統對抗性測試
第九集:自動化 Single-Turn 攻擊 - 實作示範如何設定資料集、目標及評分邏輯,使用 PyRIT 同時傳送多個提示
第10集:多回合攻擊自動化 - 多回合對話的先進自動化技術,包括對抗式模型對話及文字與影像生成系統的測試
您學到什麼
完成此訓練系列之後,您將瞭解:
- AI 紅色小組與傳統紅色小組方法的基本概念
- 產生式 AI 系統中的核心弱點,例如提示插入和模型不對齊
- 攻擊技巧,從簡單的提示作到複雜的多回合對抗策略
- 防禦策略,包括已證實的緩解技術,例如Microsoft的聚光燈方法
- 使用 PyRIT 和其他開放原始碼工具擴展紅隊工作的自動化工具
- 結合Microsoft在生產環境中AI安全性工作的案例研究與實際操作實驗室的實際應用。
應用你學到的東西
從訓練開始,進入威脅分析、防禦設計與實施:
- 探索 AI 攻擊技術目錄 ,找出相關的敵方技術與失敗模式。
- 檢視 AI 防禦能力目錄 ,選擇針對您所識別風險的防護措施。
- 以 零信任 保護 AI,將 AI 安全工作與身份、資料、應用、基礎設施及營運控制連結起來。
- 應用開發安全實施模式 ,將安全整合進 AI 與軟體交付工作流程中。