檢索增強生成(RAG)是一種結合搜尋與大型語言模型(LLM)的模式,使回應能基於你的資料。 本文說明 Microsoft Foundry 中 RAG 的運作方式、索引扮演的角色,以及代理檢索如何改變經典 RAG 模式。
LLM 是根據訓練時可用的公開資料進行訓練的。 如果你需要基於私人資料或頻繁變動資訊的答案,RAG 能幫助你:
- 從你的資料中取得相關資訊(通常是透過索引)。
- 將這些資訊作為接地資料提供給模型。
- 產生可包含回溯至來源內容之引文的回應。
什麼是RAG?
大型語言模型(LLMs)是以訓練模型時可用的公開網路資料進行訓練的。 公開資料可能不足以滿足你的需求。 例如,你可能想要根據私人文件的答案,或是需要最新資訊。
RAG 透過從資料中擷取相關內容並納入模型輸入,來解決此問題。 模型接著能根據檢索內容產生回應。
RAG 的關鍵概念:
- 依據資料:您提供給模型、用來減少臆測的檢索內容。
- 索引:一種為檢索(關鍵字、語意搜尋、向量搜尋或混合搜尋)而優化的資料結構。
- 嵌入:用於向量相似性搜尋的內容數值表示。 參見 「了解嵌入」。
- 系統訊息與提示:指引模型如何使用擷取的內容。 請參閱 提示工程 與 安全系統訊息。
RAG 是如何運作的?
RAG 遵循三步驟流程:
- 擷取:當使用者提出問題時,您的應用程式會查詢索引或資料庫以尋找相關內容。
- 增強:應用程式將使用者的問題與擷取的內容(基礎資料)結合成提示。
- 生成:模型接收增強後的提示,並根據所擷取內容生成回應,減少不準確並實現準確引用。
什麼是索引,以及為什麼你需要索引
RAG 在你能快速且穩定地取得相關內容時效果最佳。 索引有助於組織你的內容,讓檢索更有效率。
許多 RAG 解決方案使用支援一種或多種以下擷取模式的索引:
- 關鍵字搜尋
- 語義搜尋
- 向量搜尋
- 混合搜尋 (關鍵字+向量,有時帶有語意排序)
索引也可以儲存提升引用品質的欄位(例如文件標題、網址或檔案名稱)。
Foundry 可以將您的專案連接到 Foundry IQ(Azure AI 搜尋服務)服務,並為檢索提供索引。 根據你使用的功能和 API 表面,這些連線資訊可能會以專案連線或 索引資產 ID 來表示。
Foundry IQ 是 RAG 情境中推薦的索引儲存庫。 Foundry IQ 支援透過儲存在搜尋索引中的向量與文字資料進行檢索,若使用代理式檢索,也能查詢其他目標。 請參閱 什麼是 Foundry IQ?。
代理式 RAG:現代化的擷取方法
傳統的 RAG 模式通常只用一次查詢就能從你的資料中取得資訊。 代理檢索,也稱為代理式 RAG,是檢索架構的一種演進,利用模型將複雜輸入拆解成多個聚焦子查詢,並平行執行,並回傳結構化的接地資料,這些資料與聊天完成模型相得益彰。
代理檢索相較於經典 RAG 有多項優勢:
- 情境感知查詢規劃:利用對話記錄來理解情境與意圖。 後續問題保留了先前對話的脈絡,使多回合對話更自然。
- 平行執行:同時執行多個聚焦的子查詢,以提升覆蓋範圍。 平行執行不再是依序從單一查詢中檢索,而是降低延遲並取得更多元且相關的結果。
- 結構化回應:回傳根據資料、引用與執行元資料,連同結果。 這種結構化的輸出讓你的申請更容易準確引用來源並追蹤答案背後的推理。
- 內建語意排序:確保結果的最佳相關性。 語意排名能過濾雜訊並優先排序真正相關的段落,這在面對大量資料時尤其重要。
- 可選的答案合成:可直接在查詢回應中包含由 LLM 生成的答案。 或者,你也可以選擇返回原始、逐字片段,讓應用程式處理。
如果您使用 Foundry IQ 作為檢索引擎,請參閱 代理檢索 與 快速入門:代理檢索。
請在 Foundry 中選擇一種策略
Foundry 支援多種處理私有資料的模式。 根據你的使用情境複雜度及需要的控制力來選擇:
- 當你需要基於私人或經常變動的資料來獲得答案時,請使用 RAG。
- 使用微調,當你需要改變模型行為、樣式或任務效能時,而非新增新知識。
- 當你在建立需要將檢索作為工具的代理時,請使用代理工具。 例如,請參閱 代理人的檔案搜尋工具。 若想建立一個擁有完整控制權的完整 RAG 應用程式,請使用 Foundry SDK。
Foundry 中的 RAG 工作流程
Foundry 中的 RAG 實作通常涵蓋以下階段:
- 準備您的資料:將您的私人文件或知識庫整理並分塊成可搜尋的內容。
- 設定索引:建立 Foundry IQ(Azure AI 搜尋服務)索引,或使用其他檢索服務來組織內容,以提升搜尋效率。
- 連接至 Foundry:從您的 Foundry 專案建立連線至索引或檢索服務。
- 建立您的 RAG 應用程式:使用 Foundry SDK 或 REST API 將擷取功能與模型呼叫整合。
- 測試與評估:確認檢索品質良好,且回答準確且正確引用。
安全與隱私考量
如果沒有仔細設計存取和提示,RAG 系統可能會暴露敏感內容。
- 在擷取時套用存取控制。 如果您使用 Foundry IQ(Azure AI 搜尋服務)作為資料來源,可以使用文件層級的存取控制並搭配安全篩選器。
- 在生產環境中偏好使用 Microsoft Entra ID 而非 API 金鑰。 API 金鑰對開發來說很方便,但不建議用於生產環境。 有關 Foundry IQ RBAC 的指引,請參閱「使用角色連線至 Foundry IQ」。
- 將擷取的內容視為不受信任的輸入。 您的系統訊息與應用程式邏輯應降低來自文件與擷取段落的提示插入風險。 請參閱 安全系統訊息。
成本與延遲考量
相較於僅針對模型的請求,RAG 增加了額外的工作:
- 檢索成本與延遲:查詢索引會增加往返次數與運算。
- 嵌入成本與延遲:向量搜尋需要在建立索引時產生嵌入,且通常在查詢時也需要產生嵌入。
- 代幣使用:擷取的段落會增加輸入代幣數量,進而增加成本。
如果您正在使用 Foundry IQ,請在正式推出前確認服務層級與價格。 如果您使用語意檢索或混合檢索,請在 Foundry IQ 文件中查看 Foundry IQ 的定價與限制。
限制與故障排除
已知限制
- RAG 品質取決於內容準備、檢索配置及提示詞設計。 資料準備或索引策略不佳,直接影響回應品質。
- 若檢索回傳無關或不完整的段落,模型仍可能產生不完整或不準確的答案,儘管有基礎。
- 如果您未控管來源內容的存取權限,以資料為依據的回應可能會從您的索引中洩漏敏感資訊。
常見挑戰與緩解措施
- 檢索品質不佳:如果你的索引沒有回傳相關段落,請檢視你的資料分塊策略、嵌入模型品質,以及搜尋設定(關鍵字、語意、混合)。
- 即使有依據仍產生幻覺:即使擷取到內容,模型仍可能產生不準確的回應。 啟用引用,並使用清晰的系統訊息與提示,指示模型堅持使用檢索的內容。
- 延遲問題:大型索引會拖慢擷取速度。 考慮索引策略、篩選與重新排序,以減少處理的文章數量。
- 代幣預算超過:擷取的段落可能迅速消耗代幣上限。 實施文章篩選、排名或摘要以控制預算。
如需評估RAG效能的指引,請參閱下方相關內容區的教學與快速入門。