在本教學中,您將學習如何在大型語言模型(LLM)應用程式中使用 Azure Managed Redis,作為語意快取的 Redis 端點。 語意快取是一種應用程式或閘道模式,並非獨立的 Azure Managed Redis 管理功能。 Azure Managed Redis 提供 Redis 端點與 RediSearch 向量搜尋功能,可儲存並搜尋快取的提示詞、嵌入、元資料及回應。
在這個教學中,你會學到如何:
- 決定語意快取應該在您的應用程式中執行,還是在 Azure API 管理 中執行。
- 設定 Azure Managed Redis、RediSearch、embeddings、TLS 及驗證的先決條件。
- 用 RedisVL 實作 Python 語意快取。
- 使用 Azure API 管理 原則配置閘道層級語意快取。
- 調整臨界值、TTL、分割區、版本與可觀察性以適應生產環境。
- 了解成本、效能及產品適配考量。
語意快取的運作方式
當新提示詞的意義與快取提示足夠接近時,語意快取會重複使用先前的 LLM 回應。 典型的請求流程如下:
- 收到應用程式或 API 使用者的提示。
- 使用快取所使用的相同嵌入模型為提示產生嵌入。
- 依向量相似度搜尋 Azure Managed Redis 中快取的提示嵌入。
- 如果最近的快取項目在設定的閾值內,且符合所需的租戶、使用者、模型及提示版本分割區,請回傳快取回應。
- 如果找不到可接受的匹配,就打給 LLM,把提示詞、回應、嵌入、元資料和 TTL 存到 Redis。
Azure Managed Redis 能支援此模式,因為 RediSearch 支援向量相似度搜尋、元資料篩選及 Redis 資料結構上的向量索引。 如需更多資訊,請參閱 Azure Managed Redis 中的向量搜尋及 Redis 向量搜尋概念。
選擇實作路徑
| Path | 何時使用 | 快取邏輯執行位置 |
|---|---|---|
| 使用 RedisVL 的應用程式層級語意快取 | 您擁有應用程式程式碼,需要自訂的閾值、分割、元資料或模型呼叫邏輯。 | 您的應用程式使用 RedisVLSemanticCache,並以 Azure Managed Redis 作為 Redis 端點。 RedisVL SemanticCache 支援提示查找、回應儲存、TTL、元資料、篩選器,以及 Redis COSINE 距離門檻。 詳細資訊請參閱 RedisVL 語意快取 API。 |
| 使用 Azure API 管理 的閘道層級語意快取 | 你會想要集中式語意快取,適用於經過 Azure API 管理 的 LLM API。 | Azure API 管理 在後端呼叫之前使用 llm-semantic-cache-store,並在後端回應之後使用 llm-semantic-cache-lookup。 Azure Managed Redis 被設定為外部快取。 詳細資訊請參閱《在 Azure API 管理 中啟用 LLM API 的語意快取》。 |
Prerequisites
- Azure 訂用帳戶。
- 支援 RediSearch 的 Azure Managed Redis 實例。 Azure Managed Redis 模組文章列出了按層級分類的模組可用性。
- 建立 Azure Managed Redis 實例時啟用的 RediSearch 模組 您必須在建立時啟用模組,且無法手動將模組新增至現有的 Azure Managed Redis 實例。 如需更多資訊,請參閱〈在 Azure Managed Redis 中使用 Redis 模組〉。
- Azure 管理的 Redis 設定,使用 RediSearch 的企業(
EnterpriseCluster)或非叢集(NoCluster)叢集政策。 RediSearch 不支援 OSS (OSSCluster) 叢集政策,如 RediSearch 模組需求所述。 - 嵌入模型或部署。 為每個語意快取索引使用一個嵌入模型與向量維度。 Redis向量索引要求查詢向量的維度與索引向量場相同,如 Redis向量搜尋概念中所述。
- 為您的用戶端設定 TLS 與驗證。 使用 TLS(
rediss://或ssl=True)以及 Microsoft Entra ID 或核准的秘密儲存。 不要硬編碼存取金鑰。 如需更多資訊,請參閱 Microsoft Entra ID 以進行驗證與 TLS 設定。 - 針對 RedisVL 路徑:Python、
redisvl、redis以及你嵌入和 Redis 驗證方法所需的任何套件。 - 針對 Azure API 管理 路徑:一個帶有 LLM API 的 API 管理實例、嵌入後端、對嵌入後端的管理身份驗證,以及配置為外部 Redis 相容快取的 Azure Managed Redis。 這些先決條件說明於在 Azure API 管理 中為 LLM API 啟用語意快取。
路徑 1:使用 RedisVL 建立應用程式層級語意快取
當您的應用程式需要控制快取查詢、快取未命中處理、模型呼叫、元資料及快取儲存時,請使用此路徑。 RedisVL SemanticCache 連接至 Redis,並提供對語意相似提示詞的 check 與 store 操作。 根據 RedisVL SemanticCache API,該 distance_threshold 值使用 Redis 的 COSINE 距離單位,範圍從 0 到 2;值越低表示匹配越嚴格。
安裝所需的 Python 套件:
pip install openai redis redis-entraid redisvl
在你的環境中設定 AZURE_MANAGED_REDIS_HOST、AZURE_OPENAI_ENDPOINT、OPENAI_API_VERSION、AZURE_OPENAI_API_KEY、AZURE_OPENAI_EMBEDDING_DEPLOYMENT 和 AZURE_OPENAI_CHAT_DEPLOYMENT。 如果你的實例不使用連接埠 10000,你也可以設定 AZURE_MANAGED_REDIS_PORT。
以下範例將已設定的 Redis 用戶端傳入 RedisVL,讓您能使用 Azure Managed Redis TLS 及 Microsoft Entra ID 驗證:
import os
from openai import AzureOpenAI
from redis import Redis
from redis_entraid.cred_provider import create_from_default_azure_credential
from redisvl.extensions.cache.llm import SemanticCache
from redisvl.utils.vectorize import AzureOpenAITextVectorizer
credential_provider = create_from_default_azure_credential(
("https://redis.azure.com/.default",)
)
redis_client = Redis(
host=os.environ["AZURE_MANAGED_REDIS_HOST"],
port=int(os.getenv("AZURE_MANAGED_REDIS_PORT", "10000")),
ssl=True,
credential_provider=credential_provider,
)
vectorizer = AzureOpenAITextVectorizer(
model=os.environ["AZURE_OPENAI_EMBEDDING_DEPLOYMENT"],
api_config={
"azure_endpoint": os.environ["AZURE_OPENAI_ENDPOINT"],
"api_version": os.environ["OPENAI_API_VERSION"],
# Load from a secret store or managed configuration. Don't hard-code keys.
"api_key": os.environ["AZURE_OPENAI_API_KEY"],
},
)
openai_client = AzureOpenAI(
api_key=os.environ["AZURE_OPENAI_API_KEY"],
api_version=os.environ["OPENAI_API_VERSION"],
azure_endpoint=os.environ["AZURE_OPENAI_ENDPOINT"],
)
cache = SemanticCache(
name="semcache_support_promptv1",
redis_client=redis_client,
vectorizer=vectorizer,
distance_threshold=0.15, # Redis COSINE distance [0-2]; lower is stricter.
ttl=3600,
)
def call_llm(prompt: str) -> str:
completion = openai_client.chat.completions.create(
model=os.environ["AZURE_OPENAI_CHAT_DEPLOYMENT"],
messages=[{"role": "user", "content": prompt}],
)
response = completion.choices[0].message.content
if response is None:
raise RuntimeError("The chat completion didn't contain a response.")
return response
def answer(prompt: str) -> str:
hits = cache.check(prompt=prompt, num_results=1)
if hits:
return hits[0]["response"]
response = call_llm(prompt)
cache.store(
prompt=prompt,
response=response,
metadata={
"model_id": os.environ["AZURE_OPENAI_CHAT_DEPLOYMENT"],
"prompt_version": "support-v1",
},
)
return response
在生產環境中,不要在所有呼叫者之間共用一個未分割的快取。 請為租戶、使用者、模型 ID 及提示版本分別使用快取索引或 RedisVL 可篩選欄位。 Redis支援結合向量搜尋與元資料篩選器,如 Redis向量搜尋概念中所述。
路徑 2:使用 Azure API 管理 建立閘道層級語意快取
當 LLM 流量透過 Azure API 管理 流動,且您希望建立集中式的政策型快取時,請使用此路徑。 Azure API 管理 語意快取使用已設定的外部快取與嵌入後端。 查找策略會在轉發至 LLM 後端前檢查語意相似的快取回應,而儲存策略則在後端回傳後快取符合條件的回應。 完整設定步驟請參閱《在 Azure API 管理 中啟用 LLM API 的語意快取》。
此 llm-semantic-cache-lookup 政策執行於入站區段,並需要嵌入後端。
score-threshold 的範圍從 llm-semantic-cache-lookup 到 ;根據 0.0,較低的值需要更高的語意相似度。
llm-semantic-cache-store 原則會在輸出區段中執行,並根據 llm-semantic-cache-store,使用 作為快取項目的 TTL(以秒為單位)。
<policies>
<inbound>
<base />
<llm-semantic-cache-lookup
score-threshold="0.05"
embeddings-backend-id="embeddings-backend"
embeddings-backend-auth="system-assigned"
ignore-system-messages="true"
max-message-count="10">
<vary-by>@(context.Subscription.Id)</vary-by>
</llm-semantic-cache-lookup>
<rate-limit calls="10" renewal-period="60" />
</inbound>
<outbound>
<llm-semantic-cache-store duration="300" />
<base />
</outbound>
</policies>
使用 <vary-by> 依訂閱、租戶、使用者群組或其他可防止跨使用者資料暴露的邊界來分割快取回應。 Azure API 管理 政策參考建議使用vary-by以控制跨使用者存取政策中llm-semantic-cache-lookup快取項目。
推薦的設計選擇
調整相似度門檻
先設定嚴格的門檻,評估結果,只有在測試集顯示快取回應仍正確時才放寬。 RedisVL distance_threshold 使用 Redis 的 COSINE 距離單位 [0-2],其中較低的值會更嚴格。 Azure API 管理 score-threshold 使用 0.0 到 1.0 的範圍,較低的值也需要較高的語意相似度。 在未驗證 RedisVL 與 Azure API 管理 的單位和行為之前,不要在 RedisVL 與 Azure API 管理 之間複製閾值。 有關 RedisVL 閾值的詳細資訊,請參閱 RedisVL SemanticCache API。 有關 Azure API 管理 閾值的詳細資訊,請參閱 llm-semantic-cache-lookup。
依使用情境設定 TTL
為波動性或高風險內容設定較短的 TTL,為穩定內容設定較長的 TTL。 例如:
| 應用案例 | TTL 範例 |
|---|---|
| 產品可用性、價格或營運狀態 | 秒至分鐘 |
| 政策、合規或法律協助 | 幾分鐘到幾小時,另需額外審查 |
| 產品常見問題或公開文件解答 | 幾小時到幾天 |
Azure API 管理 儲存原則會以duration屬性設定 TTL,如 llm-semantic-cache-store所述。 RedisVL SemanticCache 支援預設 ttl 及每條目 TTL 覆寫,詳見 RedisVL SemanticCache API。
分割並設定快取項目版本
在重複使用回應前,依租戶、使用者群組或訂閱分割快取項目。 同時也請在快取索引名稱、元資料、鍵前綴或 API 管理 vary-by 值中包含模型 ID、嵌入模型 ID、提示範本版本、工具配置版本及安全政策版本。 在模型或提示範本變更後重複使用快取項目,可能會回傳過時或不相容的回應。
決定何時不快取
對於高度個人化、受規範、安全關鍵、時間敏感或依賴工具或交易副作用的提示或回應,請勿使用語意快取。 由於語意快取是根據相似性而非精確的提示相等來回傳回應,Azure API 管理 警告快取回應可能不正確、過時或不安全,應根據工作負載進行謹慎評估。 欲了解更多資訊,請參閱llm-semantic-cache-lookup使用說明。
監控快取行為
追蹤快取命中率、未命中率、查詢延遲、後端 LLM 延遲、令牌與成本降低、閾值距離分布、陳舊回應報告、安全升級、Redis 記憶體使用、金鑰數量、寫入失敗及快取操作錯誤。 對於閘道層級快取,請使用 Azure API 管理 的追蹤與指標。 對於應用程式層級快取,日誌查詢結果、閾值、距離或分數(如有)、分割區 ID、模型版本、提示版本,以及回應是否來自快取。
了解成本、效能與產品契合度
當語意快取運作良好時,它能透過回傳相同或語意相似的提示,降低重複的後端 LLM 呼叫、令牌處理以及端到端回應延遲。 RedisVL 將語意快取描述為一種透過避免冗餘 LLM 呼叫來降低 API 成本與延遲的方法。 Azure API 管理 語意快取也設計用來降低頻寬與後端處理需求,並降低 API 使用者的延遲。 對於重複且穩定的問題與回答工作負載,例如產品常見問題、政策指引、支援分流、文件助理,以及在穩定輸入上產生的摘要,這種工作負載的效益最高。
語意快取也會為每個符合資格的請求增加工作量。 應用程式或閘道仍需為傳入提示建立嵌入、執行 Redis 向量查詢、套用分割區與閾值規則,並儲存快取未命中。 在快取命中時,會避免 LLM 呼叫。 若未命中,請求將支付快取查詢的額外開銷,加上一般模型呼叫。 規劃額外的嵌入成本、Redis記憶體、索引大小與查詢延遲,並透過生產遙測來衡量淨效應,而非僅靠快取命中率就能節省成本。
語意快取在 LLM 中具有無關性,因為 Redis 會儲存提示嵌入、回應與元資料,而非依賴單一聊天模型提供者。 快取可以位於不同的 LLM API 前方,包括透過 Microsoft Foundry 或其他相容 API 提供者所提供的模型 API。 然而,語意快取索引必須對儲存的提示與查詢提示使用相同的嵌入模型、向量維度與距離行為。 另外,依照聊天模型、提示範本、工具行為和安全政策來分割或版本化快取,避免在一個約定下產生的回應被另一個約定重複使用。
在你可控制模型呼叫邊界的情況下使用語意快取:
| Microsoft AI 產品領域 | 適合用於 Azure Managed Redis 的語義快取 |
|---|---|
| Microsoft 365 Copilot 與低程式碼/無程式碼 Copilot Studio 代理程式 | 通常不太適合應用層級的 RedisVL 快取,因為這類體驗強調管理式編排和低程式碼創作。 如果代理程式呼叫您自己的 API,請考慮將快取放在該 API 邊界後方,而非在 Copilot 創作體驗內。 |
| Azure API 管理 位於 LLM API 前端 | 當你想要集中式、基於政策的語意快取,且不更改應用程式程式碼時,這點非常適合你。 使用llm-semantic-cache-lookup並llm-semantic-cache-store搭配 Azure 管理的 Redis 作為外部快取。 |
| Microsoft Foundry 自訂應用程式與代理程式 | 當你在程式碼中建置自訂 AI 應用程式、代理程式、工具或編排,且需要控制閾值、TTL、分割區、模型版本、遙測及安全規則時,通常最適合你。 在應用程式層使用 RedisVL,或在 API 邊界使用 Azure API 管理。 |
在生產前驗證
在為正式流量啟用語意快取之前:
- 建立一組測試提示,包含應該匹配的提示和不得匹配的提示。
- 讓測試集通過您所選的快取路徑。
- 檢視誤判、過時答案、延遲以及代幣節省。
- 視需要收緊閾值、分割區、TTL 或無快取規則。
- 每當嵌入模型、聊天模型、提示範本、工具行為或安全政策發生變化時,重複驗證。