教學課程:使用 Azure 管理 Redis 作為語義快取

在本教學中,您將學習如何在大型語言模型(LLM)應用程式中使用 Azure Managed Redis,作為語意快取的 Redis 端點。 語意快取是一種應用程式或閘道模式,並非獨立的 Azure Managed Redis 管理功能。 Azure Managed Redis 提供 Redis 端點與 RediSearch 向量搜尋功能,可儲存並搜尋快取的提示詞、嵌入、元資料及回應。

在這個教學中,你會學到如何:

  • 決定語意快取應該在您的應用程式中執行,還是在 Azure API 管理 中執行。
  • 設定 Azure Managed Redis、RediSearch、embeddings、TLS 及驗證的先決條件。
  • 用 RedisVL 實作 Python 語意快取。
  • 使用 Azure API 管理 原則配置閘道層級語意快取。
  • 調整臨界值、TTL、分割區、版本與可觀察性以適應生產環境。
  • 了解成本、效能及產品適配考量。

語意快取的運作方式

當新提示詞的意義與快取提示足夠接近時,語意快取會重複使用先前的 LLM 回應。 典型的請求流程如下:

  1. 收到應用程式或 API 使用者的提示。
  2. 使用快取所使用的相同嵌入模型為提示產生嵌入。
  3. 依向量相似度搜尋 Azure Managed Redis 中快取的提示嵌入。
  4. 如果最近的快取項目在設定的閾值內,且符合所需的租戶、使用者、模型及提示版本分割區,請回傳快取回應。
  5. 如果找不到可接受的匹配,就打給 LLM,把提示詞、回應、嵌入、元資料和 TTL 存到 Redis。

Azure Managed Redis 能支援此模式,因為 RediSearch 支援向量相似度搜尋、元資料篩選及 Redis 資料結構上的向量索引。 如需更多資訊,請參閱 Azure Managed Redis 中的向量搜尋及 Redis 向量搜尋概念。

選擇實作路徑

Path 何時使用 快取邏輯執行位置
使用 RedisVL 的應用程式層級語意快取 您擁有應用程式程式碼,需要自訂的閾值、分割、元資料或模型呼叫邏輯。 您的應用程式使用 RedisVLSemanticCache,並以 Azure Managed Redis 作為 Redis 端點。 RedisVL SemanticCache 支援提示查找、回應儲存、TTL、元資料、篩選器,以及 Redis COSINE 距離門檻。 詳細資訊請參閱 RedisVL 語意快取 API。
使用 Azure API 管理 的閘道層級語意快取 你會想要集中式語意快取,適用於經過 Azure API 管理 的 LLM API。 Azure API 管理 在後端呼叫之前使用 llm-semantic-cache-store,並在後端回應之後使用 llm-semantic-cache-lookup。 Azure Managed Redis 被設定為外部快取。 詳細資訊請參閱《在 Azure API 管理 中啟用 LLM API 的語意快取》。

Prerequisites

  • Azure 訂用帳戶。
  • 支援 RediSearch 的 Azure Managed Redis 實例。 Azure Managed Redis 模組文章列出了按層級分類的模組可用性。
  • 建立 Azure Managed Redis 實例時啟用的 RediSearch 模組 您必須在建立時啟用模組,且無法手動將模組新增至現有的 Azure Managed Redis 實例。 如需更多資訊,請參閱〈在 Azure Managed Redis 中使用 Redis 模組〉。
  • Azure 管理的 Redis 設定,使用 RediSearch 的企業(EnterpriseCluster)或非叢集(NoCluster)叢集政策。 RediSearch 不支援 OSS (OSSCluster) 叢集政策,如 RediSearch 模組需求所述。
  • 嵌入模型或部署。 為每個語意快取索引使用一個嵌入模型與向量維度。 Redis向量索引要求查詢向量的維度與索引向量場相同,如 Redis向量搜尋概念中所述。
  • 為您的用戶端設定 TLS 與驗證。 使用 TLS(rediss://或ssl=True)以及 Microsoft Entra ID 或核准的秘密儲存。 不要硬編碼存取金鑰。 如需更多資訊,請參閱 Microsoft Entra ID 以進行驗證與 TLS 設定。
  • 針對 RedisVL 路徑:Python、redisvl、redis以及你嵌入和 Redis 驗證方法所需的任何套件。
  • 針對 Azure API 管理 路徑:一個帶有 LLM API 的 API 管理實例、嵌入後端、對嵌入後端的管理身份驗證,以及配置為外部 Redis 相容快取的 Azure Managed Redis。 這些先決條件說明於在 Azure API 管理 中為 LLM API 啟用語意快取。

路徑 1:使用 RedisVL 建立應用程式層級語意快取

當您的應用程式需要控制快取查詢、快取未命中處理、模型呼叫、元資料及快取儲存時,請使用此路徑。 RedisVL SemanticCache 連接至 Redis,並提供對語意相似提示詞的 check 與 store 操作。 根據 RedisVL SemanticCache API,該 distance_threshold 值使用 Redis 的 COSINE 距離單位,範圍從 0 到 2;值越低表示匹配越嚴格。

安裝所需的 Python 套件:

pip install openai redis redis-entraid redisvl

在你的環境中設定 AZURE_MANAGED_REDIS_HOST、AZURE_OPENAI_ENDPOINT、OPENAI_API_VERSION、AZURE_OPENAI_API_KEY、AZURE_OPENAI_EMBEDDING_DEPLOYMENT 和 AZURE_OPENAI_CHAT_DEPLOYMENT。 如果你的實例不使用連接埠 10000,你也可以設定 AZURE_MANAGED_REDIS_PORT。

以下範例將已設定的 Redis 用戶端傳入 RedisVL,讓您能使用 Azure Managed Redis TLS 及 Microsoft Entra ID 驗證:

import os

from openai import AzureOpenAI
from redis import Redis
from redis_entraid.cred_provider import create_from_default_azure_credential
from redisvl.extensions.cache.llm import SemanticCache
from redisvl.utils.vectorize import AzureOpenAITextVectorizer

credential_provider = create_from_default_azure_credential(
    ("https://redis.azure.com/.default",)
)

redis_client = Redis(
    host=os.environ["AZURE_MANAGED_REDIS_HOST"],
    port=int(os.getenv("AZURE_MANAGED_REDIS_PORT", "10000")),
    ssl=True,
    credential_provider=credential_provider,
)

vectorizer = AzureOpenAITextVectorizer(
    model=os.environ["AZURE_OPENAI_EMBEDDING_DEPLOYMENT"],
    api_config={
        "azure_endpoint": os.environ["AZURE_OPENAI_ENDPOINT"],
        "api_version": os.environ["OPENAI_API_VERSION"],
        # Load from a secret store or managed configuration. Don't hard-code keys.
        "api_key": os.environ["AZURE_OPENAI_API_KEY"],
    },
)

openai_client = AzureOpenAI(
    api_key=os.environ["AZURE_OPENAI_API_KEY"],
    api_version=os.environ["OPENAI_API_VERSION"],
    azure_endpoint=os.environ["AZURE_OPENAI_ENDPOINT"],
)

cache = SemanticCache(
    name="semcache_support_promptv1",
    redis_client=redis_client,
    vectorizer=vectorizer,
    distance_threshold=0.15,  # Redis COSINE distance [0-2]; lower is stricter.
    ttl=3600,
)


def call_llm(prompt: str) -> str:
    completion = openai_client.chat.completions.create(
        model=os.environ["AZURE_OPENAI_CHAT_DEPLOYMENT"],
        messages=[{"role": "user", "content": prompt}],
    )
    response = completion.choices[0].message.content
    if response is None:
        raise RuntimeError("The chat completion didn't contain a response.")
    return response


def answer(prompt: str) -> str:
    hits = cache.check(prompt=prompt, num_results=1)
    if hits:
        return hits[0]["response"]

    response = call_llm(prompt)
    cache.store(
        prompt=prompt,
        response=response,
        metadata={
            "model_id": os.environ["AZURE_OPENAI_CHAT_DEPLOYMENT"],
            "prompt_version": "support-v1",
        },
    )
    return response

在生產環境中,不要在所有呼叫者之間共用一個未分割的快取。 請為租戶、使用者、模型 ID 及提示版本分別使用快取索引或 RedisVL 可篩選欄位。 Redis支援結合向量搜尋與元資料篩選器,如 Redis向量搜尋概念中所述。

路徑 2:使用 Azure API 管理 建立閘道層級語意快取

當 LLM 流量透過 Azure API 管理 流動,且您希望建立集中式的政策型快取時,請使用此路徑。 Azure API 管理 語意快取使用已設定的外部快取與嵌入後端。 查找策略會在轉發至 LLM 後端前檢查語意相似的快取回應,而儲存策略則在後端回傳後快取符合條件的回應。 完整設定步驟請參閱《在 Azure API 管理 中啟用 LLM API 的語意快取》。

此 llm-semantic-cache-lookup 政策執行於入站區段,並需要嵌入後端。 score-threshold 的範圍從 llm-semantic-cache-lookup 到 ;根據 0.0,較低的值需要更高的語意相似度。 llm-semantic-cache-store 原則會在輸出區段中執行,並根據 llm-semantic-cache-store,使用 作為快取項目的 TTL(以秒為單位)。

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id="embeddings-backend"
            embeddings-backend-auth="system-assigned"
            ignore-system-messages="true"
            max-message-count="10">
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="300" />
        <base />
    </outbound>
</policies>

使用 <vary-by> 依訂閱、租戶、使用者群組或其他可防止跨使用者資料暴露的邊界來分割快取回應。 Azure API 管理 政策參考建議使用vary-by以控制跨使用者存取政策中llm-semantic-cache-lookup快取項目。

調整相似度門檻

先設定嚴格的門檻,評估結果,只有在測試集顯示快取回應仍正確時才放寬。 RedisVL distance_threshold 使用 Redis 的 COSINE 距離單位 [0-2],其中較低的值會更嚴格。 Azure API 管理 score-threshold 使用 0.0 到 1.0 的範圍,較低的值也需要較高的語意相似度。 在未驗證 RedisVL 與 Azure API 管理 的單位和行為之前,不要在 RedisVL 與 Azure API 管理 之間複製閾值。 有關 RedisVL 閾值的詳細資訊,請參閱 RedisVL SemanticCache API。 有關 Azure API 管理 閾值的詳細資訊,請參閱 llm-semantic-cache-lookup。

依使用情境設定 TTL

為波動性或高風險內容設定較短的 TTL,為穩定內容設定較長的 TTL。 例如:

應用案例 TTL 範例
產品可用性、價格或營運狀態 秒至分鐘
政策、合規或法律協助 幾分鐘到幾小時,另需額外審查
產品常見問題或公開文件解答 幾小時到幾天

Azure API 管理 儲存原則會以duration屬性設定 TTL,如 llm-semantic-cache-store所述。 RedisVL SemanticCache 支援預設 ttl 及每條目 TTL 覆寫,詳見 RedisVL SemanticCache API。

分割並設定快取項目版本

在重複使用回應前,依租戶、使用者群組或訂閱分割快取項目。 同時也請在快取索引名稱、元資料、鍵前綴或 API 管理 vary-by 值中包含模型 ID、嵌入模型 ID、提示範本版本、工具配置版本及安全政策版本。 在模型或提示範本變更後重複使用快取項目,可能會回傳過時或不相容的回應。

決定何時不快取

對於高度個人化、受規範、安全關鍵、時間敏感或依賴工具或交易副作用的提示或回應,請勿使用語意快取。 由於語意快取是根據相似性而非精確的提示相等來回傳回應,Azure API 管理 警告快取回應可能不正確、過時或不安全,應根據工作負載進行謹慎評估。 欲了解更多資訊,請參閱llm-semantic-cache-lookup使用說明。

監控快取行為

追蹤快取命中率、未命中率、查詢延遲、後端 LLM 延遲、令牌與成本降低、閾值距離分布、陳舊回應報告、安全升級、Redis 記憶體使用、金鑰數量、寫入失敗及快取操作錯誤。 對於閘道層級快取,請使用 Azure API 管理 的追蹤與指標。 對於應用程式層級快取,日誌查詢結果、閾值、距離或分數(如有)、分割區 ID、模型版本、提示版本,以及回應是否來自快取。

了解成本、效能與產品契合度

當語意快取運作良好時,它能透過回傳相同或語意相似的提示,降低重複的後端 LLM 呼叫、令牌處理以及端到端回應延遲。 RedisVL 將語意快取描述為一種透過避免冗餘 LLM 呼叫來降低 API 成本與延遲的方法。 Azure API 管理 語意快取也設計用來降低頻寬與後端處理需求,並降低 API 使用者的延遲。 對於重複且穩定的問題與回答工作負載,例如產品常見問題、政策指引、支援分流、文件助理,以及在穩定輸入上產生的摘要,這種工作負載的效益最高。

語意快取也會為每個符合資格的請求增加工作量。 應用程式或閘道仍需為傳入提示建立嵌入、執行 Redis 向量查詢、套用分割區與閾值規則,並儲存快取未命中。 在快取命中時,會避免 LLM 呼叫。 若未命中,請求將支付快取查詢的額外開銷,加上一般模型呼叫。 規劃額外的嵌入成本、Redis記憶體、索引大小與查詢延遲,並透過生產遙測來衡量淨效應,而非僅靠快取命中率就能節省成本。

語意快取在 LLM 中具有無關性,因為 Redis 會儲存提示嵌入、回應與元資料,而非依賴單一聊天模型提供者。 快取可以位於不同的 LLM API 前方,包括透過 Microsoft Foundry 或其他相容 API 提供者所提供的模型 API。 然而,語意快取索引必須對儲存的提示與查詢提示使用相同的嵌入模型、向量維度與距離行為。 另外,依照聊天模型、提示範本、工具行為和安全政策來分割或版本化快取,避免在一個約定下產生的回應被另一個約定重複使用。

在你可控制模型呼叫邊界的情況下使用語意快取:

Microsoft AI 產品領域 適合用於 Azure Managed Redis 的語義快取
Microsoft 365 Copilot 與低程式碼/無程式碼 Copilot Studio 代理程式 通常不太適合應用層級的 RedisVL 快取,因為這類體驗強調管理式編排和低程式碼創作。 如果代理程式呼叫您自己的 API,請考慮將快取放在該 API 邊界後方,而非在 Copilot 創作體驗內。
Azure API 管理 位於 LLM API 前端 當你想要集中式、基於政策的語意快取,且不更改應用程式程式碼時,這點非常適合你。 使用llm-semantic-cache-lookup並llm-semantic-cache-store搭配 Azure 管理的 Redis 作為外部快取。
Microsoft Foundry 自訂應用程式與代理程式 當你在程式碼中建置自訂 AI 應用程式、代理程式、工具或編排,且需要控制閾值、TTL、分割區、模型版本、遙測及安全規則時,通常最適合你。 在應用程式層使用 RedisVL,或在 API 邊界使用 Azure API 管理。

在生產前驗證

在為正式流量啟用語意快取之前:

  1. 建立一組測試提示,包含應該匹配的提示和不得匹配的提示。
  2. 讓測試集通過您所選的快取路徑。
  3. 檢視誤判、過時答案、延遲以及代幣節省。
  4. 視需要收緊閾值、分割區、TTL 或無快取規則。
  5. 每當嵌入模型、聊天模型、提示範本、工具行為或安全政策發生變化時,重複驗證。