NVIDIA NIM 嵌入向量

alpha agent-framework-nvidia 套件透過 NVIDIA NIM 提供文字嵌入功能。 使用託管端點,或設定自架 NIM 容器的基礎 URL。

警告

將模型或嵌入輸出,以及支援時由模型產生的工具呼叫,視為不可信的應用程式輸入。 在程式碼產生副作用或渲染內容之前,先驗證它們。 如果你設定自訂端點,請確認你信任它的 URL 和營運方。

本頁所記錄的agent-framework-nvidia整合適用於 Python。 改用其他 .NET 嵌入產生器來產生 C# 應用程式。

安裝套件

pip install agent-framework-nvidia --pre

設定用戶端

設定 API 金鑰與嵌入模型:

NVIDIA_API_KEY="<api-key>"
NVIDIA_EMBEDDING_MODEL="nvidia/nemotron-3-embed-1b"

NVIDIA_BASE_URL 可選擇用自我裝載的 NIM 端點取代代管端點。

建立 NvidiaEmbeddingClient、產生嵌入,並關閉該實例所建立的 HTTP 用戶端:

from agent_framework_nvidia import NvidiaEmbeddingClient

client = NvidiaEmbeddingClient()
try:
    embeddings = await client.get_embeddings(
        ["Agent Framework", "NVIDIA NIM"],
    )
    print(embeddings[0].dimensions)
finally:
    await client.close()

預先設定的 async_client 仍由呼叫端擁有,執行 NvidiaEmbeddingClient.close() 時保持開啟狀態。

設定檢索嵌入向量

非對稱檢索模型會以不同方式嵌入儲存的文件與搜尋查詢。 設定 input_type="passage" 為索引內容和 input_type="query" 搜尋文字。 使用 truncate 來控制過長的輸入:

await collection.upsert(
    notes,
    embeddings_options={
        "input_type": "passage",
        "truncate": "END",
    },
)

results = await collection.search(
    "How do I call a model hosted on NIM?",
    embeddings_options={"input_type": "query"},
)

input_type 接受 "passage" 或 "query"。 truncate 接受 "NONE", "START"或 "END"。 當代理程式執行搜尋時,請將相同的查詢選項傳遞給 create_vector_search_tool(..., embeddings_options=...)。

託管端點最多接受 256 個輸入和一個 2-MiB 的請求本體。 客戶端會將較大的批次拆分成連續的請求,並依原始順序回傳向量。 模型的可用性取決於與 API 金鑰相關的帳號。

完整的擷取範例請參見 NVIDIA 嵌入範例。

本頁所記錄的agent-framework-nvidia整合適用於 Python。 改用其他 Go 嵌入產生器來產生 Go 應用程式。

下一步