alpha agent-framework-nvidia 套件透過 NVIDIA NIM 提供文字嵌入功能。 使用託管端點,或設定自架 NIM 容器的基礎 URL。
警告
將模型或嵌入輸出,以及支援時由模型產生的工具呼叫,視為不可信的應用程式輸入。 在程式碼產生副作用或渲染內容之前,先驗證它們。 如果你設定自訂端點,請確認你信任它的 URL 和營運方。
本頁所記錄的agent-framework-nvidia整合適用於 Python。 改用其他 .NET 嵌入產生器來產生 C# 應用程式。
安裝套件
pip install agent-framework-nvidia --pre
設定用戶端
設定 API 金鑰與嵌入模型:
NVIDIA_API_KEY="<api-key>"
NVIDIA_EMBEDDING_MODEL="nvidia/nemotron-3-embed-1b"
NVIDIA_BASE_URL 可選擇用自我裝載的 NIM 端點取代代管端點。
建立 NvidiaEmbeddingClient、產生嵌入,並關閉該實例所建立的 HTTP 用戶端:
from agent_framework_nvidia import NvidiaEmbeddingClient
client = NvidiaEmbeddingClient()
try:
embeddings = await client.get_embeddings(
["Agent Framework", "NVIDIA NIM"],
)
print(embeddings[0].dimensions)
finally:
await client.close()
預先設定的 async_client 仍由呼叫端擁有,執行 NvidiaEmbeddingClient.close() 時保持開啟狀態。
設定檢索嵌入向量
非對稱檢索模型會以不同方式嵌入儲存的文件與搜尋查詢。 設定 input_type="passage" 為索引內容和 input_type="query" 搜尋文字。 使用 truncate 來控制過長的輸入:
await collection.upsert(
notes,
embeddings_options={
"input_type": "passage",
"truncate": "END",
},
)
results = await collection.search(
"How do I call a model hosted on NIM?",
embeddings_options={"input_type": "query"},
)
input_type 接受 "passage" 或 "query"。
truncate 接受 "NONE", "START"或 "END"。 當代理程式執行搜尋時,請將相同的查詢選項傳遞給 create_vector_search_tool(..., embeddings_options=...)。
託管端點最多接受 256 個輸入和一個 2-MiB 的請求本體。 客戶端會將較大的批次拆分成連續的請求,並依原始順序回傳向量。 模型的可用性取決於與 API 金鑰相關的帳號。
完整的擷取範例請參見 NVIDIA 嵌入範例。
本頁所記錄的agent-framework-nvidia整合適用於 Python。 改用其他 Go 嵌入產生器來產生 Go 應用程式。