將 AI 搜尋索引 作為 Databricks 應用程式資源,以啟用你的應用程式中的語意搜尋與基於相似度的檢索。 AI 搜尋索引能儲存並查詢高維向量嵌入,驅動檢索增強生成(RAG)、語意搜尋及推薦系統等應用場景。
Databricks AI 搜尋前身為 Databricks 向量搜尋。
權限要求
要存取 AI 搜尋索引,應用程式的服務負責人必須擁有 USE CATALOG 父目錄、 USE SCHEMA 父架構 SELECT 及索引的權限。 當你新增索引資源時,Azure Databricks 會自動將這些權限授予應用程式的服務主體。
若要讓此自動授與成功,每個權限必須符合下列其中一項:
-
對於
USE CATALOG: 所有帳戶使用者都擁有USE CATALOG目錄的權限,或者您擁有MANAGE目錄的權限。 - 對於
USE SCHEMA:所有帳戶使用者都必須擁有在結構描述上的權限,或者您必須擁有USE SCHEMA在結構描述上的權限。 -
對於
SELECT: 要麼所有帳號用戶都擁有SELECT索引的特權,要麼你擁有MANAGE該索引的特權。
如果索引在已配置吞吐量或自訂服務端點上使用 Databricks 管理的嵌入模型,也將該端點新增為應用程式資源,並授與 Can query 權限,以及任何獨立的查詢嵌入端點(model_endpoint_name_for_query)。
get_index() 讀取這些端點,且無法存取時會失敗。 按代幣付費的基金會模型 API 端點,例如 databricks-gte-large-en,不需要應用程式資源,除非你的帳號使用 Unity Catalog 權限限制基礎模型,在此情況下,服務主體需要模型的 EXECUTE。 請參見 設定服務主體。
欲了解更多關於以這些權限查詢 AI 搜尋索引的資訊,請參閱 「如何查詢 AI 搜尋索引」。
請參閱 Unity 目錄權限參考。
新增 AI 搜尋索引資源
在新增 AI 搜尋索引作為資源之前,請先檢視 應用程式資源的先決條件。
- 在 應用程式資源 區塊中,當你建立或編輯應用程式時,點擊 + 新增資源>向量搜尋索引。
- 從你工作區可用的索引中選擇 AI 搜尋索引。 該索引必須已經存在於 Unity 目錄中。
- 選取應用程式的權限層級:
- 可選擇: 授權應用程式查詢 AI 搜尋索引以進行相似性搜尋。 這與 SELECT 權限相符。
- (可選)指定一個自訂資源鍵,這就是你在應用程式設定中參考索引的方式。 預設索引鍵是
vector-search-index。
備註
AI 搜尋索引是具有類型 TABLE_ONLINE_VECTOR_INDEX_REPLICA 或 TABLE_ONLINE_VECTOR_INDEX_DIRECT的 Unity 目錄資料表。 當你選擇 AI 搜尋索引時,你選擇的是一個特別設定的表格,支援語意搜尋操作。
環境變數
當你部署帶有 AI 搜尋索引資源的應用程式時,Azure Databricks 會透過環境變數揭露完整的三層名稱,你可以透過該valueFrom欄位來參考。
設定範例:
env:
- name: VECTOR_SEARCH_INDEX
valueFrom: vector-search-index # Use your custom resource key if different
在申請中使用索引:
用 databricks-ai-search Python SDK 和應用程式的服務主體憑證查詢索引。 當工作區符合 索引 URL 要求時,SDK 會將查詢傳送到索引 URL,這可利用具有目標每秒查詢數(QPS)的端點額外容量。 隨 WorkspaceClient().vector_search_indexes.query_index 之傳送的查詢會使用工作空間查詢 URL,該網址的查詢速率上限為數十 QPS。
將 databricks-ai-search 0.81 版或以上加入應用程式的相依性中。 請參閱 管理 Databricks 應用程式的相依性。
import os
from databricks.ai_search.client import AISearchClient
# DATABRICKS_HOST can be set without a scheme, and the SDK requires one.
host = os.environ["DATABRICKS_HOST"]
if not host.startswith(("https://", "http://")):
host = f"https://{host}"
# Pass the app's service principal credentials so queries use the index URL.
client = AISearchClient(
workspace_url=host,
service_principal_client_id=os.environ["DATABRICKS_CLIENT_ID"],
service_principal_client_secret=os.environ["DATABRICKS_CLIENT_SECRET"],
)
# Create the index object when the app starts and reuse it for every query.
index = client.get_index(index_name=os.environ["VECTOR_SEARCH_INDEX"])
results = index.similarity_search(
query_text="What is machine learning?", # Or pass query_vector for self-managed embeddings.
columns=["id", "text"],
num_results=10,
)
# Each row lists values in the same order as the manifest columns.
column_names = [column["name"] for column in results["manifest"]["columns"]]
for row in results["result"]["data_array"]:
print(dict(zip(column_names, row)))
用你索引的欄位替換 columns 。 要達到更高吞吐量,請在標準端點設定目標 QPS。
如需詳細資訊,請參閱 使用環境變數存取資源。
移除 AI 搜尋索引資源
當你從應用程式中移除 AI 搜尋索引資源時,該應用程式的服務主體將失去對該索引的存取權。 索引本身保持不變,並持續對擁有適當權限的其他使用者和應用程式開放。
最佳做法
在使用 AI 搜尋索引資源時,請考慮以下幾點:
- 如果索引引用其他資料表,請確保應用程式的服務主體能存取底層的資料來源。
- 監控查詢效能,若回應時間下降,則調整索引配置或嵌入模型。
- 考慮使用索引更新排程,以保持嵌入與來源資料同步。
- 根據你的嵌入模型,使用適當的相似度指標(餘弦、歐幾里得、點積)。
- 端點可以在其索引可供查詢前就已經上線。 要在不封鎖的情況下檢查索引,請讀取
index.describe()傳回之status欄位中的ready和detailed_state。 要等待索引,請呼叫index.wait_until_ready(),其每 30 秒輪詢一次,若索引離線或超過逾時時間,則會產生錯誤。