Important
這項功能處於個人預覽版狀態。 若要試用,請洽詢您的 Azure Databricks 連絡人。
要為功能檢視與實體化集設定 CI/CD,請使用 GitHub Actions 搭配宣告式自動化套件。 每次提取要求時,工作流程都會驗證套件並規劃變更,但不會部署。 審查者在任何實體化開始計費前,就能看到計畫中的變更。 當拉取請求合併時,第二個工作流程會規劃合併後的設定,並可在核准者審核後部署該計畫。 兩種工作流程皆以工作負載身分聯合驗證,而非儲存在儲存庫中的機密。
本頁是基於使用宣告式自動化套件管理功能檢視的套件。 關於包含工作、管線及其他 Azure Databricks 資源的 GitHub Actions,請參見 GitHub Actions。
Requirements
本頁的工作流程需要以下項目:
一個用於部署的服務主體,新增至你要部署到的每個工作區,並具有以下權限:
-
在該組合包讀取或寫入的每個目錄與結構上具有
USE CATALOG以及USE SCHEMA。 -
CREATE FEATURE在該結構描述上,該套件建立特徵檢視。 -
SELECT於每個來源資料表及每個串流的擷取資料表上。 -
CREATE TABLE於每個離線和線上目的地結構描述上。 -
CAN USE於支援線上商店的 Lakebase 執行個體或專案上。
實體化功能檢視也需要在該功能檢視上具備
MANAGE和READ FEATURE。 你不應授予這些。 部署的服務主體擁有功能檢視,因為是它創建的。 擁有者可以對他們擁有的物件執行所有操作。 詳情請參閱 權限 與 所有權。-
在該組合包讀取或寫入的每個目錄與結構上具有
一個負責規劃的服務主體,已加入相同的工作區,並具有下列唯讀權限:
-
在該組合包讀取或寫入的每個目錄與結構描述上,具有
USE CATALOG以及USE SCHEMA權限。 -
READ FEATURE在該綱要上,該套件建立特徵檢視。 -
SELECT於每個來源資料表及每個串流的擷取表上。 沒有這個權限,計畫無法看到特徵檢視的來源,並會為該特徵檢視回報recreate。 -
CAN READ在prod目標的root_path資料夾上,該資料夾中存放著prodbundle 狀態。 沒有這個權限,計畫無法讀取狀態,並且會將所有資源報告為create,且不會出錯。 請參見 「部署至多個工作區」。
-
在該組合包讀取或寫入的每個目錄與結構描述上,具有
一個宣告
features和materialization_sets資源並在本地驗證的套件。 請參見 「使用宣告式自動化套件管理功能檢視」。管理員權限存取包含該套件的 GitHub 倉庫,以新增儲存庫變數並設定
prod環境。 如果倉庫是私人或內部的,環境需要 GitHub Pro、GitHub Team 或 GitHub Enterprise,而環境中必須的審查員則需要 GitHub Enterprise。每個你部署到的工作區都可使用線上存放區,以及你的套件讀取來源資料表和串流的位置。 套件組合會依名稱參照這些項目,並不會建立它們。 請參見 建立線上商店 與 建立串流。
建立工作流程
接下來的步驟會建立認證、兩個工作流程,以及每個工作區的目標。
驗證 runner 身分
每個工作流程作業都在 GitHub Actions runner 上執行,這是 GitHub 所託管的虛擬機器。 使用工作負載身分聯盟時,執行者會使用短暫存在的 OpenID Connect(OIDC)權杖,取代儲存在存放庫中的憑證,向 Azure Databricks 進行驗證。
在每個服務主體上,為下表中的每個主體建立 GitHub Actions 聯合政策,並記錄兩個應用程式 ID。 GitHub 會給每個工作一個帶有
sub(subject)宣告的憑證,標示倉庫及觸發該工作的內容。 Azure Databricks 會將此聲明與原則主體完全匹配,因此每個主體都需要自己的原則。 請參閱 啟用 GitHub Actions 的工作負載身分識別同盟。Job 主旨 驗證身分為 提取要求中的計劃作業 repo:<org>/<repo>:pull_request規劃的服務主體 推送到 main時的計畫作業repo:<org>/<repo>:ref:refs/heads/main規劃的服務主體 部署工作,執行於 prod環境中repo:<org>/<repo>:environment:prod進行部署的服務主體 2026年7月15日或之後建立、更名或轉移的存放庫,其主旨格式包含數字識別碼。 要找到你倉庫的確切主體,請參見 「建立聯邦政策」。
只有
prod環境中的工作能以部署所用的服務主體身分進行驗證。 當你 加入部署工作流程時,會限制該環境只在分支main內,這樣拉取請求就無法部署。拉取請求可能會改變它執行的工作流程。 因此,任何能將分支推送到倉庫的人,都可以作為服務主體進行認證,並使用其所有讀取權限。 只授予該服務主體 需求 中列出的權限。
在你的儲存庫中,前往 設定>Secrets and variables>動作,選擇 Variables 標籤,並新增以下儲存庫變數:
Variable 價值 DATABRICKS_HOST你的每個工作區 URL,例如 https://adb-1234567890123456.7.azuredatabricks.netDATABRICKS_PLAN_CLIENT_ID規劃服務主體的應用程式 ID DATABRICKS_CLIENT_ID部署服務主體的應用程式 ID 這些值都不敏感,因此這三個都是變數而非祕密。
新增拉取請求工作流程
拉取請求工作流程會驗證套件並規劃變更,但不會部署。 部署實體化集會建立一條或多條管線和工作,這些工作會立即開始實體化,因此部署每個拉取請求都會開始對仍在審核中的變更計費。 關於具體化成本,請參見 Feature Store 成本管理。
databricks bundle plan 讀取 bundle 狀態和部署的資源,且不更改任何東西,因此 plan job 會被認證為規劃的服務主體。
新增 .github/workflows/features-pr.yml 到你的資料庫:
name: Plan feature changes
on:
pull_request:
branches: [main]
permissions:
id-token: write # required for workload identity federation
contents: read
jobs:
plan:
name: Plan
runs-on: ubuntu-latest
env:
DATABRICKS_AUTH_TYPE: github-oidc
DATABRICKS_HOST: ${{ vars.DATABRICKS_HOST }}
DATABRICKS_CLIENT_ID: ${{ vars.DATABRICKS_PLAN_CLIENT_ID }}
steps:
- uses: actions/checkout@v4
- name: Install Databricks CLI
uses: databricks/setup-cli@v1.24.0
- name: Validate bundle
run: databricks bundle validate --target prod
- name: Plan
run: databricks bundle plan --target prod --output json > plan.json
- uses: actions/upload-artifact@v4
with:
name: feature-plan
path: plan.json
最後一步會將 plan.json 以成品形式上傳。
部署工作流程執行同一個工作,並套用它上傳的計畫。
對特徵視圖或實體化集所做的變更,要麼就地套用,要麼替換該資源。 替換會丟棄並重新計算資源的實體化資料。 參見 「變更特徵視圖」與 「變更實體化集合」。
為了限制部署可能改變的範圍,請使用以下一項或兩種:
檢查工作流程中的計畫。
--output json會寫出機器可讀的計畫,因此你自己的腳本可以檢查它並以非零狀態碼結束。 例如,一個取代實體化集合的計畫會為該集合回報recreate。 此輸出被縮減為檢查所讀取的欄位:{ "plan_version": 2, "plan": { "resources.features.transaction_count": { "action": "skip" }, "resources.materialization_sets.transactions": { "action": "recreate" } } }在計畫步驟後執行腳本:
- name: Check the plan run: ./.github/scripts/check-plan.sh plan.json設定
prevent_destroy你想保護的每一項資源。 任何能替換或刪除受保護資源的部署,無論執行地點都會失敗。 請參見 在套件組合設定中保護特定動作。
在套件組態中防護特定動作
在你的生產目標中加入 lifecycle 一個資源區塊,以阻擋會破壞該資源的變更。 因為設定是套件組態的一部分,所以適用於所有部署,包括那些在工作流程外執行的部署。
prevent_destroy是features和materialization_sets唯一支援的生命週期設定。 設定後,會拒絕破壞具體化資料的兩個計畫行動:recreate 和 delete。
targets:
prod:
mode: production
resources:
features:
transaction_count:
lifecycle:
prevent_destroy: true
materialization_sets:
transactions:
lifecycle:
prevent_destroy: true
當計畫會替換或刪除受保護的資源時,databricks bundle deploy 和 databricks bundle destroy 會在做出任何變更前失敗:
Error: resources.materialization_sets.transactions has lifecycle.prevent_destroy set, but the plan calls for this resource to be recreated or destroyed. To avoid this error, disable lifecycle.prevent_destroy for resources.materialization_sets.transactions
--auto-approve 旗標不會覆寫這一點。 若要做出預期的替換,請在另外的拉取請求中移除 prevent_destroy ,讓審核者能自行批准替換。
Note
databricks bundle plan 但不會強制執行 prevent_destroy,因此一個會取代受保護資源的拉取請求會通過其計畫工作,只有在合併後部署時才會失敗。 要在提取要求中抓到這項替換,請 檢查 plan。
新增部署工作流程
部署工作流程會規劃合併後的設定,如果你需要,會等待核准,然後套用該計畫。
它的規劃作業與提取要求工作流程中的作業相同。 新增 .github/workflows/features-deploy.yml:
name: Deploy feature changes
on:
push:
branches: [main]
# Only one deployment reaches the workspace at a time.
concurrency: feature-store-prod
permissions:
id-token: write
contents: read
jobs:
plan:
name: Plan
runs-on: ubuntu-latest
env:
DATABRICKS_AUTH_TYPE: github-oidc
DATABRICKS_HOST: ${{ vars.DATABRICKS_HOST }}
DATABRICKS_CLIENT_ID: ${{ vars.DATABRICKS_PLAN_CLIENT_ID }}
steps:
- uses: actions/checkout@v4
- name: Install Databricks CLI
uses: databricks/setup-cli@v1.24.0
- name: Validate bundle
run: databricks bundle validate --target prod
- name: Plan
run: databricks bundle plan --target prod --output json > plan.json
- uses: actions/upload-artifact@v4
with:
name: feature-plan
path: plan.json
deploy:
name: Deploy
needs: plan
runs-on: ubuntu-latest
environment: prod
env:
DATABRICKS_AUTH_TYPE: github-oidc
DATABRICKS_HOST: ${{ vars.DATABRICKS_HOST }}
DATABRICKS_CLIENT_ID: ${{ vars.DATABRICKS_CLIENT_ID }}
steps:
- uses: actions/checkout@v4
- name: Install Databricks CLI
uses: databricks/setup-cli@v1.24.0
- uses: actions/download-artifact@v4
with:
name: feature-plan
- name: Deploy
run: databricks bundle deploy --target prod --plan plan.json --auto-approve
在你的儲存庫中,前往 設定>環境,選擇 prod 環境,並將 部署分支和標籤 限制為 main。 拉取請求的工作無法在 prod 環境中執行,因此無法以部署的服務主體身份驗證。 若要要求核准者,在 部署保護規則下,選擇 必要審查者 並新增核准者。 部署工作會等待,審核者可以從工作流程執行中下載 feature-plan 工件,讀取計畫後再允許執行。
--auto-approve 跳過在替換或刪除資源前會顯示的確認提示 databricks bundle deploy ,因為工作流程無法回應。 如果 prod 環境需要審查者,他們的核准就會取代它。
--plan 在檔案中套用計畫,而非重新計算,因此部署結果與計畫工作報告的完全一致。 計畫檔案會記錄其建立的狀態,因此如果在審核期間有其他部署抵達目標,部署將失敗,因為計畫已不再符合該狀態:
Error: plan serial 4 does not match state serial 5; the state has been modified since the plan was created. Please run 'bundle plan' again
部署工作流程會自行建立計畫,而非重複使用拉取請求的計畫檔案,因為合併提交可能與拉取請求的主提交不同。 例如,其他提取要求可能會先合併。 合併前建立的計畫並未說明部署合併提交後會產生什麼結果。
回報實體化狀態
databricks bundle deploy 一旦具體化集合存在,且在第一次具體化執行作業結束前,就會立即返回。 可選擇性地新增一個步驟,將每個 set 從伺服器讀回,記錄部署所產生的內容。 報告顯示產生的資料表名稱,以及每個實體化功能是否已經執行。 將步驟置於 Deploy 的 deploy 作業中,在 features-deploy.yml 步驟之後:
- name: Report materialization state
run: |
for SET_ID in $(databricks bundle summary --target prod --output json \
| jq -r '.resources.materialization_sets[].id'); do
databricks feature-engineering get-materialization-set "$SET_ID" --target prod --output json \
| jq '.materialized_features[]
| {feature_name, is_online, table_name, last_materialization_time}'
done
對於集合中每個實體化特徵,報告會顯示產生的 table_name 和一個 last_materialization_time,後者會保持空白,直到第一次實體化執行結束。 關於如何計算具體化特徵以及如何檢視其狀態,請參見「將特徵檢視具體化」。
Note
從 API 讀取集合,而非從 databricks bundle summary,該步驟僅使用 databricks bundle summary 來查詢集合的 ID。 摘要報告了該組合包在本地所持有的配置,其中 table_name 和 last_materialization_time 為空,且所有具體化特徵都顯示離線。
部署到多個工作區
給每個工作區一個自己的目標,並用 bundle 變數來處理不同的值,這樣 Feature View 定義就能部署到所有地方。 在此範例中,開發者從自己的機器部署 dev 以測試變更,然後再開啟拉取請求,工作流程僅 prod部署:
targets:
dev:
mode: development
default: true
workspace:
host: <dev-workspace-url>
variables:
catalog: main
schema: features_${workspace.current_user.short_name}
online_store: <dev-online-store>
prod:
mode: production
workspace:
host: <prod-workspace-url>
root_path: /Workspace/Users/<deploy-service-principal-application-id>/.bundle/${bundle.name}/${bundle.target}
variables:
catalog: main
schema: features_prod
online_store: <prod-online-store>
開發模式會讓每位開發者擁有自己的套件狀態副本。 它會在 [dev <user-name>] 工作名稱和管線名稱前加上前綴,且不會重新命名功能檢視。 否則,兩個部署dev的開發者會寫相同的功能視圖,因此dev目標會將各自開發者的功能視圖放入自己的結構中。 features_<user-name> 每位開發者在首次部署前都會建立他們的綱要。
prod目標的root_path位於執行部署之服務主體的 home 資料夾中。 第一次部署建立資料夾後,向計畫 CAN READ 的服務主體授與該資料夾的權限,讓計畫工作能讀取 bundle 狀態。
因為 dev 是預設目標,沒有 --target 的指令會部署到 dev。 在工作流程中傳遞 --target 每一個指令。 當目標設定 workspace.host時,CLI 會用它來取代 DATABRICKS_HOST 變數。 將變數設為與 prod 目標相同的宿主,避免兩者不一致。 關於變數,請參見 宣告式自動化套件中的替換與變數。 如需了解各模式會變更哪些內容,請參見 宣告式自動化套件的部署模式。
Important
你部署實體化集合的每個目標,都會依照該集合的排程收取實體化費用,包括開發模式目標。 若要停止不再需要的 target 所產生的成本,請執行 databricks bundle destroy --target <target>。 關於具體化成本,請參見 Feature Store 成本管理。
Limitations
- 你無法在不替換現有實體化集合的情況下,將實體化特徵加入至現有的實體化集合。 如果物質化集有
prevent_destroy: true,請在新增特徵前用另一個拉取請求移除。 - 部署的服務主體無法刪除或替換使用者所建立的具體化功能,因為只有其創作者能刪除它。 從一開始就只從工作流程部署
prod。
其他資源
- 使用宣告式自動化套件管理功能檢視表來建立這些工作流程所部署的套件。
- feature 和 materialization_set 的完整設定參考。
- 啟用 GitHub Actions 的工作負載身分聯盟,以在您的服務主體上設定 GitHub Actions 的聯盟政策。
- GitHub Actions 中的 GitHub Actions 作業、管線及其他 Azure Databricks 資源。
- Databricks 上的 CI/CD 工作流程 ,提供適用於任何套件的 CI/CD 建議。