系統表參考

系統資料表提供由 Azure Databricks 託管的分析儲存，記錄你帳號的運作資料。 利用它們監控成本、稽核安全事件、追蹤運算與工作效能，以及觀察資料與人工智慧工作負載。

什麼是系統數據表？

系統資料表是Azure Databricks託管的分析儲存庫，儲存帳號運作資料，存放於 system 目錄中。 系統資料表可用於帳戶的歷史觀察性。

需求

• 若要存取系統數據表，您的工作區必須啟用 Unity 目錄。 欲了解更多資訊，請參閱 啟用系統資料表。

• 請參閱功能區域支援以了解系統資料表區域的可用性。

哪些系統數據表可供使用？

目前，Azure Databricks 托管以下系統表格：

系統表格是免費使用的。 你只需為查詢它們時所使用的運算資源付費。

系統數據表關聯性

下列實體關聯性圖表概述目前可用的系統資料表如何彼此相關。 此圖表會醒目提示每個數據表的主鍵和外鍵。

啟用系統資料表

由於系統資料表受 Unity 目錄管理，你需要在帳號中至少有一個啟用 Unity 目錄的工作區，才能啟用帳號的系統表。 系統數據表包含您帳戶中所有工作區的數據，但只能從已啟用 Unity 目錄的工作區存取這些數據。

中繼存放區必須在 Unity 目錄許可權模型 1.0 版上，才能存取系統數據表。 請參閱升級至權限繼承。

授與系統數據表的存取權

系統數據表的存取權是由 Unity 目錄所控管。 同時擁有帳號管理員和 Metastore 管理員角色的使用者預設可以存取系統資料表。 為了讓其他使用者查詢系統資料表，管理員必須授予使用者以下權限： USE CATALOG 系統目錄、 USE SCHEMA 系統結構 SELECT 及系統架構。 請參閱 在 Unity 目錄中管理許可權。

系統數據表是唯讀的，無法修改。

系統數據表是否包含您帳戶中所有工作區的數據？

系統數據表包含您帳戶中部署在相同雲端區域中之所有工作區的操作數據。 某些數據表包含全域數據。 如需詳細資訊，請參閱 可用數據表的清單。

雖然系統數據表只能透過 Unity 目錄工作區來存取，但它們包含您帳戶中非 Unity 目錄工作區的作數據。

系統數據表數據儲存在哪裡？

你帳號的系統資料表資料會儲存在一個由 Azure Databricks 託管的儲存帳號裡，該帳號位於與你的元儲存庫相同區域。 資料會透過 OpenSharing 安全地與你分享。

設定系統資料表資料保留

可設定保留功能讓帳號管理員設定一個單一保留期，適用於其帳號中所有支援的系統資料表。

當帳戶啟用此 Beta 功能時，所有支援系統資料表的免費保留期會自動變成 395 天，取代了特定資料表的期限。 帳號管理員可以自訂保留期限，從 30 天到 3,650 天不等。

設定的保留期在測試期間是免費的。 當可配置保留功能普及時，保留超過 395 天的資料將產生儲存費用。

支援的資料表

為您的帳戶設定的保留期限適用於所有系統資料表，但位於 system.data_quality_monitoring、system.lakebase 和 system.data_classification 結構描述中的資料表除外。

在帳號主控台設定留存

你必須是帳號管理員才能設定系統資料表保留。 設定保留期限：

1. 在 帳號主控台 側邊欄，點選 設定。
2. 按兩下 [ 帳戶設定] 索引標籤。
3. 在 系統表的資料保留（天） 設定中，輸入保留期間（以天為單位）。
4. 點選 [儲存]。

使用帳戶設定 API 來設定保留

你可以使用 Azure Databricks 帳戶設定 API 來管理系統資料表的保留。 你需要你的 Azure Databricks 帳號 ID 和帳號管理員個人存取權杖（OAuth 權杖）。 設定名稱為 st_retention。

要取得目前的保留期間，請發送 GET 請求至 /api/2.1/accounts/{account_id}/settings/st_retention：

curl --request GET \
  --header "Content-Type: application/json" \
  --header "Authorization: Bearer $token" \
  "<account-console-url>/api/2.1/accounts/<account-id>/settings/st_retention"

回應包含該帳戶設定的值。 如果帳號管理員還沒設定值，回應會顯示預設值 395 天。

若要更改保留期限，請發送 PATCH 請求至 /api/2.1/accounts/{account_id}/settings/st_retention。 以下範例將保留期限設定為400天：

curl --request PATCH \
  --header "Content-Type: application/json" \
  --header "Authorization: Bearer $token" \
  --data '{
    "integer_val": {
      "value": 400
    },
    "name": "st_retention"
  }' \
  "<account-console-url>/api/2.1/accounts/<account-id>/settings/st_retention"

保留行為

• 如果你延長保留期限，變更會立即套用到表格。
• 如果你縮短保留期限，Azure Databricks 會等待七天才套用變更。 在此寬限期內，帳號管理員可以在歷史資料永久刪除前修正意外變更。
• 當紀錄超過設定的保留期限時，Azure Databricks 通常會在一週內刪除該紀錄。

Limitations

• 可設定的保留原則不適用於 system.data_classification、system.data_quality_monitoring 和 system.lakebase 結構描述。 這些系統資料表依照其特定資料表的保留政策來保留資料。
• 延長保留期限並不會填補任何歷史資料。
• 在發生災難或資料完全遺失時，Azure Databricks 並不保證在設定的保留期間內，所有系統資料表資料都能被恢復。

• 可配置保留僅限於 HIPAA、HITRUST、PCI、C5、TISAX、Azure Government FedRAMP 及 Azure 商業 FedRAMP 合規標準。 其他所有合規標準均不被支援。

系統資料表位於目錄瀏覽器的哪裡？

您的帳戶中的系統數據表位於名為 system的目錄中，每個 Unity 目錄中繼存放區都包含此目錄。 在 system 目錄中，您會看到例如 access 和 billing 這樣的架構，其中 billing 包含系統數據表。

串流系統數據表的考慮

Azure Databricks 使用 OpenSharing 與客戶分享系統資料表資料。 使用 OpenSharing 直播時請注意以下事項：

• 要從系統資料表串流，必須使用 Databricks Runtime 16.4 及以上版本。 若要使用 readChangeFeed 選項串流變更資料摘要（CDF），您必須使用 Databricks Runtime 17.3 或更新版本。
• 如果您正在串流並搭配系統資料表，請將 skipChangeCommits 選項設定為 true。 這可確保串流作業不會因系統數據表中的刪除而中斷。 請參見 處理 Delta Lake 來源資料表的變更。
• Trigger.AvailableNow 支援於 Databricks 執行環境 18.0 及以上版本。 查詢會在系統資料表啟動時擷取其當前版本，將所有可用資料分成一個或多個微批次處理，然後停止。 在 Databricks 執行 17.3 及以下版本中， Trigger.AvailableNow 會轉換為 Trigger.Once，每次執行處理單一微批次。
• 系統資料表使用預設的 7 天保留期 VACUUM（參見 設定時間旅行查詢的資料保留），也就是說，如果你的串流查詢滯後超過 7 天，可能會中斷。 監控你的資料流，確保它們能跟上最新的系統資料表版本。

如果你的串流工作無法跟上最新的系統資料表版本，請使用 Trigger.AvailableNow （支援 Databricks Runtime 18.0 及以上版本）來確保每次執行都能處理全部可用的待辦清單，或增加工作排程頻率。

從串流系統資料表讀取增量變更

spark.readStream.option("skipChangeCommits", "true").table("system.billing.usage")

已知問題

• 新的數據行可以隨時新增至現有的系統數據表。 如果引進新的數據行，依賴固定架構的查詢可能會中斷。 現有的欄位不會改變或被移除。 如果您要將系統數據表數據寫入另一個目標數據表，請考慮 啟用架構演進。
• 結構型別欄位可以隨時新增新的欄位。 如果您要將系統數據表數據寫入另一個目標數據表，請考慮 啟用架構演進。
• 不支援即時監視。 資料會全天更新。 如果您沒有看到最近事件的記錄檔，請稍後返回。
• 系統 __internal_logging 數據表架構支援使用 已啟用 AI 閘道的推斷資料表 進行外部模型和布建輸送量工作負載的承載記錄。 帳戶管理員可以看到此架構，但無法啟用，且不應該用於客戶工作流程。
• 為防止效能問題，系統資料表查詢若選擇性不足，會回傳以下錯誤： System Table query returned too much data. Please repeat query with more selective predicates.

• 若要啟用系統數據表，您可能需要將網路存取權授與系統數據表 Blob 記憶體端點。 若要檢視每個區域系統資料表的記憶體端點清單，請參閱 記憶體端點 IP 位址。
• 系統架構 system.operational_data 和 system.lineage 已被取代，且將包含空白數據表。