MLflow 系統數據表參考

mlflow 系統資料表會擷取由 MLflow 追蹤服務管理的實驗元數據。 這些數據表可讓具有特權的用戶在整個區域的所有工作區的 MLflow 數據上利用 Databricks 湖倉工具。 您可以使用這些資料表來建置自訂 AI/BI 儀表板、設定 SQL 警示，或執行大規模分析查詢。

透過 mlflow 系統表，使用者可以回答以下問題：

• 哪些實驗的可靠性最低？
• 不同實驗的平均 GPU 使用率是多少？

可用表格

綱要 mlflow 包含下列表格：

• system.mlflow.experiments_latest：記錄實驗名稱和軟刪除事件。 此數據類似於 MLflow UI 中的 實驗頁面 。
• system.mlflow.runs_latest：記錄執行生命週期資訊、與每次執行相關聯的參數和標籤，以及所有指標的最小值、最大值和最新值的彙總統計資料。 此資料類似於 運行搜尋或運行詳細頁面。
• system.mlflow.run_metrics_history：記錄執行上記錄的所有度量的名稱、值、時間戳記和步驟，可用來繪製執行的詳細時間序列。 此資料類似於 執行詳細資料頁面上的計量索引標籤。

以下是使用儀表板繪製執行資訊的範例：

資料表結構描述

以下是包含說明和範例資料的表格結構描述。

system.mlflow.experiments_latest

system.mlflow.runs_latest

system.mlflow.run_metrics_history

與使用者共用存取權

依預設，只有帳戶管理員才能存取系統結構描述。 若要授予其他使用者資料表的存取權，帳號管理員必須授與 SELECT 架構的 USE 和 system.mlflow. 許可權。 請參閱 Unity 目錄權限參考。

任何有權存取這些數據表的使用者都可以檢視帳戶中所有工作區所有 MLflow 實驗的中繼資料。 若要設定指定群組的資料表存取權，而不是個別使用者，請參閱 Unity 目錄最佳做法。

如果您需要比授與所有使用者存取資料表更精細的控制，則可以使用具有自訂準則的 動態檢視 來授與群組特定存取權。 例如，您可以建立一個檢視，只顯示一組特定實驗 ID 的記錄。 配置自訂視圖之後，請將視圖的名稱提供給使用者，以便他們可以直接查詢動態視圖，而不是系統表格。

MLflow 中繼資料的使用範例

下列各節提供如何使用 MLflow 系統數據表來回答 MLflow 實驗和執行相關問題的範例。

配置 SQL 警示以監控實驗可靠性下降

利用 Databricks SQL 警示，您可以排程定期重複的查詢，並在某些限制條件不符時收到通知。

此範例會建立警示，以檢查工作區內最常執行的實驗，以判斷它們是否遇到低可靠性，且可能需要特別注意。 查詢會使用資料 runs_latest 表來計算每個標示為已完成的實驗執行次數，除以執行總數。

1. 按一下側邊欄中的 ，然後按一下 建立警示。

2. 在查詢編輯器中複製並貼上下列查詢。

    SELECT
      experiment_id,
      AVG(CASE WHEN status = 'FINISHED' THEN 1.0 ELSE 0.0 END) AS success_ratio,
      COUNT(status) AS run_count
    FROM system.mlflow.runs_latest
    WHERE status IS NOT NULL
    GROUP BY experiment_id
    ORDER BY run_count DESC
    LIMIT 20;
   

3. 在 條件 欄位中，將條件設定為 MIN success_ratio < 0.9。 如果前 20 個實驗中的任何一個 （依執行次數） 的成功率低於 90%，則會觸發警示。

此外，您還可以測試條件、設定排程和配置通知。 如需設定警示的詳細資訊，請參閱 設定 SQL 警示。 以下是使用查詢的設定範例。

範例查詢

您可以使用下列範例查詢，使用 Databricks SQL 取得帳戶中 MLflow 活動的相關資訊。 您也可以將 Python 筆記本等工具與 Spark 結合使用。

獲取執行資訊從 runs_latest

SELECT
  run_name,
  date(start_time) AS start_date,
  status,
  TIMESTAMPDIFF(MINUTE, start_time, end_time) AS run_length_minutes
FROM system.mlflow.runs_latest
WHERE
  experiment_id = :experiment_id
  AND run_id = :run_id
LIMIT 1

這會傳回指定執行的相關資訊：

從 experiments_latest 和 runs_latest 取得實驗和執行資訊。

SELECT
  runs.run_name,
  experiments.name,
  date(runs.start_time) AS start_date,
  runs.status,
  TIMESTAMPDIFF(MINUTE, runs.start_time, runs.end_time) AS run_length_minutes
FROM system.mlflow.runs_latest runs
  JOIN system.mlflow.experiments_latest experiments ON runs.experiment_id = experiments.experiment_id
  WHERE
    runs.experiment_id = :experiment_id
    AND runs.run_id = :run_id
LIMIT 1

取得 run_metrics_history 的特定執行的統計摘要数据

SELECT
  metric_name,
  count(metric_time) AS num_data_points,
  ROUND(avg(metric_value), 1) AS avg,
  ROUND(max(metric_value), 1) AS max,
  ROUND(min(metric_value), 1) AS min,
  ROUND(PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_25,
  ROUND(PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY metric_value), 1) AS median,
  ROUND(PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_75
FROM
  system.mlflow.run_metrics_history
WHERE
  run_id = :run_id
GROUP BY
  metric_name, run_id
LIMIT 100

這會傳回指定 run_id指標的摘要：

實驗和運行的儀表板

您可以在 MLflow 系統資料表數據上建立 儀錶板 ，以分析您的 MLflow 實驗，並分析整個工作區的執行情況。

如需詳細資訊，請參閱 使用 MLflow 中繼資料在系統表格中建置儀錶板