建立資料品質規則

重要事項

先前Azure Purview) (Microsoft Purview 整合式目錄 和傳統 Microsoft Purview 資料控管功能即將淘汰。 Microsoft 正在 Microsoft Fabric 中合併其資料控管功能。 您無法再建立新帳戶,現有功能將維持在維護模式,直到 2027 年 11 月 12 日為止。 如需淘汰時間表、轉換指引,以及建議的後續步驟,請參閱 Microsoft Purview 資料控管淘汰公告。

資料品質會測量組織中資料的完整性。 您可以使用資料品質分數來評估資料品質。 Microsoft Purview 整合式目錄會根據您定義的規則對資料的評估來產生分數。

資料品質規則是組織為確保其資料的準確性、一致性和完整性而制定的基本準則。 這些規則有助於維護資料的完整性和可靠性。

以下是資料品質規則的一些重要層面:

  • 準確性:資料應準確呈現真實世界的實體。 上下文很重要! 例如,如果您要儲存客戶地址,請確保它們與實際位置相符。

  • 完整性:此規則會識別空白、Null 或遺失的資料。 它會驗證所有值是否都存在,但不一定正確。

  • 符合性:此規則確保資料遵循資料格式標準,例如日期、地址和允許值的表示。

  • 一致性:此規則會檢查相同記錄的不同值是否符合指定規則,且是否有任何矛盾。 資料一致性可確保相同的資訊在不同記錄中統一表示。 例如,如果您有產品目錄,一致的產品名稱和描述至關重要。

  • 及時性:此規則旨在確保資料在盡可能短的時間內可供存取。 這可確保資料是最新的。

  • 唯一性:此規則會檢查值是否重複。 例如,如果每個客戶應該只有一筆記錄,那麼同一個客戶就不會有多筆記錄。 每個客戶、產品或交易都應具有唯一識別碼。

資料品質生命週期

建立資料品質規則是資料品質生命週期的 第六 個步驟。 先前的步驟為:

  1. 在整合式目錄中指派使用者資料品質管理員權限,以使用所有資料品質功能。
  2. 註冊並掃描 Microsoft Purview 資料對應中的資料來源。
  3. 將您的資料資產新增至資料產品。
  4. 設定資料來源連線,以準備資料來源以進行資料品質評估。
  5. 為資料來源中的資產設定並執行資料分析。

所需角色

注意事項

當您透過 API 建立規則時,請先建立相關聯的資產中繼資料。 規則建立取決於此中繼資料。 如果資產中繼資料不存在,規則建立請求會失敗。 為了成功的工作流程:

  1. 建立資產中繼資料。
  2. 確認已成功登錄資產。
  3. 建立資料品質規則並將其與資產建立關聯。

檢視現有的資料品質規則

  1. 在 [整合式目錄] 中,選取 [健康情況管理],然後選取 [資料品質]。

  2. 選取 控管網域,然後選取資料產品。

  3. 從 資料資產 清單中選取資料資產。

  4. 選取 Rules 索引標籤以查看套用至資產的現有規則。

  5. 選取規則以瀏覽所選資料資產所套用規則的效能歷程記錄。

    規則效能歷程記錄的螢幕擷取畫面。

可用的資料品質規則

Microsoft Purview 資料品質可讓您設定下列規則。 這些規則是開箱即用的,並提供低程式碼到無程式碼的方式來測量資料品質。

規則 定義
新鮮度 確認所有值都是最新的。
唯一的值 確認欄中的值是唯一的。
字串格式比對 確認欄中的值符合特定格式或其他準則。
資料類型相符 確認欄中的值符合其資料類型需求。
重複的資料列 檢查兩欄以上具有相同值的重複列。
空白/空白欄位 尋找欄中應該有值的空白和空白欄位。
資料表查閱 確認某個資料表中的值可在另一個資料表的特定資料行中找到。
自訂 使用視覺運算式建立器建立自訂規則。

新鮮度

新鮮度規則會檢查資產是否在預期時間內更新。 新鮮度取決於 上次修改日期的選擇。

建立新鮮度規則的頁面螢幕擷取畫面。

注意事項

新鮮度規則分數是 100 (及格) 或 0 (未通過) 。 Snowflake、Azure Databricks、Unity Catalog、Google BigQuery、Synapse 和 Microsoft Azure SQL 不支援新鮮度規則。

唯一的值

唯一值規則指出指定資料行中的所有值必須是唯一的。 所有唯一的值都會視為合格,而非唯一的值會被視為失敗。 如果欄位上未定義 [空白欄位 ] 規則,則在此規則中將忽略 Null 或空白值。

資料品質唯一性規則

字串格式比對

[ 格式比對 ] 規則會檢查資料欄位中的所有值是否都有效。 如果未在資料行上定義 [空白欄位 ] 規則,則規則會忽略 Null 或空白值。

此規則可以使用三種不同的方法驗證欄中的每個值:

  1. 列舉:此方法使用逗號分隔的值清單。 如果您評估的值不符合所列的其中一個值,則檢查失敗。 您可以使用反斜線 (\) 來逸出逗號和反斜線。 因此, a \, b, c 包含兩個值:第一個 a , b 是,第二個是 c。

建立新列舉規則的功能表螢幕擷取畫面。

  1. Like Pattern: like(<i>&lt;string&gt;</i> : string, <i>&lt;pattern match&gt;</i> : string) => boolean 模式是規則字面符合的字串。 例外狀況如下:_ 符合輸入 (中類似於規則運算式中posix的任何一個字元,) % 符合輸入 (. 類似於規則運算式中) .posix 中的零個或多個字元。 逸出字元是 . 如果逸出字元在特殊符號或另一個逸出字元前面,則會依字面比對下列字元。 逸出任何其他字元都是無效的。

    • like('icecream', 'ice%') -> true

    建立讚模式規則的功能表螢幕擷取畫面。

  2. 規則運算式: regexMatch(<i>&lt;string&gt;</i> : string, <i>&lt;regex to match&gt;</i> : string) => boolean

    檢查字串是否符合指定的正則表達式模式。 使用 <regex> 反引號) (符合字串而不逸出。

    • regexMatch('200.50', '(\\d+).(\\d+)') -> true
    • regexMatch('200.50', `(\d+).(\d+)`) -> true

    建立規則運算式規則的功能表螢幕擷取畫面。

資料類型相符

此 資料型別比對 規則會指定相關聯資料行的預期資料型別。 由於規則引擎會跨許多不同的資料來源執行,因此無法使用 BIGINT 或 VARCHAR 等原生類型。 相反,它使用自己的類型系統,並將原生類型轉換為該系統。 此規則會告訴品質掃描引擎要將其內建類型用於原生類型。 資料類型系統來自 Azure Data Factory 中使用的 Microsoft Azure 資料流程類型系統。

在品質掃描期間,引擎會根據資料類型比對類型測試所有原生類型。 如果無法將原生類型轉譯成資料類型比對類型,則會將該資料列視為錯誤。

建立資料類型比對規則的功能表螢幕擷取畫面。

重複的資料列

[ 重複列 ] 規則會檢查資料行中值的組合是否對於資料表中的每一列都是唯一的。

在下列範例中,預期 CompanyName、 CustomerID、 EmailAddress、 FirstName 及 LastName 的串連會產生資料表中所有資料列的唯一值。

每個資產可以有此規則的零或一個實例。

建立重複列規則的功能表螢幕擷取畫面。

空白/空白欄位

空白/空白欄位規則會判斷識別的資料行不應包含任何 Null 值。 如果是字串,規則也不允許空白值或僅限空白值。 在資料品質掃描期間,引擎會將此資料行中任何非 Null 值視為正確。 此規則會影響其他規則,例如 [唯一值 ] 或 [格式比對 ] 規則。 如果未在資料行上定義此規則,則當這些規則在該資料行上執行時,會自動忽略任何 Null 值。 如果您在欄上定義此規則,則這些規則會檢查該欄上的 Null 或空白值,並將其視為分數目的。

建立空白或空白欄位規則的功能表螢幕擷取畫面。

資料表查閱

資料表查閱規則會檢查您定義規則的欄中的每個值,並將其與參考資料表進行比較。 例如,主資料表有一個名為 “location” 的欄,其中包含城市、州及郵遞區號,格式為 “city, state zip”。 稱為「citystate」的參考資料表包含了美國支援的城市、州和郵遞區號的所有合法組合。 目標是將目前欄中的所有位置與該參考清單進行比較,以確保僅使用合法組合。

若要設定此規則,請在 [搜尋資產] 對話方塊中輸入 “citystatezip” 名稱。 然後選取所需的資產和要比較的資料欄位。

建立資料表查閱規則的功能表螢幕擷取畫面。

注意事項

參照表格或資料資產必須屬於相同的控管網域。 您無法比較不同治理網域的資料資產。

自訂規則

自訂規則可讓您指定規則,根據該列中的一個或多個值來驗證該列。 您可以使用規則運算式語言、Azure Data Factory 運算式和 SQL 運算式語言來建立自訂規則。

自訂規則由三個部分組成:

  1. 資料列運算式:此布林值運算式會套用至篩選運算式核准的每一列。 如果此運算式傳回 true,則資料列會傳遞。 如果傳回 false,則資料列失敗。

  2. 篩選運算式:此選用條件會縮小評估資料列條件的資料集範圍。 您可以選取 [使用篩選條件運算式 ] 核取方塊來啟用它。 這個運算式會傳回布林值。 篩選運算式會套用至資料列,如果傳回 True,則會將該資料列視為規則。 如果篩選運算式針對該資料列傳回 false,則表示在此規則中會忽略該資料列。 篩選運算式的預設行為是傳遞所有資料列,因此如果您未指定篩選運算式,則會考慮所有資料列。

  3. Null 運算式:檢查應如何處理 Null 值。 這個運算式會傳回布林值,用於處理資料遺失的情況。 如果運算式傳回 True,則不會套用資料列運算式。

規則的每個部分運作方式類似於現有的 Microsoft Purview 資料品質條件。 只有當資料集符合篩選運算式的資料列運算式評估為 TRUE 並處理 Null 運算式中指定的遺漏值時,規則才會傳遞。

範例:確保 “fareAmount” 為正數且 “tripDistance” 有效的規則:

  • 資料列運算式:tripDistance > 0 AND fareAmount > 0
  • 篩選運算式:paymentType = 'CRD'
  • Null 運算式:tripDistance IS NULL

建立自訂規則

  1. 在整合式目錄中,移至健康情況管理>資料品質。
  2. 選取控管網域、選取資料產品,然後選取資料資產。
  3. 在 [規則] 索引標籤上,選取 [新增規則]。

使用 ADF) 運算式建立自訂規則Azure Data Factory (

  1. 若要使用規則運算式或 ADF 運算式建立規則,請從規則選項清單中選取 [自訂] ,然後選取 [下一步]。

  2. 新增規則名稱和描述,然後選取建立。

    資料 建立自訂規則的功能表螢幕擷取畫面。

自訂規則的範例

案例 運算式
驗證 state_id 是否等於加州、 aba_Routing_Number 符合特定 RegEx 模式,且出生日期落在特定範圍內 state_id=='California' && regexMatch(toString(aba_Routing_Number), '^((0[0-9])|(1[0-2])|(2[1-9])|(3[0-2])|(6[1-9])|(7[0-2])|80)([0-9]{7})$') && between(dateOfBirth,toDate('1968-12-13'),toDate('2020-12-13'))==true()
確認 VendorID 是否等於 124 {VendorID}=='124'
檢查 fare_amount 是否等於或大於 100 {fare_amount} >= "100"
驗證 fare_amount 是否大於 100,且 tolls_amount 不等於 100 {fare_amount} >= "100"||{tolls_amount} != "400"
檢查 評等 是否低於 5 Rating < 5
確認 年份 是否為 4 位數 length(toString(year)) == 4
比較 bbToLoanRatio 與 bankBalance 兩欄,以檢查其值是否相等 compare(variance(toLong(bbToLoanRatio)),variance(toLong(bankBalance)))<0
檢查 firstName、 lastName、 LoanID、 uuid 中修剪和串連的字元數是否大於 20 length(trim(concat(firstName,lastName,LoanID,uuid())))>20
確認 aba_Routing_Number 符合特定 RegEx 模式,且初始交易日期大於 2022-11-12,且 Disallow-Listed 為 false,且 average bankBalance 大於 50000,且 state_id 等於 '麻薩諸塞州'、'田納西州'、'北達科他州' 或 '阿拉巴馬州' regexMatch(toString(aba_Routing_Number), '^((0[0-9])|(1[0-2])|(2[1-9])|(3[0-2])|(6[1-9])|(7[0-2])|80)([0-9]{7})$') && toDate(addDays(toTimestamp(initialTransaction, 'yyyy-MM-dd\'T\'HH:mm:ss'),15))>toDate('2022-11-12') && ({Disallow-Listed}=='false') && avg(toLong(bankBalance))>50000 && (state_id=='Massachusetts' || state_id=='Tennessee ' || state_id=='North Dakota' || state_id=='Alabama')
驗證 aba_Routing_Number 是否符合特定 RegEx 模式,且 dateOfBirth 介於 1968-12-13 和 2020-12-13 之間 regexMatch(toString(aba_Routing_Number), '^((0[0-9])|(1[0-2])|(2[1-9])|(3[0-2])|(6[1-9])|(7[0-2])|80)([0-9]{7})$') && between(dateOfBirth,toDate('1968-12-13'),toDate('2020-12-13'))==true()
檢查 aba_Routing_Number 中唯一值數目是否等於 1,000,000,EMAIL_ADDR中唯一值數目是否等於 1,000,000 approxDistinctCount({aba_Routing_Number})==1000000 && approxDistinctCount({EMAIL_ADDR})==1000000

篩選運算式和資料列運算式都是使用 Azure Data Factory 運算式語言定義的,這裡定義的語言。 不過,並非所有針對一般 ADF 運算式語言定義的函數都可用。 可用函數的完整清單位於運算式對話方塊中的 [函數] 清單中。 此處不 支援下列中 定義的函數:isDelete、isError、isIgnore、isInsert、isMatch、isUpdate、isUpsert、partitionId、快取查閱和 Window 函數。

注意事項

<regex> (反引號) 可用於自訂規則中包含的規則運算式,以符合字串而不逸出特殊字元。 規則運算式語言是以 Java 為基礎。 了解 正則運算式和 Java 並了解 需要逸出的字元。

使用 SQL 運算式建立自訂規則

Microsoft Purview 資料品質中的自訂 SQL 規則提供彈性的方式,可使用 Spark SQL 述詞來定義資料品質檢查。 此功能可讓使用者直接在 Spark SQL 中撰寫規則,以用於進階驗證案例。 只需要一個資料列運算式;篩選和 Null 運算式為選用,以供進一步自訂。 使用自訂 SQL 規則來解決複雜的業務需求並增強資料品質,使用 Spark SQL 的全部功能。 自訂 SQL 規則可啟用複雜的資料驗證,而這些驗證可能無法單獨使用 ADF 運算式進行。 透過撰寫 Spark SQL 述詞,您可以滿足獨特的業務需求並維持高資料品質標準。

  1. 若要使用 SQL 運算式語言建立規則,請從規則選項清單中選取 自訂 (SQL) ,然後選取 下一步。

  2. 新增規則名稱和描述,然後選取建立。

    案例 運算式
    驗證正確的字串模式 (例如,rateCodeId 開頭為 '1' 和數字) ,並依有效的付款類型進行篩選。 Row: rateCodeId RLIKE '^1[0-9]+$'
    Filter: paymentType IN ('CRD', 'CSH')
    Null: rateCodeId IS NULL
    確保 puLocationId 和 doLocationId 之間的正確欄比較,以及將票價與行程距離進行比較。 Row: puLocationId > doLocationId AND fareAmount > tripDistance * 10'
    Filter: paymentType <> 'CSH''
    Null: tripDistance IS NULL
    檢查 paymentType 是否在指定清單中 ([卡片]、[現金) ],並根據票價金額篩選資料列。 Row: paymentType IN ('CRD', 'CSH')'
    Filter: fareAmount >= 50
    Null: paymentType IS NULL
    確保距離在 5-10 哩的包容範圍內 () 同時處理 NULL 並篩選有效的付款類型。 Row: tripDistance BETWEEN 5 AND 10
    Filter: paymentType <> 'CRD'
    Null: tripDistance IS NULL
    確保資料集的 fareAmount 不超過 20% Null 值。 Row: (SELECT avg(CASE WHEN fareAmount IS NULL THEN 1 ELSE 0 END) FROM nycyellowtaxidelta1BillionPartitioned) < 0.20'
    Filter: vendorID IN ('VTS', 'CMT')
    驗證資料集中至少有 2 個不同的 paymentType 值。 Row: (SELECT count(DISTINCT paymentType) FROM nycyellowtaxidelta1BillionPartitioned) >= 2
    Filter: vendorID IN ('1', '2')
    確保資料集的平均票價金額落在指定的範圍內 (80 <= 平均 <= 140) 。 Row: (SELECT avg(fareAmount) FROM nycyellowtaxidelta1BillionPartitioned) BETWEEN 80 AND 140 '
    Filter: paymentType IN ('CRD', 'CSH')
    確保資料集中的最大 tripDistance 為 <= 10 哩。 Row: (SELECT max(tripDistance) FROM nycyellowtaxidelta1BillionPartitioned) <= 10.0
    Filter: vendorID IN ('VTS', 'CMT')
    確保 fareAmount 的標準差低於一定閾值 (< 30) 。 Row: (SELECT stddev_samp(fareAmount) FROM nycyellowtaxidelta1BillionPartitioned) < 30.0
    Filter: vendorID IN ('VTS', 'CMT')
    確保資料集的票價金額中位數在指定的閾值內 (<= 15) 。 Row: (SELECT percentile_approx(fareAmount, 0.5) FROM nycyellowtaxidelta1BillionPartitioned) <= 15.0
    Filter: vendorID IN ('VTS', 'CMT')
    確保 vendorId 在特定 paymentType 內的資料集中是唯一的。 Row: COUNT(1) OVER (PARTITION BY vendorID) = 1
    Filter: paymentType IN ('CRD', 'CSH','1', '2')
    Null: vendorID IS NULL
    確保 puLocationId 和 doLocationId 的組合在資料集中是唯一的。 Row: COUNT(1) OVER (PARTITION BY puLocationId, doLocationId) = 1
    Filter: paymentType IN ('CRD', 'CSH')
    Null: puLocationId IS NULL OR doLocationId IS NULL
    確保每個 paymentType 的 vendorId 都是唯一的。 Row: COUNT(1) OVER (PARTITION BY paymentType, vendorID) = 1 ,Filter: rateCodeId < 25, Null: vendorID IS NULL
    確保資料列的 tpepPickupDateTime 大於指定的截止時間戳記。 Row: tpepPickupDateTime >= TIMESTAMP '2014-01-03 00:00:00'
    Filter: paymentType IN ('CRD', 'CSG', '1', '2')
    Null: tpepPickupDateTime IS NULL
    每趟行程必須在 1 小時內完成 Row: (unix_timestamp(tpepDropoffDateTime) - unix_timestamp(tpepPickupDateTime)) <= 3600
    Filter: paymentType IN ('CRD', 'CSH', '1', '2')
    Null: tpepPickupDateTime IS NULL OR tpepDropoffDateTime IS NULL
    僅保留每個接送地點的最高票價行程。 Row: row_number() OVER (PARTITION BY puLocationId ORDER BY fareAmount DESC) = 1, Filter: paymentType IN ('CRD', 'CSH','1','2') AND tripDistance > 0, Null: fareAmount IS NULL OR puLocationId IS NULL
    所有並列的最高票價 (每個取貨地點通過,而不僅僅是第一row_number) 。 Row: rank() OVER (PARTITION BY puLocationId ORDER BY fareAmount DESC) = 1
    Filter: paymentType IN ('CRD', 'CSH','1','2') AND tripDistance > 0
    Null: fareAmount IS NULL OR puLocationId IS NULL
    每種付款類型的票價不得隨時間而降低。 Row: fareAmount >= lag(fareAmount) OVER (PARTITION BY paymentType ORDER BY tpepPickupDateTime)
    Null: tpepPickupDateTime IS NULL OR fareAmount IS NULL
    按付款類型分類,每列票價在群組平均值的 10 以內。 Row: abs(fareAmount - avg(fareAmount) OVER (PARTITION BY paymentType)) <= 10
    Filter: paymentType IN ('CRD', 'CSH','1','2')
    Null: fareAmount IS NULL
    跑步總行程距離不得超過 20 英里。 Row: sum(tripDistance) OVER (ORDER BY tpepPickupDateTime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) <= 20
    Filter: paymentType = '1'
    Null: tripDistance IS NULL
    檢查每個行程的票價是否高於合格廠商的全球平均價格。 Row: fareAmount > (SELECT avg(fareAmount) FROM nycyellowtaxidelta1BillionPartitioned)
    Filter: vendorID IN ('VTS', 'CMT')
    Null: fareAmount IS NULL
    檢查每列的 tripDistance 是否大於其付款的最小值Type (Card/Cash) 。 Row: tripDistance > (SELECT min(u.tripDistance) FROM (SELECT tripDistance, paymentType AS pt FROM nycyellowtaxidelta1BillionPartitioned) u WHERE u.pt = paymentType)
    Filter: paymentType IN ('CRD', 'CSH')
    Null: tripDistance IS NULL
    針對每趟行程,檢查票價是否高於其付款類型的平均值 Row: fareAmount > (SELECT avg(u.fareAmount) FROM (SELECT fareAmount, paymentType AS pt FROM nycyellowtaxidelta1BillionPartitioned) u WHERE u.pt = paymentType)
    Filter: paymentType IN ('CRD','CSH','1','2') AND vendorID IN ('VTS','CMT')
    Null: fareAmount IS NULL
    驗證數值) (fareAmount 資料行是否可以正確表示為符合數值模式的字串, (正數與選用的實數) 。 這使用轉換,因為 fareAmount 是數值資料行。 Row: CAST(fareAmount AS STRING) RLIKE '^[0-9]+(\.[0-9]+)?$'
    Filter: paymentType IN ('CRD', 'CSH')
    Null: fareAmount IS NULL
    確保 tpepPickupDateTime 是 yyyy-MM-dd HH:mm:ss 格式的有效時間戳記。 此資料行已經採用 DATETIME 格式 Row: to_timestamp(tpepPickupDateTime, 'yyyy-MM-dd HH:mm:ss') IS NOT NULL
    Filter: paymentType IN ('CRD',
    'CSH')
    Null: tpepPickupDateTime IS NULL
    確保 paymentType 值正常化為小寫,且沒有前置或結尾空格。 Row: lower(trim(paymentType)) IN ('card','cash') AND length(trim(paymentType)) > 0
    Null: paymentType IS NULL OR trim(paymentType) = ''
    安全地計算 fareAmount 與 tripDistance 的比率,首先檢查 tripDistance > 是否為 0,以確保不會發生除以零的情況。 Row: CASE WHEN tripDistance > 0 THEN fareAmount / tripDistance ELSE NULL END >= 10
    Filter: tripDistance > 0 AND vendorID IN ('VTS', 'CMT')
    示範合併如何以預設值取代 Null 值 (例如 0.0) ,並確保只會傳回有效的資料列。 Row: coalesce(fareAmount, 0.0) >= 5
    Filter: paymentType IN ('CRD','CSH')

撰寫自訂 SQL 規則的最佳做法

  • 保持運算式簡單。 旨在編寫清晰、直接、易於維護的表達方式。
  • 使用內建的 Spark SQL 函數。 使用 Spark SQL 豐富的函式庫進行字串操作、日期處理和數值運算,以最大限度地減少錯誤並提高效能。
  • 先使用小型資料集進行測試。 在大規模套用規則之前先驗證小型資料集上的規則,以便及早識別潛在問題。

SQL 運算式規則的已知限制和考量

不明確的欄參照和欄陰影
  • 問題:當欄同時出現在外部查詢和子查詢 (中,或以相同名稱出現在查詢) 的不同部分時,Spark SQL 可能無法解析要使用哪個欄。 此問題會導致邏輯錯誤或不正確的查詢執行。 此問題可能會出現在巢狀查詢、子查詢或聯結中,導致歧義或陰影。

  • 模棱兩可:當外部查詢和子查詢中同時存在欄名且沒有明確限定時,會發生此情況,導致 Spark SQL 不確定要引用哪個欄。

  • 陰影:指外部查詢中的一列被子查詢中的同一列「覆蓋」或「陰影」,導致外部參考被忽略。

    範例運算式:

    distance_km > 
    ( 
    SELECT min(distance_km) 
    FROM Tripdata t  
    WHERE t.payment_type = payment_type -- ambiguous outer reference  
    )
    
  • 問題:未限定的payment_type會解析至具有該名稱欄的最接近範圍,也就是內部t.payment_type,而不是外部資料列的payment_type。 這會將述詞轉換為 t.payment_type = t.payment_type (永遠為 TRUE) ,因此您的子查詢會變成全域最小值,而不是群組最小值。

  • 解決方案:若要解決此歧義並避免欄位陰影,請重新命名子查詢中的內部列,確保外部查詢的payment_type保持明確。

更正運算式:

  distance_km > 
  ( 
  SELECT min(u.distance_km) 
  FROM ( 
  SELECT distance_km, payment_type AS pt 
  FROM Tripdata 
  ) u 
   WHERE u.pt = payment_type   -- this `payment_type` now binds to OUTER row 
  )
  • 在子查詢中,資料行 payment_type 的別名為 pt (,亦即 AS pt) payment_type,並在條件中使用 you.pt。
  • 在外部查詢中,現在可以清楚地引用原始payment_type,並且 Spark SQL 會正確地將其解析為外部payment_type。
視窗作業 (效能考量)
  • ROW_NUMBER () 和 RANK () 等視窗作業可能成本高昂,尤其是對於大型資料集。 在大規模應用它們之前,請謹慎使用它們並在較小的資料集上測試效能。 請考慮使用 PARTITION BY 來縮小資料範圍。
在 Spark SQL 中逸出的欄位名稱
  • 如果欄名稱包含特殊字元,例如空格、連字號或其他非英數字元) (,則必須使用反引號來逸出它們。
  • 例如,如果資料行名稱是 order-id,而規則必須是大於 10。
  • 運算式不正確:order-id > 10
  • 正確的運算式: `order-id`> 10
運算式中參照的資料資產名稱

在 SQL 運算式中參照資料資產時,您必須遵循特定的清理規則。 不需要更新原始資料資產名稱,但 SQL 運算式中參照的資料資產名稱必須經過清理,以符合下列準則:

規則 描述 範例 - 原始名稱 範例 - 已清理的名稱
允許的字元 只允許使用 A-Z、a-z) (字母、0 到 9) (數字,以及底線 (_) 。 必須移除特殊字元 (空格、連字號、句號等 ) 。 my-dataset_v1+2023 mydataset_v12023
修剪底線 必須移除名稱開頭或結尾的底線。 my_dataset_ my_dataset
字元限制 經過清理的最終名稱不能超過 64 個字元。 [超過 64 個字元的長名稱] [淨化名稱的前 64 個字元]

如果您的資料資產名稱已遵循這些指導方針, (也就是說,它不包含任何特殊字元、前置/後置底線,且在 64 個字元的限制內,) ,則可以在 SQL 運算式中依原樣使用,無需任何修改。

如何清理資料集名稱

請遵循下列步驟,以確保您的資料集名稱對 SQL 運算式有效:

  1. 移除特殊字元:去除字母、數字和底線以外的所有字元。
  2. 修剪底線:移除任何前置或結尾底線。
  3. 截斷:如果產生的名稱超過 64 個字元,請將其截斷以符合 64 個字元的限制。

範例:資料資產名稱 f07d724d-82c9-4c75-97c4-c5baf2cd12a4.parquet

  1. 移除特殊字元:f07d724d82c94c7597c4c5baf2cd12a4parquet
  2. 修剪底線: (N/A,因為沒有前置或後置底線 ) 。
  3. 截斷:產生的名稱長度為 54 個字元,低於 64 個字元的限制。

最終 SQL 參照名稱:f07d724d82c94c7597c4c5baf2cd12a4parquet

注意事項

原始資料資產名稱保持不變。 只有 SQL 運算式中使用的資料資產名稱需要遵循這些規則。 對於包含特殊字元的欄名稱,例如空格或連字號,您可以使用 SQL 運算式中的反引號將其逸出。

不支援聯結

Microsoft Purview 資料品質中的自訂 SQL 規則不支援聯結。 規則必須在單一資料集上運作。 撰寫這些自訂規則時,您無法聯結多個資料表或資料集。

不支援的 SQL 操作 (DML、DCL 和有害的 SQL)

自訂 SQL 規則不支援資料操作語言 (DML) 或資料控制語言 (DCL) 作業,例如 INSERT、UPDATE、DELETE、GRANT,和其他有害的 SQL 作業,例如 TRUNCATE、DROP 和 ALTER。 不支援這些作業,因為它們會修改資料或資料庫的狀態。

AI 協助自動產生的規則

用於數據質量測量的 AI 輔助自動規則生成使用人工智能 (AI) 技術自動創建用於評估和提高數據質量的規則。 自動產生的規則是特定內容。 大部分的通用規則都是自動產生的,因此您不需要花太多精力來建立自訂規則。

若要瀏覽並套用自動產生的規則:

  1. 在資料資產的 規則 索引標籤上,選取 建議規則。

  2. 瀏覽建議的規則清單。

    資產的 [規則] 索引標籤的螢幕擷取畫面,其中醒目提示 [建議規則] 按鈕。

  3. 從建議的規則清單中選取要套用至資料資產的規則。

    規則建議頁面的螢幕擷取畫面。

限制

針對資料品質掃描,每個資料資產最多可以套用 200 個資料品質規則。 如果單一資產有超過 200 個規則處於作用中狀態,則掃描會失敗。 如果您需要為資料資產定義超過 200 個規則,則可以這樣做,但在任何給定時間,最多只能有 200 個規則處於作用中 (ON) 狀態。

若要解決此限制:

  • 將相同的資料資產新增至多個資料產品,以在產品之間散發規則。
  • 視需要啟用和停用規則,以確保一次使用中的規則不超過 200 個。

後續步驟

  1. 在資料產品上設定並執行資料品質掃描,以評估資料產品中所有支援資產的品質。
  2. 檢閱掃描結果 ,以評估資料產品的目前資料品質。