重要
Microsoft Purview 統合カタログと従来の Microsoft Purview データ ガバナンス機能 (旧称 Azure Purview) は廃止されます。 Microsoft は、Microsoft Fabric のデータ ガバナンス機能を統合しています。 新しいアカウントは作成できなくなり、既存の機能は 2027 年 11 月 12 日までメンテナンス モードのままになります。 廃止のタイムライン、移行ガイダンス、推奨される次の手順については、 Microsoft Purview データ ガバナンスの廃止のお知らせを参照してください。
データ品質は、organization内のデータの整合性を測定します。 データ品質スコアを使用して、データ品質を評価します。 Microsoft Purview 統合カタログは、定義したルールに対するデータの評価に基づいてスコアを生成します。
データ品質ルールは、組織がデータの正確性、一貫性、完全性を確保するために確立する重要なガイドラインです。 これらのルールは、データの整合性と信頼性を維持するのに役立ちます。
データ品質ルールの重要な側面を次に示します。
精度: データは現実世界のエンティティを正確に表す必要があります。 コンテキストが重要です! たとえば、顧客の住所を保存する場合は、実際の場所と一致していることを確認します。
完全性: このルールは、空、null、または不足しているデータを識別します。 すべての値が存在することを検証しますが、必ずしも正しいとは限りません。
適合性: このルールは、データが日付、住所、許可値の表現などのデータ書式設定標準に従うことを保証します。
整合性: このルールは、同じレコードの異なる値が特定のルールに準拠し、矛盾がないことをチェックします。 データの一貫性により、同じ情報が異なるレコード間で均一に表されます。 たとえば、製品カタログがある場合、一貫性のある製品名と説明が重要です。
適時性: このルールは、できるだけ短時間でデータにアクセスできるようにすることを目的としています。 これにより、データが最新であることが保証されます。
一意性: このルールは、値が重複していないことを確認します。 たとえば、顧客ごとに 1 つのレコードしか存在しないと想定される場合、同じ顧客に複数のレコードが存在することはありません。 各顧客、製品、またはトランザクションには、一意の識別子が必要です。
データ品質のライフ サイクル
データ品質ルールの作成は、データ品質ライフサイクルの 6 番目の ステップです。 前の手順は次のとおりです。
- すべてのデータ品質機能を使用するための、統合カタログでユーザーにデータ品質スチュワード権限を割り当てます。
- Microsoft Purview データ マップでデータ ソースを登録してスキャンします。
- データ アセットをデータ製品に追加します。
- データ ソース接続を設定して、データ品質評価用にソースを準備します。
- データ ソース内の資産のデータ プロファイルを構成して実行します。
必要な役割
- データ品質ルールを作成および管理するには、ユーザーに データ品質スチュワードの役割が必要です。
- 既存の品質ルールを表示するには、ユーザーに データ品質閲覧者ロールが必要です。
注:
API を使用してルールを作成する場合は、最初に関連するアセット メタデータを作成します。 ルールの作成は、このメタデータに依存します。 アセット メタデータが存在しない場合、ルール作成要求は失敗します。 ワークフローを成功させるには:
- 資産メタデータを作成します。
- 資産が正常に登録されたことを確認します。
- データ品質ルールを作成し、資産に関連付けます。
既存のデータ品質ルールを表示する
統合カタログで、[正常性管理]、[データ品質] の順に選択します。
ガバナンス ドメインを選択してから、データ製品を選択します。
[ データ資産 ] リストからデータ資産を選択します。
[ ルール] タブを選択すると、資産に適用されている既存のルールが表示されます。
ルールを選択して、選択したデータ資産に適用されたルールのパフォーマンス履歴を参照します。
利用可能なデータ品質ルール
Microsoft Purview データ品質を使用すると、次のルールを構成できます。 これらのルールはすぐに使用でき、データの品質を測定するための低コードからノーコードへの方法を提供します。
| Rule | 定義 |
|---|---|
| Freshness | すべての値が最新であることを確認します。 |
| 一意の値 | 列の値が一意であることを確認します。 |
| 文字列形式の一致 | 列の値が特定の形式またはその他の条件と一致することを確認します。 |
| データ型の一致 | 列の値がデータ型の要件と一致することを確認します。 |
| 重複する行 | 2 つ以上の列で同じ値を持つ重複行がないかチェックします。 |
| 空のフィールド/空白のフィールド | 値が存在するはずの列の空白のフィールドと空のフィールドを検索します。 |
| テーブル参照 | 1 つのテーブルの値が別のテーブルの特定の列にあることを確認します。 |
| Custom | ビジュアル式ビルダーを使用してカスタム ルールを作成します。 |
Freshness
更新度ルールは、アセットが予想された時間内に更新されたかどうかを確認します。 鮮度は、 最終更新日の選択によって決定されます。
注:
鮮度ルール スコアは、100 (合格) または 0 (不合格) のいずれかです。 鮮度ルールは、Snowflake、Azure Databricks Unity Catalog、Google BigQuery、Synapse、Microsoft Azure SQL ではサポートされていません。
一意の値
"一意の値" ルールでは、指定した列のすべての値は一意である必要があります。 一意の値はすべて合格として扱われ、一意でない値は不合格として扱われます。 空/空白フィールド ルールが列で定義されていない場合、このルールでは null 値または空値は無視されます。
文字列形式の一致
書式一致ルールは、列のすべての値が有効かどうかを確認します。 空 /空白フィールド ルールを列に定義しない場合、ルールは Null 値または空値を無視します。
このルールは、次の 3 つの異なる方法を使用して、列の各値を検証できます。
-
列挙: この方法では、値のコンマ区切りリストを使用します。 評価する値が一覧表示されている値のいずれかと一致しない場合、チェックに失敗します。 コンマやバックスラッシュはバックスラッシュ (
\) を使用してエスケープできます。 よって、a \, b, cには 2 つの値が含まれています。最初の値はa , b、2 番目はcです。
Like パターン:
like(<i><string></i> : string, <i><pattern match></i> : string) => booleanパターンは、ルールが文字通り一致する文字列です。 例外は、次の特殊記号です。_ は、入力の任意の 1 文字に一致します (posix正規表現の.と同様)、% は、入力の 0 文字以上の文字に一致します (posix正規表現の.と同様)。 エスケープ文字が.エスケープ文字が特殊記号または別のエスケープ文字の前にある場合、次の文字は文字通り一致します。 他の文字をエスケープするのは無効です。like('icecream', 'ice%') -> true
正規表現:
regexMatch(<i><string></i> : string, <i><regex to match></i> : string) => boolean文字列が指定された正規表現パターンと一致するかどうかを確認します。
<regex>(バック クォート) を使用して、エスケープせずに文字列を一致させます。regexMatch('200.50', '(\\d+).(\\d+)') -> trueregexMatch('200.50', `(\d+).(\d+)`) -> true
データ型の一致
データ型一致ルールは、関連付けられた列に想定されるデータ型を指定します。 ルール エンジンはさまざまなデータ ソースで実行されるため、BIGINT や VARCHAR などのネイティブ型を使用することはできません。 代わりに、独自の型システムを使用し、ネイティブ型をこのシステムに変換します。 このルールは、ネイティブの型に使用する組み込みの型を品質スキャン エンジンに指示します。 データ型システムは、Azure Data Factory で使用されている Microsoft Azure Data Flow 型システムを使用します。
品質スキャンでは、エンジンはすべてのネイティブ型をデータ型の一致型に対してテストします。 ネイティブ型をデータ型一致型に変換できない場合、その行はエラーとして扱われます。
重複する行
行 の複製 ルールは、列の値の組み合わせがテーブルのすべての行に対して一意であるかどうかをチェックします。
次の例では、 CompanyName、 CustomerID、 EmailAddress、 FirstName、 LastName を連結して、テーブルのすべての行に対して一意の値が生成されることが想定されます。
各資産には、このルールのインスタンスを 0 個または 1 個含めることができます。
空のフィールド/空白のフィールド
空/空白フィールド ルールは、識別された列に null 値を含めてはならないことを主張します。 文字列の場合、ルールでは空または空白のみの値も許可されません。 データ品質スキャン中、エンジンはこの列の null 以外の値を正しいものとして扱います。 このルールは、 一意の値 や 形式の一致 ルールなどの他のルールにも影響します。 このルールを列に定義しない場合、ルールがその列で実行されるときに、Null 値は自動的に無視されます。 列にこのルールを定義すると、その列の null 値または空白値が調べられ、スコア用に考慮されます。
テーブル参照
テーブル検索ルールでは、ルールを定義する列の各値を調べて、参照テーブルと比較します。 たとえば、主テーブルには、市区町村、州、郵便番号が "市区町村、州の郵便番号" という形式で含まれている "場所" という列があります。 "citystate" という参照テーブルには、米国でサポートされている都市、州、郵便番号の法的な組み合わせがすべて含まれています。 目的は、現在の列のすべての場所を参照リストと比較して、有効な組み合わせのみが使用されていることを確認することです。
このルールを設定するには、資産の検索ダイアログに "citystatezip" 名を入力します。 次に、目的のアセットと比較する列を選択します。
注:
参照表またはデータ資産は、同じガバナンス・ドメインに属している必要があります。 異なるガバナンス ドメイン間でデータ資産を比較することはできません。
ユーザー設定のルール
カスタム ルールを使用すると、その行の 1 つ以上の値に基づいて行を検証するルールを指定できます。 正規表現言語、Azure Data Factory 式、SQL 式を使用して、カスタム ルールを作成できます。
カスタム ルールは 3 つの部分で構成されています。
行式: このブール式は、フィルター式が承認する各行に適用されます。 この式が true を返す場合、行は合格します。 false を返す場合、行は失敗します。
フィルター式: このオプションの条件は、行条件が評価されるデータセットを絞り込みます。 [ フィルタ式を使用する ] チェックボックスをオンにしてアクティブにします。 この式はブール値を返します。 フィルター式は行に適用され、true を返す場合、その行はルールの対象と見なされます。 フィルター式がその行に対して false を返す場合、このルールの目的ではその行は無視されることを意味します。 フィルター式の既定の動作はすべての行を渡すことであるため、フィルター式を指定しないと、すべての行が考慮されます。
Null 式: NULL 値の処理方法を確認します。 この式は、データがないケースを処理するブール値を返します。 式が true を返す場合、行式は適用されません。
ルールの各部分は、既存の Microsoft Purview データ品質条件と同様に機能します。 ルールは、フィルター式に一致し、null 式で指定された欠損値を処理しているデータセットに対して行式が TRUE と評価された場合にのみ合格します。
例: "fareAmount" が正で "tripDistance" が有効であることを確認するルール:
- 行式: tripDistance > 0 AND fareAmount > 0
- フィルター式: paymentType = 'CRD'
- Null 式: tripDistance IS NULL
カスタム ルールを作成する
- 統合カタログ で、正常性管理>データ品質の順に移動します。
- ガバナンス ドメインを選択し、データ製品を選択してから、データ資産を選択します。
- [ ルール] タブで、 [ 新しいルール] を選択します。
Azure Data Factory (ADF) 式を使用してカスタム ルールを作成する
正規表現またはADF式を使用してルールを作成するには、オプションのルール・リストから 「カスタム 」を選択し、「 次へ」を選択します。
[ ルール名 ] と [説明] を追加し、[ 作成] を選択します。
カスタム ルールの例
| シナリオ | 式 |
|---|---|
| state_idがカリフォルニアに等しく、aba_Routing_Number特定の正規表現パターンに一致し、生年月日が特定の範囲内にあるかどうかを検証します | state_id=='California' && regexMatch(toString(aba_Routing_Number), '^((0[0-9])|(1[0-2])|(2[1-9])|(3[0-2])|(6[1-9])|(7[0-2])|80)([0-9]{7})$') && between(dateOfBirth,toDate('1968-12-13'),toDate('2020-12-13'))==true() |
| VendorID が 124 に等しいかどうかを確認する | {VendorID}=='124' |
| fare_amountが 100 以上であるかどうかを検査する | {fare_amount} >= "100" |
| fare_amount が 100 より大きく、tolls_amountが 100 以下かどうかを検証します | {fare_amount} >= "100"||{tolls_amount} != "400" |
| レーティングが 5 未満かどうかを確認する | Rating < 5 |
| 年の桁数が 4 かどうかを確認する | length(toString(year)) == 4 |
| bbToLoanRatio と bankBalance の 2 つの列を比較して、それぞれの値が等しいかどうかをチェックします | compare(variance(toLong(bbToLoanRatio)),variance(toLong(bankBalance)))<0 |
| firstName、lastName、LoanID、uuid のトリミングおよび連結された文字数が 20 を超えるかどうかを確認する | length(trim(concat(firstName,lastName,LoanID,uuid())))>20 |
| aba_Routing_Number が特定の正規表現パターンに一致し、最初のトランザクション日が 2022-11-12 より大きく、Disallow-Listed が false であり、平均 bankBalance が 50000 より大きく、state_id が 'Massachusetts'、'Tennessee'、'North Dakota'、または 'Alabama' と等しいことを確認します | regexMatch(toString(aba_Routing_Number), '^((0[0-9])|(1[0-2])|(2[1-9])|(3[0-2])|(6[1-9])|(7[0-2])|80)([0-9]{7})$') && toDate(addDays(toTimestamp(initialTransaction, 'yyyy-MM-dd\'T\'HH:mm:ss'),15))>toDate('2022-11-12') && ({Disallow-Listed}=='false') && avg(toLong(bankBalance))>50000 && (state_id=='Massachusetts' || state_id=='Tennessee ' || state_id=='North Dakota' || state_id=='Alabama') |
| aba_Routing_Numberが特定の正規表現パターンに一致し、dateOfBirth が 1968-12-13 と 2020-12-13 の間であるかどうかを検証します | regexMatch(toString(aba_Routing_Number), '^((0[0-9])|(1[0-2])|(2[1-9])|(3[0-2])|(6[1-9])|(7[0-2])|80)([0-9]{7})$') && between(dateOfBirth,toDate('1968-12-13'),toDate('2020-12-13'))==true() |
| aba_Routing_Number の一意の値の数が 1,000,000 に等しく、EMAIL_ADDRの一意の値の数が 1,000,000 と等しいことを確認します | approxDistinctCount({aba_Routing_Number})==1000000 && approxDistinctCount({EMAIL_ADDR})==1000000 |
フィルター式と行式はどちらも Azure Data Factory 式言語を使用して定義され、言語はここで定義されています。 ただし、汎用の ADF 式言語用に定義されているすべての関数を使用できるわけではありません。 使用可能な関数の完全な一覧は、式ダイアログで使用できる関数リストにあります。 ここで定義されている関数として、isDelete、isError、isIgnore、isInsert、isMatch、isUpdate、isUpsert、partitionId、cached lookup、window 関数はサポートされていません。
注:
<regex> (バック クォート) は、カスタム ルールに含まれる正規表現で使用して、特殊文字をエスケープせずに文字列を一致させることができます。 正規表現言語は Java に基づいています。
正規表現と Java について学び、エスケープする必要がある文字を理解します。
SQL 式を使用してカスタム ルールを作成する
Microsoft Purview データ品質のカスタム SQL ルールでは、Spark SQL 述語を使用してデータ品質チェックを柔軟に定義できます。 この機能を使用すると、ユーザーは高度な検証シナリオのために Spark SQL でルールを直接作成できます。 行式のみが必要です。さらにカスタマイズするには、フィルター式と null 式はオプションです。 カスタムSQLルールを使用して、Spark SQLの全機能を使用して、複雑なビジネス要件に対応し、データ品質を向上させます。 カスタムSQLルールを使用すると、ADF式だけでは不可能な複雑なデータの入力規則が可能になります。 Spark SQL 述語を記述することで、独自のビジネス ニーズを満たし、高いデータ品質基準を維持できます。
SQL 式言語を使用してルールを作成するには、オプションのルール リストから [カスタム (SQL)] を選択し、[ 次へ] を選択します。
[ ルール名 ] と [説明] を追加し、[ 作成] を選択します。
シナリオ 式 正しい文字列パターン (例: '1' で始まる rateCodeId と数値) を検証し、有効な支払いの種類でフィルター処理します。 Row: rateCodeId RLIKE '^1[0-9]+$'Filter: paymentType IN ('CRD', 'CSH')Null: rateCodeId IS NULLpuLocationId と doLocationId の間の正しい列比較、および移動距離と比較した運賃を保証します。 Row: puLocationId > doLocationId AND fareAmount > tripDistance * 10'Filter: paymentType <> 'CSH''Null: tripDistance IS NULLpaymentType が特定のリスト (カード、現金) に含まれているかどうかを確認し、運賃金額に基づいて行をフィルター処理します。 Row: paymentType IN ('CRD', 'CSH')'Filter: fareAmount >= 50Null: paymentType IS NULLNULL を処理し、有効な支払いの種類をフィルター処理しながら、距離が包括的範囲 (5 - 10 マイル) 内にあることを確認します。 Row: tripDistance BETWEEN 5 AND 10Filter: paymentType <> 'CRD'Null: tripDistance IS NULLデータセットが fareAmount の 20% NULL 値を超えないようにします。 Row: (SELECT avg(CASE WHEN fareAmount IS NULL THEN 1 ELSE 0 END) FROM nycyellowtaxidelta1BillionPartitioned) < 0.20'Filter: vendorID IN ('VTS', 'CMT')データセットに少なくとも 2 つの個別の paymentType 値があることを確認します。 Row: (SELECT count(DISTINCT paymentType) FROM nycyellowtaxidelta1BillionPartitioned) >= 2Filter: vendorID IN ('1', '2')データセットの平均運賃金額が指定された範囲内にあることを確認します (80 <= avg <= 140)。 Row: (SELECT avg(fareAmount) FROM nycyellowtaxidelta1BillionPartitioned) BETWEEN 80 AND 140 'Filter: paymentType IN ('CRD', 'CSH')データセット内の最大 tripDistance が <= 10 マイルであることを確認します。 Row: (SELECT max(tripDistance) FROM nycyellowtaxidelta1BillionPartitioned) <= 10.0Filter: vendorID IN ('VTS', 'CMT')fareAmount の標準偏差が特定のしきい値 (< 30) を下回ることを確認します。 Row: (SELECT stddev_samp(fareAmount) FROM nycyellowtaxidelta1BillionPartitioned) < 30.0Filter: vendorID IN ('VTS', 'CMT')データセットの運賃の中央値が指定されたしきい値 (<= 15) 内にあることを確認します。 Row: (SELECT percentile_approx(fareAmount, 0.5) FROM nycyellowtaxidelta1BillionPartitioned) <= 15.0Filter: vendorID IN ('VTS', 'CMT')vendorId が特定の paymentType 内のデータセット内で一意であることを確認します。 Row: COUNT(1) OVER (PARTITION BY vendorID) = 1Filter: paymentType IN ('CRD', 'CSH','1', '2')Null: vendorID IS NULLpuLocationId と doLocationId の組み合わせがデータセット内で一意であることを確認します。 Row: COUNT(1) OVER (PARTITION BY puLocationId, doLocationId) = 1Filter: paymentType IN ('CRD', 'CSH')Null: puLocationId IS NULL OR doLocationId IS NULLvendorId が paymentType ごとに一意であることを確認します。 Row: COUNT(1) OVER (PARTITION BY paymentType, vendorID) = 1 ,Filter: rateCodeId < 25, Null: vendorID IS NULL行の tpepPickupDateTime が特定のカットオフ タイムスタンプより大きくなることを確認します。 Row: tpepPickupDateTime >= TIMESTAMP '2014-01-03 00:00:00'Filter: paymentType IN ('CRD', 'CSG', '1', '2')Null: tpepPickupDateTime IS NULL各旅行は1時間以内に完了する必要があります Row: (unix_timestamp(tpepDropoffDateTime) - unix_timestamp(tpepPickupDateTime)) <= 3600Filter: paymentType IN ('CRD', 'CSH', '1', '2')Null: tpepPickupDateTime IS NULL OR tpepDropoffDateTime IS NULLピックアップ場所ごとに最も高い運賃の旅行のみを保持します。 Row: row_number() OVER (PARTITION BY puLocationId ORDER BY fareAmount DESC) = 1, Filter: paymentType IN ('CRD', 'CSH','1','2') AND tripDistance > 0, Null: fareAmount IS NULL OR puLocationId IS NULLピックアップ場所パスごとに最高運賃がすべて同点になりました (row_number 位だけでなく)。 Row: rank() OVER (PARTITION BY puLocationId ORDER BY fareAmount DESC) = 1Filter: paymentType IN ('CRD', 'CSH','1','2') AND tripDistance > 0Null: fareAmount IS NULL OR puLocationId IS NULL各支払い方法について、運賃が時間の経過とともに減少してはなりません。 Row: fareAmount >= lag(fareAmount) OVER (PARTITION BY paymentType ORDER BY tpepPickupDateTime)Null: tpepPickupDateTime IS NULL OR fareAmount IS NULL支払いの種類によるグループ平均の 10 以内の各行の運賃。 Row: abs(fareAmount - avg(fareAmount) OVER (PARTITION BY paymentType)) <= 10Filter: paymentType IN ('CRD', 'CSH','1','2')Null: fareAmount IS NULL走行距離の合計は 20 マイルを超えてはなりません。 Row: sum(tripDistance) OVER (ORDER BY tpepPickupDateTime ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW) <= 20Filter: paymentType = '1'Null: tripDistance IS NULL各旅行の運賃が対象ベンダーの世界平均を上回っているかどうかを確認します。 Row: fareAmount > (SELECT avg(fareAmount) FROM nycyellowtaxidelta1BillionPartitioned)Filter: vendorID IN ('VTS', 'CMT')Null: fareAmount IS NULL各行の tripDistance がその paymentType (Card/Cash) の最小値よりも大きいかどうかを確認します。 Row: tripDistance > (SELECT min(u.tripDistance) FROM (SELECT tripDistance, paymentType AS pt FROM nycyellowtaxidelta1BillionPartitioned) u WHERE u.pt = paymentType)Filter: paymentType IN ('CRD', 'CSH')Null: tripDistance IS NULL各旅行について、運賃が支払い方法の平均を上回っているかどうかを確認します Row: fareAmount > (SELECT avg(u.fareAmount) FROM (SELECT fareAmount, paymentType AS pt FROM nycyellowtaxidelta1BillionPartitioned) u WHERE u.pt = paymentType)Filter: paymentType IN ('CRD','CSH','1','2') AND vendorID IN ('VTS','CMT')Null: fareAmount IS NULLfareAmount 列 (数値) が、数値パターンに一致する文字列 (正の数にオプションの 10 進数) として正しく表されるかどうかを検証します。 これは、fareAmount が数値列であるため、casting を使用します。 Row: CAST(fareAmount AS STRING) RLIKE '^[0-9]+(\.[0-9]+)?$'Filter: paymentType IN ('CRD', 'CSH')Null: fareAmount IS NULLtpepPickupDateTime が yyyy-MM-dd HH:mm:ss 形式の有効なタイムスタンプであることを確認します。 この列は既に DATETIME 形式になっています Row: to_timestamp(tpepPickupDateTime, 'yyyy-MM-dd HH:mm:ss') IS NOT NULLFilter: paymentType IN ('CRD','CSH')Null: tpepPickupDateTime IS NULLpaymentType の値が小文字に正規化され、先頭や末尾にスペースがないことを確認します。 Row: lower(trim(paymentType)) IN ('card','cash') AND length(trim(paymentType)) > 0Null: paymentType IS NULL OR trim(paymentType) = ''最初に tripDistance が 0 かどうかを確認することによって、0 による除算が発生しないようにしながら、tripDistance に対する fareAmount の比率 > 安全に計算します。 Row: CASE WHEN tripDistance > 0 THEN fareAmount / tripDistance ELSE NULL END >= 10Filter: tripDistance > 0 AND vendorID IN ('VTS', 'CMT')結合によって null 値を既定値 (0.0 など) に置き換え、有効な行のみが返される方法を示します。 Row: coalesce(fareAmount, 0.0) >= 5Filter: paymentType IN ('CRD','CSH')
カスタム SQL ルールを記述するためのベスト プラクティス
- 式をシンプルにする。 明瞭でわかりやすく、維持しやすい表現を書くことを目指しましょう。
- 組み込みの Spark SQL 関数を使用します。 Spark SQL の豊富な関数ライブラリを使用して文字列操作、日付処理、数値演算を行い、エラーを最小限に抑え、パフォーマンスを向上させます。
- 最初に小さなデータセットでテストします。 大規模なデータセットを大規模に適用する前にルールを検証して、潜在的な問題を早期に特定します。
SQL 式ルールの既知の制限事項と考慮事項
あいまいな列参照と列のシャドウ処理
問題: 列が外部クエリとサブクエリの両方 (またはクエリの異なる部分) に同じ名前で表示されている場合、Spark SQL は使用する列を解決できない場合があります。 この問題により、論理エラーまたは不適切なクエリ実行が発生します。 この問題は、ネストされたクエリ、サブクエリ、または結合で発生し、あいまいさやシャドウイングにつながる可能性があります。
あいまいさ: 列名が明確な修飾なしに外部クエリとサブクエリの両方に存在する場合に発生し、Spark SQLがどちらの列を参照するかがわからない場合に発生します。
シャドウ処理: 外部クエリの列がサブクエリの同じ列によって "オーバーライド" または "シャドウ" され、外部参照が無視される場合を指します。
式の例:
distance_km > ( SELECT min(distance_km) FROM Tripdata t WHERE t.payment_type = payment_type -- ambiguous outer reference )問題: 非修飾payment_typeは、その名前の列を持つ最も近いスコープ (つまり、外側の行のpayment_typeではなく、内側のt.payment_type) に解決されます。 これにより、述語は t.payment_type = t.payment_type (常に TRUE) になるため、サブクエリはグループの min ではなくグローバルな min になります。
解決方法: このあいまいさを解決し、列のシャドー処理を回避するには、サブクエリの内側の列の名前を変更し、外側のクエリのpayment_typeが明確に保たれるようにします。
修正された式:
distance_km >
(
SELECT min(u.distance_km)
FROM (
SELECT distance_km, payment_type AS pt
FROM Tripdata
) u
WHERE u.pt = payment_type -- this `payment_type` now binds to OUTER row
)
- サブクエリでは、列 payment_type は pt (つまり payment_type AS pt) としてエイリアス化され、you.pt が条件で使用されます。
- 外部クエリでは、元のpayment_typeを明確に参照できるようになり、Spark SQL はそれを外部payment_typeとして正しく解決します。
ウィンドウ操作 (パフォーマンスに関する考慮事項)
- ROW_NUMBER() や RANK() などのウィンドウ操作は、特に大規模なデータセットの場合、コストがかかる可能性があります。 これらを慎重に使用し、大規模に適用する前に、より小さなデータセットでパフォーマンスをテストしてください。 PARTITION BY を使用してデータ スコープを縮小することを検討してください。
Spark SQL での列名のエスケープ
- 列名に特殊文字 (スペース、ハイフン、英数字以外の文字など) が含まれている場合は、バッククォートを使用してエスケープする必要があります。
- 例: 列名が order-id で、10 より大きくする必要があるルールが必要な場合。
- 正しくない式: order-id > 10
- 正しい式:
`order-id`> 10
式で参照されるデータ アセット名
SQL 式でデータ アセットを参照する場合は、特定のサニタイズ ルールに従う必要があります。 元のデータ アセット名を更新する必要はありませんが、SQL 式で参照されるデータ アセット名は、次の条件を満たすようにサニタイズする必要があります。
| Rule | 説明 | 例 - 元の名前 | 例 - サニタイズされた名前 |
|---|---|---|---|
| 使用可能な文字 | 英字 (A - Z、a - z)、数字 (0 - 9)、アンダースコア (_) のみ使用できます。 特殊文字 (スペース、ハイフン、ピリオドなど) は削除する必要があります。 | my-dataset_v1+2023 | mydataset_v12023 |
| アンダースコアをトリミングする | 名前の先頭または末尾にあるアンダースコアを削除する必要があります。 | my_dataset_ | my_dataset |
| 文字数制限 | 最終的なサニタイズされた名前は 64 文字を超えてはなりません。 | [64文字を超える長い名前] | 【サニタイズされた名前の最初の64文字】 |
データ アセット名が既にこれらのガイドラインに従っている場合 (つまり、特殊文字や先頭/末尾のアンダースコアを含まず、64 文字以内である場合)、SQL 式で変更なしでそのまま使用できます。
データセット名をサニタイズする方法
次の手順に従って、データセット名が SQL 式に対して有効であることを確認します。
- 特殊文字を削除する: 文字、数字、アンダースコアを除くすべての文字を削除します。
- アンダースコアをトリミングする: 先頭または末尾のアンダースコアを削除します。
- 切り捨てる: 結果の名前が 64 文字を超える場合は、64 文字の制限内に収まるように切り捨てます。
例: データ アセット名 f07d724d-82c9-4c75-97c4-c5baf2cd12a4.parquet
- 特殊文字の削除: f07d724d82c94c7597c4c5baf2cd12a4parquet
- アンダースコアをトリミングする: (この場合、先頭または末尾のアンダースコアがないため、該当なし。)
- 切り捨てる: 結果として得られる名前の長さは 54 文字で、64 文字の制限に満たないものです。
最終的な SQL 参照名: f07d724d82c94c7597c4c5baf2cd12a4parquet
注:
元のデータ アセット名は変更されません。 SQL 式で使用されるデータ アセット名のみがこれらの規則に従う必要があります。 スペースやハイフンなどの特殊文字を含む列名の場合は、SQL 式でバック クォーテーション マークを使用してエスケープできます。
参加はサポートされていません
Microsoft Purview データ品質のカスタム SQL ルールは、結合をサポートしていません。 ルールは 1 つのデータセットに対して動作する必要があります。 これらのカスタム ルールを記述する際に、複数のテーブルやデータセットを結合することはできません。
サポートされていない SQL 操作 (DML、DCL、有害な SQL)
カスタム SQL ルールでは、INSERT、UPDATE、DELETE、GRANT などのデータ操作言語 (DML) またはデータ制御言語 (DCL) 操作や、TRUNCATE、DROP、ALTER などのその他の有害な SQL 操作はサポートされていません。 これらの操作は、データまたはデータベースの状態を変更するため、サポートされていません。
AI 支援自動生成ルール
データ品質測定のためのAI支援自動ルール生成は、人工知能(AI)技術を使用して、データの品質を評価および改善するためのルールを自動的に作成します。 自動生成ルールはコンテンツ固有です。 ほとんどの共通ルールは自動的に生成されるため、カスタム ルールの作成に多くの労力を費やす必要はありません。
自動生成されたルールを参照して適用するには:
制限
データ品質スキャンには、データ資産ごとに最大 200 個のデータ品質ルールを適用できます。 1 つの資産に対して 200 を超えるルールがアクティブな場合、スキャンは失敗します。 データ資産に 200 を超えるルールを定義する必要がある場合は定義できますが、同時にアクティブ (オン) 状態にできるルールは最大 200 個までです。
この制限を回避するには:
- 同じデータ資産を複数のデータ製品に追加して、それらにルールを分散します。
- 必要に応じてルールをアクティブまたは非アクティブにして、一度に 200 個を超えるルールをアクティブにしないようにします。
次の手順
- データ製品でデータ品質スキャンを構成して実行し、データ製品でサポートされているすべての資産の品質を評価します。
- スキャン結果を確認し て、データ製品の現在のデータ品質を評価します。