建立資源集模式規則

重要事項

僅淘汰 Microsoft Purview 資料控管功能

Microsoft Purview 統一目錄和傳統 Microsoft Purview 資料控管功能 (先前的 Azure Purview) 即將淘汰。 整個 Microsoft Purview 並未淘汰。 Microsoft Purview 資料安全性與合規性功能不受此公告影響,且 Microsoft 會繼續投資於此功能。

Microsoft 正在 Microsoft Fabric 中合併 其資料控管 功能。 無法再建立新的 Microsoft Purview 資料控管帳戶,而且現有的資料控管功能將維持在維護模式,直到 2027 年 11 月 12 日為止。

如需淘汰時間表、轉換指引,以及建議的後續步驟,請參閱 Microsoft Purview 資料控管淘汰公告。

大規模資料處理系統通常會將單一資料表作為多個檔案儲存在儲存體中。 此概念在 Microsoft Purview 中使用資源集來表示。 資源集是 Microsoft Purview 統一目錄中的單一物件,代表儲存體中的大量資產。 若要深入瞭解,請參閱 瞭解資源集。

掃描儲存體帳戶時,Microsoft Purview 會使用一組已定義的模式來判斷資產群組是否為資源集。 在某些情況下,資源集分組可能無法準確反映您的資料資產。 資源集模式規則可讓您自訂或覆寫 Microsoft Purview 偵測哪些資產分組為資源集的方式,以及它們在目錄中的顯示方式。

下列來源類型目前支援模式規則:

  • Azure Data Lake Storage Gen2
  • Azure Blob 儲存體
  • Azure 檔案
  • Amazon S3

必須啟用進階資源集功能集,才能建立資源集模式規則。 若要深入瞭解,請參閱 瞭解進階資源集。

如何建立資源集模式規則

請遵循下列步驟,建立新的資源集模式規則:

  1. 移至 [資料對應] 並選取 [ 來源管理],選取 [ 模式規則],然後選取 [新增 ] 以建立新的規則集。

  2. 輸入資源集模式規則的範圍。 選取您的儲存體帳戶類型,以及要建立規則集的儲存體帳戶名稱。 每組規則都是相對於 [資料夾路徑 ] 欄位中指定的資料夾路徑範圍來套用。

    建立資源集模式規則設定

  3. 若要輸入設定範圍的規則,請選取 [+ 新增規則]。

  4. 輸入下列欄位以建立規則:

    1. 規則名稱: 設定規則的名稱。 此欄位對規則適用的資產沒有影響。

    2. 合格名稱: 使用文字、動態取代程式及靜態取代程式的組合來比對資產與配置規則的合格路徑。 此路徑是相對於設定規則的範圍。 如需有關如何指定完整名稱的詳細指示,請參閱下列 語法 一節。

    3. 顯示名稱: 資產的顯示名稱。 這是選擇性欄位。 使用純文字和靜態取代物來自訂資產在型錄中的顯示方式。 如需更詳細的指示,請參閱下列 語法 一節。

    4. 不分組為資源集: 如果啟用,相符的資源將不會分組到資源集中。

      建立新設定規則。

  5. 選取 [ 新增] 以儲存規則。

注意事項

建立模式規則之後,所有新的掃描都會在擷取期間套用該規則。 Unified Catalog 中的現有資產將透過背景程序更新,最多可能需要幾個小時。

模式規則語法

建立資源集模式規則時,請使用下列語法來指定適用的資產規則。

單括弧 (動態取代者)

單括弧是作為型樣規則中的 動態取代者 。 使用 format {<replacerName>:<replacerType>}在完整名稱中指定動態取代者 。 如果相符,則動態取代者會用作分組條件,指出資產應表示為資源集。 如果資產分組成資源集,則資源集合格路徑會包含 {replacerName} 指定取代者的位置。

例如,如果兩個資產folder1/file-1.csvfolder2/file-2.csv且符合規則{folder:string}/file-{NUM:int}.csv,則資源集會是單一實體{folder}/file-{NUM}.csv。

特殊情況:未分組至資源集時的動態取代程式

如果已為模式規則啟用 [不分組為資源集 ],則取代者名稱是選用欄位。 {:<replacerType>} 是有效的語法。 例如, file-{:int}.csv 將成功比對 file-1.csv 和 file-2.csv 並建立兩個不同的資產,而不是資源集。

雙括弧 (靜態替換品)

雙括弧是做為型樣規則完整名稱中的 靜態取代者 。 使用 format {{<replacerName>:<replacerType>}}在完整名稱中指定靜態取代程式。 如果相符,則每組唯一靜態取代值都會建立不同的資源集群組。

例如,如果兩個資產 folder1/file-1.csv 且符合規則 {{folder:string}}/file-{NUM:int}.csv,則會建立folder1/file-{NUM}.csv兩個資源集 和 folder2/file-{NUM}.csvfolder2/file-2.csv 。

靜態取代程式可用來指定符合型樣規則之資產的顯示名稱。 {{<replacerName>}}在規則的顯示名稱中使用會使用資產名稱中的相符值。

可用的取代類型

以下是可用於靜態和動態替換器的可用類型:

類型 結構
字串 一系列一或多個 Unicode 字元,包括空格等分隔符號。
int 一系列 1 個或多個 0-9 個 ASCII 字元,可以是 0 前綴 (例如 0001) 。
GUID 如 RFC 4122 中所定義的 UUID 的一系列 32 或 8-4-4-4-12 字串表示法。
date 一系列 6 或 8 個 0-9 ASCII 字元,可選擇使用分隔符號:yyyymmdd、yyyy-mm-dd、yymmdd、yy-mm-dd,在 RFC 3339 中指定。
時間 一系列 4 或 6 個 0-9 ASCII 字元,可選擇使用分隔符號: RFC 3339 中指定的 HHmm、HH:mm、HHmmss、HH:mm:ss。
時間戳記 一系列 12 或 14 個 0-9 ASCII 字元,可選擇使用分隔符號: RFC 3339 中指定的 yyyy-mm-ddTHH:mm、yyyymmddhhmm、yyyy-mm-ddTHH:mm:ss、yyyymmddHHmmss。
布林值 可以包含 'true' 或 'false',不區分大小寫。
number 一連串 0 個或多個 0-9 個 ASCII 字元,可以是 0 個前置詞 (例如 0001) 後面接著一個點 '.',以及一系列 1 或多個 0-9 個 ASCII 字元,可以是前置詞 0 (例如 .100)
十六進位 集合 0-1 和 A-F 中的一系列一或多個 ASCII 字元,值可以是 0 前綴
地區設定 符合 RFC 5646 中指定語法的字串。

套用資源集模式規則的順序

以下是套用模式規則的作業順序:

  1. 如果資產符合兩個規則,則更具體的範圍優先。 例如,範圍 container/folder 中的規則將套用在範圍內 container的規則之前。

  2. 特定範圍內的規則順序。 這可以在 UX 中編輯。

  3. 如果資產與任何指定的規則不相符,則會套用預設資源集啟發學習法。

範例

範例 1

SAP 資料擷取成完整和差異載入

輸入

檔案:

  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_02.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/delta/2020/01/15/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_01.txt
  • https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_02.txt

圖樣規則

範圍:https://myazureblob.blob.core.windows.net/bar/

顯示名稱: 「外部客戶」

合格名稱:customer/{extract:string}/{year:int}/{month:int}/{day:int}/saptable_customer_{date_from:date}_{date_to:time}_{sequence:int}.txt

資源集: true

輸出

一個資源集資產

顯示名稱: 外部客戶

合格名稱:https://myazureblob.blob.core.windows.net/bar/customer/{extract}/{year}/{month}/{day}/saptable_customer_{date_from}_{date_to}_{sequence}.txt

範例 2

AVRO 格式的 IoT 資料

輸入

檔案:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

模式規則

範圍:https://myazureblob.blob.core.windows.net/bar/

規則 1

顯示名稱: 'machine-89'

合格名稱:raw/machinename-89/{date:date}/{time:time}-{id:int}.avro

資源集: true

規則 2

顯示名稱: 'machine-90'

合格名稱:raw/machinename-90/{date:date}/{time:time}-{id:int}.avro

資源集: true

輸出

兩個資源集

資源集 1

顯示名稱: machine-89

合格名稱:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

資源集 2

顯示名稱: machine-90

合格名稱:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

範例 3

AVRO 格式的 IoT 資料

輸入

檔案:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.netbar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

圖樣規則

範圍:https://myazureblob.blob.core.windows.net/bar/

顯示名稱: 'machine-{{machineid}}'

合格名稱:raw/machinename-{{machineid:int}}/{date:date}/{time:time}-{id:int}.avro

資源集: true

輸出

資源集 1

顯示名稱: machine-89

合格名稱:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

資源集 2

顯示名稱: machine-90

合格名稱:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

範例 4

不分組到資源集中

輸入

檔案:

  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
  • https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

圖樣規則

範圍:https://myazureblob.blob.core.windows.net/bar/

顯示名稱:Machine-{{machineid}}

合格名稱:raw/machinename-{{machineid:int}}/{{:date}}/{{:time}}-{{:int}}.avro

資源集: false

輸出

四個個別資產

資產 1

顯示名稱: machine-89

合格名稱:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro

資產 2

顯示名稱: machine-89

合格名稱:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro

資產 3

顯示名稱: machine-89

合格名稱:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro

資產 4

顯示名稱: machine-90

合格名稱:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

後續步驟

從 註冊並掃描 Azure Data Lake Gen2 儲存體帳戶開始使用。