Criar regras de padrão de conjunto de recursos

Os sistemas de processamento de dados em escala normalmente armazenam uma única tabela no armazenamento como vários arquivos. Esse conceito é representado no Microsoft Purview usando conjuntos de recursos. Um conjunto de recursos é um objeto único no Catálogo unificado do Microsoft Purview que representa um grande número de ativos no armazenamento. Para saber mais, consulte Noções básicas sobre conjuntos de recursos.

Ao verificar uma conta de armazenamento, o Microsoft Purview usa um conjunto de padrões definidos para determinar se um grupo de ativos é um conjunto de recursos. Em alguns casos, o agrupamento do conjunto de recursos pode não refletir com precisão seu acervo de dados. As regras de padrão de conjunto de recursos permitem que você personalize ou substitua como o Microsoft Purview detecta quais ativos são agrupados como conjuntos de recursos e como eles são exibidos no catálogo.

Atualmente, há suporte para as regras de padrão nos seguintes tipos de origem:

• Azure Data Lake Storage Gen2
• Azure Storage Blob
• Arquivos do Azure
• Amazon S3

O conjunto de recursos Conjunto de recursos avançado deve ser habilitado para criar regras de padrão de conjunto de recursos. Para saber mais, consulte Noções básicas sobre conjuntos de recursos avançados.

Como criar uma regra de padrão de conjunto de recursos

Siga as etapas abaixo para criar uma nova regra de padrão de conjunto de recursos:

1. Acesse Mapa de Dados e selecione Gerenciamento de origem, selecione Regras de padrão e, em seguida, selecione Novo para criar um novo conjunto de regras.

2. Insira o escopo da regra de padrão do conjunto de recursos. Selecione o tipo de conta de armazenamento e o nome da conta de armazenamento na qual você deseja criar um conjunto de regras. Cada conjunto de regras é aplicado em relação a um escopo de caminho de pasta especificado no campo Caminho da pasta .

   

3. Para inserir uma regra para um escopo de configuração, selecione + Nova regra.

4. Insira os seguintes campos para criar uma regra:

   1. Nome da regra: O nome da regra de configuração. Este campo não tem efeito sobre os ativos aos quais a regra se aplica.

   2. Nome qualificado: Um caminho qualificado que usa uma combinação de texto, substitutos dinâmicos e substitutos estáticos para corresponder os ativos à regra de configuração. Esse caminho é relativo ao escopo da regra de configuração. Consulte a seção de sintaxe abaixo para obter instruções detalhadas sobre como especificar nomes qualificados.

   3. Nome de exibição: O nome de exibição do ativo. Esse campo é opcional. Use texto sem formatação e substituições estáticas para personalizar a forma como um ativo é exibido no catálogo. Para obter instruções mais detalhadas, consulte a seção de sintaxe abaixo.

   4. Não agrupar como conjunto de recursos: Se habilitado, o recurso correspondente não será agrupado em um conjunto de recursos.

      

5. Salve a regra selecionando Adicionar.

Sintaxe da regra padrão

Ao criar regras de padrão de conjunto de recursos, use a sintaxe a seguir para especificar a quais regras de ativos se aplicam.

Substitutos dinâmicos (colchetes únicos)

Colchetes simples são usados como substitutos dinâmicos em regras de padrão. Especifique um substituto dinâmico no nome qualificado usando formato {<replacerName>:<replacerType>}. Se corresponderem, os substitutos dinâmicos serão usados como uma condição de agrupamento que indica que os ativos devem ser representados como um conjunto de recursos. Se os ativos forem agrupados em um conjunto de recursos, o caminho qualificado do conjunto de recursos conterá {replacerName} onde o substituto foi especificado.

Por exemplo, se dois ativos folder1/file-1.csv corresponderem folder2/file-2.csv à regra {folder:string}/file-{NUM:int}.csv, o conjunto de recursos será uma única entidade {folder}/file-{NUM}.csv.

Caso especial: substitutos dinâmicos quando não agrupados no conjunto de recursos

Se Não agrupar como conjunto de recursos estiver habilitado para uma regra padrão, o nome do substituidor será um campo opcional. {:<replacerType>} é uma sintaxe válida. Por exemplo, file-{:int}.csv corresponderia com êxito para file-1.csv e file-2.csv e criaria dois ativos diferentes em vez de um conjunto de recursos.

Substitutos estáticos (colchetes duplos)

Colchetes duplos são usados como substitutos estáticos no nome qualificado de uma regra padrão. Especifique um substituto estático no nome qualificado usando format {{<replacerName>:<replacerType>}}. Se correspondido, cada conjunto de valores de substituto estático exclusivo criará diferentes agrupamentos de conjuntos de recursos.

Por exemplo, se dois ativos folder1/file-1.csv corresponderem folder2/file-2.csv à regra {{folder:string}}/file-{NUM:int}.csv, dois conjuntos de recursos serão criados folder1/file-{NUM}.csv e folder2/file-{NUM}.csv.

Os substitutos estáticos podem ser usados para especificar o nome de exibição de um ativo correspondente a uma regra padrão. Usar {{<replacerName>}} no nome de exibição de uma regra usa o valor correspondente no nome do ativo.

Tipos de substituição disponíveis

Abaixo estão os tipos disponíveis que podem ser usados em substitutos estáticos e dinâmicos:

Ordem das regras de padrão do conjunto de recursos sendo aplicadas

Abaixo está a ordem das operações para aplicar regras de padrão:

1. Escopos mais específicos têm prioridade se um ativo corresponder a duas regras. Por exemplo, as regras em um escopo container/folder serão aplicadas antes das regras no escopo container.

2. Ordem das regras dentro de um escopo específico. Isso pode ser editado na experiência do usuário.

3. Se um ativo não corresponder a nenhuma regra especificada, a heurística do conjunto de recursos padrão será aplicada.

Exemplos

Exemplo 1

Extração de dados SAP em cargas completas e delta

Entradas

Arquivos:

• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_01.txt
• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/13/saptable_customer_20200101_20200102_02.txt
• https://myazureblob.blob.core.windows.net/bar/customer/delta/2020/01/15/saptable_customer_20200101_20200102_01.txt
• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_01.txt
• https://myazureblob.blob.core.windows.net/bar/customer/full/2020/01/17/saptable_customer_20200101_20200102_02.txt

Regra padrão

Escopo:https://myazureblob.blob.core.windows.net/bar/

Nome de exibição: 'External Customer'

Nome Qualificado:customer/{extract:string}/{year:int}/{month:int}/{day:int}/saptable_customer_{date_from:date}_{date_to:time}_{sequence:int}.txt

Conjunto de Recursos: true

Saída

Um ativo de conjunto de recursos

Nome de exibição: Cliente Externo

Nome Qualificado:https://myazureblob.blob.core.windows.net/bar/customer/{extract}/{year}/{month}/{day}/saptable_customer_{date_from}_{date_to}_{sequence}.txt

Exemplo 2

Dados IoT no formato avro

Entradas

Arquivos:

• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Regras de padrão

Escopo:https://myazureblob.blob.core.windows.net/bar/

Regra 1

Nome de exibição: 'machine-89'

Nome Qualificado:raw/machinename-89/{date:date}/{time:time}-{id:int}.avro

Conjunto de Recursos: true

Regra 2

Nome de exibição: 'machine-90'

Nome Qualificado:raw/machinename-90/{date:date}/{time:time}-{id:int}.avro

Conjunto de Recursos: true

Saídas

Dois conjuntos de recursos

Conjunto de Recursos 1

Nome de exibição: machine-89

Nome Qualificado:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

Conjunto de Recursos 2

Nome de exibição: machine-90

Nome Qualificado:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

Exemplo 3

Dados IoT no formato avro

Entradas

Arquivos:

• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
• https://myazureblob.blob.core.windows.netbar/raw/machinename-89/02-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Regra padrão

Escopo:https://myazureblob.blob.core.windows.net/bar/

Nome de exibição: 'Machine-{{machineid}}'

Nome Qualificado:raw/machinename-{{machineid:int}}/{date:date}/{time:time}-{id:int}.avro

Conjunto de Recursos: true

Saídas

Conjunto de Recursos 1

Nome de exibição: machine-89

Nome Qualificado:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/{date}/{time}-{id}.avro

Conjunto de Recursos 2

Nome de exibição: machine-90

Nome Qualificado:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/{date}/{time}-{id}.avro

Exemplo 4

Não agrupar em conjuntos de recursos

Entradas

Arquivos:

• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro
• https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Regra padrão

Escopo:https://myazureblob.blob.core.windows.net/bar/

Nome de exibição:Machine-{{machineid}}

Nome Qualificado:raw/machinename-{{machineid:int}}/{{:date}}/{{:time}}-{{:int}}.avro

Conjunto de recursos: falso

Saídas

Quatro ativos individuais

Ativo 1

Nome de exibição: machine-89

Nome Qualificado:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-001.avro

Ativo 2

Nome de exibição: machine-89

Nome Qualificado:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/01-01-2020/22:33:22-002.avro

Ativo 3

Nome de exibição: machine-89

Nome Qualificado:https://myazureblob.blob.core.windows.net/bar/raw/machinename-89/02-01-2020/22:33:22-001.avro

Ativo 4

Nome de exibição: machine-90

Nome Qualificado:https://myazureblob.blob.core.windows.net/bar/raw/machinename-90/01-01-2020/22:33:22-001.avro

Próximas etapas

Comece registrando e verificando uma conta de armazenamento do Azure Data Lake Gen2.