Normalização de ativos

Ao ingerir ativos no Mapa de Dados do Microsoft Purview, diferentes fontes que atualizam o mesmo ativo de dados podem enviar nomes qualificados semelhantes, mas ligeiramente diferentes. Embora esses nomes qualificados representem o mesmo ativo, pequenas diferenças, como um caractere extra, podem fazer com que esses ativos na superfície pareçam diferentes e causem entradas duplicadas no Microsoft Purview. Para evitar o armazenamento de entradas duplicadas e causar confusão ao consumir o Catálogo unificado, o Microsoft Purview aplica automaticamente a normalização durante a ingestão para garantir que todos os nomes totalmente qualificados do mesmo tipo de entidade estejam no mesmo formato.

Por exemplo, você verifica em um blob do Azure com o nome https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquetqualificado . Esse blob também é consumido por um pipeline do Azure Data Factory que, em seguida, adicionará informações de linhagem ao ativo. O pipeline do ADF (Azure Data Factory) pode ser configurado para ler o arquivo como https://myAccount.file.core.windows.net//myshare/folderA/folderB/my-file.parquet. Embora o nome qualificado seja diferente, esse pipeline do ADF está consumindo a mesma parte dos dados. A normalização garante que todos os metadados do Armazenamento de Blobs do Azure e do Azure Data Factory fiquem visíveis em um único ativo, https://myaccount.file.core.windows.net/myshare/folderA/folderB/my-file.parquet.

Regras de normalização

Essas são as regras de normalização que o Microsoft Purview aplica automaticamente.

Codificar chaves

Aplica-se a: todos os ativos

Antes: https://myaccount.file.core.windows.net/myshare/{folderA}/folder{B/

Depois: https://myaccount.file.core.windows.net/myshare/%7BfolderA%7D/folder%7BB/

Cortar espaços de seção

Aplica-se a: Blob do Azure, Arquivos do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Data Factory, Banco de Dados SQL do Azure, Instância Gerenciada de SQL do Azure, pool de SQL do Azure, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer Azure Data Share, Amazon S3

Antes: https://myaccount.file.core.windows.net/myshare/ folder A/folderB /

Depois: https://myaccount.file.core.windows.net/myshare/folder A/folderB/

Remover espaços de nome de host

Aplica-se a: Blob do Azure, Arquivos do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Banco de Dados SQL do Azure, Instância Gerenciada de SQL do Azure, pool de SQL do Azure, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer Azure Data Share, Amazon S3

Antes: https://myaccount .file. core.win dows. net/myshare/folderA/folderB/

Depois: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Remover colchetes

Aplica-se a: Banco de Dados SQL do Azure, Instância Gerenciada do SQL do Azure, pool de SQL do Azure

Antes: mssql://foo.database.windows.net/[bar]/dbo/[foo bar]

Depois: mssql://foo.database.windows.net/bar/dbo/foo%20bar

Esquema em minúsculas

Aplica-se a: Blob do Azure, Arquivos do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Banco de Dados SQL do Azure, Instância Gerenciada de SQL do Azure, SQL do Azure pool, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Amazon S3

Antes: HTTPS://myaccount.file.core.windows.net/myshare/folderA/folderB/

Depois: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Nome do host em minúsculas

Aplica-se a: Blob do Azure, Arquivos do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Banco de Dados SQL do Azure, Instância Gerenciada de SQL do Azure, SQL do Azure pool, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer, Amazon S3

Antes: https://myAccount.file.Core.Windows.net/myshare/folderA/folderB/

Depois: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Extensão de arquivo em minúsculas

Aplica-se a: Blob do Azure, Arquivos do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Amazon S3

Antes: https://myAccount.file.core.windows.net/myshare/folderA/data.TXT

Depois: https://myaccount.file.core.windows.net/myshare/folderA/data.txt

Remover barra duplicada

Aplica-se a: Blob do Azure, Arquivos do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Data Factory, Banco de Dados SQL do Azure, Instância Gerenciada de SQL do Azure, pool de SQL do Azure, Azure Cosmos DB, Azure Cognitive Search, Azure Data Explorer Azure Data Share, Amazon S3

Antes: https://myAccount.file.core.windows.net//myshare/folderA////folderB/

Depois: https://myaccount.file.core.windows.net/myshare/folderA/folderB/

Converter para esquema ADL

Aplica-se a: Azure Data Lake Storage Gen1

Antes: https://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

Depois: adl://mystore.azuredatalakestore.net/folderA/folderB/abc.csv

Remover barra à direita

Remova a barra à direita dos ativos de nível superior para Blob do Azure, ADLS Gen1 e ADLS Gen2.

Aplica-se a: Blob do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2

Tipos de ativos: "azure_blob_container", "azure_blob_service", "azure_storage_account", "azure_datalake_gen2_service", "azure_datalake_gen2_filesystem", "azure_datalake_gen1_account".

Antes: https://myaccount.core.windows.net/

Depois: https://myaccount.core.windows.net

Solução de problemas

Se seus dados não estiverem sendo normalizados e você estiver enfrentando uma duplicação acidental de ativos, compare os nomes totalmente qualificados dos ativos para marcar se há diferenças de maiúsculas ou caracteres adicionais.

As regras listadas acima são os únicos tipos de duplicação que a Microsoft Purview reconhece atualmente. Se os dados estiverem fora dessas regras, atualize todos os pontos de ingestão, por exemplo, seus pipelines do ADF, para que os nomes qualificados correspondam.

Se seus ativos atenderem às regras, mas não estiverem sendo normalizados, entre em contato com o suporte.

Próximas etapas

Digitalize uma conta do Armazenamento de Blobs do Azure no mapa de dados do Microsoft Purview.