Conectar-se ao Azure Data Lake Storage no Microsoft Purview

Este artigo descreve o processo para registrar e controlar uma fonte de dados do Azure Data Lake Storage (ADLS Gen2) no Microsoft Purview, incluindo instruções para autenticar e interagir com a fonte ADLS Gen2.

Recursos compatíveis

Recursos de digitalização

Ao verificar a origem do Azure Data Lake Storage Gen2, o Microsoft Purview dá suporte à extração de metadados técnicos, incluindo:

• Conta de armazenamento
• Serviço do Data Lake Storage Gen2
• Sistema de arquivos (contêiner)
• Folders
• Arquivos
• Conjuntos de recursos

Ao configurar a verificação, você pode optar por verificar todo o ADLS Gen2 ou pastas seletivas. Saiba mais sobre o formato de arquivo com suporte aqui.

Outros recursos

Para classificações, rótulos de confidencialidade, políticas, linhagem de dados e exibição ao vivo, consulte a lista de recursos com suporte.

Pré-requisitos

• Uma conta do Azure com uma assinatura ativa. Crie uma conta gratuitamente.

• Uma conta ativa do Microsoft Purview.

• Você precisará ser um Administrador de Fonte de Dados e um Leitor de Dados para registrar uma fonte e gerenciá-la no portal de governança do Microsoft Purview. Consulte nossa página de permissões do Microsoft Purview para obter detalhes.

• Você precisa ter pelo menos permissão de Leitor na conta ADLS Gen 2 para poder registrá-la.

Registrar

Esta seção permitirá que você registre a fonte de dados ADLS Gen2 para verificação e compartilhamento de dados no Purview.

Pré-requisitos para o registro

• Você precisará ser um Administração de Fonte de Dados e uma das outras funções do Purview (por exemplo, Leitor de Dados ou Colaborador do Data Share) para registrar uma fonte e gerenciá-la no portal de governança do Microsoft Purview. Consulte nossa página de permissões do Microsoft Purview para obter detalhes.

Passos para se registrar

É importante registrar a fonte de dados no Microsoft Purview antes de configurar uma verificação para a fonte de dados.

1. Acesse o portal de governança do Microsoft Purview:

   • Navegar diretamente e https://web.purview.azure.com selecionar sua conta do Microsoft Purview.
   • Abra o portal do Azure, pesquise e selecione a conta do Microsoft Purview. Selecione o botão do portal de governança do Microsoft Purview .

2. Navegue até o Mapa de Dados --> Fontes

   

   

3. Crie a hierarquia da coleção usando o menu Coleções e atribua permissões a subcoleções individuais, conforme necessário

   

4. Navegue até a coleção apropriada no menu Fontes e selecione o ícone Registrar para registrar uma nova fonte de dados ADLS Gen2

   

5. Selecione a fonte de dados do Azure Data Lake Storage Gen2 e selecione Continuar

   

6. Forneça um Nome adequado para a fonte de dados, selecione a assinatura do Azure relevante, o nome da conta do Data Lake Store existente e a coleção e selecione Aplicar. Deixe a opção Imposição da Política de Dados ativada na posição desabilitada até que você tenha a chance de examinar cuidadosamente este documento.

   

7. A conta de armazenamento ADLS Gen2 será mostrada na Coleção selecionada

   

Examinar

Autenticação para uma verificação

Sua rede do Azure pode permitir comunicações entre seus recursos do Azure, mas se você configurou firewalls, pontos de extremidade privados ou redes virtuais no Azure, precisará seguir uma destas configurações abaixo.

Criar a verificação

1. Abra sua conta do Microsoft Purview e selecione o botão Abrir o portal de governança do Microsoft Purview

2. Navegue até o Mapa de dados -->Sources para exibir a hierarquia de coleções

3. Selecione o ícone Nova Verificação na fonte de dados ADLS Gen2 registrada anteriormente

   

4. Escolha o runtime de integração do Azure se sua origem for acessível publicamente, um runtime de integração de rede virtual gerenciada se estiver usando uma rede virtual gerenciada ou um runtime de integração auto-hospedada se sua origem estiver em uma rede virtual privada. Para obter mais informações sobre qual runtime de integração usar, consulte o artigo Escolha a configuração de runtime de integração correta.

Definir o escopo e executar a verificação

1. Você pode definir o escopo de sua digitalização para pastas e subpastas específicas escolhendo os itens apropriados na lista.

   

2. Em seguida, selecione um conjunto de regras de verificação. Você pode escolher entre o padrão do sistema, conjuntos de regras personalizados existentes ou criar um novo conjunto de regras embutido.

   

3. Se estiver criando um novo conjunto de regras de verificação, selecione os tipos de arquivo a serem incluídos na regra de verificação.

   

4. Você pode selecionar as regras de classificação a serem incluídas na regra de verificação

   

   

5. Escolha o gatilho de verificação. Você pode configurar uma agenda ou executar a verificação uma vez.

   

6. Analise a verificação e selecione Salvar e executar.

   

Exibir suas verificações e execuções de verificação

Para exibir as verificações existentes:

1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .
3. Selecione a verificação que tem os resultados que você deseja visualizar. O painel mostra todas as execuções de verificação anteriores, juntamente com o status e as métricas de cada execução de verificação.
4. Selecione a ID de execução para marcar os detalhes da execução de verificação.

Gerenciar suas varreduras

Para editar, cancelar ou excluir uma verificação:

1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .

3. Selecione a verificação que você quer gerenciar. Você poderá:

   • Edite a verificação selecionando Editar verificação.
   • Cancele uma verificação em andamento selecionando Cancelar execução de verificação.
   • Exclua a verificação selecionando Excluir verificação.

Compartilhamento de dados

O Compartilhamento de Dados do Microsoft Purview (versão prévia) permite o compartilhamento in-loco de dados do ADLS Gen2 para o ADLS Gen2. Esta seção fornece detalhes sobre os requisitos específicos do ADLS Gen2 para compartilhamento e recebimento de dados in-loco. Consulte Como compartilhar dados e Como receber compartilhamento para obter o guia passo a passo sobre como usar o compartilhamento de dados.

Contas de armazenamento com suporte para compartilhamento de dados in-loco

As seguintes contas de armazenamento têm suporte para compartilhamento de dados in-loco:

• Regiões: Canadá Central, Leste do Canadá, Sul do Reino Unido, Oeste do Reino Unido, Leste da Austrália, Leste do Japão, Sul da Coreia e Norte da África do Sul
• Opções de redundância: LRS, GRS, RA-GRS
• Camadas: Quente, Fria

Use apenas contas de armazenamento sem carga de trabalho de produção para a visualização.

Permissões da conta de armazenamento necessárias para compartilhar dados

Para adicionar ou atualizar um ativo de conta de armazenamento para um compartilhamento, você precisa de UMA das seguintes permissões:

• Microsoft.Authorization/roleAssignments/write - Essa permissão está disponível na função Proprietário .
• Microsoft.Storage/storageAccounts/blobServices/containers/blobs/modifyPermissions/ - Essa permissão está disponível na função Proprietário de Dados do Armazenamento de Blobs .

Permissões da conta de armazenamento necessárias para receber dados compartilhados

Para mapear um ativo de conta de armazenamento em um compartilhamento recebido, você precisa de UMA das seguintes permissões:

• Microsoft.Storage/storageAccounts/write – essa permissão está disponível nas funções Colaborador e Proprietário .
• Microsoft.Storage/storageAccounts/blobServices/containers/write - Essa permissão está disponível nas funções Colaborador, Proprietário, Colaborador de Dados do Blob de Armazenamento e Proprietário de Dados do Blob de Armazenamento .

Atualizar dados compartilhados na conta de armazenamento de origem

Atualizações feitas em arquivos ou dados compartilhados na pasta compartilhada da conta de armazenamento de origem serão disponibilizados para o destinatário na conta de armazenamento de destino quase em tempo real. Quando você exclui a subpasta ou os arquivos da pasta compartilhada, eles desaparecem para o destinatário. Para excluir a pasta compartilhada, o arquivo ou as pastas pai ou contêineres, primeiro você precisa revogar o acesso a todos os compartilhamentos da conta de armazenamento de origem.

Acessar dados compartilhados na conta de armazenamento de destino

A conta de armazenamento de destino permite que o destinatário acesse os dados compartilhados somente leitura quase em tempo real. Você pode conectar ferramentas de análise, como o Workspace do Synapse e o Databricks, aos dados compartilhados para executar análises. O custo de acesso aos dados compartilhados é cobrado da conta de armazenamento de destino.

Limite do serviço

A conta de armazenamento de origem pode dar suporte a até 20 destinos, e a conta de armazenamento de destino pode dar suporte a até 100 fontes. Caso precise de um aumento no limite, entre em contato com o Suporte.

Políticas

Os seguintes tipos de políticas têm suporte neste recurso de dados do Microsoft Purview:

• Políticas de proprietário de dados - um conjunto de instruções de política que permitem conceder aos usuários e grupos acesso às fontes de dados.
• Políticas de acesso de autoatendimento - política que permite aos usuários solicitar acesso a fontes de dados registradas no Microsoft Purview.
• Políticas de proteção – nega o acesso aos dados marcados com rótulos de confidencialidade para todos os usuários, exceto aqueles especificados pela política.

Pré-requisitos da política de acesso em contas de Armazenamento do Azure

Suporte regional

• Todas as regiões do Microsoft Purview têm suporte.
• Contas de armazenamento nas regiões a seguir têm suporte sem a necessidade de configuração adicional. No entanto, não há suporte para contas ZRS (armazenamento com redundância de zona).
  • Austrália Central
  • Leste da Austrália
  • Sudeste da Austrália
  • Sul do Brasil
  • Canadá Central
  • Leste do Canadá
  • Índia Central
  • EUA Central
  • Leste da Ásia
  • Leste 2 dos EUA
  • Leste dos EUA
  • França Central
  • Centro-Oeste da Alemanha
  • Leste do Japão
  • Oeste do Japão
  • Coréia Central
  • Centro-Norte dos EUA
  • Norte da Europa
  • Noruega Leste
  • Polônia Central
  • Catar Central
  • Centro-Sul dos EUA
  • Norte da África do Sul
  • Sudeste da Ásia
  • Sul da Índia
  • Suécia Central
  • Suíça (Norte)
  • Centro-Oeste dos EUA
  • Europa Ocidental
  • Oeste dos EUA
  • Oeste 2 dos EUA
  • West US 3
  • Emirados Árabes Unidos Norte
  • Sul do Reino Unido
  • Oeste do Reino Unido do Reino Unido
• Contas de armazenamento em outras regiões na Nuvem Pública têm suporte após a configuração do sinalizador de recurso AllowPurviewPolicyEnforcement, conforme descrito na próxima seção. Contas de armazenamento ZRS recém-criadas são suportadas, se criadas após a configuração do sinalizador de recurso AllowPurviewPolicyEnforcement.

Se necessário, você poderá criar uma nova conta de armazenamento seguindo este guia.

Configure a assinatura em que a conta de Armazenamento do Azure reside para políticas do Microsoft Purview

Esta etapa só é necessária em determinadas regiões (consulte a seção anterior). Para habilitar o Microsoft Purview a gerenciar políticas para uma ou mais contas de Armazenamento do Azure, execute os seguintes comandos do PowerShell na assinatura em que você implantará sua conta de Armazenamento do Azure. Esses comandos do PowerShell permitirão que a Microsoft Purview gerencie políticas em todas as contas de Armazenamento do Azure nessa assinatura.

Se você estiver executando esses comandos localmente, certifique-se de executar o PowerShell como administrador. Como alternativa, você pode usar o Azure Cloud Shell no portal do Azure: https://shell.azure.com.

# Install the Az module
Install-Module -Name Az -Scope CurrentUser -Repository PSGallery -Force
# Login into the subscription
Connect-AzAccount -Subscription <SubscriptionID>
# Register the feature
Register-AzProviderFeature -FeatureName AllowPurviewPolicyEnforcement -ProviderNamespace Microsoft.Storage

Se a saída do último comando mostrar RegistrationState como Registered, sua assinatura está habilitada para políticas de acesso. Se a saída for Registrando, aguarde pelo menos 10 minutos e repita o comando. Não continue, a menos que o RegistrationState apareça como Registrado.

Configurar a conta do Microsoft Purview para políticas

Registrar a fonte de dados no Microsoft Purview

Antes que uma política possa ser criada no Microsoft Purview para um recurso de dados, você deve registrar esse recurso de dados no Microsoft Purview Studio. Você encontrará as instruções relacionadas ao registro do recurso de dados posteriormente neste guia.

Configurar permissões para habilitar a imposição da política de dados na fonte de dados

Depois que um recurso é registrado, mas antes que uma política possa ser criada no Microsoft Purview para esse recurso, você deve configurar permissões. Um conjunto de permissões é necessário para habilitar a imposição da política de dados. Isso se aplica a fontes de dados, grupos de recursos ou assinaturas. Para habilitar a imposição da política de dados, você deve ter privilégios específicos de Gerenciamento de Identidade e de Acesso (IAM) no recurso, bem como privilégios específicos do Microsoft Purview:

• Você deve ter uma das seguintes combinações de funções do IAM no caminho Azure Resource Manager do recurso ou qualquer pai dele (ou seja, usando a herança de permissão do IAM):

  • Proprietário do IAM
  • Colaborador do IAM e Administrador de acesso de usuários do IAM

  Para configurar permissões de RBAC (controle de acesso baseado em função) do Azure, siga este guia. A captura de tela a seguir mostra como acessar a seção de Controle de Acesso no portal do Azure para que o recurso de dados adicione uma atribuição de função.

  

  Observação

  A função de proprietário do IAM para um recurso de dados pode ser herdada de um grupo de recursos pai, de uma assinatura ou de um grupo de gerenciamento de assinaturas. Verifique quais usuários, grupos e entidades de serviço do Microsoft Entra possuem ou estão herdando a função de proprietário do IAM para o recurso.

• Você também precisa ter a função de administrador da fonte de dados do Microsoft Purview para a coleção ou uma coleção pai (se a herança estiver habilitada). Para obter mais informações, consulte o guia sobre como gerenciar atribuições de função do Microsoft Purview.

  A captura de tela a seguir mostra como atribuir a função de administrador da fonte de dados no nível da coleção raiz.

  

Configurar permissões do Microsoft Purview para criar, atualizar ou excluir políticas de acesso

Para criar, atualizar ou excluir políticas, você precisa obter a função de autor da política no Microsoft Purview no nível da coleção raiz:

• A função de autor da política pode criar, atualizar e excluir políticas de DevOps e de proprietário de dados.
• A função de autor da política pode excluir políticas de acesso de autoatendimento.

Para obter mais informações sobre como gerenciar atribuições de função do Microsoft Purview, consulte Criar e gerenciar coleções no Mapa de Dados do Microsoft Purview.

Além disso, para pesquisar facilmente usuários ou grupos do Microsoft Entra ao criar ou atualizar o assunto de uma política, você pode se beneficiar muito da obtenção da permissão Leitores de Diretório no Microsoft Entra ID. Essa é uma permissão comum para usuários em um locatário do Azure. Sem a permissão de Leitor de Diretório, o Autor da Política terá que digitar o nome de usuário ou email completo para todas as entidades de segurança incluídas no assunto de uma política de dados.

Configurar permissões do Microsoft Purview para publicação de políticas de Proprietário de Dados

As políticas de Proprietário de Dados permitem verificações e equilíbrios se você atribuir as funções de autor de Política do Microsoft Purview e Administrador da Fonte de Dados a diferentes pessoas na organização. Antes que uma política de proprietário de dados entre em vigor, uma segunda pessoa (administrador da fonte de dados) deve examiná-la e aprová-la explicitamente publicando-a. Isso não se aplica a DevOps ou a políticas de acesso de autoatendimento, pois a publicação é automática para eles quando essas políticas são criadas ou atualizadas.

Para publicar uma política de proprietário de dados, você precisa obter a função de administrador da fonte de dados no Microsoft Purview no nível da coleção raiz.

Para obter mais informações sobre como gerenciar atribuições de função do Microsoft Purview, consulte Criar e gerenciar coleções no Mapa de Dados do Microsoft Purview.

Delegar responsabilidade de provisionamento de acesso a funções no Microsoft Purview

Depois que um recurso tiver sido habilitado para a imposição da política de dados, qualquer usuário do Microsoft Purview com a função de autor da política no nível da coleção raiz poderá provisionar o acesso a essa fonte de dados do Microsoft Purview.

Se uma conta do Microsoft Purview com políticas publicadas for excluída, essas políticas deixarão de ser aplicadas dentro de um período de tempo que depende da fonte de dados específica. Essa alteração pode ter implicações na segurança e na disponibilidade de acesso a dados. As funções de Colaborador e Proprietário no IAM podem excluir contas do Microsoft Purview. Você pode marcar essas permissões acessando a seção Controle de acesso (IAM) da sua conta do Microsoft Purview e selecionando Atribuições de Função. Você também pode usar um bloqueio para impedir que a conta do Microsoft Purview seja excluída por meio de bloqueios do Resource Manager.

Registrar a fonte de dados no Microsoft Purview para Imposição de Política de Dados

O recurso do Armazenamento do Azure precisa ser registrado primeiro no Microsoft Purview antes que você possa criar políticas de acesso. Para registrar seu recurso, siga as seções Pré-requisitos e Registrar deste guia:

• Registrar o Azure Data Lake Storage (ADLS) Gen2 no Microsoft Purview

Depois de registrar a fonte de dados, você precisará habilitar a Imposição da Política de Dados. Esse é um pré-requisito antes de criar políticas na fonte de dados. A Imposição da Política de Dados pode afetar a segurança de seus dados, pois delega a determinadas funções do Microsoft Purview o gerenciamento do acesso às fontes de dados. Siga as práticas seguras relacionadas à Imposição de Política de Dados neste guia: Como habilitar a Imposição de Política de Dados

Depois que sua fonte de dados tiver a opção Imposição de Política de Dados definida como Habilitada, ela terá esta captura de tela:

Criar uma política

Para criar uma política de acesso para o Azure Data Lake Storage Gen2, siga este guia:

• Provisionar o acesso de leitura/modificação em uma única conta de armazenamento

Para criar políticas que abrangem todas as fontes de dados dentro de um grupo de recursos ou assinatura do Azure, consulte esta seção.

Política de proteção

As políticas de controle de acesso de proteção (políticas de proteção) permitem que as organizações protejam automaticamente dados confidenciais em fontes de dados. O Microsoft Purview já examina ativos de dados e identifica elementos de dados confidenciais e esse novo recurso permite que você restrinja automaticamente o acesso a esses dados usando rótulos de confidencialidade da Proteção de Informações do Microsoft Purview.

Siga esta documentação para criar uma política de proteção: Como criar uma política de Proteção de Informações do Microsoft Purview.

Próximas etapas

Siga os guias abaixo para saber mais sobre o Microsoft Purview e seus dados.

• Políticas de proprietário de dados no Microsoft Purview
• Insights sobre o patrimônio de dados no Microsoft Purview
• Linhagem no Microsoft Purview
• Compartilhamento de dados no Microsoft Purview