Conectar-se e gerenciar o HDFS no Microsoft Purview

Este artigo descreve como registrar o HDFS (Sistema de Arquivos Distribuído do Hadoop) e como autenticar e interagir com o HDFS no Microsoft Purview. Para obter mais informações sobre o Microsoft Purview, leia o artigo introdutório.

Recursos compatíveis

Recursos de digitalização

Extração de metadados Verificação Completa Varredura incremental Varredura com escopo
Sim Sim Sim Sim

Ao verificar a origem do HDFS, o Microsoft Purview dá suporte à extração de metadados técnicos, incluindo HDFS:

  • Namenode
  • Folders
  • Arquivos
  • Conjuntos de recursos

Ao configurar a verificação, você pode optar por verificar todo o HDFS ou pastas seletivas. Saiba mais sobre o formato de arquivo com suporte aqui.

O conector usa o protocolo webhdfs para se conectar ao HDFS e recuperar metadados. A distribuição do MapR Hadoop não é suportada.

Outros recursos

Para classificações, rótulos de confidencialidade, políticas, linhagem de dados e exibição ao vivo, consulte a lista de recursos com suporte.

Pré-requisitos

Registrar

Esta seção descreve como registrar o HDFS no Microsoft Purview usando o portal de governança do Microsoft Purview.

Passos para se registrar

Para registrar uma nova origem HDFS no Catálogo unificado do Microsoft Purview, siga estas etapas:

  1. Navegue até sua conta do Microsoft Purview no portal de governança do Microsoft Purview.
  2. Selecione Mapa de Dados na navegação à esquerda.
  3. Selecione Registrar
  4. Em Registrar fontes, selecione HDFS. Selecione Continuar.

Na tela Registrar origens (HDFS), siga estas etapas:

  1. Insira um Nome em que a fonte de dados será listada no Catálogo.

  2. Insira a URL do cluster do NameNode do HDFS na forma de https://<namenode>:<port> ou http://<namenode>:<port>, por exemplohttps://namenodeserver.com:50470, ou .http://namenodeserver.com:50070

  3. Escolha uma coleção na lista.

  4. Conclua para registrar a fonte de dados.

    Captura de tela do registro de origem do HDFS no Purview.

Examinar

Siga as etapas abaixo para verificar o HDFS e identificar os ativos automaticamente. Para obter mais informações sobre a verificação em geral, consulte nossa introdução às verificações e ingestão.

Autenticação para uma verificação

O tipo de autenticação com suporte para uma fonte HDFS é a autenticação Kerberos.

Criar e executar verificação

Para criar e executar uma nova verificação, siga estas etapas:

  1. Verifique se um runtime de integração auto-hospedada está configurado. Se ele não estiver configurado, use as etapas mencionadas nos pré-requisitos para criar um runtime de integração auto-hospedada.

  2. Navegue até Fontes.

  3. Selecione a fonte HDFS registrada.

  4. Selecione + Nova verificação.

  5. Na página "Verificar source_name", forneça os detalhes abaixo:

    1. Name: O nome da verificação

    2. Conectar-se por meio do runtime de integração: selecione o runtime de integração auto-hospedada configurado. Consulte os requisitos de configuração na seção Pré-requisitos .

    3. Credencial: selecione a credencial para se conectar à sua fonte de dados. Certifique-se de:

      • Selecione Autenticação Kerberos ao criar uma credencial.
      • Forneça o nome de usuário no formato de no campo de entrada Nome do <username>@<domain>.com usuário. Saiba mais em Usar a autenticação Kerberos para o conector HDFS.
      • Armazene a senha do usuário usada para se conectar ao HDFS na chave secreta.

      Captura de tela das configurações de verificação do HDFS no Purview.

  6. Selecione Testar conexão.

  7. Selecione Continuar.

  8. Na página "Definir o escopo da verificação", selecione os caminhos que deseja verificar.

  9. Na página "Selecionar um conjunto de regras de verificação", selecione o conjunto de regras de verificação que você deseja usar para extração e classificação de esquema. Você pode escolher entre o padrão do sistema, conjuntos de regras personalizados existentes ou criar um novo conjunto de regras embutido. Saiba mais em Criar um conjunto de regras de verificação.

  10. Na página "Definir um gatilho de verificação", escolha o gatilho de verificação. Você pode configurar uma programação ou executar a verificação uma vez.

  11. Analise a digitalização e selecione Salvar e Executar.

Exibir suas verificações e execuções de verificação

Para exibir as verificações existentes:

  1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de dados.
  2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .
  3. Selecione a verificação que tem os resultados que você deseja visualizar. O painel mostra todas as execuções de verificação anteriores, juntamente com o status e as métricas de cada execução de verificação.
  4. Selecione a ID de execução para marcar os detalhes da execução de verificação.

Gerenciar suas varreduras

Para editar, cancelar ou excluir uma verificação:

  1. Acesse o portal do Microsoft Purview. No painel esquerdo, selecione Mapa de Dados.

  2. Selecione a fonte de dados. Você pode exibir uma lista de verificações existentes nessa fonte de dados em Verificações recentes ou pode exibir todas as verificações na guia Verificações .

  3. Selecione a verificação que você quer gerenciar. Você poderá:

    • Edite a verificação selecionando Editar verificação.
    • Cancele uma verificação em andamento selecionando Cancelar execução de verificação.
    • Exclua a verificação selecionando Excluir verificação.

Observação

  • A exclusão da verificação não exclui os ativos do catálogo criados a partir de verificações anteriores.

Usar a autenticação Kerberos para o conector HDFS

Há duas opções para configurar o ambiente local para usar a autenticação Kerberos para o conector HDFS. Você pode escolher aquele que melhor se adapta à sua situação.

Para qualquer uma das opções, ative webhdfs para cluster Hadoop:

  1. Crie a entidade de segurança HTTP e o keytab para webhdfs.

    Importante

    A entidade de segurança HTTP Kerberos deve começar com "HTTP/" de acordo com a especificação Kerberos HTTP SPNEGO. Saiba mais aqui.

    Kadmin> addprinc -randkey HTTP/<namenode hostname>@<REALM.COM>
Kadmin> ktadd -k /etc/security/keytab/spnego.service.keytab HTTP/<namenode hostname>@<REALM.COM>

  2. Opções de configuração do HDFS: adicione as três propriedades a seguir no hdfs-site.xml.

    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
    <name>dfs.web.authentication.kerberos.principal</name>
    <value>HTTP/_HOST@<REALM.COM></value>
</property>
<property>
    <name>dfs.web.authentication.kerberos.keytab</name>
    <value>/etc/security/keytab/spnego.service.keytab</value>
</property>

Opção 1: ingressar em um computador de runtime de integração auto-hospedada no realm Kerberos

Requisitos

  • O computador de runtime de integração auto-hospedada precisa ingressar no realm Kerberos e não pode ingressar em nenhum domínio do Windows.

Como configurar

No servidor KDC:

Crie uma entidade de segurança e especifique a senha.

Importante

O nome de usuário não deve conter o nome do host.

Kadmin> addprinc <username>@<REALM.COM>

No computador de runtime de integração auto-hospedada:

  1. Execute o utilitário Ksetup para configurar o servidor e o realm do Centro de distribuição de chaves Kerberos (KDC).

    A máquina deve ser configurada como membro de um grupo de trabalho, pois um realm Kerberos é diferente de um domínio do Windows. Você pode obter essa configuração definindo o realm Kerberos e adicionando um servidor KDC executando os comandos a seguir. Substitua REALM.COM pelo seu próprio nome de realm.

    C:> Ksetup /setdomain REALM.COM
C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>

    Depois de executar esses comandos, reinicie a máquina.

  2. Verifique a configuração com o Ksetup comando. A saída deve ser como:

    C:> Ksetup
default realm = REALM.COM (external)
REALM.com:
    kdc = <your_kdc_server_address>

Em sua conta do Purview:

  • Configure uma credencial com o tipo de autenticação Kerberos com seu nome principal e senha Kerberos para verificar o HDFS. Para obter detalhes de configuração, marque a parte de configuração de credenciais na seção Verificação.

Opção 2: Habilitar a confiança mútua entre o domínio do Windows e o realm do Kerberos

Requisitos

  • O computador de runtime de integração auto-hospedada deve ingressar em um domínio do Windows.
  • Você precisa de permissão para atualizar as configurações do controlador de domínio.

Como configurar

Observação

Substitua REALM.COM e AD.COM no seguinte tutorial por seu próprio nome de realm e controlador de domínio.

No servidor KDC:

  1. Edite a configuração do KDC no arquivo krb5.conf para permitir que o KDC confie no domínio do Windows consultando o modelo de configuração a seguir. Por padrão, a configuração está localizada em /etc/krb5.conf.

    [logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log

[libdefaults]
 default_realm = REALM.COM
 dns_lookup_realm = false
 dns_lookup_kdc = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true

[realms]
 REALM.COM = {
  kdc = node.REALM.COM
  admin_server = node.REALM.COM
 }
AD.COM = {
 kdc = windc.ad.com
 admin_server = windc.ad.com
}

[domain_realm]
 .REALM.COM = REALM.COM
 REALM.COM = REALM.COM
 .ad.com = AD.COM
 ad.com = AD.COM

[capaths]
 AD.COM = {
  REALM.COM = .
 }

    Depois de configurar o arquivo, reinicie o serviço KDC.

  2. Prepare uma entidade de segurança chamada krbtgt/REALM.COM@AD.COM no servidor KDC com o seguinte comando:

    Kadmin> addprinc krbtgt/REALM.COM@AD.COM

  3. No arquivo de configuração do serviço HDFS hadoop.security.auth_to_local , adicione RULE:[1:$1@$0](.*\@AD.COM)s/\@.*//.

No controlador de domínio:

  1. Execute os seguintes Ksetup comandos para adicionar uma entrada de domínio:

    C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM

  2. Estabeleça confiança do domínio do Windows para o realm do Kerberos. [password] é a senha para o principal krbtgt/REALM.COM@AD.COM.

    C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]

  3. Selecione o algoritmo de criptografia usado no Kerberos.

    1. Selecione Gerenciador do Servidor> Política de GrupoDomíniode Gerenciamento>>Política de Grupo Políticade Domínio Padrão ou Ativa de Objetos> e, em seguida, selecione Editar.

    2. No painel do Editor de Gerenciamento de Política de Grupo, selecionePolíticas> de Configuração> do Computador,Configurações do Windows>,Configurações> de SegurançaPolíticas> Locais,Opções de Segurança e, em seguida, configure Segurança de rede: Configurar tipos de criptografia permitidos para Kerberos.

    3. Selecione o algoritmo de criptografia que você deseja usar ao se conectar ao servidor KDC. Você pode selecionar todas as opções.

      Captura de tela da segurança de rede: Configurar tipos de criptografia permitidos para o painel Kerberos.

    4. Use o Ksetup comando para especificar o algoritmo de criptografia a ser usado no realm especificado.

      C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96

  4. Crie o mapeamento entre a conta de domínio e a entidade de segurança Kerberos, para que você possa usar a entidade de segurança Kerberos no domínio do Windows.

    1. Selecione Ferramentas administrativas>Usuários e Computadores do Active Directory.

    2. Configure recursos avançados selecionando Exibir>Recursos Avançados.

    3. No painel Recursos Avançados , clique com o botão direito do mouse na conta para a qual você deseja criar mapeamentos e, no painel Mapeamentos de Nome , selecione a guia Nomes Kerberos .

    4. Adicione uma entidade de segurança do realm.

      Captura de tela do painel Mapeamento de Identidade de Segurança.

No computador de runtime de integração auto-hospedada:

  • Execute os comandos a seguir Ksetup para adicionar uma entrada de domínio.

    C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM

Em sua conta do Purview:

  • Configure uma credencial com o tipo de autenticação Kerberos com seu nome principal e senha Kerberos para verificar o HDFS. Para obter detalhes de configuração, marque a parte de configuração de credenciais na seção Verificação.

Limitações conhecidas

Atualmente, o conector HDFS não dá suporte à regra de padrão de conjunto de recursos personalizada para conjunto de recursos avançado, os padrões de conjunto de recursos internos serão aplicados.

O rótulo de confidencialidade ainda não é suportado.

Próximas etapas

Agora que você registrou sua fonte, siga os guias abaixo para saber mais sobre o Microsoft Purview e seus dados.

  • Last updated on