Configurar link privado de entrada para serviços de alto desempenho

Importante

Este recurso está no Public Preview.

Esta página mostra como configurar o Private Link para conectividade de entrada a serviços que exigem muito desempenho na plataforma Azure Databricks. Esta ligação privada permite que clientes e utilizadores externos acedam a serviços na plataforma Azure Databricks, como Zerobus Ingest e Lakebase Autoscaling.

Benefícios

  • Segurança reforçada: O tráfego entre a sua rede e os serviços Databricks mantém-se dentro da infraestrutura de rede do Azure.
  • Acesso a serviços intensivos em desempenho: ligações privadas a serviços como Zerobus Ingest e Lakebase Autoscaling.
  • Requisitos de conformidade: Cumprir os requisitos regulamentares que exigem conectividade de rede privada.
  • Eficiência de custos: Private Link custa menos do que opções públicas de conectividade, como gateways NAT.

O Azure Databricks cobra certos custos de rede associados às ligações Private Link de entrada para serviços que exigem muito desempenho. Para mais informações, consulte Compreender os custos de rede da Databricks.

Requerimentos

  • A sua conta Azure Databricks deve estar no nível Premium.
  • Deve ativar a funcionalidade de Versão Prévia Pública de Conectividade Privada para serviços de alto desempenho na sua conta. Podes inscrever-te a partir da consola da conta. Sem esta funcionalidade ativada, os endpoints privados não aparecem na consola da conta.
  • Tens de ser administrador de contas Azure Databricks para registar endpoints privados.
  • Deve ter permissões de Network Contributor ou equivalentes no Azure para criar endpoints privados.

Configurar um ponto de extremidade privado

Criar um endpoint privado

Esta etapa cria um endpoint privado no portal Azure que se liga aos seus serviços intensivos em desempenho no Azure Databricks.

Preparar o VNet e a sub-rede

  1. Prepare uma VNet e uma sub-rede para alojar o endpoint privado. Podes criar um novo VNet ou reutilizar um existente (como o VNet do teu workspace).

    Observação

    O ponto final privado de entrada pode ser alojado numa VNet diferente da área de trabalho (por exemplo, uma VNet de trânsito). A restrição da VNet aplica-se apenas a pontos finais privados de back-end.

  2. Configure a política de rede de endpoint privado para a sua subrede:

    • Recomendado (predefinição): Desativado. Esta é a configuração padrão e que o Azure Databricks testa e suporta.
    • Alternativa (gerida pelo cliente):NetworkSecurityGroup ou RouteTable. Ativar a política também funciona e pode ser necessário para redes que utilizam WAN Virtual do Azure com ExpressRoute, onde desativar a política pode causar encaminhamento assimétrico. Se ativar a política, é responsável por garantir que o seu grupo de segurança de rede e as regras da tabela de roteamento permitem tráfego para o endpoint privado do Service Direct. O Azure Databricks não oferece suporte para problemas de conectividade ou desempenho que resultam de regras personalizadas de grupos de segurança de rede ou tabelas de roteamento na sub-rede.

    Consulte Gerenciar políticas de rede para endpoints privados para mais detalhes.

  3. Se reutilizar uma VNet de um espaço de trabalho existente, deve usar ou criar uma sub-rede diferente daquela usada pelo espaço de trabalho.

    Observação

    O endpoint privado para serviços intensivos em desempenho pode ser colocado na mesma sub-rede do seu endpoint privado de entrada existente. O requisito de "sub-rede diferente" aplica-se apenas às sub-redes de injeção de computação da área de trabalho.

  4. Se o VNet que aloja o endpoint privado for diferente do VNet que envia tráfego, configure o peering ou a conectividade VNet. Consulte a seção Verificar a Conectividade da VNet.

Implementar um endpoint privado

  1. No portal Azure, pesquise por endpoints privados no Microsoft Marketplace e selecione Create.
  2. Introduza um nome, o nome da interface de rede e configure a região para coincidir com a região VNet do seu espaço de trabalho.
  3. Clique em Avançar: Recurso.
  4. Selecione Ligar a um recurso Azure por ID de recurso ou alias.
  5. No campo ID de recurso ou alias, introduza o ID de recurso do Serviço Private Link para serviços com utilização intensiva de desempenho da sua região. Consulte Private Link Service Resource IDs para serviços intensivos em desempenho e acesso geral para a lista de IDs de recursos.
  6. No campo do sub-recurso alvo, introduza service_direct.
  7. Clique em Próximo: Rede Virtual.
  8. Selecione a rede virtual e a sub-rede que preparou na secção Preparar VNet e subnet .
  9. Clique em Avançar: DNS.
  10. Deixar Integrar com a zona DNS privada definida para Nº. Configura o DNS manualmente numa etapa posterior.
  11. Clique em Seguinte: Etiquetas.
  12. Clique em Seguinte: Rever e criar.
  13. Revise a configuração e clique em Criar para implementar o endpoint privado.
  14. Após a conclusão da implantação, regista estes valores:
    • Nome do endpoint privado: O nome do seu endpoint privado.
    • GUID do recurso: Aceda ao recurso do ponto final privado, clique em vista JSON e encontre o valor em properties.resourceGuid. Isto é obrigatório quando registas o teu endpoint privado.
    • Endereço IP privado: Na visualização JSON, encontre o endereço IP em properties.customDnsConfigs[0].ipAddresses[0]. Isto é obrigatório quando configuras o DNS.

Após a implementação, o estado da ligação ao endpoint privado aparece como Pendente. Isso é esperado. O endpoint mantém-se em estado Pendente até registares o teu endpoint privado.

Regista o teu endpoint privado

Depois de criar o seu endpoint privado no portal do Azure, registe-o no Azure Databricks.

  1. Vai à consola de contas do Azure Databricks.
  2. Na barra lateral, clique em 'Segurança', 'Pontos de Rede', e 'Registar endpoint'.

Permita que o seu endpoint privado seja incluído em espaços de trabalho com entrada baseada em contexto

Importante

O acesso privado a espaços de trabalho usando entrada baseada em contexto está em Beta.

  1. Na consola da conta, clique em Segurança na barra lateral.
  2. Clique em Controlo de entrada e saída baseado em contexto na barra lateral.
  3. Em Políticas de nível de espaço de trabalho, clique em Nova política de espaço de trabalho.
  4. Em Acesso de Entrada > à Rede Privada, defina a sua política de acesso privado.
    1. Por defeito, todos os endpoints registados são permitidos: Permitir o acesso a partir de todos os endpoints privados. Se isto for aceitável, avance para o passo seguinte. Esta predefinição inclui apenas os primeiros 200 endpoints privados registados; se a sua política exigir mais, contacte a sua equipa de conta para solicitar um aumento.
    2. Se quiseres colocar endpoints registados específicos na lista de permissões, negando todos os outros endpoints, desmarca Permitir acesso a todos os endpoints privados e adiciona uma regra de permissão.
      1. Selecione as identidades e destinos do espaço de trabalho a que quer permitir o acesso (por defeito, todas as identidades e destinos são permitidos).
      2. Em seguida, selecione tipo de origem = Pontos finais privados selecionados e selecione o(s) ponto(s) final(is) privado(s) do Service Direct que registou. A região deste endpoint privado deve corresponder à região do seu espaço de trabalho. Um endpoint Service Direct só pode servir espaços de trabalho na mesma região.
      3. Clique em Confirmar.
      4. Também pode adicionar regras de recusa na sua apólice, que definem exceções às suas regras de permissão.
  5. Quando terminar de configurar a sua política de acesso privado, também pode configurar a sua política de acesso público no Ingress > Public Network Access. Pode desativar todo o acesso a IPs públicos desmarcando Permitir acesso a todos os IPs públicos. O Azure Databricks recomenda manter o acesso público ativado durante o teste da configuração do DNS, e depois desativá-lo após a finalização do DNS para garantir a conectividade privada exclusiva.
  6. Testa primeiro a tua política de entrada em modo Dry Run , antes de a mudar para Enforced. As recusas de acesso no modo de teste são registadas na tabela do sistema system.access.inbound_network, mas não bloqueiam o acesso.
  7. Certifique-se de que a sua política de saída está correta.
  8. Anexe a sua política de rede ao(s) seu(s) espaço de trabalho.
  9. Guarde a sua apólice de rede. As atualizações de políticas de entrada baseadas no contexto demoram menos de 10 minutos a entrar em vigor.

Configurar DNS

Depois de o seu endpoint privado estar registado e autorizado, configure o DNS para que o tráfego passe pelo endpoint privado usando o privatelink.azuredatabricks.net domínio.

  • O Databricks recomenda uma convenção de nomenclatura que inclua a região e o propósito, como PE westus2 for inbound private link.
  1. Crie uma Azure zona DNS privada chamada privatelink.azuredatabricks.net.
  2. Liga a zona DNS privada ao VNet que hospeda o teu endpoint privado. Ver Ligar a rede virtual.

Criar um registo DNS A

  1. Vai à tua privatelink.azuredatabricks.net zona DNS privada.
  2. Selecione o separador Conjuntos de Registos em Gestão DNS.
  3. Clique em Adicionar para adicionar um conjunto de registos.
  4. Configure o registo A:
    • Name: <region>.service-direct (substitui <region> pela tua região Azure, por exemplo westus2.service-direct)
    • Tipo: A
    • Endereço IP: O endereço IP privado do seu endpoint privado (registado quando criou o endpoint privado)
  5. Clica em OK para guardar o registo.

Verifique a resolução de DNS

A partir de uma máquina no seu VNet ou de um trabalho de workspace associado à sua zona DNS privada, confirme que as consultas DNS resolvem para o IP do endpoint privado:

nslookup westus2.service-direct.privatelink.azuredatabricks.net

Ou usar dig:

dig westus2.service-direct.privatelink.azuredatabricks.net

Ambos os comandos devolvem o endereço IP privado do seu endpoint privado.

Verificar conectividade VNet

Se o VNet que gera o tráfego é diferente do VNet que aloja o endpoint privado, configure o peering ou a conectividade VNet entre os dois. Consulte Azure Private Endpoint DNS Integration Scenarios para orientações detalhadas.

Desativar o acesso público no portal do Azure (opcional)

O Azure Databricks recomenda desativar o acesso público ao seu espaço de trabalho com acesso de entrada baseado no contexto, conforme descrito em Permitir o seu ponto final privado nos espaços de trabalho com acesso de entrada baseado no contexto. No entanto, também pode desativar o acesso público no portal Azure. Concluir a configuração do Private Link não bloqueia automaticamente o acesso público à internet ao seu espaço de trabalho. O acesso público e privado são ambientes independentes. Para garantir a conectividade privada, desative o acesso à rede pública:

  1. No portal Azure, aceda ao seu recurso de trabalho Azure Databricks.
  2. Em Definições, defina Permitir Acesso à Rede Pública como Desativar.

Limitações

  • Cada conta está limitada a 5 endpoints privados para serviços que exigem alto desempenho por região e 100 por conta. Contacte a sua equipa de contas Azure Databricks para aumentos de quotas.

Recursos adicionais

  • Last updated on