Configurar o Link Privado de entrada para serviços intensivos em desempenho

Importante

Esse recurso está em Visualização Pública.

Esta página mostra como configurar Link Privado para conectividade de entrada com serviços com uso intensivo de desempenho na plataforma Azure Databricks. Essa conexão privada permite que clientes e usuários externos acessem serviços na plataforma Azure Databricks, como Zerobus Ingest e Lakebase Autoscaling.

Benefícios

  • Segurança aprimorada: o tráfego entre sua rede e os serviços do Databricks permanece dentro da infraestrutura de rede Azure.
  • Acesso a serviços com uso intensivo de desempenho: conexões privadas com serviços como Zerobus Ingest e Lakebase Autoscaling.
  • Requisitos de conformidade: atenda aos requisitos regulatórios que exigem conectividade de rede privada.
  • Eficiência de custo: Link Privado custa menos do que as opções de conectividade pública, como gateways NAT.

O Azure Databricks cobra por determinados custos de rede associados a conexões de entrada do Link Privado para serviços que exigem alto desempenho. Para obter mais informações, consulte Noções básicas sobre os custos de rede do Databricks.

Requirements

  • Sua conta de Azure Databricks deve estar na camada Premium.
  • Você deve habilitar a conectividade privada para o recurso de Visualização Pública de serviços com uso intensivo de desempenho em sua conta. Você pode autoinscrever-se no console de gerenciamento de conta. Sem essa funcionalidade habilitada, pontos de extremidade privados não aparecem no console da conta.
  • Para registrar pontos de extremidade privados, você deve ser o administrador de uma conta do Azure Databricks.
  • Você deve ter permissões de Colaborador de Rede ou equivalentes no Azure para criar pontos de extremidade privados.

Criar um ponto de extremidade privado

Criar um ponto de extremidade privado

Esta etapa cria um ponto de extremidade privado no portal do Azure que se conecta aos seus serviços intensivos em desempenho no Azure Databricks.

Preparar VNet e sub-rede

  1. Configure uma VNet e uma sub-rede para hospedar o ponto de extremidade privado. Você pode criar uma nova VNet ou reutilizar uma existente (como a VNet do workspace).

    Observação

    O endpoint privado de entrada pode ser hospedado em uma VNet diferente da do workspace (por exemplo, uma VNet de trânsito). A restrição de VNet se aplica apenas a endpoints privados de backend.

  2. Configure a política de rede de endpoint privado para sua sub-rede:

    • Recomendado (padrão): desabilitado. Essa é a configuração padrão e a configuração que o Azure Databricks testa e oferece suporte.
    • Alternativa (gerenciada pelo cliente): NetworkSecurityGroup ou RouteTable. Habilitar a política também funciona e pode ser necessário para redes que usam WAN Virtual do Azure com o ExpressRoute, em que desabilitar a política pode causar roteamento assimétrico. Se você habilitar a política, será responsável por garantir que o grupo de segurança de rede e as regras da tabela de rotas permitam o tráfego para o ponto de extremidade privado do Service Direct. Azure Databricks não fornece suporte para problemas de conectividade ou desempenho resultantes de regras personalizadas de grupo de segurança de rede ou tabela de rotas na sub-rede.

    Consulte Gerenciar políticas de rede para pontos de extremidade privados para obter detalhes.

  3. Se você reutilizar uma VNet de workspace existente, deverá usar ou criar uma sub-rede diferente daquela usada pelo workspace.

    Observação

    O ponto de extremidade privado para serviços que exigem alto desempenho pode ser colocado na mesma sub-rede que o ponto de extremidade privado de entrada existente. O requisito de "sub-rede diferente" aplica-se apenas às sub-redes de injeção de recursos de computação do espaço de trabalho.

  4. Se a VNet que hospeda o ponto de extremidade privado for diferente da VNet que está enviando o tráfego, configure o emparelhamento VNet ou a conectividade. Consulte Verificar a conectividade da VNet.

Implantar um ponto de extremidade privado

  1. No portal do Azure, pesquise Pontos de extremidade privados no Microsoft Marketplace e selecione Criar.
  2. Insira um nome e o nome da interface de rede, e defina a região para coincidir com a região da VNet do workspace.
  3. Clique em Avançar: Recurso.
  4. Selecione Conectar em um recurso de Azure por ID de recurso ou alias.
  5. No campo Resource ID ou alias, insira a ID do recurso do serviço Link Privado para serviços com uso intensivo de desempenho para sua região. Consulte IDs de recurso do serviço Link Privado para serviços de alto desempenho e acesso geral para obter a lista de IDs de recurso.
  6. No campo sub-recurso de destino , insira service_direct.
  7. Clique em Next: Rede Virtual.
  8. Selecione a rede virtual e a sub-rede que você preparou na seção Preparar VNet e sub-rede .
  9. Clique em Avançar: DNS.
  10. Deixe a integração com a zona DNS privada definida como Não. Configure o DNS manualmente em uma etapa posterior.
  11. Clique em Avançar: Rótulos.
  12. Clique em Próximo: Examinar + criar.
  13. Examine a configuração e clique em Criar para implantar o ponto de extremidade privado.
  14. Após a conclusão da implantação, registre estes valores:
    • Nome do endpoint privado: O nome do seu endpoint privado.
    • GUID do recurso: acesse o recurso do ponto de extremidade privado, clique em Exibição JSON, e encontre o valor em properties.resourceGuid. Isso é necessário quando você registra seu endpoint privado.
    • Endereço IP privado: no modo de exibição JSON, localize o endereço IP em properties.customDnsConfigs[0].ipAddresses[0]. Isso é necessário quando você configura o DNS.

Após a implantação, o estado de conexão do ponto de extremidade privado é exibido como Pendente. Isso é esperado. O ponto de extremidade permanece em estado pendente até que você registre seu ponto de extremidade privado.

Registre seu endpoint privado

Depois de criar seu ponto de extremidade privado no portal do Azure, registre-o no Azure Databricks.

  1. Vá para o console da conta Azure Databricks.
  2. Na barra lateral, clique em Segurança>Rede>Pontos de Extremidade>Registrar Ponto de Extremidade.

Adicione seu ponto de extremidade privado à lista de permissões para workspaces com entrada baseada em contexto

Importante

O acesso privado a espaços de trabalho usando entrada baseada em contexto está em Beta.

  1. No console da conta, clique em Segurança na barra lateral.
  2. Clique no controle de entrada e saída baseado em contexto na barra lateral.
  3. Em políticas de nível de espaço de trabalho, clique em Nova política de espaço de trabalho.
  4. Em Acesso de entrada à rede privada>, defina sua política de acesso à rede privada.
    1. Por padrão, todos os endpoints registrados são permitidos: Permitir acesso a partir de todos os endpoints privados. Se isso for aceitável, prossiga para a próxima etapa. Essa configuração padrão inclui apenas os primeiros 200 endpoints privados registrados; se sua política exigir mais, entre em contato com a equipe da sua conta para solicitar um aumento.
    2. Se você quiser adicionar pontos de extremidade registrados específicos à lista de permissões, negando o acesso a todos os outros pontos de extremidade, desmarque Permitir acesso de todos os pontos de extremidade privados e adicione uma regra de permissão.
      1. Selecione as identidades e destinos do espaço de trabalho aos quais você quer permitir o acesso (por padrão, todas as identidades e destinos são permitidos).
      2. Depois, selecione o tipo de fonte = Endpoints privados selecionados e selecione o(s) endpoint(s) privado(s) do Service Direct que você registrou. A região desse endpoint privado deve corresponder à região do seu espaço de trabalho. Um endpoint Service Direct só pode atender espaços de trabalho na mesma região.
      3. Clique em Confirmar.
      4. Você também pode adicionar regras de Negação na sua apólice, que definem exceções às suas regras de permissão.
  5. Quando você terminar de configurar sua política de acesso privado, também pode configurar sua política de acesso público no Ingress > Public Network Access. Você pode desabilitar todo o acesso por IP público desmarcando Permitir acesso de todos os IPs públicos. O Azure Databricks recomenda manter o acesso público ativado durante o teste da configuração do DNS, e depois desativá-lo após a finalização do DNS para impor conectividade privada exclusiva.
  6. Teste sua política de entrada no modo de execução seca primeiro, antes de alterná-la para Imposta. As negações de acesso em modo de execução a seco são registradas na system.access.inbound_network tabela do sistema, mas não bloqueiam o acesso.
  7. Certifique-se de que sua política de saída está correta.
  8. Anexe sua política de rede ao(s) seu(s) espaço de trabalho(s).
  9. Salve sua apólice de rede. As atualizações de política de entrada baseadas em contexto levam menos de 10 minutos para entrar em vigor.

Configurar DNS

Depois que seu endpoint privado for registrado e autorizado, configure o DNS para que o tráfego passe pelo endpoint privado usando o privatelink.azuredatabricks.net domínio.

  • O Databricks recomenda uma convenção de nomenclatura que inclua a região e a finalidade, como PE westus2 for inbound private link.
  1. Crie uma zona DNS privada Azure chamada privatelink.azuredatabricks.net.
  2. Vincule a zona DNS privada à VNet que hospeda o seu endpoint privado. Consulte Link da rede virtual.

Criar um registro DNS A

  1. Vá para sua privatelink.azuredatabricks.net zona DNS privada.
  2. Selecione a guia Conjuntos de Registros em Gerenciamento de DNS.
  3. Clique em Adicionar para adicionar um conjunto de registros.
  4. Configure o registro A:
    • Name: <region>.service-direct (substitua <region> pela região Azure, por exemplo, westus2.service-direct)
    • Tipo: A
    • Endereço IP: o endereço IP privado do ponto de extremidade privado (registrado quando você criou o ponto de extremidade privado)
  5. Clique em OK para salvar o registro.

Verificar a resolução de DNS

De uma máquina em sua VNet ou de um trabalho do workspace anexado à sua zona DNS privada, confirme se as consultas DNS resolvem-se para o IP do ponto de extremidade privado:

nslookup westus2.service-direct.privatelink.azuredatabricks.net

Ou use dig:

dig westus2.service-direct.privatelink.azuredatabricks.net

Ambos os comandos retornam o endereço IP privado do ponto de extremidade privado.

Verificar a conectividade da VNet

Se a VNet que está gerando tráfego for diferente da VNet que hospeda o ponto de extremidade privado, configure o emparelhamento VNet ou a conectividade entre elas. Consulte Cenários de Integração de DNS do Ponto de Extremidade Privado do Azure para orientações detalhadas.

Desativar o acesso público no portal do Azure (opcional)

O Azure Databricks recomenda desabilitar o acesso público ao seu workspace com entrada baseada em contexto, conforme descrito em Adicione seu ponto de extremidade privado à lista de permissões para workspaces com entrada baseada em contexto. No entanto, você também pode desativar o acesso público no portal do Azure. Concluir a configuração do Link Privado não bloqueia automaticamente o acesso público à Internet para o seu workspace. O acesso público e privado são configurações independentes. Para impor a conectividade somente privada, desabilite o acesso à rede pública:

  1. No portal do Azure, vá para o recurso de espaço de trabalho do Azure Databricks.
  2. Em Configurações, defina Permitir acesso à rede pública para desabilitar.

Limitações

  • Cada conta é limitada a cinco pontos de extremidade privados para serviços com uso intensivo de desempenho por região e 100 por conta. Entre em contato com sua equipe de conta Azure Databricks para obter aumentos de cota.

Recursos adicionais

  • Last updated on