Configurar conectividade privada do plano de computação clássico para Azure Databricks

Utilize o Azure Private Link para criar uma ligação segura de plano de computação clássico com Private Link para o seu espaço de trabalho Azure Databricks. Essa conexão protege o tráfego entre clusters no plano de computação clássico e serviços principais no plano de controle do Azure Databricks.

• Para ativar o acesso híbrido à conectividade de entrada para o Azure Databricks, consulte Configurar o Private Link de entrada para áreas de trabalho.
• Para se conectar do plano de computação sem servidor aos recursos do Azure, consulte Configurar a conectividade privada aos recursos do Azure.

Porque escolher apenas uma ligação do Private Link com camada de computação clássica?

Configurar uma ligação de Private Link com plano de computação clássico proporciona benefícios críticos de segurança e conformidade no seu ambiente de processamento de dados.

• Enhanced security: Impede a comunicação de clusters Azure Databricks com o plano de gestão pela internet pública.
• Requisitos de conformidade: Ajuda a atender a rigorosos requisitos regulatórios e de conformidade corporativa que exigem que todo o tráfego interno da nuvem permaneça em uma rede privada.
• Controlo de exfiltração de dados: Garantir a ligação ao plano de computação reduz o risco de exfiltração de dados.
• Elimine endereços IP públicos: funciona com conectividade de cluster segura para permitir um ambiente de computação totalmente privado sem endereços IP públicos em seus clusters.

Visão geral da arquitetura

Numa configuração clássica de Private Link de plano de computação, implementa um endpoint privado diretamente no seu VNet (rede virtual) do seu espaço de trabalho. Este endpoint oferece aos clusters do Azure Databricks um caminho privado para serviços de plano de controle, como o relé de conectividade segura do cluster. Todo o tráfego flui pela rede principal da Microsoft e nunca toca a internet pública.

Requerimentos

• O espaço de trabalho deve estar no plano Premium.
• Você tem um espaço de trabalho do Azure Databricks implantado com injeção de VNet.
• Você deve ter permissões do Azure para criar pontos de extremidade privados e gerenciar registros DNS.

Configuração da rede

• Uma VNet de trânsito configurada da seguinte forma:
  • Ele atua como o principal ponto de trânsito para todo o tráfego de usuário/cliente que se conecta à sua rede do Azure.
  • Ele fornece conectividade centralizada para redes locais ou outras redes externas.
  • Ele gerencia serviços compartilhados e contém a rota principal para o tráfego de saída da Internet (saída).
• Uma sub-rede dedicada deve existir na VNet do seu espaço de trabalho especificamente para pontos de extremidade privados. Se não existir, crie-o.
• Suas zonas DNS privadas são gerenciadas pelo DNS do Azure.

Melhores práticas

O Azure Databricks recomenda o seguinte para uma configuração resiliente e gerenciável:

• Arquitetura: sua rede deve seguir a arquitetura hub-spoke recomendada pela Microsoft. Consulte Topologia de rede Hub-spoke no Azure.
• Espaço de trabalho de autenticação isolado: para melhorar a resiliência, crie um espaço de trabalho de autenticação de navegador separado dentro da sua VNet de trânsito. Esse espaço de trabalho dedicado hospeda o browser_authentication ponto de extremidade privado e evita um único ponto de falha se outros espaços de trabalho forem excluídos.

Caminhos de configuração

Escolha o caminho que corresponde ao seu cenário:

Opção 1: Configurar para um novo espaço de trabalho

Opção 1: Configurar para um novo espaço de trabalho

Siga estes passos para implementar um novo "workspace" do Azure Databricks com uma ligação de Private Link de plano de computação clássico.

Criar um grupo de recursos

1. No portal do Azure, selecione Grupos de recursos e clique em Criar.
2. Nomeie o grupo de recursos. Verifique se a região corresponde à região onde sua rede virtual está implantada.

Criar uma VNet

Crie uma VNet gerenciada pelo cliente, ou uma VNet de espaço de trabalho, em sua própria assinatura do Azure. Quando você escolhe a injeção de VNet, o Azure Databricks implanta seus recursos de computação diretamente dentro dessa rede privada e segura de sua propriedade. Você vai precisar desta VNet no Passo 3.

1. Vá para Redes virtuais e clique em Criar.
2. Atribua-o ao grupo de recursos que você acabou de criar e forneça um nome descritivo.
3. Selecione a região onde você deseja hospedar seu espaço de trabalho do Azure Databricks.
4. Defina o espaço de endereço IP para a rede virtual, como 10.10.0.0/16. Você será solicitado a criar uma sub-rede inicial com seu próprio intervalo, como 10.10.1.0/24.
5. Selecione Rever + Criar e, em seguida, Criar.

Criar um novo espaço de trabalho

1. No portal do Azure, procure e selecione Azure Databricks. Clique em Criar.
2. Escolha o grupo de recursos que acabou de criar. Verifique se a Região corresponde ao grupo de recursos e à rede virtual.
3. O Azure Databricks recomenda adicionar "gerenciado" como um prefixo no nome do grupo de recursos gerenciados .
4. Na guia Rede , configure o seguinte:
   1. Implantar o espaço de trabalho do Azure Databricks com Conectividade de Cluster Seguro (Sem IP Público): Selecione Sim.
   2. Implantar o espaço de trabalho do Azure Databricks em sua própria Rede Virtual (VNet): selecione Sim.
   3. Selecione a VNet de espaço de trabalho que você criou anteriormente.
   4. Crie duas sub-redes para o espaço de trabalho. O Azure Databricks recomenda nomear cada sub-rede como algo facilmente identificável, como private-worker-subnet ou public-host-subnet.
   5. Permitir acesso à rede pública: selecione Habilitado.
   6. Regras NSG necessárias: selecione Sem regras do Azure Databricks.
   7. Implantar o espaço de trabalho do Azure Databricks com o Gateway NAT: selecione Não.

Criar um endpoint privado

1. Aceda a Pontos de extremidade privados.
   1. Em Pontos de extremidade privados, clique em Adicionar.
2. Configure o ponto de extremidade para databricks_ui_api:
   1. Designação: Insira um nome descritivo, como private-endpoint-front-end-ui.
   2. Subrecurso de destino: Selecione databricks_ui_api.
   3. Rede virtual: Selecione sua rede virtual de espaço de trabalho.
      • O VNet do workspace e a sua sub-rede privada dedicada fornecem um caminho de rede seguro e direto, permitindo que o seu espaço de trabalho aceda privadamente aos seus serviços clássicos de plano de computação.
   4. Região: Verifique se a região corresponde ao seu espaço de trabalho do Azure Databricks.

Após a implantação, prossiga para as Etapas compartilhadas.

Opção 2: Configurar um espaço de trabalho existente

Opção 2: Configurar um espaço de trabalho existente

Atualizar as definições de rede do espaço de trabalho

1. Vá para seu espaço de trabalho do Azure Databricks no portal do Azure.
2. Em Configurações, clique em Rede.
3. Confirme se Secure cluster connectivity (No Public IP) está definido como Sim.
4. Altere as regras NSG necessárias para NoAzureDatabricksRules.
5. Clique em Salvar. A atualização de rede pode levar mais de 15 minutos para ser concluída.

Crie um endpoint privado na VNet da área de trabalho

1. Na guia Conectividade de Rede do seu espaço de trabalho, selecione Ligações de ponta final privadas.
2. Clique no Ponto de extremidade privado.
3. Selecione o grupo de recursos para o ponto de extremidade, forneça um nome como my-workspace-fe-pe, e verifique se a região corresponde ao seu espaço de trabalho.
4. Na guia Recursos , defina Subrecurso de destino como databricks_ui_api.
5. Selecione a rede virtual associada ao seu espaço de trabalho.
6. Selecione sua sub-rede de ponto de extremidade privada.
7. Verifique se Integrar com zona DNS privada está definido como Sim. O Azure seleciona automaticamente a privatelink.azuredatabricks.net zona. Se ainda não existir, o Azure mostra uma nova privatelink.azuredatabricks.net zona.

Passos partilhados

Verificar DNS

Se você usar a integração interna de DNS privado do Azure, o Azure criará automaticamente um registro de endereço DNS para seu espaço de trabalho.

1. Verifique os registos de zona DNS privada:
   1. No portal do Azure, procure e navegue até a zona DNS privada chamada privatelink.azuredatabricks.net.
   2. Verifique se existem os seguintes A registos e aponte para os endereços IP privados dos seus terminais:
      1. Registro da interface do usuário/API do espaço de trabalho:
         • Nome: seu ID de espaço de trabalho exclusivo, como adb-xxxxxxxxxxxxxxxx.x
         • Valor: O endereço IP privado do seu databricks_ui_api ponto de extremidade privado.
      2. Registro de autenticação do navegador:
         • Nome: pl-auth.<your_region>. Este nome de registo é necessário para que a interface complete o processo de autenticação. Tem de seguir o formato para que o nome DNS pl-auth seja resolvido corretamente para os seus endpoints privados.
         • Valor: O endereço IP privado do seu browser_authentication ponto de extremidade privado.

Verifique a ligação Private Link do plano de cálculo clássico

Verifique a conexão do plano de computação clássico Private Link ao lançar um cluster.

1. Faça logon no seu espaço de trabalho do Azure Databricks.
2. Vá para Computação na barra lateral.
3. Clique em Criar computação, atribua-lhe um nome e clique em Criar.

A inicialização do cluster pode levar vários minutos. Um início de cluster bem-sucedido é uma boa primeira verificação, mas você deve executar uma consulta simples ou um comando de bloco de anotações para confirmar totalmente se a conexão funciona.

• Se o cluster falhar ao iniciar após 10-15 minutos e o registo de eventos do cluster mostrar um erro como Cluster terminated. Reason: Control Plane Request Failure, a sua configuração de Private Link está mal configurada. Analise as etapas nesta página para solucionar o problema.