Configurar Link Privado de entrada para workspaces

Esta página fornece instruções para configurar conectividade privada de entrada entre usuários e seus workspaces do Azure Databricks.

• Para habilitar a conectividade privada do plano de computação clássico com o Azure Databricks, consulte Configurar a conectividade privada do plano de computação clássico com o Azure Databricks.
• Para se conectar do plano de computação sem servidor aos recursos do Azure, consulte Configurar conectividade privada com recursos do Azure.

Por que escolher uma conexão de entrada?

Se você usa computação clássica ou sem servidor, os usuários devem se conectar ao Azure Databricks. As organizações optam por se conectar ao Azure Databricks por vários motivos, incluindo o seguinte:

• Segurança aprimorada: restringindo todo o acesso a pontos de extremidade privados e desabilitando o acesso público, você minimiza a superfície de ataque e verifica se todas as interações do usuário com Azure Databricks ocorrem em uma rede privada e segura.
• Requisitos de conformidade: muitas organizações têm mandatos de conformidade rigorosos que exigem que todo o tráfego de plano de gerenciamento e dados permaneça em seus limites de rede privada, mesmo para serviços SaaS como Azure Databricks.
• Arquitetura de rede simplificada (para casos de uso específicos): Se você estiver usando apenas computação serverless, ou se sua interação principal com o Azure Databricks for por meio da interface do usuário da Web ou de APIs REST, e não houver necessidade imediata de conectividade privada com fontes de dados do Azure Databricks (o que exige uma conexão do Link Privado no plano de computação clássico), uma configuração somente de entrada simplifica o projeto geral da rede.
• Prevenção contra exfiltração de dados: ao impedir o acesso público e forçar todo o tráfego por meio de pontos de extremidade privados, você reduz o risco de exfiltração de dados, garantindo que o tráfego só possa ser acessado de ambientes de rede autenticados.

Modelo de conectividade

Você pode configurar a conectividade privada de duas maneiras:

• Sem acesso público: essa configuração desabilita todo o acesso público ao workspace. Todo o tráfego de usuário deve se originar de uma VNet conectada por meio de um ponto de extremidade privado. Esse modelo é necessário para a privatização total do tráfego. Para a privatização completa do tráfego, você também precisa de uma conexão de Link Privado do plano de computação clássico. Veja conceitos do Link Privado.
• Acesso híbrido: o Link Privado está ativo, mas o acesso público permanece habilitado com controles de entrada baseados em contexto e listas de acesso IP. Os controles de entrada baseados em contexto permitem restringir o acesso com base na identidade, no tipo de solicitação e na origem da rede. Isso permite que você permita com segurança o acesso de fontes públicas confiáveis (por exemplo, IPs corporativos estáticos), enquanto ainda usa o Link Privado para conectividade privada.

Este guia explica como implementar o modelo de acesso híbrido. Conseguimos isso usando uma topologia de rede hub-and-spoke padrão.

Visão geral da arquitetura

Esse modelo usa a VNet de trânsito:

• VNet de trânsito: esta é a rede virtual central que contém todos os pontos de extremidade privados necessários para que o cliente acesse os workspaces e para a autenticação no navegador. O espaço de trabalho para autenticação do navegador também está conectado a essa VNet.

Antes de começar

Examine os seguintes pré-requisitos e recomendações:

Requirements

• O workspace está no plano Premium.
• Seu workspace usa injeção de rede virtual (VNet). Consulte Implantar o Azure Databricks em sua rede virtual do Azure (injeção de VNet)
• Você deve ter permissões do Azure para criar pontos de extremidade privados e gerenciar registros DNS.

Configuração de rede

• Uma VNet de trânsito configurada para o seguinte:
  • Ele atua como o ponto de trânsito primário para todo o tráfego de usuário/cliente que se conecta à sua rede do Azure.
  • Ele fornece conectividade centralizada para redes locais ou outras externas.
  • Ele gerencia serviços compartilhados e contém a rota primária para o tráfego de saída da Internet (saída).
• Suas zonas DNS privadas são gerenciadas pelo DNS do Azure.

Práticas recomendadas

O Azure Databricks recomenda o seguinte para uma configuração resiliente e gerenciável:

• Arquitetura: sua rede deve seguir a arquitetura de hub-spoke recomendada Microsoft. Consulte a topologia de rede hub-spoke no Azure.
• Ambiente de autenticação isolado: para melhorar a resiliência, crie um ambiente separado para autenticação no navegador dentro da sua VNet de trânsito. Esse workspace dedicado deve hospedar o endpoint privado de autenticação do navegador, evitando um único ponto de falha caso outros workspaces sejam excluídos. Veja Criar um browser_authentication espaço de trabalho.

Configurar a conectividade privada para um workspace existente

Antes de começar, você deve interromper todos os recursos de computação, como clusters, pools ou sql warehouses clássicos. Nenhum recurso de computação do workspace pode ser executado ou a tentativa de atualização falha. O Azure Databricks recomenda planejar o tempo da atualização para tempo de inatividade.

1. Na página Workspaces , selecione Computação.
2. Selecione cada cluster de computação ativo e, na parte superior direita, clique em Encerrar.

Verificar o workspace injetado na VNet com acesso público habilitado

1. Acesse o workspace do Azure Databricks no portal do Azure.
2. Na seção de visão geral do workspace, verifique se o workspace do Azure Databricks usa sua própria rede virtual:
   1. Em Configurações, selecione a guia Rede . Confirme as seguintes configurações:
      1. A conectividade segura do cluster (nenhum IP público) está habilitada.
      2. Permitir acesso à rede pública está habilitado.

Criar databricks_ui_api endpoint privado

1. Na guia Sistema de rede do workspace, selecione Conexões de ponto de extremidade privadas.
2. Clique em Ponto de extremidade privado.
3. Selecione o grupo de recursos para o endpoint, forneça um nome como my-workspace-fe-pe. Verifique se a região corresponde ao seu workspace.
4. Clique em Avançar: Recurso.
5. Defina o sub-recurso de destino como databricks_ui_api.
6. Clique em Avançar: Rede Virtual.
7. Selecione sua VNet de trânsito. Sua VNet de trânsito é uma VNet separada e pré-existente em sua arquitetura de rede que gerencia e protege o tráfego de saída, geralmente contendo um firewall central.
8. Selecione a sub-rede que hospeda os pontos de extremidade privados.
9. Clique em Avançar e verifique se a integração com a zona DNS privada está definida como Sim. Ele deve selecionar automaticamente a privatelink.azuredatabricks.net zona.

Crie um browser_authentication espaço de trabalho

Crie um ponto de extremidade privado para autenticação via navegador e para dar suporte ao Single Sign-On (SSO) em sua rede privada. O Azure Databricks recomenda hospedar esse ponto de extremidade em um workspace de autenticação web privado dedicado.

Criar um grupo de recursos

1. No portal do Azure, navegue até e selecione Grupos de recursos.
2. Clique em + Criar.
3. Forneça um nome para o grupo de recursos, como web-auth-rg-eastus.
4. Para Região, selecione a mesma região do Azure em que os workspaces do Databricks de produção são implantados.
5. Clique em Examinar + criar e, em seguida, criar.

Criar uma VNET

1. No portal do Azure, pesquise e selecione Redes virtuais.
2. Clique em + Criar.
3. Na guia Noções básicas , selecione o grupo de recursos que você acabou de criar e dê à VNet um nome descritivo, como web-auth-vnet-eastus.
4. Verifique se a região corresponde ao grupo de recursos.
5. Na guia Endereços IP , defina um espaço de endereço IP para a VNet, por exemplo, 10.20.0.0/16. Você também será solicitado a criar uma sub-rede inicial.
6. Selecione Examinar + criar, depois Criar.

Criar e proteger o espaço de trabalho de autenticação da web privado

1. No portal do Azure, pesquise e selecione o Azure Databricks. Clique em + Criar.
2. Na guia Noções básicas , configure o seguinte:
   1. Selecione o grupo de recursos que você acabou de criar.
   2. Dê ao workspace um nome descritivo, como WEB_AUTH_DO_NOT_DELETE_<region>.
   3. Selecione a mesma região que seu grupo de recursos e VNet.
3. Clique em Avançar:Rede e configure o seguinte:
   1. Implantar o workspace do Azure Databricks com conectividade de cluster seguro (sem IP público): selecione Sim.
   2. Implantar o workspace do Azure Databricks em sua própria Rede Virtual (VNet): selecione Sim.
   3. Rede Virtual: selecione a VNet que você acabou de criar. Você será solicitado a definir intervalos de sub-rede.
   4. Acesso à Rede Pública: Selecione Desabilitado.
   5. Regras NSG necessárias: selecione NoAzureDatabricksRules.
4. Clique em Examinar + criar e, em seguida, criar.

Depois de criar o espaço de trabalho, proteja-o para evitar exclusões acidentais.

1. No portal do Azure, navegue até o workspace que você acabou de criar.
2. Vá para Configurações e selecione Bloqueios.
3. Clique em + Adicionar.
4. Defina o tipo de bloqueio como Excluir e forneça um nome de bloqueio descritivo.
5. Clique em OK.

Criar o ponto de extremidade privado browser_authentication

Depois de criar o workspace, você deve criar o ponto de extremidade privado browser_authentication para conectá-lo à VNet de trânsito.

1. Na guia Sistema de rede do workspace de autenticação da web, selecione Conexões de ponto de extremidade privado.
2. Clique em Ponto de extremidade privado.
3. Selecione o grupo de recursos para o endpoint, forneça um nome como web-auth-browser-auth-pe. Verifique se a região corresponde ao seu workspace.
4. Clique em Avançar: Recurso.
5. Defina o sub-recurso de destino como browser_authentication.
6. Clique em Avançar: Rede Virtual.
7. Selecione sua VNet de trânsito (a mesma VNet usada para o databricks_ui_api ponto de extremidade privado).
8. Selecione a sub-rede que hospeda os pontos de extremidade privados.
9. Clique em Avançar e verifique se a integração com a zona DNS privada está definida como Sim. Ele deve selecionar automaticamente a privatelink.azuredatabricks.net zona.
10. Conclua a criação do ponto de extremidade.

Configurar e verificar DNS

Depois de implantar os pontos de extremidade privados, você deve verificar se o DNS resolve corretamente os URLs do Azure Databricks em seus novos endereços IP privados.

1. Verifique os registros de zona DNS privados:
   1. No portal do Azure, pesquise e navegue até a zona DNS privada chamada privatelink.azuredatabricks.net.
   2. Verifique se os seguintes registros A existem e apontam para os endereços IP privados de seus endpoints:
      1. Registro de IU/API do espaço de trabalho:
         • Nome: sua ID exclusiva do workspace, como adb-xxxxxxxxxxxxxxxx.x
         • Valor: o endereço IP privado do seu ponto de extremidade privado databricks_ui_api.
      2. Registro de autenticação do navegador:
         • Nome: escolha um nome descritivo como pl-auth.<your_region>.
         • Valor: o endereço IP privado do seu ponto de extremidade privado browser_authentication.

Verificar o acesso à rede privada

Confirme se você pode acessar o workspace por meio de sua conexão de rede privada.

De uma rede conectada

Se sua rede local já se conectar à VNet do Azure por VPN ou ExpressRoute, o teste será simples:

• Do seu computador, abra um navegador da web e acesse diretamente a URL do workspace do Azure Databricks para fazer login. Um logon bem-sucedido confirma que sua conexão privada funciona.

Usando uma VM de teste

Se você não puder acessar a VNet do workspace de seu local atual, crie uma máquina virtual temporária (uma "jumpbox") para testar de:

1. Criar uma VM: no portal Azure, crie uma máquina virtual Windows. Coloque-a em uma sub-rede utilizando a mesma VNet de trânsito em que você configurou seu ponto de extremidade privado de entrada.
2. Conecte-se à VM: use um cliente Área de Trabalho Remota para se conectar à sua nova VM.
3. Teste na VM: depois de se conectar à VM, abra um navegador da Web, acesse o portal do Azure e localize seu workspace Azure Databricks.
4. Iniciar Workspace: clique em Iniciar Workspace. Um logon bem-sucedido confirma que o acesso de dentro de sua VNet privada funciona corretamente.

Verificar o DNS com nslookup

1. Conecte-se a uma máquina virtual dentro de sua VNet configurada ou à rede local por meio da VPN ou do Azure ExpressRoute. Seu computador deve ser capaz de usar o DNS privado do Azure.
2. Abra um prompt de comando ou terminal e use nslookup para verificar a resolução DNS.

# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

Criar general_access endpoint privado

Crie um endpoint privado para acessar seu espaço de trabalho por meio de uma URL personalizada. Essa etapa só é necessária se você quiser acessar seu espaço de trabalho com sua URL personalizada, por exemplo, <my-custom-account-name>.azuredatabricks.net.

Preparar a VNet e a sub-rede

Configure uma VNet e uma sub-rede para hospedar o ponto de extremidade privado. Você pode criar um novo VNet ou reutilizar um existente, como o VNet do seu workspace.

1. Para criar uma nova VNet, consulte Criar um Rede Virtual do Azure.
2. Para adicionar uma sub-rede, consulte Adicionar, alterar ou excluir uma sub-rede de rede virtual.
3. Verifique se a política de rede do ponto de extremidade privado está desabilitada em sua subrede. Esta é a configuração padrão. Consulte Gerenciar políticas de rede para pontos de extremidade privados para obter detalhes.

Se você reutilizar uma VNet existente do workspace, use ou crie uma sub-rede diferente da usada pelo workspace. Se a VNet que hospeda o ponto de extremidade privado for diferente da VNet que está enviando o tráfego, configure o emparelhamento VNet ou a conectividade. Consulte Verificar a conectividade da VNet.

Implantar um endpoint privado

1. No portal do Azure, pesquise por endereços de ponto final privados no Microsoft Marketplace e selecione Criar.
2. Insira um nome e o nome da interface de rede, e defina a região para coincidir com a região da VNet do workspace.
3. Clique em Avançar: Recurso.
4. Selecione Conectar-se a um recurso do Azure pela ID do recurso ou pelo alias.
5. No campo ID do recurso ou alias, insira o ID do recurso do serviço Link Privado para os serviços general_access da sua região. Consulte IDs de recurso do serviço Link Privado para serviços de alto desempenho e acesso geral para obter a lista de IDs de recurso.
6. No campo sub-recurso de destino , insira general_access.
7. Clique em Avançar: Rede Virtual.
8. Selecione a rede virtual e a sub-rede que você preparou na seção Preparar VNet e sub-rede .
9. Clique em Avançar: DNS.
10. Deixe a integração com a zona DNS privada definida como Não. Você configura o DNS manualmente depois.
11. Clique em Avançar: Rótulos.
12. Clique em Próximo: Examinar + criar.
13. Examine a configuração e clique em Criar para implantar o ponto de extremidade privado.
14. Após a conclusão da implantação, registre estes valores:
    • Nome do endpoint privado: O nome do seu endpoint privado.
    • GUID do recurso: acesse o recurso do ponto de extremidade privado, clique em Exibição JSON e encontre o valor em properties.resourceGuid. Isso é necessário quando você registra seu endpoint privado.
    • Endereço IP privado: no modo de exibição JSON, localize o endereço IP em properties.customDnsConfigs[0].ipAddresses[0]. Isso é necessário quando você configura o DNS.

Registre seu endpoint privado

Depois de criar seu ponto de extremidade privado no portal do Azure, registre-o no Azure Databricks.

1. Vá para o console da conta Azure Databricks.
2. Na barra lateral, clique em Segurança>Rede>Pontos de Extremidade>Registrar Ponto de Extremidade.

Adicionar seu ponto de extremidade privado à lista de permissões para workspaces com entrada baseada em contexto

1. No console da conta, clique em Segurança na barra lateral.
2. Clique no controle de entrada e saída baseado em contexto na barra lateral.
3. Em políticas de nível de espaço de trabalho, clique em Nova política de espaço de trabalho.
4. Em Acesso de entrada à rede privada>, defina sua política de acesso à rede privada.
   1. Por padrão, todos os endpoints registrados são permitidos: Permitir acesso a partir de todos os endpoints privados. Se isso for aceitável, prossiga para a próxima etapa. Essa configuração padrão inclui apenas os primeiros 200 endpoints privados registrados; se sua política exigir mais, entre em contato com a equipe da sua conta para solicitar um aumento.
   2. Se você quiser adicionar pontos de extremidade registrados específicos à lista de permissões, negando o acesso a todos os outros pontos de extremidade, desmarque Permitir acesso de todos os pontos de extremidade privados e adicione uma regra de permissão.
      1. Selecione as identidades e destinos do espaço de trabalho aos quais você quer permitir o acesso (por padrão, todas as identidades e destinos são permitidos).
      2. Para o tipo de Fonte, selecione Endpoints privados selecionados e selecione o(s) endpoint(s) privado(s) de acesso geral que você registrou. A região desse endpoint privado não precisa corresponder à região do seu espaço de trabalho. Um endpoint de acesso geral em qualquer região pode atender a espaços de trabalho em qualquer região.
      3. Clique em Confirmar.
      4. Você também pode adicionar regras de Negação na sua apólice, que definem exceções às suas regras de permissão.
5. Quando você terminar de configurar sua política de acesso privado, também pode configurar sua política de acesso público no Ingress > Public Network Access. Você pode desabilitar todo o acesso por IP público desmarcando Permitir acesso de todos os IPs públicos. O Azure Databricks recomenda manter o acesso público ativado durante o teste da configuração do DNS, e depois desativá-lo após a finalização do DNS para impor conectividade privada exclusiva.
6. Teste sua política de entrada no modo de execução seca primeiro, antes de alterná-la para Imposta. As negações de acesso em modo de execução a seco são registradas na system.access.inbound_network tabela do sistema, mas não bloqueiam o acesso.
7. Certifique-se de que sua política de saída está correta.
8. Anexe sua política de rede ao(s) seu(s) espaço de trabalho(s). Espaços de trabalho sem esse endpoint de acesso geral incluído na lista de permissões não podem ser acessados por meio da sua URL personalizada.
9. Salve sua apólice de rede. As atualizações de política de entrada baseadas em contexto levam menos de 10 minutos para entrar em vigor.

Configurar DNS para o endpoint de acesso geral

Depois que seu endpoint privado for registrado e listado, configure o DNS para que o tráfego do workspace passe pelo endpoint privado usando seu domínio personalizado. <my-custom-account-name>.azuredatabricks.net

1. Crie uma zona DNS privada Azure chamada <my-custom-account-name>.azuredatabricks.net. Se você já configurou um ponto de extremidade privado general_access para o Link Privado de entrada para seus recursos de nível de conta (consulte Configurar o Link Privado de entrada para recursos de nível de conta), reutilize a zona <my-custom-account-name>.azuredatabricks.net existente. Para novas zonas, consulte Criar uma zona DNS privada Azure usando o portal Azure.
2. Vincule a zona DNS privada à VNet que hospeda o seu endpoint privado. Consulte Link da rede virtual.

Criar um registro DNS A

1. Vá para sua nova zona DNS privada.
2. Selecione a guia Conjuntos de Registros em Gerenciamento de DNS.
3. Clique em Adicionar para adicionar um conjunto de registros.
4. Configure o registro A:
   • Nome: @
   • Tipo: A
   • Endereço IP: O endereço IP privado do seu endpoint privado.
5. Clique em OK para salvar o registro.

Verificar a resolução de DNS

Em uma máquina na sua VNet ou em uma execução do workspace anexada à sua zona DNS privada, confirme se as consultas DNS resolvem para o IP do endpoint privado:

nslookup <my-custom-account-name>.azuredatabricks.net

Ou use dig:

dig <my-custom-account-name>.azuredatabricks.net

Ambos os comandos retornam o endereço IP privado do endpoint privado.

Verificar conectividade VNet

Se a VNet que está gerando tráfego for diferente da VNet que hospeda o ponto de extremidade privado, configure o emparelhamento VNet ou a conectividade entre elas. Consulte os Cenários de integração de DNS do Azure Private Endpoint para orientações detalhadas.

Configuração de DNS personalizada

Ao usar um ponto de extremidade de entrada privado com seu próprio DNS personalizado, você deve verificar se tanto o URL do workspace quanto os URLs de autenticação do SSO (logon único) são resolvidos corretamente para o endereço IP do ponto de extremidade privado.

Recomendado: encaminhamento condicional

O método mais confiável é configurar o servidor DNS para encaminhar consultas para todos os domínios do Databricks para o DNS interno do Azure.

1. Configure o encaminhamento condicional para os seguintes domínios para o servidor DNS do Azure:
   • *.azuredatabricks.net
   • *.privatelink.azuredatabricks.net
   • *.databricksapps.com
   • Sua URL personalizada: <my-custom-account-name>.azuredatabricks.net
2. Verifique se a VNet é vinculada à Zona DNS Privada do Azure.

Isso permite que o Azure resolva automaticamente todos os nomes de host necessários, incluindo os URLs de SSO e do workspace, direcionando-os para o endereço IP do seu ponto de extremidade privado.

Alternativa: registros manuais A

Se o encaminhamento condicional não for uma opção, você deverá criar manualmente registros DNS A .

1. URL do workspace: crie um registro A mapeando a URL por workspace, como adb-1111111111111.15.azuredatabricks.net, para o endereço IP do ponto de extremidade privado.
2. URL de autenticação SSO: Crie um registro A que mapeie a URL regional de SSO, como westus.pl-auth.azuredatabricks.net, para o endereço IP do endpoint privado.
3. Sua URL personalizada: Crie um A registro mapeando sua URL personalizada, como <my-custom-account-name>.azuredatabricks.net, para o endereço IP do endpoint privado.

Algumas regiões do Azure usam várias instâncias do plano de controle para SSO. Talvez seja necessário criar vários A registros para autenticação. Entre em contato com sua equipe de conta do Azure Databricks para obter a lista completa de domínios para sua região.

Recursos adicionais

• Rede de plano de processamento clássico
• Configurar listas de acesso IP para workspaces