Conceitos do Link Privado

O Link Privado do Azure cria uma conexão privada e segura entre seus recursos do Azure Databricks e seus serviços do Azure e recursos sem servidor, garantindo que o tráfego de rede não seja exposto à Internet pública.

O Azure Databricks dá suporte a três tipos de conectividade de Link Privado:

• Entrada (front-end): garante conexões seguras de usuários com workspaces e recursos de nível de conta (por exemplo, o console da conta e o Genie One de nível de conta)
• Saída (sem servidor): protege as conexões da computação sem servidor do Azure Databricks para seus recursos do Azure
• Clássico (back-end): Protege conexões da computação clássica para o plano de controle

Visão geral da conectividade privada

O Link Privado do Azure permite conectividade segura e privada de suas VNets do Azure e redes locais para os serviços do Azure, garantindo que seu tráfego permaneça isolado da Internet pública. A rede privada de ponta a ponta ajuda você a cumprir os requisitos de segurança e conformidade e reduz o risco de exfiltração de dados.

Você pode habilitar conexões de link privado de entrada (front-end), de saída (sem servidor) ou de computação clássica (back-end) de forma independente ou em combinação. A escolha certa depende dos requisitos de segurança e conformidade. Por exemplo, você pode impor conectividade privada aos recursos do Azure Databricks, rejeitando automaticamente todas as conexões de rede pública. Essa abordagem combinada oferece isolamento de rede abrangente, reduzindo sua superfície de ataque e dando suporte à conformidade para cargas de trabalho confidenciais.

Com o Link Privado, você pode:

• Bloqueie o acesso a dados de redes não autorizadas ou da Internet pública ao usar o aplicativo Web ou APIs do Azure Databricks.
• Reduza o risco de exfiltração de dados restringindo apenas a exposição à rede a pontos de extremidade privados aprovados.

Escolha a implementação correta do Link Privado

Use este guia para determinar qual implementação melhor atende às suas necessidades.

Conectividade de entrada (front-end)

O Link Privado de entrada protege a conexão dos usuários aos espaços de trabalho do Azure Databricks e aos recursos no nível da conta. O tráfego é roteado por um ponto de extremidade privado na sua VNet de trânsito, em vez de IPs públicos. O Link Privado de Entrada fornece acesso seguro a:

• Aplicativo Web do Azure Databricks
• API REST
• Aplicativos do Databricks
• Databricks Connect API
• Serviços do Azure Databricks que exigem alto desempenho

Consulte Configurar conectividade privada de entrada.

Conectividade de saída (sem servidor)

O Link Privado de Saída permite a conectividade privada dos recursos de computação sem servidor do Azure Databricks para seus recursos do Azure. Ao contrário do Link Privado do plano de computação clássico e de entrada, que protege conexões com o Azure Databricks, o Link Privado de saída protege as conexões da computação sem servidor para os recursos do cliente.

O Link Privado sem Servidor usa NCCs (Configurações de Conectividade de Rede), que são constructos regionais no nível de conta que gerenciam a criação de pontos de extremidade privados em escala. NCCs podem ser anexados a vários espaços de trabalho na mesma região.

Conectividade privada do plano de computação clássico

O link privado do plano de computação clássico protege a conexão dos clusters do Azure Databricks com o plano de controle. Os clusters se conectam ao plano de controle para APIs REST e protegem a retransmissão de conectividade do cluster.

Endereços de link privado do plano de computação clássico:

• Requisitos de conformidade: ajuda a atender a rigorosos requisitos de conformidade regulatória e corporativa que exigem que todo o tráfego de nuvem interno permaneça em uma rede privada.
• Proteção de perímetro de rede: implementar o Link Privado do plano de computação clássico junto aos pontos de extremidade privados para os serviços do Azure permite restringir a exposição à rede. Isso reduz os riscos de exfiltração de dados, garantindo que os clusters de processamento de dados não tenham caminho para serviços ou destinos não autorizados na Internet pública.

Consulte Configuração de conectividade privada de back-end.

Redes virtuais para conectividade privada

A conectividade privada usa duas VNets (redes virtuais) distintas.

• VNet de trânsito: essa VNet funciona como um hub central para a conectividade do usuário e contém os pontos de extremidade privados de entrada necessários para o acesso do cliente a workspaces e para autenticação de SSO baseada em navegador.
• VNet do Workspace: essa é uma VNet criada especificamente para hospedar seu workspace do Azure Databricks e pontos de extremidade privados clássicos.

Alocação e dimensionamento de sub-rede

Planeje suas sub-redes em cada VNet para dar suporte a implantações e conectividade privadas.

• Sub-redes VNet de trânsito:

  • Sub-rede de ponto de extremidade privado: aloca endereços IP para todos os pontos de extremidade privados de entrada.
  • Sub-redes do workspace de autenticação do navegador: duas sub-redes dedicadas, um host ou uma sub-rede pública e um contêiner ou uma sub-rede privada, são recomendadas para implantar o workspace de autenticação do navegador.

• Sub-redes VNet do workspace:

  • Sub-redes do workspace: duas sub-redes, um host ou uma sub-rede pública e um contêiner ou uma sub-rede privada, são necessárias para a implantação do workspace do Azure Databricks em si. Para obter informações de dimensionamento relacionadas a sub-redes de workspace, consulte Diretrizes de espaço de endereço.
  • Sub-rede de ponto de extremidade privado clássico: uma sub-rede adicional é necessária para hospedar o ponto de extremidade privado para conectividade privada do plano de computação clássico.

O dimensionamento depende de suas necessidades de implementação individuais, mas você pode usar o seguinte como guia:

Pontos de extremidade privados do Azure Databricks

O Azure Databricks utiliza quatro tipos distintos de endpoints privados para privatizar o tráfego. Entenda as diferentes funções para implementá-las corretamente.

• Ponto de extremidade do espaço de trabalho (databricks_ui_api): este é o ponto de extremidade privado principal para proteger o tráfego de e para o espaço de trabalho. Ele lida com chamadas à API REST para Link Privado de plano de computação clássico e de entrada.
• Ponto de extremidade de autenticação da Web (browser_authentication): esse é um ponto de extremidade adicional especializado necessário apenas para fazer o SSO (single Sign-On) funcionar para logons do navegador da Web em uma conexão privada. Ele é necessário para conectividade de entrada e de ponta a ponta.
• Ponto de extremidade de acesso geral (general_access): este ponto de extremidade privado protege o tráfego de e para seu workspace e recursos de nível de conta (por exemplo, o console da conta e o Genie One de nível de conta). Ele pode lidar com chamadas de API REST para Link Privado de plano de computação clássico e de entrada, bem como autenticação do navegador por meio de SSO. Ele pode atender tráfego de URL personalizada (por exemplo, <my-custom-account-name>.azuredatabricks.net), e pode atender espaços de trabalho em diferentes regiões a partir de um único endpoint. O Azure Databricks ainda recomenda o uso dos databricks_ui_api endpoints e browser_authentication para atender o tráfego do workspace solicitado por URLs não personalizadas, para facilitar a configuração da zona DNS privada. Consulte Configurar Link Privado de entrada para workspaces.
• Endpoint Direto de Serviço (service_direct): Este endpoint é necessário para acessar serviços que exigem muito desempenho. Consulte Configurar o Link Privado de Entrada para serviços com uso intensivo de desempenho.

Para pontos de extremidade privados, considere o seguinte:

• Pontos de extremidade compartilhados: os pontos de extremidade privados de acesso geral podem ser compartilhados entre vários workspaces e recursos de nível de conta em qualquer região. Para a conectividade do plano de computação clássico, um único conjunto de pontos de extremidade privados pode ser usado por todos os workspaces implantados nessa VNet e nessa região. Os endpoints de autenticação do navegador também podem ser compartilhados entre espaços de trabalho na mesma região.
• Específico da região: pontos de extremidade privados são recursos específicos da região. Para os pontos de extremidade databricks_ui_api, browser_authentication e service_direct, os espaços de trabalho em regiões diferentes exigem configurações separadas de ponto de extremidade privado. Para pontos de extremidade de acesso geral, espaços de trabalho em diferentes regiões podem compartilhar um único ponto de extremidade localizado em qualquer região.

Principais considerações

Antes de configurar a conectividade privada, tenha o seguinte em mente:

• Se você tiver uma política de Grupos de Segurança de Rede habilitada no ponto de extremidade privado, deverá permitir as portas 443, 6666, 3306 e 8443-8451 para regras de segurança de entrada no grupo de segurança de rede na sub-rede em que o ponto de extremidade privado é implantado.
• Para criar uma conexão entre sua rede e o portal do Azure e seus serviços, talvez seja necessário adicionar URLs do portal do Azure à sua lista de permissões. Consulte Permitir o acesso das URLs do portal do Azure no seu firewall ou servidor proxy.