Partilhe dados atrás de um firewall com o SecureConnect

O SecureConnect simplifica a rede para partilha de dados, permitindo que os fornecedores de dados partilhem com diferentes destinatários sem permitir a inclusão de cada destinatário nas suas regras de armazenamento de rede. Além disso, o SecureConnect permite aos fornecedores partilhar conteúdos de armazenamento na nuvem através de um ponto final privado.

Como funciona o SecureConnect

Para usar o SecureConnect, um fornecedor faz uma configuração única que permite aos destinatários do Azure Databricks aceder ao armazenamento do fornecedor atrás de um firewall ou endpoint privado. O Azure Databricks encaminha então os pedidos do destinatário através de um proxy gerido, para que o fornecedor não precise de atualizar o firewall de armazenamento ao adicionar um novo destinatário.

Os destinatários acedem a dados partilhados usando a sua configuração OpenSharing existente:

• Os destinatários do Azure Databricks acedem a partilhas com computação sem servidor, sem alterações na firewall por fornecedor.
• Os destinatários do Azure Databricks no classic compute e os destinatários abertos permitem listar um único conjunto de IPs do Azure Databricks control plane para a região do fornecedor.

Para otimizar o desempenho, os recetores em computação serverless na mesma região que o armazenamento do fornecedor leem diretamente do armazenamento, em vez de o fazerem através do proxy gerido. Os destinatários multi-região e cross-cloud, e os destinatários na computação clássica, leem através do proxy gerido. Esta diferença afeta a forma como a utilização da rede é faturada. Ver Billing.

Sem o SecureConnect, um fornecedor deve adicionar o identificador de rede de cada destinatário ao seu firewall de armazenamento, coordenando com o destinatário e um administrador da plataforma cloud para cada novo destinatário.

O SecureConnect também se aplica a produtos de dados partilhados através do Databricks Marketplace e a dados partilhados em salas limpas, porque ambos são construídos sobre o OpenSharing.

Configure o SecureConnect como fornecedor

Configurar o SecureConnect envolve configurar o firewall de armazenamento para permitir o acesso e ativar o SecureConnect para os seus metastores e destinatários.

Passo 1: Configure o seu firewall de armazenamento

As instruções seguintes assumem que os seus ativos partilhados e a metastore do fornecedor estão na mesma região. Para os custos de rede mais baixos, mantenha a região dos seus ativos partilhados igual à região da metastore do seu fornecedor.

O SecureConnect acede ao seu armazenamento a partir do plano de dados serverless através da rede do seu fornecedor cloud, não da internet pública.

A forma como configuras o acesso depende de como o teu armazenamento está protegido.

Opção 1: Armazenamento sem firewall ou endpoint privado

Se o seu armazenamento não estiver atrás de um firewall ou endpoint privado, não é necessária qualquer configuração.

Opção 2: Armazenamento atrás de um firewall

Permita o acesso adicionando o identificador de rede serverless do Azure Databricks ao seu firewall de armazenamento. Se o seu armazenamento estiver atrás de um endpoint privado, consulte a secção seguinte.

Para permitir que o Azure Databricks aceda aos seus recursos, associe o seu recurso Azure a um perímetro de segurança de rede em modo de transição e adicione a AzureDatabricksServerless.{region} etiqueta de serviço à lista de permissões, onde {region} está a região do plano de controlo do fornecedor. Consulte Configurar um firewall para acesso à computação sem servidor.

Opção 3: Armazenamento atrás de um endpoint privado

Use esta opção se o seu armazenamento partilhado estiver atrás de um endpoint privado.

Um administrador de conta deve configurar uma configuração de conectividade de rede (NCC) e anexá-la à metastore que aloja os seus dados partilhados. Para mais informações sobre NCCs, consulte O que é uma configuração de conectividade de rede (NCC)?.

Um NCC ligado a um espaço de trabalho não pode estar ligado a uma metastore. Um NCC aplicado a um metaarmazenamento do OpenSharing aplica-se a todas as partilhas anexadas ao metaarmazenamento.

Crie um NCC e regras de endpoint privado para a sua conta de armazenamento, mas não anexe o NCC a um espaço de trabalho. O SecureConnect também requer uma regra de endpoint privado para blob e dfs, por isso, crie uma regra de endpoint privado para cada tipo de sub-recurso.

Veja Configurar conectividade privada a recursos Azure para NCC e configuração de endpoints privados.

Anexe o NCC à sua metastore OpenSharing:

1. Como administrador de contas Azure Databricks, aceda à consola de contas.
2. Na barra lateral, clique no Catálogo.
3. Clique no nome da metastore OpenSharing para abrir os seus detalhes.
4. Na configuração de conectividade de rede OpenSharing (NCC), clique em Editar.
5. Procure e selecione o NCC que criou para o OpenSharing.
6. Clique em Salvar.

Passo 2: Ativar o SecureConnect numa metastore

Um administrador da metastore pode configurar a metastore para que novos destinatários usem automaticamente o SecureConnect. Por defeito, novos e atuais destinatários não estão inscritos no SecureConnect. Deve configurar os destinatários existentes separadamente. Veja o Passo 3: Ative o SecureConnect para os destinatários individuais.

Para ativar o SecureConnect numa metastore:

1. No seu espaço de trabalho do Azure Databricks, clique no Catálogo para abrir o Catalog Explorer.

2. No topo do painel de Catálogo , clique no ícone de engrenagem e selecione OpenSharing.

   Alternativamente, no canto superior direito, clique em Partilhar > OpenSharing.

3. Clique em Definições no canto superior direito.

4. Ativa a opção de Ativar o SecureConnect para novos destinatários.

5. Clique em Salvar.

Passo 3: Ativar o SecureConnect para destinatários individuais

Os proprietários dos destinatários e os utilizadores com o privilégio USE_RECIPIENT ativam ou desativam o SecureConnect para cada destinatário. O SecureConnect está desativado num destinatário por defeito, a menos que a metastore estivesse configurada para o ativar para todos os novos destinatários quando o destinatário foi criado.

Para configurar o SecureConnect num destinatário:

1. No seu espaço de trabalho do Azure Databricks, clique no Catálogo.

2. No topo do painel de Catálogo , clique no ícone de engrenagem e selecione OpenSharing.

   Alternativamente, no canto superior direito, clique em Partilhar > OpenSharing.

3. No separador Partilhado por mim , clique no separador Destinatários .

4. Ativa o SecureConnect para cada destinatário desejado.

(Opcional) Passo 4: Restringir o acesso aberto do destinatário com ACLs IP

Para destinatários abertos, pode restringir quais os endereços IP dos clientes autorizados a aceder ao SecureConnect usando listas de acesso IP. As ACLs IP aplicam-se apenas a destinatários abertos.

Com o SecureConnect, as ACLs IP aplicam-se tanto ao acesso ao endpoint OpenSharing como ao acesso ao armazenamento. Sem o SecureConnect, as ACLs IP restringem apenas o acesso ao endpoint OpenSharing; Os URLs de armazenamento permanecem acessíveis a partir de qualquer IP do cliente.

Para instruções de configuração, consulte Restringir o acesso do destinatário OpenSharing usando listas de acesso IP (Databricks-to-Open sharing).

Cenários de partilha suportados

O SecureConnect suporta a partilha para destinatários, independentemente da nuvem em que operam, tanto para partilha Databricks para Databricks como para Databricks para partilha aberta.

O mTLS para o SecureConnect é suportado apenas para destinatários do Azure Databricks que utilizam computação serverless para aceder aos dados partilhados.

Suporte de funcionalidades

* A partilha OIDC não funciona atualmente quando o destinatário também está no Azure Databricks.

** A otimização de tokens cloud não está disponível para o SecureConnect.

*** Estes ativos são materializados e filtrados no lado do fornecedor. Veja Os destinatários têm acesso direto aos dados subjacentes em vistas partilhadas, visualizações materializadas e tabelas de streaming?

Limitations

• Os seus ativos não podem ser armazenados no Cloudflare R2.
• O SecureConnect não pode ser usado com destinatários que leem dados partilhados usando o SAP HANA, porque o SAP HANA não suporta os URLs pré-assinados do Azure Databricks que o SecureConnect utiliza para entregar dados partilhados.

Para limitações do lado do destinatário, como o suporte a mTLS e as restrições de partilha de Databricks para Open, veja Limitações.

Regiões não suportadas

O SecureConnect não está disponível no Azure China, Azure Government ou nas seguintes regiões do Azure:

• australiacentral
• australiacentral2
• japanwest
• qatarcentral
• southindia
• switzerlandwest
• ukwest
• westindia

Billing

Os fornecedores são cobrados pela transferência de dados (saída) quando os destinatários acedem a dados partilhados através do SecureConnect. Para tarifas, consulte Preços de transferência de dados e conectividade, ou contacte a sua equipa de contas no Azure Databricks.

O uso por destinatário é atribuído através do recipient_id campo na tabela do sistema de faturação, para que os fornecedores possam detalhar o uso faturável do SecureConnect por destinatário. Consulte Tabela de referência do sistema de uso faturável.

A consulta seguinte devolve a saída de dados do SecureConnect (em GB) para cada destinatário nos últimos 7 dias:

SELECT
  usage_records.usage_metadata.recipient_id,
  SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
  usage_records.billing_origin_product = 'NETWORKING'
  AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
  AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
  AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
  usage_records.usage_metadata.recipient_id
ORDER BY
  total_usage_gb DESC

Para converter a utilização em custo, faça uma junção com a tabela de preços do sistema. Consulte referência da tabela do sistema de preços.

Recursos adicionais

• Configure o OpenSharing para a sua conta (para os fornecedores)
• Configuração do firewall do destinatário OpenSharing para o SecureConnect