Compartilhar dados por trás de um firewall com o SecureConnect

O SecureConnect simplifica a rede para o compartilhamento de dados, permitindo que provedores de dados compartilhem com diferentes destinatários sem permitir a inclusão de cada destinatário em suas regras de armazenamento de rede. Além disso, o SecureConnect permite que provedores compartilhem a partir de armazenamento em nuvem atrás de um endpoint privado.

Como o SecureConnect funciona

Para usar o SecureConnect, um provedor faz uma configuração única que permite que os destinatários do Azure Databricks acessem o armazenamento do provedor atrás de um firewall ou endpoint privado. Azure Databricks encaminha solicitações de destinatário por meio de um proxy gerenciado, portanto, o provedor não precisa atualizar o firewall de armazenamento ao adicionar um novo destinatário.

Os destinatários acessam dados compartilhados usando a configuração existente do OpenSharing:

• Os destinatários do Azure Databricks na computação sem servidor acessam compartilhamentos sem necessidade de alterações no firewall por provedor.
• Os destinatários do Azure Databricks na computação clássica e os destinatários abertos incluem na lista de permissões um único conjunto de IPs do plano de controle do Azure Databricks para a região do provedor.

Para otimizar o desempenho, os destinatários em computação sem servidor na mesma região que o armazenamento do provedor leem diretamente do armazenamento, em vez de lerem por meio do proxy gerenciado. Destinatários entre regiões e entre nuvens, e destinatários na computação clássica, leem por meio do proxy gerenciado. Essa diferença afeta a forma como o uso da rede é cobrado. Veja faturamento.

Sem o SecureConnect, um provedor deve adicionar o identificador de rede de cada destinatário ao firewall de armazenamento, coordenando com o destinatário e um administrador de plataforma de nuvem para cada novo destinatário.

Configurar o SecureConnect como um provedor

A configuração do SecureConnect envolve a configuração do firewall de armazenamento para permitir o acesso e habilitar o SecureConnect para seus metastores e destinatários.

Etapa 1: Configurar o firewall de armazenamento

As instruções a seguir pressupõem que seus ativos compartilhados e o metastore do provedor estão na mesma região. Para os custos de rede mais baixos, mantenha a região de seus ativos compartilhados igual à região do metastore do provedor.

O SecureConnect acessa seu armazenamento a partir do plano de dados sem servidor, pela rede do seu provedor de nuvem, e não pela internet pública. Escolha uma das seguintes opções de configuração dependendo se seu armazenamento precisa de conectividade privada.

Opção 1: adicionar a rede sem servidor do Azure Databricks à lista de permissões

Permita o acesso adicionando o identificador de rede serverless do Azure Databricks ao seu firewall de armazenamento. Se o seu armazenamento estiver atrás de um endpoint privado, consulte a seção a seguir.

Para permitir que Azure Databricks acessem seus recursos, associe seu recurso de Azure a um perímetro de segurança de rede no modo de transição e adicione a AzureDatabricksServerless.{region} marca de serviço à lista de permissões, onde {region} está a região do plano de controle do provedor. Consulte Configurar um firewall para acesso à computação sem servidor.

Opção 2: Configurar conectividade privada

Use essa opção se seu armazenamento compartilhado estiver atrás de um endpoint privado.

Um administrador de conta deve configurar uma NCC (configuração de conectividade de rede) e anexá-la ao metastore que hospeda seus dados compartilhados. Para obter mais informações sobre NCCs, consulte O que é uma NCC (configuração de conectividade de rede)?.

Um NCC anexado a um workspace não pode ser anexado a um metastore. Um NCC aplicado a um metastore para OpenSharing se aplica a todos os compartilhamentos anexados ao metastore.

Crie um NCC e regras de endpoint privado para sua conta de armazenamento, mas não anexe o NCC a um espaço de trabalho. O SecureConnect também requer uma regra de ponto de extremidade privado blob e uma regra de endpoint privado dfs, portanto, crie uma regra de ponto de extremidade privado para cada tipo de sub-recurso.

Consulte Configurar a conectividade privada para recursos do Azure para configurar o NCC e o ponto de extremidade privado.

Anexe o NCC ao metastore do OpenSharing:

1. Como administrador de conta Azure Databricks, vá para o console da conta.
2. Na barra lateral, clique no Catálogo.
3. Clique no nome do metastore do OpenSharing para abrir seus detalhes.
4. Em NCC (configuração de conectividade de rede do OpenSharing), clique em Editar.
5. Pesquise e selecione o NCC que você criou para o OpenSharing.
6. Clique em Salvar.

Etapa 2: Habilitar o SecureConnect em um metastore

Um administrador de metastore pode configurar o metastore para que novos destinatários usem o SecureConnect automaticamente. Por padrão, os destinatários novos e existentes não são registrados no SecureConnect. Você deve configurar os destinatários existentes separadamente. Consulte a Etapa 3: Habilitar o SecureConnect para destinatários individuais.

Para habilitar o SecureConnect em um metastore:

1. No workspace Azure Databricks, clique em Catalog para abrir o Catalog Explorer.

2. Na parte superior do painel Catálogo , clique no Ícone de engrenagem e selecione OpenSharing.

   Como alternativa, no canto superior direito, clique em Compartilhar > OpenSharing.

3. Clique em Configurações no canto superior direito.

4. Ative a configuração para Habilitar SecureConnect para novos destinatários.

5. Clique em Salvar.

Etapa 3: Habilitar o SecureConnect para destinatários individuais

Os proprietários dos destinatários e os usuários com o privilégio USE_RECIPIENT podem ativar ou desativar o SecureConnect para cada destinatário. O SecureConnect está desabilitado em um destinatário por padrão, a menos que o metastore tenha sido definido para habilitá-lo para todos os novos destinatários quando o destinatário foi criado.

Para configurar o SecureConnect em um destinatário:

1. No workspace Azure Databricks, clique em Catalog.

2. Na parte superior do painel Catálogo , clique no Ícone de engrenagem e selecione OpenSharing.

   Como alternativa, no canto superior direito, clique em Compartilhar > OpenSharing.

3. Na guia Compartilhado por mim, clique na guia Destinatários.

4. Ative SecureConnect para cada destinatário desejado.

(Opcional) Etapa 4: Restringir o acesso de destinatário aberto com ACLs de IP

Para destinatários abertos, você pode restringir quais endereços IP do cliente têm permissão para acessar SecureConnect usando listas de acesso IP. As ACLs de IP se aplicam somente aos destinatários abertos.

Com o SecureConnect, as ACLs IP se aplicam tanto ao acesso ao endpoint OpenSharing quanto ao acesso ao armazenamento. Sem o SecureConnect, as ACLs de IP restringem apenas o acesso ao endpoint OpenSharing; as URLs de armazenamento permanecem acessíveis a partir de qualquer IP de cliente.

Para obter instruções de configuração, consulte Restringir o acesso dos destinatários do OpenSharing com listas de acesso por IP (compartilhamento Databricks-to-Open).

Cenários de compartilhamento com suporte

O SecureConnect oferece suporte ao compartilhamento para destinatários independentemente da nuvem em que operam, tanto no compartilhamento de Databricks para Databricks quanto no compartilhamento aberto do Databricks.

O suporte para provedores no GCP está disponível em Prévia Privada. Para usar o SecureConnect no GCP na condição de provedor, entre em contato com a equipe de contas do Azure Databricks.

O mTLS para o SecureConnect é suportado apenas para destinatários do Azure Databricks que usam computação serverless para acessar os dados compartilhados.

Suporte de funcionalidades

* O compartilhamento OIDC não funciona no momento quando o destinatário também está no Azure Databricks.

** A otimização de token de nuvem não está disponível para SecureConnect.

*** Esses ativos são materializados e filtrados no lado do provedor. Veja Se os destinatários têm acesso direto aos dados subjacentes em exibições compartilhadas, exibições materializadas e tabelas de streaming?.

Limitações

• Seus ativos não podem ser apoiados pelo armazenamento Cloudflare R2.

Para limitações no lado do destinatário, como suporte a mTLS e restrições de compartilhamento do Databricks para o Open, consulte Limitações.

Regiões sem suporte

O SecureConnect não está disponível no Azure China, Azure Governamental ou nas seguintes regiões de Azure:

• australiacentral
• australiacentral2
• japanwest
• qatarcentral
• southindia
• switzerlandwest
• ukwest
• westindia

Faturamento

Os provedores são cobrados pela transferência de dados (saída) quando os destinatários acessam dados compartilhados via SecureConnect. Para as taxas, veja Transferência de dados e preços de conectividade, ou entre em contato com sua equipe de contas do Azure Databricks.

O uso por destinatário é atribuído por meio do campo recipient_id na tabela do sistema de cobrança, para que os provedores possam discriminar o uso faturável do SecureConnect por destinatário. Veja Tabela de referência do sistema de uso faturável.

A consulta a seguir retorna a saída de dados SecureConnect (em GB) para cada destinatário nos últimos 7 dias:

SELECT
  usage_records.usage_metadata.recipient_id,
  SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
  usage_records.billing_origin_product = 'NETWORKING'
  AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
  AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
  AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
  usage_records.usage_metadata.recipient_id
ORDER BY
  total_usage_gb DESC

Para converter o uso em custo, faça uma junção com a tabela de preços do sistema. Confira a Referência da tabela do sistema de preços.

Recursos adicionais

• Configurar o OpenSharing para sua conta (para provedores)
• Configuração de firewall do destinatário do OpenSharing para SecureConnect