Dela data bakom en brandvägg med SecureConnect

SecureConnect förenklar nätverkskonfigurationen för datadelning och gör det möjligt för dataleverantörer att dela data med olika mottagare utan att behöva tillåta varje mottagare separat i sina regler för lagringsnätverk. Dessutom tillåter SecureConnect leverantörer att dela från molnlagring bakom en privat endpoint.

Så här fungerar SecureConnect

För att använda SecureConnect gör en leverantör en engångskonfiguration som tillåter mottagare av Azure Databricks att komma åt leverantörens lagring bakom en brandvägg eller privat endpoint. Azure Databricks dirigerar sedan mottagarbegäranden via en hanterad proxy, så providern behöver inte uppdatera sin lagringsbrandvägg när en ny mottagare läggs till.

Mottagare får åtkomst till delade data med hjälp av sin befintliga OpenSharing-konfiguration:

• Mottagare i Azure Databricks med serverlös beräkning får åtkomst till delningar utan brandväggsändringar per leverantör.
• Azure Databricks-mottagare som använder klassisk beräkning och öppna mottagare tillåter en och samma uppsättning Azure Databricks-kontrollplans-IP-adresser för leverantörens region.

För att optimera prestandan läser mottagare med serverlös datorkapacitet i samma region som leverantörens lagringsutrymme direkt från lagringen, i stället för att gå via den hanterade proxyn. Mottagare över regioner och moln, samt mottagare på klassisk beräkning, läser igenom den hanterade proxyn. Denna skillnad påverkar hur nätverksanvändning faktureras. Se Fakturering.

Utan SecureConnect måste en provider lägga till varje mottagares nätverksidentifierare i sin lagringsbrandvägg och samordna med mottagaren och en molnplattformsadministratör för varje ny mottagare.

Konfigurera SecureConnect som leverantör

Att konfigurera SecureConnect innebär att konfigurera lagringsbrandväggen för att tillåta åtkomst och aktivera SecureConnect för dina metaarkiv och mottagare.

Steg 1: Konfigurera lagringsbrandväggen

Följande instruktioner förutsätter att dina delade tillgångar och providermetaarkiv finns i samma region. För de lägsta nätverkskostnaderna ska du se till att regionen för dina delade tillgångar är densamma som providerns metastoreregion.

SecureConnect får åtkomst till din lagring från det serverlösa dataplanet via din molnleverantörs nätverk, inte via det offentliga internet. Välj ett av följande installationsalternativ baserat på om din lagring kräver privat anslutning.

Alternativ 1: Lägg till Azure Databricks serverlösa nätverk i tillåtslistan

Tillåt åtkomst genom att lägga till Azure Databricks serverlösa nätverksidentifierare i din lagringsbrandvägg. Om lagringen finns bakom en privat slutpunkt kan du läsa följande avsnitt.

Om du vill tillåta Azure Databricks att komma åt dina resurser associerar du din Azure resurs med en nätverkssäkerhetsperimeter i övergångsläge och lägger till AzureDatabricksServerless.{region} tjänsttaggen i listan över tillåtna, där {region} är providerns kontrollplansregion. Se Konfigurera en brandvägg för serverlös beräkningsåtkomst.

Alternativ 2: Konfigurera privat anslutning

Använd detta alternativ om din delade lagring ligger bakom en privat endpoint.

En kontoadministratör måste konfigurera en nätverksanslutningskonfiguration (NCC) och koppla den till metaarkivet som är värd för dina delade data. Läs mer om NCC i Vad är en nätverksanslutningskonfiguration (NCC)?.

En NCC som är kopplad till en arbetsyta kan inte kopplas till ett metaarkiv. En NCC som tillämpas på ett metaarkiv för OpenSharing gäller för alla resurser som är kopplade till metaarkivet.

Skapa en NCC och privata slutpunktsregler för ditt lagringskonto, men koppla inte NCC till en arbetsyta. SecureConnect kräver också både en blob och en dfs privat slutpunktsregel, så skapa en privat slutpunktsregel för varje underresurstyp.

Se Konfigurera privat anslutning till Azure resurser för konfiguration av NCC och privat slutpunkt.

Koppla NCC till ditt OpenSharing-metaarkiv:

1. Som Azure Databricks kontoadministratör går du till kontokonsolen.
2. I sidofältet klickar du på Katalog.
3. Klicka på namnet på metaarkivet OpenSharing för att öppna informationen.
4. Under OpenSharing Network Connectivity Configuration (NCC) klickar du på Redigera.
5. Sök efter och välj den NCC som du skapade för OpenSharing.
6. Klicka på Spara.

Steg 2: Aktivera SecureConnect i ett metaarkiv

En metaarkivadministratör kan konfigurera metaarkivet så att nya mottagare automatiskt använder SecureConnect. Som standard registreras inte nya och befintliga mottagare i SecureConnect. Du måste konfigurera befintliga mottagare separat. Se Steg 3: Aktivera SecureConnect för enskilda mottagare.

Så här aktiverar du SecureConnect i ett metaarkiv:

1. På din Azure Databricks-arbetsyta klickar du på Katalog för att öppna Katalogutforskaren.

2. Längst upp i fönstret Katalog klickar du på kugghjulsikonen och väljer OpenSharing.

   Du kan också klicka på Dela > OpenSharing i det övre högra hörnet.

3. Klicka på Inställningar i det övre högra hörnet.

4. Aktivera inställningen för Aktivera SecureConnect för nya mottagare.

5. Klicka på Spara.

Steg 3: Aktivera SecureConnect för enskilda mottagare

Ägare till mottagare och användare med behörigheten USE_RECIPIENT kan aktivera eller inaktivera SecureConnect för varje mottagare. SecureConnect är inaktiverat på en mottagare som standard, såvida inte metaarkivet har angetts för att aktivera det för alla nya mottagare när mottagaren skapades.

Så här konfigurerar du SecureConnect på en mottagare:

1. På din Azure Databricks-arbetsyta klickar du på Katalog.

2. Längst upp i fönstret Katalog klickar du på kugghjulsikonen och väljer OpenSharing.

   Du kan också klicka på Dela > OpenSharing i det övre högra hörnet.

3. På fliken Delat av mig klickar du på fliken Mottagare .

4. Aktivera SecureConnect för varje önskad mottagare.

(Valfritt) Steg 4: Begränsa öppen mottagaråtkomst med IP-ACL:er

För öppna mottagare kan du begränsa vilka klient-IP-adresser som tillåts nå SecureConnect med hjälp av IP-åtkomstlistor. IP-ACL:er gäller endast för öppna mottagare.

Med SecureConnect gäller IP-ACL:er både för OpenSharing-slutpunktsåtkomst och lagringsåtkomst. Utan SecureConnect begränsar IP-ACL:er endast Åtkomst till OpenSharing-slutpunkter. lagrings-URL:er kan fortfarande nås från alla klient-IP-adresser.

Installationsinstruktioner finns i Begränsa OpenSharing-mottagaråtkomst med hjälp av IP-åtkomstlistor (Databricks-to-Open-delning).

Delningsscenarier som stöds

SecureConnect stödjer delning till mottagare oavsett moln de körs på, både för Databricks-to-Databricks och Databricks-to-open-delning.

Stöd för leverantörer på GCP finns i privat förhandsvisning. För att använda SecureConnect på GCP som leverantör, kontakta ditt Azure Databricks-kontoteam.

mTLS to SecureConnect stöds endast för mottagare av Azure Databricks som använder serverless compute för att komma åt den delade datan.

Funktionalitetssupport

* OIDC-delning fungerar inte för närvarande när mottagaren också är på Azure Databricks.

** Optimering av molntoken är inte tillgängligt för SecureConnect.

*** Dessa tillgångar materialiseras och filtreras på leverantörssidan. Se Har mottagarna direkt åtkomst till underliggande data i delade vyer, materialiserade vyer och strömmande tabeller?.

Limitations

• Dina tillgångar kan inte backas upp av Cloudflare R2-lagring.

Begränsningar på mottagarsidan, till exempel mTLS-stöd och delningsbegränsningar för Databricks-to-Open, finns i Begränsningar.

Regioner som inte stöds

SecureConnect är inte tillgängligt i Azure Kina, Azure Government eller följande Azure regioner:

• australiacentral
• australiacentral2
• japanwest
• qatarcentral
• southindia
• switzerlandwest
• ukwest
• westindia

Fakturering

Leverantörer faktureras för dataöverföring (egress) när mottagare får tillgång till delad data via SecureConnect. För priser, se prissättning för dataöverföring och anslutning, eller kontakta ditt Azure Databricks-kontoteam.

Användning per mottagare tilldelas via recipient_id fältet i tabellen faktureringssystem, så att leverantörer kan dela upp fakturerbar SecureConnect-användning per mottagare. Se Referens för tabell över fakturerbar användning.

Följande fråga returnerar SecureConnect-datautgående (i GB) för varje mottagare under de senaste 7 dagarna:

SELECT
  usage_records.usage_metadata.recipient_id,
  SUM(usage_records.usage_quantity) AS total_usage_gb
FROM system.billing.usage usage_records
WHERE
  usage_records.billing_origin_product = 'NETWORKING'
  AND usage_records.usage_metadata.associated_product = 'DATA_SHARING'
  AND usage_records.usage_metadata.networking_client = 'EXTERNAL_CLIENT'
  AND usage_records.usage_date >= CURRENT_DATE() - INTERVAL 7 DAYS
GROUP BY
  usage_records.usage_metadata.recipient_id
ORDER BY
  total_usage_gb DESC

Om du vill konvertera användning till kostnad ansluter du mot prissystemtabellen. Se Prissystemets tabellreferens.

Ytterligare resurser

• Konfigurera OpenSharing för ditt konto (för leverantörer)
• OpenSharing-mottagarens brandväggskonfiguration för SecureConnect