Isolerad miljö

Arkitekturen för isolerad miljö ärver den härdade anslutningsbaslinjen och lägger till två krav: åtkomst till privata arbetsytor och en nödvändig extern brandvägg. Åtkomsten till arbetsytan skyddas av VPN eller via inkommande Private Link, aldrig via det publika internetet. All klassisk utgående beräkningstrafik går via brandväggen för inspektion och tillämpning av principer.

Den här arkitekturen har:

• Fullständig nätverksisolering: All trafik flödar via privata anslutningar.
• Åtkomst till privat arbetsyta: endast VPN eller inkommande Private Link. Arbetsytan kan inte nås från det offentliga Internet.
• Nödvändig utgående inspektion: Brandväggsinspektion av all klassisk utgående beräkningstrafik.
• Dataexfiltreringsskydd: Nätverksnivåkontroller blockerar obehörig dataöverföring.

Använd den här arkitekturen när:

• Åtkomsten till arbetsytan måste vara privat, t.ex. via VPN eller inkommande Private Link.
• Hantering av data i strikt reglerade branscher, till exempel finansiella tjänster, hälso- och sjukvård, myndigheter.
• Efterlevnadsramverk kräver utgående kontroller (till exempel SOC 2, HIPAA, PCI DSS och FedRAMP).
• Implementera säkerhetsramverk med noll förtroende för företag.
• Dataexfiltreringsskydd är ett krav.

Förutsättningar

• Azure Azure Databricks Premium-nivå med VNet-injicerad arbetsyta.

• Befintlig VPN-infrastruktur eller inkommande Private Link anslutning.
• Brandvägg eller virtuell nätverksapplikation (NVA).

Översikt över arkitektur

Arkitekturen för den isolerade miljön leder all trafik via privata anslutningar med brandväggsinspektion:

Nödvändiga komponenter

Inkommande

Arbetsytan kan endast nås via privata anslutningar: VPN, inkommande Private Link eller båda beroende på din befintliga infrastruktur. Kunder väljer vanligtvis en i stället för att stapla dem.

Inställningar för privat åtkomst (inaktivera offentlig åtkomst)

Det här är den kontrollmekanism som faktiskt blockerar publik inkommande trafik. Utan den accepterar arbetsytan fortfarande Internettrafik även med Private Link konfigurerad. Private Link blir en ytterligare sökväg, inte den enda sökvägen.

Ange arbetsytans Public Network Access till Disabled i Azure-portalen. Detta blockerar offentlig ingress till arbetsytans användargränssnitt och API:er.

Ingångskontroller för arbetsyta

Konfigurera arbetsytans ingress med kontextbaserad ingress (CBI), det rekommenderade ramverket för ingressprinciper. CBI-regler kombinerar nätverkskälla (IP-intervall), identitet, autentiseringsmekanism och åtkomstomfång till en enda allow/deny-modell, så attributet för nätverkskälla gör samma jobb som funktionen för fristående IP-åtkomstlista, plus mer.

IP-åtkomstlistor stöds fortfarande och kan konfigureras tillsammans med CBI. När båda är konfigurerade måste en begäran tillåtas av båda kontrollerna.

Konfigurationsnivåer:

• CBI-principer på kontonivå: Gäller för alla arbetsytor som är kopplade till principen. Se Hantera kontextbaserade ingressprinciper.
• IP-åtkomstlistor på arbetsytenivå: Gäller för en enda arbetsyta. Se Konfigurera IP-åtkomstlistor för arbetsytor.
• IP-åtkomstlistor på kontonivå: Gäller för kontokonsolen. Se Konfigurera IP-åtkomstlistor för kontokonsolen.

Metodtips:

• Starta bred, förfina baserat på faktisk användning.
• Dokumentera IP-intervall med användnings- och förfallodatum.
• Underhåll administratörsåtkomst via ett känt IP-intervall.
• Granska kvartalsvis och ta bort föråldrade intervall.

Varning

Ingressprinciper och IP-åtkomstlistor kan låsa dig från din arbetsyta om de är felkonfigurerade. Underhåll alltid administratörsåtkomst via ett känt IP-intervall.

OpenSharing-åtkomstkontroll för mottagare

OpenSharing använder sina egna IP-åtkomstlistor som konfigurerats för mottagarobjekt. Detta är separat från IP-åtkomstlistor för arbetsytan och omfattas inte av kontextbaserad ingress. Gäller endast för Databricks-to-Open-delning (icke-Azure Databricks mottagare).

Se Begränsa openSharing-mottagaråtkomst med hjälp av IP-åtkomstlistor (Databricks-till-Open-delning).

Inkommande anslutning

Upprättar privat anslutning för användaråtkomst till arbetsytans användargränssnitt och API. Användare når arbetsytan via VPN eller inkommande Private Link, aldrig det offentliga Internet.

Se Konfigurera inkommande Private Link för arbetsområden.

Anpassad DNS

Konfigurera privat DNS för att lösa upp Azure Databricks-slutpunkterna till privata IP-adresser.

Azure skapar automatiskt privata DNS-zoner när du skapar privata slutpunkter.

Outbound

Serverlösa utgående kontroller (nätverksprinciper och privata NCC-slutpunkter) ärvs från den härdade anslutningsbaslinjen . Den här arkitekturen gör den externa brandväggen valfri i Hardened och krävs för fullständig klassisk utgående kontroll av beräkning.

Extern brandvägg (krävs)

Dirigera all utgående trafik genom en brandvägg för kontroll, loggning och principframtvingande. Alternativen inkluderar:

• Azure Firewall eller virtuella nätverksinstallationer från tredje part (NVA).

Tip

Använd tjänstslutpunktsprinciper för Azure Databricks artefaktlagring för att kringgå brandväggen, vilket minskar kostnaderna för dataöverföring. Enbart artefaktlagring kan stå för upp till 11 GB nedladdade data per klusternod.

Se IP-adresser och domäner för Azure Databricks tjänster och tillgångar för de nödvändiga Azure Databricks slutpunkter som brandväggsregler måste tillåta.

Tip

För maximal låsning bör du överväga att vara värd för en privat paketlagringsplats (till exempel JFrog Artifactory eller Sonatype Nexus) för paketen Python, R och Maven. Detta eliminerar behovet av brandväggsregler som tillåter åtkomst till offentliga paketindex som PyPI.

Varning

Anslutningar till Azure Databricks kontrollplan och SCC-reläet använder TLS med certifikatnålning. Aktivera inte TLS-inspektion (dekryptera och kryptera om) på trafik mellan dina kluster och Azure Databricks kontrollplanet. Detta orsakar klusterfel. Konfigurera brandväggsregler så att dessa anslutningar tillåts med destinations-FQDN eller IP-adress utan TLS-inspektion. Se IP-adresser och domäner för Azure Databricks tjänster och tillgångar för nödvändiga slutpunkter.

Important

Felaktigt konfigurerade brandväggsregler kan bryta Azure Databricks funktioner. Testa noggrant i en icke-produktionsmiljö.

Dataexfiltreringsskydd

Konfigurera nätverksprinciper och brandväggskontroller för att förhindra obehörig dataexfiltrering:

• Serverlös kontroll av utgående trafik via nätverksprinciper.
• Klassisk beräkningsutgång via brandvägg/NVA.
• Regler för privata slutpunkter för godkända datamål.

Se Dataexfiltreringsskydd för implementeringsvägledning.

Klassisk beräkningsbaslinje

Den klassiska beräkningsbaslinjen ärvs från hanterad säkerhet och molntjänstslutpunkter ärvs från härdad anslutning. Inga ytterligare klassiska beräkningskomponenter krävs för den här arkitekturen.

Baslinjen omfattar VNet-inmatning, säker klusteranslutning (SCC) och klassiska Private Link. Molntjänstslutpunkter inkluderar användardefinierade vägar (UDR), tjänstslutpunkter och privata slutpunkter för kundhanterade lagringskonton.

Utgående metoder för dataåtkomst

Det finns två sätt att hantera utgående dataåtkomst från beräkningsresurser:

• NAT-gateway med brandvägg: Distribuera en NAT-gateway för utgående anslutning och dirigera trafik via en brandvägg för inspektion. Den här metoden tillåter kontrollerad åtkomst till externa paketlagringsplatser och API:er och ger insyn i trafikmönster. Använd den här metoden när du måste komma åt externa resurser men kräver kontroll och loggning.

• Ingen NAT-gateway (helt privat): Ta bort NAT-gatewayen helt för att eliminera all offentlig kommunikation från beräkningsresurser. All dataåtkomst sker endast via privata slutpunkter och VPC-slutpunkter. Den här metoden har den högsta säkerhetsnivån genom att ta bort möjligheten till dataexfiltrering via offentliga utgående sökvägar. Använd den här metoden när din organisation förbjuder all offentlig Internetkommunikation från beräkningsresurser.

Implementation

Utgå från en driftsatt baslinje för härdad anslutning. Följande faser lägger till åtkomst till den privata arbetsytan och nödvändig extern brandvägg som definierar den här arkitekturen.

Fas 1: Inkommande kontroller

Konfigurera inkommande Private Link

Konfigurera inkommande Private Link så att användaråtkomst till Azure Azure Databricks användargränssnitt och API:er dirigeras privat i stället för via offentliga IP-adresser. Se Konfigurera inkommande Private Link för arbetsytor.

Inaktivera åtkomst till offentligt nätverk

Ange arbetsytans Public Network Access till Disabled i Azure-portalen. Detta är vad som faktiskt blockerar offentlig ingress. Utan den accepterar arbetsytan fortfarande Internettrafik även med inkommande Private Link konfigurerad.

Testa åtkomst för privata användare

Testa användaråtkomst via VPN eller Private Link för att bekräfta att autentiserade användare endast kan nå arbetsytan via den privata nätverkssökvägen och att offentlig åtkomst blockeras.

Fas 2: Extern brandvägg (krävs)

Implementera en extern brandvägg

Distribuera Azure Firewall eller en virtuell nätverksinstallation (NVA) från tredje part i ett virtuellt hubbnätverk och anslut arbetsytans virtuella nätverk med VNet-peering eller en virtuell hubb.

Dirigera utgående trafik genom brandväggen med UDR:er

Konfigurera användardefinierade rutter (UDR:er) i arbetsytans undernät med en standardrutt till brandväggen så att utgående trafik från Azure Databricks beräkningsresurser dirigeras via hubbens brandvägg. Se Användardefinierade väginställningar för Azure Databricks.

Konfigurera brandväggsregler utan TLS-avlyssning

Konfigurera Azure Firewall program- och nätverksregler för att endast tillåta nödvändiga Azure Databricks slutpunkter (se IP-adresser och domäner för Azure Databricks tjänster och tillgångar) utan TLS-avlyssning på kontrollplanet och SCC-relätrafik.

Fas 3: Validering

Verifiera kontroll av utgående trafik

Verifiera styrningen av utgående trafik genom att granska Azure Firewall-loggar och diagnostik för att säkerställa att Azure Databricks-trafik inspekteras och begränsas enligt policyn.

Bekräfta inga offentliga IP-adresser

Bekräfta att inga offentliga IP-adresser har tilldelats till klusternoder eller andra Azure Databricks hanterade beräkningsresurser i arbetsytans virtuella nätverk.

Validera trafikflöden genom privata vägar

Verifiera att all kontroll, alla data och inkommande trafik flödar genom de konfigurerade Private Link slutpunkterna och hubbens brandvägg enligt designen.

Azure Databricks Terraform SRA innehåller infrastruktur-som-kod-mallar som utgångspunkt för det här distributionsmönstret.

Validering

När du har distribuerat arkitekturen kör du följande kontroller för att bekräfta att fullständig nätverksisolering, privat anslutning och utgående kontroller fungerar som konfigurerade.

Troubleshooting

Om en verifieringskontroll misslyckas eller om en arbetsbelastning inte kan ansluta till en nödvändig slutpunkt använder du den molnspecifika tabellen som följer för att diagnostisera vanliga problem.

Löpande underhåll

• Brandväggsregler: Granska och uppdatera utgående tillåtna listor regelbundet.
• Hantering av DNS: Uppdatera DNS-poster när du lägger till arbetsytor.
• Slutpunktsövervakning: Spåra kostnader för privat slutpunktshälsa och dataöverföring.
• Nätverksprinciper: Lägg till privata slutpunkter för nya godkända datakällor.
• Ta bort brandväggen: Om brandväggens driftkostnader är för höga eller efterlevnadskraven minskar kan du ta bort brandväggskomponenten och behålla privat anslutning och VPN-åtkomst.
• Nedgradera till förstärkt anslutning: Om åtkomst till privata arbetsytor blir en produktivitetsbarriär.

Nästa steg