Configura l'inbound collegamento privato per gli spazi di lavoro

Questa pagina fornisce istruzioni per configurare la connettività privata in entrata tra gli utenti e i loro workspace Azure Databricks.

• Per abilitare la connettività privata del piano di calcolo classico ad Azure Databricks, vedere Configurare la connettività privata del piano di calcolo classico ad Azure Databricks.
• Per connettersi dal piano di calcolo serverless alle risorse di Azure, vedere Configurare la connettività privata alle risorse di Azure.

Perché scegliere una connessione in ingresso?

Indipendentemente dal fatto che si usi un ambiente di calcolo serverless o classico, gli utenti devono connettersi ad Azure Databricks. Le organizzazioni scelgono di connettersi ad Azure Databricks per diversi motivi, tra cui:

• Sicurezza avanzata: limitando tutti gli accessi agli endpoint privati e disabilitando l'accesso pubblico, si riduce al minimo la superficie di attacco e si verificano tutte le interazioni utente con Azure Databricks si verificano su una rete privata sicura.
• Requisiti di conformità: molte organizzazioni hanno rigorosi obblighi di conformità che richiedono che tutto il traffico del piano di gestione e dati rimanga nei limiti di rete privata, anche per i servizi SaaS come Azure Databricks.
• Architettura di rete semplificata (per casi d'uso specifici): se si usa solo il calcolo serverless o l'interazione principale con Azure Databricks avviene tramite l'interfaccia utente Web o le API REST e non è necessaria immediatamente la connettività privata alle origini dati da Azure Databricks (che richiede un piano di calcolo classico collegamento privato connessione), una configurazione in ingresso semplifica la progettazione complessiva della rete.
• Prevenzione dell'esfiltrazione dei dati: impedendo l'accesso pubblico e forzando tutto il traffico attraverso endpoint privati, si riduce il rischio di esfiltrazione dei dati, assicurando che il traffico sia accessibile solo dagli ambienti di rete autenticati.

Modello di connettività

È possibile configurare la connettività privata in uno dei due modi seguenti:

• Nessun accesso pubblico: questa configurazione disabilita l'accesso pubblico all'area di lavoro. Tutto il traffico utente deve provenire da una rete virtuale connessa tramite un endpoint privato. Questo modello è necessario per la privatizzazione completa del traffico. Per la completa privatizzazione del traffico, è necessaria anche una connessione collegamento privato del piano di calcolo classico. Vedi concetti di collegamento privato.
• Accesso ibrido: il collegamento privato è attivo, ma l'accesso pubblico rimane abilitato con i controlli di ingresso basati sul contesto e gli elenchi di accesso IP. I controlli di ingresso basati sul contesto consentono di limitare l'accesso in base all'identità, al tipo di richiesta e all'origine di rete. In questo modo è possibile consentire in modo sicuro l'accesso da origini pubbliche attendibili (ad esempio, indirizzi IP aziendali statici), pur usando il collegamento privato per la connettività privata.

Questa guida illustra come implementare il modello di accesso ibrido. A tale scopo viene usata una topologia di rete hub-spoke standard.

Panoramica dell'architettura

Questo modello usa la rete virtuale di transito:

• Rete virtuale di transito: si tratta della rete virtuale centrale contenente tutti gli endpoint privati necessari per l'accesso client alle aree di lavoro e all'autenticazione del browser. L'area di lavoro di autenticazione del browser si connette anche a questa rete virtuale.

Prima di iniziare

Esaminare i prerequisiti e le raccomandazioni seguenti:

Requisiti

• L'area di lavoro è nel piano Premium.
• L'area di lavoro utilizza l'iniezione di VNet. Vedere Distribuire Azure Databricks nella rete virtuale di Azure (inserimento reti virtuali)
• È necessario disporre delle autorizzazioni di Azure per creare endpoint privati e gestire i record DNS.

Configurazione della rete

• Una rete virtuale di transito configurata per quanto segue:
  • Funge da punto di transito primario per tutto il traffico utente/client che si connette alla rete di Azure.
  • Offre connettività centralizzata per reti locali o altre reti esterne.
  • Gestisce i servizi condivisi e contiene la route primaria per il traffico Internet in uscita (in uscita).
• Le zone DNS private vengono gestite da DNS di Azure.

Procedure consigliate

Azure Databricks consiglia quanto segue per una configurazione resiliente e gestibile:

• Architettura: la rete deve seguire l'architettura hub-spoke consigliata da Microsoft. Vedere Topologia di rete hub-spoke in Azure.
• Area di lavoro autenticazione isolata: per migliorare la resilienza, creare un'area di lavoro di autenticazione del browser separata all'interno della rete virtuale di transito. Questa area di lavoro dedicata deve ospitare l'endpoint privato di autenticazione del browser, impedendo un singolo punto di errore se vengono eliminate altre aree di lavoro. Vedi Creare uno browser_authentication spazio di lavoro.

Configurare la connettività privata per un'area di lavoro esistente

Prima di iniziare, è necessario arrestare tutte le risorse di calcolo, ad esempio cluster, pool o data warehouse SQL classici. Nessuna risorsa di calcolo dell'area di lavoro può essere in esecuzione o il tentativo di aggiornamento non riesce. Azure Databricks consiglia di pianificare il momento dell'aggiornamento in corrispondenza dei tempi di inattività.

1. Nella pagina Aree di lavoroselezionare Calcolo.
2. Selezionare ogni cluster di calcolo attivo e in alto a destra fare clic su Termina.

Verifica l'area di lavoro con inserimento in rete virtuale (VNet) e accesso pubblico abilitato

1. Vai all'area di lavoro di Azure Databricks nel portale di Azure.
2. Nella sezione panoramica dell'area di lavoro verificare che l'area di lavoro di Azure Databricks usi la propria rete virtuale:
   1. In Impostazioni selezionare la scheda Rete . Verificare le impostazioni seguenti:
      1. La connettività sicura del cluster (nessun indirizzo IP pubblico) è abilitata.
      2. Consenti accesso alla rete pubblica è Abilitato.

Crea databricks_ui_api endpoint privato

1. Nella scheda Rete dell'area di lavoro selezionare Connessioni endpoint privati.
2. Fare clic Endpoint privato.
3. Selezionare il gruppo di risorse per l'endpoint, specificare un nome come my-workspace-fe-pe. Verificare che l'area corrisponda all'area di lavoro.
4. Fare clic su Avanti: Risorsa.
5. Impostare Sotto-risorsa di destinazione su databricks_ui_api.
6. Fare clic su Avanti: Rete virtuale.
7. Selezionare la VNet di transito. La rete virtuale di transito è una rete virtuale separata e preesistente nell'architettura di rete che gestisce e protegge il traffico in uscita, spesso contenente un firewall centrale.
8. Selezionare la subnet che ospita gli endpoint privati.
9. Fare clic su Avanti e verificare che l'opzione Integrazione con la zona DNS privata sia impostata su Sì. Dovrebbe selezionare automaticamente la privatelink.azuredatabricks.net zona.

Crea uno browser_authentication spazio di lavoro

Creare un endpoint privato per l'autenticazione del browser per supportare il Single Sign-On (SSO) tramite il percorso di rete privato. Azure Databricks consiglia di ospitare questo endpoint in un'area di lavoro di autenticazione Web privata dedicata.

Creare un gruppo di risorse

1. Nel portale di Azure passare a e selezionare Gruppi di risorse.
2. Fare clic su + Crea.
3. Specificare un nome per il gruppo di risorse, ad esempio web-auth-rg-eastus.
4. Per Area selezionare la stessa area di Azure in cui vengono distribuite le aree di lavoro di Databricks di produzione.
5. Clicca su Rivedi e crea, quindi Crea.

Creare una rete virtuale

1. Nel portale di Azure cercare e selezionare Reti virtuali.
2. Fare clic su + Crea.
3. Nella scheda Informazioni di base selezionare il gruppo di risorse appena creato e assegnare alla rete virtuale un nome descrittivo, ad esempio web-auth-vnet-eastus.
4. Verificare che l'area corrisponda al gruppo di risorse.
5. Nella scheda Indirizzi IP definire uno spazio indirizzi IP per la rete virtuale, 10.20.0.0/16ad esempio . Viene richiesto anche di creare una subnet iniziale.
6. Selezionare Rivedi + crea, quindi Crea.

Creare e proteggere l'area di lavoro di autenticazione Web privata

1. Nel portale di Azure cercare e selezionare Azure Databricks. Fare clic su + Crea.
2. Nella scheda Informazioni di base configurare quanto segue:
   1. Selezionare il gruppo di risorse appena creato.
   2. Assegnare all'area di lavoro un nome descrittivo, ad esempio WEB_AUTH_DO_NOT_DELETE_<region>.
   3. Selezionare la stessa area del gruppo di risorse e della rete virtuale.
3. Fare clic su Avanti:Rete e configurare quanto segue:
   1. Distribuire l'area di lavoro di Azure Databricks con connettività cluster sicura (nessun indirizzo IP pubblico): selezionare Sì.
   2. Distribuire l'area di lavoro di Azure Databricks nella propria rete virtuale: selezionare Sì.
   3. Rete virtuale: selezionare la rete virtuale appena creata. Viene richiesto di definire gli intervalli di subnet.
   4. Accesso alla rete pubblica: selezionare Disabilitato.
   5. Regole NSG obbligatorie: selezionare NoAzureDatabricksRules.
4. Clicca su Rivedi e crea, quindi Crea.

Dopo aver creato l'area di lavoro, proteggerla dall'eliminazione accidentale.

1. Nel portale di Azure passare all'area di lavoro appena creata.
2. Passare a Impostazioni e selezionare Blocchi.
3. Fare clic su + Aggiungi.
4. Impostare Tipo di blocco su Elimina e specificare un nome di blocco descrittivo.
5. Fare clic su OK.

Creare l'endpoint privato browser_authentication

Dopo aver creato l'area di lavoro, è necessario creare l'endpoint browser_authentication privato per connetterlo alla rete virtuale di transito.

1. Dalla scheda Networking dello spazio di lavoro di autenticazione web, selezionare Connessioni endpoint privati.
2. Fare clic Endpoint privato.
3. Selezionare il gruppo di risorse per l'endpoint, specificare un nome come web-auth-browser-auth-pe. Verificare che l'area corrisponda all'area di lavoro.
4. Fare clic su Avanti: Risorsa.
5. Impostare Sotto-risorsa di destinazione su browser_authentication.
6. Fare clic su Avanti: Rete virtuale.
7. Seleziona il tuo VNet di transito (lo stesso VNet usato per l'endpointdatabricks_ui_api privato).
8. Selezionare la subnet che ospita gli endpoint privati.
9. Fare clic su Avanti e verificare che l'opzione Integrazione con la zona DNS privata sia impostata su Sì. Dovrebbe selezionare automaticamente la privatelink.azuredatabricks.net zona.
10. Completare la creazione dell'endpoint.

Configura e verifica il DNS

Dopo aver distribuito gli endpoint privati, è necessario verificare che DNS risolva correttamente gli URL di Azure Databricks nei nuovi indirizzi IP privati.

1. Verificare i record di zona DNS privati:
   1. Nel portale di Azure cercare e passare alla zona DNS privato denominata privatelink.azuredatabricks.net.
   2. Verificare che i record seguenti A esistano e puntino agli indirizzi IP privati degli endpoint:
      1. Record dell'interfaccia utente/API dell'area di lavoro:
         • Nome: ID dell'area di lavoro univoco, ad esempio adb-xxxxxxxxxxxxxxxx.x
         • Valore: l'indirizzo IP privato del tuo endpoint databricks_ui_api privato.
      2. Record di autenticazione del browser:
         • Nome: scegliere un nome descrittivo, ad esempio pl-auth.<your_region>.
         • Valore: l'indirizzo IP privato del tuo endpoint browser_authentication privato.

Verifica l'accesso alla rete privata

Verificare che sia possibile accedere all'area di lavoro tramite la connessione di rete privata.

Da una rete collegata

Se la rete locale si connette già alla rete virtuale di Azure tramite VPN o ExpressRoute, il test è semplice:

• Dal computer aprire un Web browser e passare direttamente all'URL dell'area di lavoro di Azure Databricks per accedere. Un accesso riuscito conferma che la tua connessione privata funziona.

Uso di una macchina virtuale di test

Se non è possibile accedere alla rete virtuale dell'area di lavoro dalla posizione corrente, creare una macchina virtuale temporanea (una jump box) da cui eseguire il test:

1. Creare una macchina virtuale: nel portale di Azure creare una macchina virtuale Windows. Posizionarlo in una subnet usando la stessa rete virtuale di transito in cui è stato configurato l'endpoint privato in ingresso.
2. Connettersi alla macchina virtuale: usare un client Desktop remoto per connettersi alla nuova macchina virtuale.
3. Test dalla macchina virtuale: dopo la connessione alla macchina virtuale, aprire un Web browser, passare al portale di Azure e trovare l'area di lavoro Azure Databricks.
4. Avvia area di lavoro: fare clic su Avvia area di lavoro. Un accesso riuscito conferma che l'accesso dall'interno della rete VNet privata funziona correttamente.

Verificare DNS con nslookup

1. Connettersi a una macchina virtuale all'interno della rete virtuale configurata o alla rete locale tramite VPN o Azure ExpressRoute. Il computer deve essere in grado di usare il DNS privato di Azure.
2. Aprire un prompt dei comandi o un terminale e usare nslookup per verificare la risoluzione DNS.

# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

Crea general_access endpoint privato

Crea un endpoint privato per accedere agli URL personalizzati al tuo workspace. Questo passaggio è necessario solo se vuoi accedere al tuo workspace con il tuo URL personalizzato, ad esempio, <my-custom-account-name>.azuredatabricks.net.

Prepara VNet e la subnet

Preparare una rete virtuale e una subnet per ospitare l'endpoint privato. Puoi creare un nuovo VNet o riutilizzare uno esistente, come il tuo VNet workspace.

1. Per creare una nuova rete virtuale, vedere Creare un Rete virtuale di Azure.
2. Per aggiungere una subnet, vedere Aggiungere, modificare o eliminare una subnet di rete virtuale.
3. Verificare che i criteri di rete dell'endpoint privato siano Disabilitati nella sottorete. Si tratta dell'impostazione predefinita. Per informazioni dettagliate, vedere Gestire i criteri di rete per gli endpoint privati .

Se si riutilizza una rete virtuale dell'area di lavoro esistente, è necessario usare o creare una subnet diversa da quella usata dall'area di lavoro. Se la rete virtuale che ospita l'endpoint privato è diversa dalla rete virtuale che invia traffico, configurare il peering o la connettività della rete virtuale. Vedere Verificare la connettività della rete virtuale.

Distribuisci un endpoint privato

1. Nel portale di Azure cercare gli endpoint Private in Microsoft Marketplace e selezionare Crea.
2. Immettere un nome e un nome dell'interfaccia di rete e impostare l'area in modo che corrisponda all'area della rete virtuale dell'area di lavoro.
3. Fare clic su Avanti: Risorsa.
4. Selezionare Connettersi a una risorsa di Azure in base all'alias o all'ID della risorsa.
5. Nel campo ID della risorsa o alias, immetti l'ID della risorsa del servizio collegamento privato Service per i servizi general_access della tua area geografica. Vedi ID risorsa del servizio collegamento privato per i servizi a utilizzo intensivo delle prestazioni e per l'accesso generale per l'elenco degli ID delle risorse.
6. Nel campo Sotto-risorsa di destinazione immettere general_access.
7. Fare clic su Avanti: Rete virtuale.
8. Selezionare la rete virtuale e la subnet che hai preparato nella sezione Preparare la rete virtuale e la subnet.
9. Fare clic su Avanti: DNS.
10. Lasciare l'opzione Integrazione con la zona DNS privata impostata su No. Successivamente si configura manualmente il DNS.
11. Fare clic su Avanti: Etichette.
12. Fare clic su Avanti: Rivedi e crea.
13. Esaminare la configurazione e fare clic su Crea per distribuire l'endpoint privato.
14. Al termine della distribuzione, registrare questi valori:
    • Nome endpoint privato: nome dell'endpoint privato.
    • GUID risorsa: vai alla risorsa dell'endpoint privato, fai clic su Visualizzazione JSON e trova il valore in . Questa operazione è necessaria quando si registra l'endpoint privato.
    • Indirizzo IP privato: nella visualizzazione JSON trovare l'indirizzo IP in properties.customDnsConfigs[0].ipAddresses[0]. Questa operazione è necessaria quando si configura DNS.

Registrare l'endpoint privato

Dopo aver creato l'endpoint privato nel portale di Azure, registrarlo con Azure Databricks.

1. Passare alla console dell'account Azure Databricks.
2. Nella barra laterale, fare clic su Sicurezza>Rete>Endpoint>Registra endpoint.

Permette di inserire il tuo endpoint privato in spazi di lavoro con ingress basati sul contesto

1. Nella console dell'account fare clic su Sicurezza nella barra laterale.
2. Fare clic su Controllo in ingresso e uscita basato sul contesto nella barra laterale.
3. Sotto Politiche di livello workspace, clicca su Nuova policy workspace.
4. Sotto Accesso alla rete privata in ingresso>, definisci la tua politica di accesso privato.
   1. Per impostazione predefinita, tutti gli endpoint registrati sono consentiti: consentire l'accesso da tutti gli endpoint privati. Se questo è accettabile, passa al passo successivo. Questo default include solo i primi 200 endpoint privati registrati; Se la tua polizza richiede di più, contatta il team del tuo account per un aumento.
   2. Se vuoi permettere di elencare specifici endpoint registrati negando tutti gli altri endpoint, deseleziona Consenti accesso da tutti gli endpoint privati e aggiungi una regola di permesso.
      1. Seleziona le identità e le destinazioni degli spazi di lavoro a cui vuoi consentire l'accesso (di default, tutte le identità e destinazioni sono consentite).
      2. Per il tipo di sorgente, seleziona endpoint privati selezionati e seleziona il/i endpoint privato di accesso generale che hai registrato. La regione di questo endpoint privato non deve necessariamente corrispondere alla regione del tuo workspace. Un endpoint di accesso generale in qualsiasi regione può servire spazi di lavoro in qualsiasi regione.
      3. Cliccare Conferma.
      4. Puoi anche aggiungere le regole di Negazione nella tua polizza, che definiscono eccezioni alle regole di permesso.
5. Quando hai finito di configurare la tua politica di accesso privato, puoi anche configurare la politica di accesso pubblico in Ingress > Public Network Access. Puoi disabilitare tutti gli IP pubblici deselezionando Consenti accesso da tutti gli IP pubblici. Azure Databricks consiglia di mantenere l'accesso pubblico abilitato durante il test della configurazione DNS, per poi disabilitarlo una volta finalizzato il DNS per imporre la connettività privata esclusiva.
6. Verifica prima il criterio di ingresso in modalità Dry run, prima di passarlo a Applicata. I rifiuti di accesso in modalità dry run sono registrati nella system.access.inbound_network tabella di sistema ma non bloccano l'accesso.
7. Assicurati che la tua politica di uscita sia corretta.
8. Allega la tua policy di rete al tuo spazio di lavoro. Gli spazi di lavoro in cui questo endpoint di accesso generale non è inserito nell’elenco di elementi consentiti non sono accessibili tramite l’URL personalizzato.
9. Salva la tua politica di rete. L'applicazione degli aggiornamenti dei criteri di ingresso basati sul contesto richiede meno di 10 minuti.

Configura il DNS per l'endpoint di accesso generale

Dopo che il tuo endpoint privato è stato registrato e autorizzato, configura il DNS affinché il traffico dello spazio di lavoro passi attraverso l'endpoint privato usando il tuo dominio personalizzato, <my-custom-account-name>.azuredatabricks.net.

1. Creare una zona DNS privata di Azure denominata <my-custom-account-name>.azuredatabricks.net. Se hai già configurato un general_access endpoint privato per l'inbound collegamento privato verso le risorse a livello di account (vedi Configure inbound collegamento privato for account-level resources), riutilizza la zona esistente<my-custom-account-name>.azuredatabricks.net. Per le nuove zone, vedere Creare una zona DNS privata di Azure usando il portale di Azure.
2. Collegare la zona DNS privata alla rete virtuale che ospita l'endpoint privato. Vedi Collega la rete virtuale.

Creare un record DNS A

1. Passare alla nuova zona DNS privata.
2. Selezionare la scheda Recordset in Gestione DNS.
3. Fare clic su Aggiungi per aggiungere un set di record.
4. Configura il record A:
   • Nome: @
   • Tipo: A
   • Indirizzo IP: L'indirizzo IP privato dal tuo endpoint privato.
5. Fare clic su OK per salvare il record.

Verificare la risoluzione DNS

Da una macchina nel tuo VNet o da un job dell'area di lavoro collegato alla zona DNS privata, verificare che le query DNS vengano risolte nell'IP dell'endpoint privato:

nslookup <my-custom-account-name>.azuredatabricks.net

In alternativa, usare dig:

dig <my-custom-account-name>.azuredatabricks.net

Entrambi i comandi restituiscono l'indirizzo IP privato dell'endpoint privato.

Verifica la connettività VNet

Se la rete virtuale che genera traffico è diversa dalla rete virtuale che ospita l'endpoint privato, configurare il peering tra reti virtuali o la connettività tra di esse. Per indicazioni dettagliate, vedere Scenari di integrazione DNS di Azure Private Endpoint.

Configurazione DNS personalizzata

Quando si usa un endpoint in ingresso privato con un DNS personalizzato, è necessario verificare che sia l'URL dell'area di lavoro che gli URL di autenticazione SSO (Single Sign-On) vengano risolti correttamente nell'indirizzo IP dell'endpoint privato.

Consigliato: inoltro condizionale

Il metodo più affidabile consiste nel configurare il server DNS per inoltrare query per tutti i domini di Databricks al DNS interno di Azure.

1. Configurare l'inoltro condizionale per i domini seguenti al server DNS di Azure:
   • *.azuredatabricks.net
   • *.privatelink.azuredatabricks.net
   • *.databricksapps.com
   • Il tuo URL personalizzato: <my-custom-account-name>.azuredatabricks.net
2. Verificare che la rete virtuale sia collegata alla zona DNS privato di Azure.

In questo modo Azure può risolvere automaticamente tutti i nomi host necessari, inclusi gli URL SSO e dell'area di lavoro, nell'indirizzo IP dell'endpoint privato.

Alternativa: Manuale di record A

Se l'inoltro condizionale non è un'opzione, è necessario creare manualmente record DNS A .

1. URL dell'area di lavoro: creare un record A che associa l'URL specifico dell'area di lavoro, ad esempio adb-1111111111111.15.azuredatabricks.net, all'indirizzo IP dell'endpoint privato.
2. URL di autenticazione SSO: Crea un A record che mappa l'URL SSO regionale, come westus.pl-auth.azuredatabricks.net, all'indirizzo IP dell'endpoint privato.
3. Il tuo URL personalizzato: Crea un A record che mappa il tuo URL personalizzato, come <my-custom-account-name>.azuredatabricks.net, all'indirizzo IP dell'endpoint privato.

Alcune aree di Azure usano più istanze del piano di controllo per l'accesso SSO. Potrebbe essere necessario creare diversi A record per l'autenticazione. Contatta il team dell'account Azure Databricks per l'elenco completo dei domini per la tua regione.

Risorse aggiuntive

• Rete del piano di calcolo classico
• Configurare gli elenchi di accesso IP per le aree di lavoro