Configurare link privati in ingresso per servizi ad alta intensità di prestazioni

Questa pagina illustra come configurare collegamento privato per la connettività in ingresso ai servizi a elevato utilizzo di prestazioni nella piattaforma Azure Databricks. Questa connessione privata consente a client esterni e utenti di accedere ai servizi nella piattaforma Azure Databricks, ad esempio Zerobus Ingest e Lakebase Autoscaling.

Vantaggi

• Sicurezza avanzata: il traffico tra la rete e i servizi Databricks rimane all'interno dell'infrastruttura di rete Azure.
• Accesso a servizi con prestazioni elevate: connessioni private a servizi come Zerobus Ingest e Lakebase Autoscaling.
• Requisiti di conformità: soddisfare i requisiti normativi che impongono la connettività di rete privata.
• Efficienza dei costi: collegamento privato costa meno delle opzioni di connettività pubblica, ad esempio i gateway NAT.

Azure Databricks fatturano determinati costi di rete associati alle connessioni collegamento privato in ingresso ai servizi a elevato utilizzo delle prestazioni. Per altre informazioni, vedere Informazioni sui costi di rete di Databricks.

Requisiti

• L'account Azure Databricks deve essere nel livello Premium.
• È necessario abilitare la connettività privata per la funzionalità anteprima pubblica dei servizi a elevato utilizzo di prestazioni nell'account. È possibile eseguire la registrazione automatica dalla console dell'account. Senza questa funzionalità abilitata, gli endpoint privati non vengono visualizzati nella console dell'account.
• Per registrare gli endpoint privati, è necessario essere un amministratore dell'account Azure Databricks.
• Per creare endpoint privati, è necessario disporre delle autorizzazioni di Collaboratore rete o equivalenti in Azure.

Configurare un endpoint privato

Creare un endpoint privato

Questo passaggio crea un endpoint privato nel portale Azure che si connette ai servizi a elevato utilizzo delle prestazioni in Azure Databricks.

Preparare la rete virtuale e la subnet

1. Preparare una rete virtuale e una subnet per ospitare l'endpoint privato. È possibile creare una nuova rete virtuale o riutilizzare una rete virtuale esistente, ad esempio la rete virtuale dell'area di lavoro.

   • Per creare una nuova rete virtuale, vedere Creare un Rete virtuale di Azure.
   • Per aggiungere una subnet, vedere Aggiungere, modificare o eliminare una subnet di rete virtuale.

   Annotazioni

   L'endpoint privato in ingresso può essere ospitato in una rete virtuale diversa dall'area di lavoro, ad esempio una rete virtuale di transito. Il vincolo della VNet si applica solo agli endpoint privati di back-end.

2. Configurare i criteri di rete dell'endpoint privato per la subnet:

   • Consigliato (impostazione predefinita): disabilitato. Questa è l'impostazione predefinita e la configurazione che Azure Databricks test e supporta.
   • Alternativa (gestita dal cliente):NetworkSecurityGroup o RouteTable. L'abilitazione dei criteri funziona anche e potrebbe essere necessaria per le reti che usano rete WAN virtuale di Azure con ExpressRoute, in cui la disabilitazione dei criteri può causare il routing asimmetrico. Se si abilita il criterio, si è responsabili di garantire che il gruppo di sicurezza di rete e le regole della tabella di routing consentano il traffico verso l'endpoint privato di Service Direct. Azure Databricks non fornisce supporto per problemi di connettività o prestazioni risultanti da regole personalizzate del gruppo di sicurezza di rete o della tabella di route nella subnet.

   Per informazioni dettagliate, vedere Gestire i criteri di rete per gli endpoint privati .

3. Se si riutilizza una rete virtuale dell'area di lavoro esistente, è necessario usare o creare una subnet diversa da quella usata dall'area di lavoro.

   Annotazioni

   L'endpoint privato per i servizi a elevato utilizzo di prestazioni può essere inserito nella stessa subnet dell'endpoint privato in ingresso esistente. Il requisito di "subnet diversa" si applica solo alle subnet di inserimento di calcolo dell'area di lavoro.

4. Se la rete virtuale che ospita l'endpoint privato è diversa dalla rete virtuale che invia traffico, configurare il peering o la connettività della rete virtuale. Vedere Verificare la connettività della rete virtuale.

Distribuire un endpoint privato

1. Nel portale di Azure cercare gli endpoint Private in Microsoft Marketplace e selezionare Crea.
2. Immettere un nome e un nome dell'interfaccia di rete e impostare l'area in modo che corrisponda all'area della rete virtuale dell'area di lavoro.
3. Fare clic su Avanti: Risorsa.
4. Selezionare Connettere a una risorsa Azure tramite ID risorsa o alias.
5. Nel campo ID risorsa o alias, immettere l'ID risorsa di collegamento privato Service per i servizi a uso intensivo delle prestazioni per la propria area geografica. Vedi ID risorsa del servizio collegamento privato per i servizi a utilizzo intensivo delle prestazioni e per l'accesso generale per l'elenco degli ID delle risorse.
6. Nel campo Sotto-risorsa di destinazione immettere service_direct.
7. Fare clic su Avanti: Rete virtuale.
8. Selezionare la rete virtuale e la subnet che hai preparato nella sezione Preparare la rete virtuale e la subnet.
9. Fare clic su Avanti: DNS.
10. Lasciare l'opzione Integrazione con la zona DNS privata impostata su No. Il DNS viene configurato manualmente in un passaggio successivo.
11. Fare clic su Avanti: Etichette.
12. Fare clic su Avanti: Rivedi e crea.
13. Esaminare la configurazione e fare clic su Crea per distribuire l'endpoint privato.
14. Al termine della distribuzione, registrare questi valori:
    • Nome dell'endpoint privato: Il nome del tuo endpoint privato.
    • GUID della risorsa: passa alla risorsa dell'endpoint privato, fai clic su Visualizzazione JSON e trova il valore in properties.resourceGuid. Questa operazione è necessaria quando si registra l'endpoint privato.
    • Indirizzo IP privato: nella visualizzazione JSON, trova l'indirizzo IP in properties.customDnsConfigs[0].ipAddresses[0]. Questa operazione è necessaria quando si configura DNS.

Dopo la distribuzione, lo stato di connessione dell'endpoint privato viene visualizzato come In sospeso. Questo è previsto. L'endpoint rimane in stato In sospeso fino a quando non si registra l'endpoint privato.

Registrare l'endpoint privato

Dopo aver creato l'endpoint privato nel portale di Azure, registrarlo con Azure Databricks.

1. Passare alla console dell'account Azure Databricks.
2. Nella barra laterale, fare clic su Sicurezza>Rete>Endpoint>Registra endpoint.

Permette di inserire il tuo endpoint privato in spazi di lavoro con ingress basati sul contesto

1. Nella console dell'account fare clic su Sicurezza nella barra laterale.
2. Fare clic su Controllo in ingresso e uscita basato sul contesto nella barra laterale.
3. Sotto Politiche di livello workspace, clicca su Nuova policy workspace.
4. Sotto Accesso alla rete privata in ingresso>, definisci la tua politica di accesso privato.
   1. Per impostazione predefinita, tutti gli endpoint registrati sono consentiti: consentire l'accesso da tutti gli endpoint privati. Se questo è accettabile, passa al passo successivo. Questo default include solo i primi 200 endpoint privati registrati; Se la tua polizza richiede di più, contatta il team del tuo account per un aumento.
   2. Se vuoi permettere di elencare specifici endpoint registrati negando tutti gli altri endpoint, deseleziona Consenti accesso da tutti gli endpoint privati e aggiungi una regola di permesso.
      1. Seleziona le identità e le destinazioni degli spazi di lavoro a cui vuoi consentire l'accesso (di default, tutte le identità e destinazioni sono consentite).
      2. Quindi seleziona tipo di origine = Endpoint privati selezionati, e seleziona gli endpoint privati di Service Direct che hai registrato. La regione di questo endpoint privato deve corrispondere a quella del tuo workspace. Un endpoint Service Direct può servire solo spazi di lavoro nella stessa regione.
      3. Cliccare Conferma.
      4. Puoi anche aggiungere le regole di Negazione nella tua polizza, che definiscono eccezioni alle regole di permesso.
5. Quando hai finito di configurare la tua politica di accesso privato, puoi anche configurare la politica di accesso pubblico in Ingress > Public Network Access. Puoi disabilitare tutti gli IP pubblici deselezionando Consenti accesso da tutti gli IP pubblici. Azure Databricks consiglia di mantenere l'accesso pubblico abilitato durante il test della configurazione DNS, per poi disabilitarlo una volta finalizzato il DNS per imporre la connettività privata esclusiva.
6. Verifica prima il criterio di ingresso in modalità Dry run, prima di passarlo a Applicata. I rifiuti di accesso in modalità dry run sono registrati nella system.access.inbound_network tabella di sistema ma non bloccano l'accesso.
7. Assicurati che la tua politica di uscita sia corretta.
8. Allega la tua policy di rete al tuo spazio di lavoro.
9. Salva la tua politica di rete. L'applicazione degli aggiornamenti dei criteri di ingresso basati sul contesto richiede meno di 10 minuti.

Configurare DNS

Dopo che il tuo endpoint privato è stato registrato e autorizzato, configura il DNS in modo che il traffico instradasca attraverso l'endpoint privato usando il privatelink.azuredatabricks.net dominio.

• Databricks consiglia una convenzione di denominazione che include l'area e lo scopo, ad esempio PE westus2 for inbound private link.

1. Creare una zona DNS privata Azure denominata privatelink.azuredatabricks.net.
   • Se il tuo spazio di lavoro utilizza già collegamento privato in entrata (vedi Configure inbound collegamento privato for workspace), riutilizza la zona esistenteprivatelink.azuredatabricks.net.
   • Per le nuove zone, vedere Creare una zona DNS privata Azure usando il portale di Azure.
2. Collegare la zona DNS privata alla rete virtuale che ospita l'endpoint privato. Vedi Collega la rete virtuale.

Creare un record DNS A

1. Passare alla privatelink.azuredatabricks.net zona DNS privata.
2. Selezionare la scheda Recordset in Gestione DNS.
3. Fare clic su Aggiungi per aggiungere un set di record.
4. Configurare il record A:
   • Name: <region>.service-direct (sostituire <region> con l'area Azure, ad esempio westus2.service-direct)
   • Tipo: A
   • Indirizzo IP: indirizzo IP privato dall'endpoint privato (registrato al momento della creazione dell'endpoint privato)
5. Fare clic su OK per salvare il record.

Verificare la risoluzione DNS

Da una macchina nel tuo VNet o da un job dell'area di lavoro collegato alla zona DNS privata, verificare che le query DNS vengano risolte nell'IP dell'endpoint privato:

nslookup westus2.service-direct.privatelink.azuredatabricks.net

In alternativa, usare dig:

dig westus2.service-direct.privatelink.azuredatabricks.net

Entrambi i comandi restituiscono l'indirizzo IP privato dell'endpoint privato.

Verificare la connettività della rete virtuale

Se la rete virtuale che genera traffico è diversa dalla rete virtuale che ospita l'endpoint privato, configurare il peering tra reti virtuali o la connettività tra di esse. Per indicazioni dettagliate, vedere Scenari di integrazione DNS di Azure Private Endpoint.

Disabilita l'accesso pubblico nel portale Azure (opzionale)

Azure Databricks consiglia di disabilitare l'accesso pubblico alla propria area di lavoro con l'ingresso basato sul contesto, come descritto in Aggiungere il proprio endpoint privato all'elenco consentiti per le aree di lavoro con ingresso basato sul contesto. Tuttavia, puoi anche disabilitare l'accesso pubblico nel portale Azure. ** Completare la configurazione di collegamento privato non blocca automaticamente l'accesso a Internet pubblico al tuo spazio di lavoro. L'accesso pubblico e privato sono impostazioni indipendenti. Per applicare la connettività solo privata, disabilitare l'accesso alla rete pubblica:

1. Nel portale di Azure passare alla risorsa dell'area di lavoro Azure Databricks.
2. In Impostazioni impostare Consenti accesso alla rete pubblica su Disabilita.

Limitazioni

• Ogni account è limitato a 5 endpoint privati per i servizi ad elevato utilizzo di risorse per regione e 100 per account. Per l'aumento delle quote, contattare il team dell'account Azure Databricks.

Risorse aggiuntive

• Distribuisci Azure Databricks nella rete virtuale di Azure (iniezione VNet)
• Configura l'inbound collegamento privato per gli spazi di lavoro
• Indirizzi IP e domini per i servizi e le risorse di Azure Databricks