Configurar Private Link de entrada para área de trabajo

Esta página proporciona instrucciones para configurar la conectividad privada entrante entre los usuarios y sus espacios de trabajo en Azure Databricks.

• Para habilitar la conectividad privada del plano de proceso clásico a Azure Databricks, consulte Configuración de la conectividad privada del plano de proceso clásico a Azure Databricks.
• Para conectarse desde el plano de proceso sin servidor a los recursos de Azure, consulte Configuración de la conectividad privada a los recursos de Azure.

¿Por qué elegir una conexión de entrada?

Tanto si usa un proceso sin servidor como el clásico, los usuarios deben conectarse a Azure Databricks. Las organizaciones eligen conectarse a Azure Databricks por varias razones, entre las que se incluyen las siguientes:

• Seguridad mejorada: al restringir todo el acceso a puntos de conexión privados y deshabilitar el acceso público, se minimiza la superficie expuesta a ataques y se comprueban todas las interacciones del usuario con Azure Databricks se producen a través de una red privada segura.
• Requisitos de cumplimiento: muchas organizaciones tienen estrictos mandatos de cumplimiento que requieren que todo el tráfico del plano de administración y datos permanezca en sus límites de red privada, incluso para servicios SaaS como Azure Databricks.
• Arquitectura de red simplificada (para casos de uso específicos): si solo utiliza cómputo sin servidor, o su interacción principal con Azure Databricks es a través de la interfaz de usuario web o de las API de REST, y no tiene una necesidad inmediata de conectividad privada a orígenes de datos desde Azure Databricks (lo que requiere una conexión de Private Link del plano de cómputo clásico), una configuración solo de entrada simplifica el diseño general de la red.
• Prevención de filtración de datos: al impedir el acceso público y forzar todo el tráfico a través de puntos de conexión privados, se reduce el riesgo de filtración de datos, lo que garantiza que solo se pueda acceder al tráfico desde entornos de red autenticados.

Modelo de conectividad

Puede configurar la conectividad privada de una de estas dos maneras:

• Sin acceso público: esta configuración deshabilita todo el acceso público al área de trabajo. Todo el tráfico de usuario debe originarse desde una red virtual conectada a través de un punto de conexión privado. Este modelo es necesario para la privatización completa del tráfico. Para una privatización total del tráfico, también necesitas una conexión Private Link clásica en el plano de proceso. Ver conceptos de Private Link.
• Acceso híbrido: Private Link está activo, pero el acceso público permanece habilitado con controles de entrada basados en contexto y listas de acceso IP. Los controles de entrada basados en contexto permiten restringir el acceso en función de la identidad, el tipo de solicitud y el origen de red. Esto le permite permitir de forma segura el acceso desde orígenes públicos de confianza (por ejemplo, direcciones IP corporativas estáticas), mientras sigue usando Private Link para la conectividad privada.

En esta guía se explica cómo implementar el modelo de acceso híbrido. Lo conseguimos utilizando una topología de red estándar de tipo hub-and-spoke.

Introducción a la arquitectura

Este modelo utiliza la VNet de tránsito.

• Red virtual de tránsito: se trata de tu red virtual central, que contiene todos los puntos de conexión privados necesarios para el acceso de los clientes a los área de trabajo y la autenticación mediante navegador. El área de trabajo de autenticación del explorador también se conecta a esta red virtual.

Antes de empezar

Revise los siguientes requisitos previos y recomendaciones:

Requisitos

• El área de trabajo está en el plan Premium.
• Tu espacio de trabajo utiliza inyección de VNet. Consulte Implementar Azure Databricks en su VNet de Azure (inyección de VNet)
• Debe tener permisos de Azure para crear puntos de conexión privados y administrar registros DNS.

Configuración de red

• Una red virtual de tránsito configurada para lo siguiente:
  • Actúa como punto de tránsito principal para todo el tráfico de usuario o cliente que se conecta a la red de Azure.
  • Proporciona conectividad centralizada para redes locales u otras redes externas.
  • Administra los servicios compartidos y contiene la ruta principal para el tráfico saliente de Internet (salida).
• Azure DNS administra las zonas DNS privadas.

procedimientos recomendados

Azure Databricks recomienda lo siguiente para una configuración resistente y manejable:

• Arquitectura: Tu red debe seguir la arquitectura hub-spoke recomendada por Microsoft. Consulte topología de red hub-and-spoke en Azure.
• Espacio de trabajo de autenticación aislado: para mejorar la resiliencia, cree un espacio de trabajo de autenticación del navegador independiente dentro de su VNet de tránsito. Este área de trabajo dedicada debe hospedar el punto de conexión privado de autenticación del explorador, lo que impide un único punto de error si se eliminan otras áreas de trabajo. Ver Crear un browser_authentication espacio de trabajo.

Configuración de la conectividad privada para un área de trabajo existente

Antes de empezar, debe detener todos los recursos de proceso, como clústeres, grupos o almacenes de SQL clásicos. No se pueden ejecutar recursos de proceso del área de trabajo o se produce un error en el intento de actualización. Azure Databricks recomienda planear el momento de la actualización teniendo en cuenta el tiempo de inactividad.

1. En la página Espacios de trabajo, seleccione Computación.
2. Seleccione cada clúster de proceso activo y, en la parte superior derecha, haga clic en Finalizar.

Verificar el espacio de trabajo inyectado en una red virtual (VNet) con acceso público habilitado

1. Vaya al área de trabajo de Azure Databricks en Azure Portal.
2. En la sección información general del área de trabajo, compruebe que el área de trabajo de Azure Databricks usa su propia red virtual:
   1. En Configuración, seleccione la pestaña Redes . Confirme la siguiente configuración:
      1. La conectividad segura del clúster (sin ip pública) está habilitada.
      2. Permitir el acceso a la red pública está habilitado.

Crear databricks_ui_api punto final privado

1. En la pestaña Redes del área de trabajo, seleccione Conexiones de punto de conexión privado.
2. Haga clic en Punto de conexión privado.
3. Seleccione el grupo de recursos para el punto de conexión y proporcione un nombre como my-workspace-fe-pe. Compruebe que la región coincide con el área de trabajo.
4. Haga clic en Siguiente: Recurso.
5. Establezca Subrecurso de destino en databricks_ui_api.
6. Haga clic en Siguiente: Red virtual.
7. Seleccione su Red Virtual de Tránsito. La red virtual de tránsito es una red virtual independiente y preexistente en la arquitectura de red que administra y protege el tráfico de salida, a menudo con un firewall central.
8. Seleccione la subred que hospeda los puntos de conexión privados.
9. Haga clic en Siguiente y compruebe que Integrar con la zona DNS privada esté configurada como Sí. Debe seleccionar automáticamente la privatelink.azuredatabricks.net zona.

Crea un browser_authentication espacio de trabajo

Cree un endpoint privado para la autenticación del navegador y admita SSO a través de su ruta de acceso de red privada. Azure Databricks recomienda hospedar este punto de conexión en un área de trabajo de autenticación web privada dedicada.

Creación de un grupo de recursos

1. En Azure Portal, vaya a y seleccione Grupos de recursos.
2. Haz clic en + Crear.
3. Proporcione un nombre para el grupo de recursos, como web-auth-rg-eastus.
4. En Región, seleccione la misma región de Azure donde se implementan las áreas de trabajo de Databricks de producción.
5. Haga clic en Revisar y crear y, a continuación, en Crear.

Creación de una red virtual

1. En Azure Portal, busque y seleccione Redes virtuales.
2. Haz clic en + Crear.
3. En la pestaña Aspectos básicos , seleccione el grupo de recursos que acaba de crear y asigne a la red virtual un nombre descriptivo, como web-auth-vnet-eastus.
4. Compruebe que la región coincide con el grupo de recursos.
5. En la pestaña Direcciones IP , defina un espacio de direcciones IP para la red virtual, por ejemplo, 10.20.0.0/16. También se le pedirá que cree una subred inicial.
6. Seleccione Revisar y crear y, a continuación, Crear.

Creación y protección del área de trabajo de autenticación web privada

1. En Azure Portal, busque y seleccione Azure Databricks. Haz clic en + Crear.
2. En la pestaña Aspectos básicos , configure lo siguiente:
   1. Seleccione el grupo de recursos que acaba de crear.
   2. Asigne al área de trabajo un nombre descriptivo, como WEB_AUTH_DO_NOT_DELETE_<region>.
   3. Seleccione la misma región que el grupo de recursos y la red virtual.
3. Haga clic en Siguiente:Redes y configure lo siguiente:
   1. Implementación del área de trabajo de Azure Databricks con conectividad segura del clúster (sin dirección IP pública): seleccione Sí.
   2. Implemente el área de trabajo de Azure Databricks en su propia red virtual (VNet): seleccione Sí.
   3. Red virtual: seleccione la red virtual que acaba de crear. Se le pedirá que defina intervalos de subredes.
   4. Acceso a la red pública: seleccione Deshabilitado.
   5. Reglas de NSG necesarias: seleccione NoAzureDatabricksRules.
4. Haga clic en Revisar y crear y, a continuación, en Crear.

Después de crear el área de trabajo, protéjala de la eliminación accidental.

1. En Azure Portal, vaya al área de trabajo que acaba de crear.
2. Vaya a Configuración y seleccione Bloqueos.
3. Haga clic en + Agregar.
4. Establezca el tipo de bloqueo en Eliminar y proporcione un nombre de bloqueo descriptivo.
5. Haz clic en Aceptar.

Creación del punto de conexión privado de browser_authentication

Después de crear el espacio de trabajo, debe crear el browser_authentication punto de conexión privado para conectarlo a su VNet de tránsito.

1. En la pestaña Redes del área de trabajo de autenticación web, seleccione Conexiones de punto de conexión privado.
2. Haga clic en Punto de conexión privado.
3. Seleccione el grupo de recursos para el punto de conexión y proporcione un nombre como web-auth-browser-auth-pe. Compruebe que la región coincide con el área de trabajo.
4. Haga clic en Siguiente: Recurso.
5. Establezca Subrecurso de destino en browser_authentication.
6. Haga clic en Siguiente: Red virtual.
7. Selecciona tu VNet de tránsito (el mismo VNet usado para el databricks_ui_api punto final privado).
8. Seleccione la subred que hospeda los puntos de conexión privados.
9. Haga clic en Siguiente y compruebe que Integrar con la zona DNS privada esté configurada como Sí. Debe seleccionar automáticamente la privatelink.azuredatabricks.net zona.
10. Complete la creación del punto de conexión.

Configurar y verificar DNS

Después de implementar los puntos de conexión privados, debe comprobar que DNS resuelve correctamente las direcciones URL de Azure Databricks en sus nuevas direcciones IP privadas.

1. Compruebe los registros de la zona DNS privada:
   1. En Azure Portal, busque y vaya a la zona DNS privada denominada privatelink.azuredatabricks.net.
   2. Compruebe que existen los siguientes A registros y apunte a las direcciones IP privadas de los puntos de conexión:
      1. Registro de la IU/API del espacio de trabajo:
         • Nombre: tu identificador único de área de trabajo, como adb-xxxxxxxxxxxxxxxx.x
         • Valor: La dirección IP privada de su databricks_ui_api punto de conexión privado.
      2. Registro de autenticación del explorador:
         • Nombre: elija un nombre descriptivo como pl-auth.<your_region>.
         • Valor: La dirección IP privada de su browser_authentication punto de conexión privado.

Verificar el acceso a la red privada

Confirme que puede acceder al área de trabajo a través de la conexión de red privada.

Desde una red conectada

Si la red local ya se conecta a la red virtual de Azure mediante VPN o ExpressRoute, la prueba es sencilla:

• Desde el equipo, abra un explorador web y vaya directamente a la dirección URL del área de trabajo de Azure Databricks para iniciar sesión. Un inicio de sesión correcto confirma que la conexión privada funciona.

Uso de una máquina virtual de prueba

Si no puede acceder a la red virtual del área de trabajo desde la ubicación actual, cree una máquina virtual temporal (un "jump box") para probar desde:

1. Creación de una máquina virtual: en el portal de Azure, cree una máquina virtual Windows. Colócala en una subred que utilice la misma VNet de tránsito en la que configuraste tu punto de conexión privado de entrada.
2. Conexión a la máquina virtual: use un cliente de Escritorio remoto para conectarse a la nueva máquina virtual.
3. Prueba desde la máquina virtual: después de conectarse a la máquina virtual, abra un explorador web, vaya al portal de Azure y busque el área de trabajo de Azure Databricks.
4. Área de trabajo de inicio: haga clic en Iniciar área de trabajo. Un inicio de sesión correcto confirma que el acceso desde la red virtual privada funciona correctamente.

Comprobación de DNS con nslookup

1. Conéctese a una máquina virtual dentro de la red virtual configurada o a la red local a través de VPN o Azure ExpressRoute. La máquina debe poder usar el DNS privado de Azure.
2. Abre un símbolo del sistema o una terminal y utiliza nslookup para verificar la resolución de DNS.

# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

Crear general_access punto final privado

Crea un punto de conexión privado para acceder a tu espacio de trabajo mediante una URL personalizada. Este paso solo es necesario si quieres acceder a tu espacio de trabajo con tu URL personalizada, por ejemplo, <my-custom-account-name>.azuredatabricks.net.

Preparar la VNet y la subred

Prepare una red virtual y una subred para hospedar el punto de conexión privado. Puedes crear un nuevo VNet o reutilizar uno existente, como el VNet de tu espacio de trabajo.

1. Para crear una nueva VNet, consulte Crear una red virtual de Azure.
2. Para agregar una subred, consulte Agregar, cambiar o eliminar una subred de red virtual.
3. Compruebe que la directiva de red del punto de conexión privado está desactivada en la subred. Esta es la configuración predeterminada. Consulte Administración de directivas de red para puntos de conexión privados para obtener más información.

Si reutiliza una red virtual del área de trabajo existente, debe usar o crear una subred diferente a la que usa el área de trabajo. Si la red virtual (VNet) que hospeda el punto de conexión privado difiere de la red virtual (VNet) que envía el tráfico, configure el emparejamiento de VNet o la conexión. Consulte Comprobación de la conectividad de red virtual.

Desplegar un punto final privado

1. En Azure Portal, busque Puntos de conexión privados en Microsoft Marketplace y seleccione Crear.
2. Escriba un nombre y un nombre de interfaz de red y establezca la región para que coincida con la región de la red virtual del área de trabajo.
3. Haga clic en Siguiente: Recurso.
4. Seleccione Conectar a un recurso de Azure por identificador de recurso o alias.
5. En el campo ID. de recurso o alias, introduzca el ID. de recurso del servicio Private Link para los servicios general_access de su región. Consulte Identificadores de recurso del servicio Private Link para servicios de uso intensivo del rendimiento y acceso general para ver la lista de identificadores de recurso.
6. En el campo Subrecurso de destino , escriba general_access.
7. Haga clic en Siguiente: Red virtual.
8. Seleccione la red virtual y la subred que preparó en la sección Prepare VNet and subnet.
9. Haga clic en Siguiente: DNS.
10. Deje Integrar con la zona DNS privada establecida en No. Luego configuras el DNS manualmente.
11. Haga clic en Siguiente: Etiquetas.
12. Haga clic en Siguiente: Revisar y crear.
13. Revise la configuración y haga clic en Crear para implementar el punto de conexión privado.
14. Una vez completada la implementación, registre estos valores:
    • Nombre del punto de conexión privado: el nombre del punto de conexión privado.
    • GUID de recurso: vaya al recurso de punto de conexión privado, haga clic en vista JSON y busque el valor en properties.resourceGuid. Esto es necesario al registrar el punto de conexión privado.
    • Dirección IP privada: en la vista JSON, busque la dirección IP en properties.customDnsConfigs[0].ipAddresses[0]. Esto es necesario cuando se configura DNS.

Registro del punto de conexión privado

Después de crear el punto de conexión privado en Azure Portal, regístrelo con Azure Databricks.

1. Vaya a la consola de administración de la cuenta de Azure Databricks.
2. En la barra lateral, haga clic en Seguridad>Red>Puntos finales>Registrar punto final.

Incluye tu punto de conexión privado en la lista de permitidos de los área de trabajo con acceso de entrada basado en el contexto

1. En la consola de la cuenta, haga clic en Seguridad en la barra lateral.
2. Haga clic en Control de entrada y salida basado en contexto en la barra lateral.
3. En Políticas de nivel de espacio de trabajo, haz clic en Nueva política de espacio de trabajo.
4. En Ingress > Acceso a red privada, defina su política de acceso privado.
   1. Por defecto, todos los puntos finales registrados están permitidos: Permitir el acceso desde todos los puntos finales privados. Si esto es aceptable, pasa al siguiente paso. Este valor predeterminado incluye solo los primeros 200 puntos finales privados registrados; Si tu póliza requiere más, contacta con tu equipo de cuenta para solicitar un aumento.
   2. Si deseas incluir en la lista de permitidos puntos de conexión registrados específicos y denegar todos los demás, desmarca Permitir el acceso desde todos los puntos de conexión privados y añade una regla de permiso.
      1. Selecciona las identidades y destinos de espacio de trabajo a los que quieres permitir el acceso (por defecto, todas las identidades y destinos están permitidos).
      2. Para el tipo de fuente, selecciona Endpoints privados seleccionados y selecciona el(los) endpoint(s) privado(s) de acceso general que hayas registrado. La región de este endpoint privado no tiene por qué coincidir con la región de tu espacio de trabajo. Un punto final de acceso general en cualquier región puede servir a espacios de trabajo en cualquier región.
      3. Haga clic en Confirmar.
      4. También puedes añadir reglas de denegación en tu póliza, que definen excepciones a tus reglas de permiso.
5. Cuando termines de configurar tu política de acceso privado, también puedes configurar tu política de acceso público en Ingress > Public Network Access. Puedes desactivar todo acceso a IP pública desmarcando Permitir acceso desde todas las IPs públicas. Azure Databricks recomienda mantener activado el acceso público mientras se prueba tu configuración de DNS, y luego desactivarlo una vez finalizado el DNS para hacer cumplir la conectividad privada exclusiva.
6. Pruebe primero su directiva de entrada en modo de simulación, antes de cambiarla a aplicada. Las denegaciones de acceso en modo de prueba en seco se registran en la system.access.inbound_network tabla del sistema, pero no bloquean el acceso.
7. Asegúrate de que tu política de salida sea correcta.
8. Adjunta tu política de red a tu(s) espacio de trabajo(s). No se puede acceder a los espacios de trabajo que no tengan incluido en la lista de permitidos este punto de conexión de acceso general a través de tu URL personalizada.
9. Guarda tu política de red. Las actualizaciones de directivas de entrada basadas en contexto tardan menos de 10 minutos en surtir efecto.

Configurar DNS para el endpoint de acceso general

Después de que tu endpoint privado esté registrado y autorizado, configura el DNS para que el tráfico del espacio de trabajo pase por el endpoint privado usando tu dominio personalizado. <my-custom-account-name>.azuredatabricks.net

1. Cree una zona DNS privada de Azure denominada <my-custom-account-name>.azuredatabricks.net. Si ya has configurado un punto de conexión privado general_access para Private Link entrante hacia los recursos en el nivel de cuenta (consulta Configurar Private Link entrante para recursos en el nivel de cuenta), reutiliza la <my-custom-account-name>.azuredatabricks.netzona existente. Para obtener nuevas zonas, consulte Creación de una zona DNS privada de Azure mediante Azure Portal.
2. Vincule la zona DNS privada a la red virtual que hospeda el punto de conexión privado. Consulte Vinculación de la red virtual.

Creación de un registro A de DNS

1. Vaya a la nueva zona DNS privada.
2. Seleccione la pestaña Conjuntos de registros en Administración de DNS.
3. Haga clic en Agregar para agregar un conjunto de registros.
4. Configurar el A registro:
   • Nombre: @
   • Tipo: A
   • Dirección IP: La dirección IP privada de tu endpoint privado.
5. Haga clic en Aceptar para guardar el registro.

Verificar resolución de DNS

Desde una máquina de su VNet o desde un trabajo del espacio de trabajo vinculado a su zona DNS privada, compruebe que las consultas DNS resuelven a la IP del punto de conexión privado:

nslookup <my-custom-account-name>.azuredatabricks.net

O bien, use dig:

dig <my-custom-account-name>.azuredatabricks.net

Ambos comandos devuelven la dirección IP privada del punto de conexión privado.

Verificar conectividad VNet

Si la red virtual que genera tráfico difiere de la red virtual que hospeda el punto de conexión privado, configure el emparejamiento de red virtual o la conectividad entre ellas. Consulte los Escenarios de integración de DNS para Azure Private Endpoint para obtener instrucciones detalladas.

Configuración de DNS personalizada

Cuando utilices un punto de conexión privado de entrada con tu propio DNS personalizado, debes verificar que tanto la URL del espacio de trabajo como las URL de autenticación SSO (inicio de sesión único) se resuelvan correctamente a la dirección IP del punto de conexión privado.

Recomendado: reenvío condicional

El método más confiable es configurar el servidor DNS para reenviar las consultas de todos los dominios de Databricks al DNS interno de Azure.

1. Configure el reenvío condicional para los siguientes dominios en el servidor DNS de Azure:
   • *.azuredatabricks.net
   • *.privatelink.azuredatabricks.net
   • *.databricksapps.com
   • Tu URL personalizada: <my-custom-account-name>.azuredatabricks.net
2. Compruebe que la red virtual se vincula a la zona DNS privada de Azure.

Esto permite que Azure resuelva automáticamente todos los nombres de host necesarios, incluidas las direcciones URL de SSO y del área de trabajo, en la dirección IP del punto de conexión privado.

Alternativa: registros A manuales

Si el reenvío condicional no es una opción, debe crear manualmente registros DNS A .

1. URL del espacio de trabajo: Crea un registro A que asigne la URL de cada espacio de trabajo, como adb-1111111111111.15.azuredatabricks.net, a la dirección IP del punto de conexión privado.
2. URL de autenticación de SSO: Cree un registro A que asocie la URL regional de SSO, como westus.pl-auth.azuredatabricks.net, con la dirección IP del endpoint privado.
3. Tu URL personalizada: Crea un registro A que asocie tu URL personalizada, como <my-custom-account-name>.azuredatabricks.net, con la dirección IP del punto de conexión privado.

Algunas regiones de Azure utilizan varias instancias del plano de control para el inicio de sesión único. Es posible que tenga que crear varios A registros para la autenticación. Póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener la lista completa de dominios de su región.

Recursos adicionales

• Redes clásicas del plano de proceso
• Configuración de listas de acceso IP para áreas de trabajo