Configuración de Private Link entrante para servicios de alta demanda de rendimiento

Important

Esta característica está en versión preliminar pública.

En esta página se muestra cómo configurar Private Link para la conectividad entrante a servicios con un uso intensivo del rendimiento en la plataforma Azure Databricks. Esta conexión privada permite a los clientes y usuarios externos acceder a los servicios en la plataforma de Azure Databricks, como Zerobus Ingest y El escalado automático de Lakebase.

Ventajas

  • Seguridad mejorada: el tráfico entre la red y los servicios de Databricks permanece dentro de la infraestructura de red de Azure.
  • Acceso a servicios con un uso intensivo del rendimiento: conexiones privadas a servicios como Zerobus Ingest y El escalado automático de Lakebase.
  • Requisitos de cumplimiento: cumpla los requisitos normativos que exijan la conectividad de red privada.
  • Rentabilidad: Private Link cuesta menos que las opciones de conectividad pública, como las puertas de enlace NAT.

Azure Databricks cobra determinados costes de red asociados a las conexiones entrantes de Private Link a servicios de alto rendimiento. Para más información, consulte Descripción de los costos de red de Databricks.

Requisitos

  • La cuenta de Azure Databricks debe estar en el nivel Premium.
  • Debe habilitar la función de vista previa pública de conectividad privada para servicios de alto rendimiento en su cuenta. Puede inscribirse automáticamente desde la consola de la cuenta. Sin esta característica habilitada, los puntos de conexión privados no aparecen en la consola de la cuenta.
  • Debe ser administrador de cuenta de Azure Databricks para registrar puntos de conexión privados.
  • Debe tener permisos de colaborador de red o equivalentes en Azure para crear puntos de conexión privados.

Configuración de un punto de conexión privado

Creación de un punto de conexión privado

En este paso se crea un punto de conexión privado en el portal Azure que se conecta a los servicios con un uso intensivo del rendimiento en Azure Databricks.

Preparación de la red virtual y la subred

  1. Prepare una red virtual y una subred para hospedar el punto de conexión privado. Puede crear una nueva red virtual o reutilizar una existente (como la red virtual del área de trabajo).

    Nota:

    El punto de conexión privado de entrada se puede hospedar en una red virtual diferente del área de trabajo (por ejemplo, una red virtual de tránsito). La restricción de red virtual solo se aplica a los puntos de conexión privados de back-end.

  2. Configure la directiva de red del punto de conexión privado para su subred:

    • Recomendado (valor predeterminado):deshabilitado. Esta es la configuración predeterminada y la configuración que Azure Databricks pruebas y admite.
    • Alternativa (administrada por el cliente):NetworkSecurityGroup o RouteTable. La habilitación de la directiva también funciona y puede ser necesaria para las redes que usan Azure Virtual WAN con ExpressRoute, donde deshabilitar la directiva puede provocar el enrutamiento asimétrico. Si habilita esta directiva, es responsable de asegurarse de que las reglas del grupo de seguridad de red y de la tabla de rutas permitan el tráfico hacia el punto de conexión privado de Service Direct. Azure Databricks no proporciona compatibilidad con problemas de conectividad o rendimiento resultantes de reglas personalizadas de grupo de seguridad de red o tabla de rutas en la subred.

    Consulte Administración de directivas de red para puntos de conexión privados para obtener más información.

  3. Si reutiliza una red virtual del área de trabajo existente, debe usar o crear una subred diferente a la que usa el área de trabajo.

    Nota:

    El punto de conexión privado para servicios con un uso intensivo del rendimiento se puede colocar en la misma subred que el punto de conexión privado de entrada existente. El requisito de subred diferente se aplica únicamente a las subredes de inyección de proceso del espacio de trabajo.

  4. Si la red virtual (VNet) que hospeda el punto de conexión privado difiere de la red virtual (VNet) que envía el tráfico, configure el emparejamiento de VNet o la conexión. Consulte Comprobación de la conectividad de red virtual.

Implementación de un punto de conexión privado

  1. En el portal de Azure, busque puntos de conexión Private en Microsoft Marketplace y seleccione Crear.
  2. Escriba un nombre y un nombre de interfaz de red y establezca la región para que coincida con la región de la red virtual del área de trabajo.
  3. Haga clic en Siguiente: Recurso.
  4. Seleccione Conectar a un recurso de Azure por identificador de recurso o alias.
  5. En el campo Resource ID o alias, escriba el identificador de recurso del servicio de Private Link para los servicios con un uso intensivo del rendimiento de su región. Consulte Identificadores de recurso del servicio Private Link para servicios de uso intensivo del rendimiento y acceso general para ver la lista de identificadores de recurso.
  6. En el campo Subrecurso de destino , escriba service_direct.
  7. Haga clic en Siguiente: Virtual Network.
  8. Seleccione la red virtual y la subred que preparó en la sección Prepare VNet and subnet.
  9. Haga clic en Siguiente: DNS.
  10. Deje Integrar con la zona DNS privada establecida en No. Configuras el DNS manualmente en un paso posterior.
  11. Haga clic en Siguiente: Etiquetas.
  12. Haga clic en Siguiente: Revisar y crear.
  13. Revise la configuración y haga clic en Crear para implementar el punto de conexión privado.
  14. Una vez completada la implementación, registre estos valores:
    • Nombre del punto de conexión privado: nombre del punto de conexión privado.
    • GUID del recurso: vaya al recurso de punto de conexión privado, haga clic en Vista JSON y busque el valor en properties.resourceGuid. Esto es necesario al registrar el punto de conexión privado.
    • Dirección IP privada: en la vista JSON, busque la dirección IP en properties.customDnsConfigs[0].ipAddresses[0]. Esto es necesario cuando se configura DNS.

Después de la implementación, el estado de conexión del punto de conexión privado se muestra como Pendiente. Esto es lo esperado. El punto de conexión permanece en estado Pendiente hasta que registre su punto de conexión privado.

Registro del punto de conexión privado

Después de crear el punto de conexión privado en el portal de Azure, regístrelo con Azure Databricks.

  1. Vaya a la consola de administración de la cuenta de Azure Databricks.
  2. En la barra lateral, haga clic en Seguridad>Red>Puntos finales>Registrar punto final.

Incluye tu punto de conexión privado en la lista de permitidos de los área de trabajo con acceso de entrada basado en el contexto

Important

El acceso privado a los espacios de trabajo mediante acceso de entrada basado en el contexto se encuentra en fase beta.

  1. En la consola de la cuenta, haga clic en Seguridad en la barra lateral.
  2. Haga clic en Control de entrada y salida basado en contexto en la barra lateral.
  3. En Políticas de nivel de espacio de trabajo, haz clic en Nueva política de espacio de trabajo.
  4. En Acceso de entrada > Acceso a la red privada, define tu directiva de acceso privado.
    1. Por defecto, todos los puntos finales registrados están permitidos: Permitir el acceso desde todos los puntos finales privados. Si esto es aceptable, pasa al siguiente paso. Este valor predeterminado incluye solo los primeros 200 puntos finales privados registrados; Si tu póliza requiere más, contacta con tu equipo de cuenta para solicitar un aumento.
    2. Si deseas incluir en la lista de permitidos puntos de conexión registrados específicos y denegar todos los demás, desmarca Permitir el acceso desde todos los puntos de conexión privados y añade una regla de permiso.
      1. Selecciona las identidades y destinos de espacio de trabajo a los que quieres permitir el acceso (por defecto, todas las identidades y destinos están permitidos).
      2. Luego selecciona el tipo de fuente = Endpoints privados seleccionados y selecciona el(los) endpoint(s) privado(s) de Service Direct que has registrado. La región de este endpoint privado debe coincidir con la región de tu espacio de trabajo. Un endpoint Service Direct solo puede servir a espacios de trabajo en la misma región.
      3. Haga clic en Confirmar.
      4. También puedes añadir reglas de denegación en tu póliza, que definen excepciones a tus reglas de permiso.
  5. Cuando termines de configurar tu política de acceso privado, también puedes configurar tu política de acceso público en Ingress > Public Network Access. Puedes desactivar todo acceso a IP pública desmarcando Permitir acceso desde todas las IPs públicas. Azure Databricks recomienda mantener activado el acceso público mientras se prueba tu configuración de DNS, y luego desactivarlo una vez finalizado el DNS para hacer cumplir la conectividad privada exclusiva.
  6. Pruebe primero su directiva de entrada en modo de simulación, antes de cambiarla a aplicada. Las denegaciones de acceso en modo de prueba en seco se registran en la system.access.inbound_network tabla del sistema, pero no bloquean el acceso.
  7. Asegúrate de que tu política de salida sea correcta.
  8. Adjunta tu política de red a tu(s) espacio de trabajo(s).
  9. Guarda tu política de red. Las actualizaciones de directivas de entrada basadas en contexto tardan menos de 10 minutos en surtir efecto.

Configurar el DNS

Después de que tu endpoint privado esté registrado y autorizado, configura el DNS para que el tráfico pase por el endpoint privado usando el privatelink.azuredatabricks.net dominio.

  • Databricks recomienda una convención de nomenclatura que incluya la región y el propósito, como PE westus2 for inbound private link.
  1. Cree una zona DNS privada Azure denominada privatelink.azuredatabricks.net.
  2. Vincule la zona DNS privada a la red virtual que hospeda el punto de conexión privado. Consulte Vinculación de la red virtual.

Creación de un registro A de DNS

  1. Vaya a la privatelink.azuredatabricks.net zona DNS privada.
  2. Seleccione la pestaña Conjuntos de registros en Administración de DNS.
  3. Haga clic en Agregar para agregar un conjunto de registros.
  4. Configure el registro A:
    • Name: <region>.service-direct (reemplace <region> por la región de Azure, por ejemplo, westus2.service-direct)
    • Tipo: A
    • Dirección IP: la dirección IP privada del punto de conexión privado (registrada al crear el punto de conexión privado)
  5. Haga clic en Aceptar para guardar el registro.

Verificación de resolución de DNS

Desde una máquina de su VNet o desde un trabajo del espacio de trabajo vinculado a su zona DNS privada, compruebe que las consultas DNS resuelven a la IP del punto de conexión privado:

nslookup westus2.service-direct.privatelink.azuredatabricks.net

O bien, use dig:

dig westus2.service-direct.privatelink.azuredatabricks.net

Ambos comandos devuelven la dirección IP privada del punto de conexión privado.

Comprobación de la conectividad de red virtual

Si la red virtual que genera tráfico difiere de la red virtual que hospeda el punto de conexión privado, configure el emparejamiento de red virtual o la conectividad entre ellas. Consulte los Escenarios de integración de DNS para Azure Private Endpoint para obtener instrucciones detalladas.

Desactivar el acceso público en el portal de Azure (opcional)

Azure Databricks recomienda deshabilitar el acceso público a su espacio de trabajo mediante ingreso basado en contexto, tal como se describe en Permitir que su punto de conexión privado acceda a espacios de trabajo con ingreso basado en contexto. Sin embargo, también puedes desactivar el acceso público en el portal de Azure. Al completar la configuración de Private Link, no se bloquea automáticamente el acceso público a Internet a su área de trabajo. El acceso público y privado son configuraciones independientes. Para aplicar la conectividad solo privada, deshabilite el acceso a la red pública:

  1. En el portal de Azure, vaya al recurso del área de trabajo de Azure Databricks.
  2. En Configuración, establezca Permitir el acceso de red pública a Deshabilitar.

Limitaciones

  • Cada cuenta está limitada a 5 puntos de conexión privados para servicios intensivos de rendimiento por región y 100 por cuenta. Póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener aumentos de cuota.

Recursos adicionales

  • Last updated on