Conexión a una ubicación externa de Cloudflare R2

En esta página se describe cómo conectarse a una ubicación externa de Cloudflare R2. Después de conectarse, puede controlar el acceso a estos objetos R2 mediante el catálogo de Unity.

Para conectarse correctamente a una ruta de acceso de Cloudflare R2, necesita dos objetos protegibles del catálogo de Unity. La primera es una credencial de almacenamiento, que especifica un token de API de R2 que permite el acceso a la ubicación de R2. Necesita esta credencial de almacenamiento para el segundo objeto necesario: una ubicación externa, que define la ruta de acceso a la ubicación de almacenamiento de R2 y las credenciales necesarias para acceder a esa ubicación.

Requirements

  • Área de trabajo de Databricks habilitada para Unity Catalog.

  • Databricks Runtime 14.3 o superior, o SQL Warehouse 2024.15 o superior.

    Si encuentra el mensaje de error No FileSystem for scheme "r2”, es probable que su ordenador esté en una versión no admitida.

  • Una cuenta de Cloudflare. Consulte https://dash.cloudflare.com/sign-up.

  • Un rol de administrador de Cloudflare R2. Consulte la documentación de roles de Cloudflare.

  • Privilegios CREATE STORAGE CREDENTIAL y CREATE EXTERNAL LOCATION en el metastore de Unity Catalog asociado al espacio de trabajo. Los administradores de cuentas y los administradores de metastore tienen estos privilegios de forma predeterminada.

Paso 1: Configura un bucket de R2

  1. Cree un cubo de Cloudflare R2.

    Puede usar el panel de Cloudflare o la herramienta Cloudflare Wrangler.

    Consulte la documentación de " Introducción " de Cloudflare R2 o la documentación de Wrangler.

  2. Cree un token de API de R2 y aplíquelo al cubo.

    Consulte la documentación sobre autenticación de la API de Cloudflare R2.

    Establezca las siguientes propiedades de token:

    • Permisos: Lectura y escritura de objetos.

      Este permiso concede acceso de lectura y escritura, que es necesario cuando se usa el almacenamiento de R2 como destino de replicación, como se describe en Uso de réplicas de Cloudflare R2 o migración del almacenamiento a R2.

      Si desea aplicar el acceso de solo lectura desde Azure Databricks al cubo de R2, puede crear un token que conceda acceso de solo lectura. Sin embargo, esto puede ser innecesario, ya que puede marcar la credencial de almacenamiento como de solo lectura y se omitirá cualquier acceso de escritura concedido por este permiso.

    • (Opcional) TTL: el período de tiempo que desea compartir los datos del cubo con los destinatarios de datos.

    • (Opcional) Filtrado de direcciones IP de cliente: seleccione si desea limitar el acceso de red a direcciones IP de destinatario especificadas. Si esta opción está habilitada, debe especificar las direcciones IP de los destinatarios y debe incluir en la lista la dirección IP NAT del plano de control de Databricks para la región del área de trabajo.

    Consulte las direcciones IP y los dominios de los servicios y activos de Azure Databricks.

  3. Copie los valores del token de API de R2:

    • Id. de clave de acceso
    • Clave de acceso secreta

    Important

    Los valores de token solo se muestran una vez.

  4. En la página principal de R2, vaya a Detalles de la cuenta y copie el identificador de cuenta de R2.

Paso 2: Creación de la credencial de almacenamiento

  1. En Azure Databricks, inicie sesión en el área de trabajo.

  2. Haga clic en el icono Datos.Catálogo.

  3. Haga clic en el botón Datos >externos, vaya a la pestaña Credenciales y seleccione Crear credencial.

  4. Seleccione Credencial de almacenamiento.

  5. Seleccione un tipo de credencial de token de API de Cloudflare.

  6. Escriba un nombre para la credencial y los valores siguientes que copió al configurar el cubo de R2:

    • Id. de cuenta
    • Id. de clave de acceso
    • Clave de acceso secreta

  7. (Opcional) Si quiere que los usuarios tengan acceso de solo lectura a las ubicaciones externas que usan esta credencial de almacenamiento, en Opciones avanzadas seleccione Solo lectura.

    No seleccione esta opción si desea usar la credencial de almacenamiento para acceder al almacenamiento de R2 que usa como destino de replicación, como se describe en Usar réplicas de Cloudflare R2 o migrar el almacenamiento a R2.

    Para obtener más información, consulte Marcar una credencial de almacenamiento como de solo lectura.

  8. Haga clic en Crear.

  9. En el cuadro de diálogo Credencial de almacenamiento creada, copie el identificador externo.

  10. (Opcional) Enlace la credencial de almacenamiento a áreas de trabajo específicas.

    De forma predeterminada, cualquier usuario con privilegios puede usar una credencial de almacenamiento en cualquier área de trabajo asociada al metastore. Si desea permitir el acceso solo desde áreas de trabajo específicas, vaya a la pestaña Áreas de trabajo y asigne áreas de trabajo. Consulte Asignación de una credencial de almacenamiento a áreas de trabajo específicas.

Paso 3: Crear la ubicación externa

Para crear la ubicación externa, use el Explorador de catálogos si prefiere usar una interfaz de usuario gráfica o SQL si prefiere la creación mediante programación.

Opción 1: Crear una ubicación externa mediante el Explorador de catálogos

  1. Inicie sesión en un área de trabajo vinculada al metastore.

  2. En la barra lateral, haga clic en Icono de datos.Catálogo.

  3. Haga clic en el botón Datos >externos, vaya a la pestaña Ubicaciones externas y haga clic en Crear ubicación externa.

  4. En el cuadro de diálogo Crear una nueva ubicación externa , haga clic en Manual y, a continuación, en Siguiente.

    No puede usar la opción de inicio rápido de AWS para crear una ubicación externa para la raíz de DBFS.

  5. En el cuadro de diálogo Crear una nueva ubicación externa manualmente , escriba un nombre de ubicación externa.

  6. En Tipo de almacenamiento, seleccione R2.

  7. En DIRECCIÓN URL, escriba la ruta de acceso. Por ejemplo: r2://my-bucket@my-account-id.r2.cloudflarestorage.com.

  8. En Credencial de almacenamiento, seleccione la credencial de almacenamiento que concede acceso a la ubicación externa.

  9. (Opcional) Si desea que los usuarios tengan acceso de solo lectura a la ubicación externa, haga clic en Opciones avanzadas y seleccione Limitar a uso de solo lectura. Podrá cambiar esta configuración más adelante. Para obtener más información, consulte Marcar una ubicación externa como solo lectura.

  10. (Opcional) Si la ubicación externa está pensada para la migración de cargas de trabajo heredadas, haga clic en Opciones avanzadas y habilite el modo alternativo.

    Consulte Habilitar modo de reserva en ubicaciones externas.

  11. Haga clic en Crear.

  12. (Opcional) Enlace la ubicación externa a áreas de trabajo específicas.

    De forma predeterminada, cualquier usuario con privilegios puede usar la ubicación externa en cualquier área de trabajo asociada al metastore. Si desea permitir el acceso solo desde áreas de trabajo específicas, vaya a la pestaña Áreas de trabajo y asigne áreas de trabajo. Consulte Asignación de una ubicación externa a áreas de trabajo específicas.

  13. Ve a la pestaña Permisos para conceder permiso a fin de usar la ubicación externa.

    Para que cualquiera use la ubicación externa, debe conceder permisos:

    • Para usar la ubicación externa para agregar una ubicación de almacenamiento administrada al metastore, el catálogo o el esquema, conceda el privilegio CREATE MANAGED LOCATION.
    • Para crear tablas o volúmenes externos, conceda CREATE EXTERNAL TABLE o CREATE EXTERNAL VOLUME.
    1. Haga clic en Conceder.
    2. En el cuadro de diálogo Conceder en <external location>, seleccione usuarios, grupos o entidades de servicio en el campo Entidades de seguridad y seleccione el privilegio que quiera conceder.
    3. Haga clic en Conceder.

Opción 2: Crear una ubicación externa mediante SQL

Para crear una ubicación externa mediante SQL, ejecute el siguiente comando en un cuaderno o en el editor de consultas SQL. Reemplace los valores de marcador de posición.

  • <location-name>: nombre de la ubicación externa. Si location_name incluye caracteres especiales, como guiones (-), debe ir rodeado de acentos graves (` `). Vea Nombres.
  • <bucket-path>: ruta de acceso del inquilino en la nube a la que esta ubicación externa concede acceso. Por ejemplo: r2://my-bucket@my-account-id.r2.cloudflarestorage.com.
  • <storage-credential-name>: El nombre de la credencial de almacenamiento que autoriza la lectura desde el bucket y la escritura en él. Si el nombre de la credencial de almacenamiento incluye caracteres especiales, como guiones (-), debe ir rodeado de acentos graves (` `).
CREATE EXTERNAL LOCATION [IF NOT EXISTS] `<location-name>`
URL '<bucket-path>'
WITH ([STORAGE] CREDENTIAL `<storage-credential-name>`)
[COMMENT '<comment-string>'];

Si desea limitar el acceso de ubicación externa a áreas de trabajo específicas de la cuenta, también conocidas como enlace de área de trabajo o aislamiento de ubicación externa, consulte Asignación de una ubicación externa a áreas de trabajo específicas.

  • Last updated on