Problemas conocidos con Azure Data Lake Storage

En este artículo se describen los problemas conocidos y las limitaciones de Azure Data Lake Storage para las cuentas que tienen habilitada la característica de espacio de nombres jerárquico. Use esta información para administrar los flujos de trabajo de datos y evitar posibles problemas al usar diversas API e integraciones.

Soporte para características, servicios y plataformas

La mayoría de las características de Blob Storage, las integraciones de servicios Azure y las plataformas de código abierto se admiten en cuentas que tienen un espacio de nombres jerárquico. Para obtener listas completas, consulte:

• características de Blob Storage disponibles en Azure Data Lake Storage
• Servicios de Azure que admiten Azure Data Lake Storage
• Plataformas de código abierto que admiten Azure Data Lake Storage

API de almacenamiento de blobs

Las API de Data Lake Storage, NFS 3.0 y las API de blobs pueden funcionar en los mismos datos.

En esta sección se describen los problemas y limitaciones con el uso de las API de blobs, NFS 3.0 y las API de Data Lake Storage para operar en los mismos datos.

• No puede usar las API de Blob, NFS 3.0 y las API de Data Lake Storage para escribir en la misma instancia de un archivo. Si escribe en un archivo mediante Data Lake Storage API o NFS 3.0, los bloques de ese archivo no son visibles para las llamadas a la API Get Block List blob. La única excepción es cuando sobrescribes. Puede sobrescribir un archivo o un blob mediante api o mediante NFS 3.0 con la opción de truncamiento cero (una operación de estilo POSIX que trunca el archivo en cero bytes antes de escribir).

  No se pueden sobrescribir blobs creados mediante una operación de Data Lake Storage, como la operación Path - Create mediante operaciones PutBlock o PutBlockList. Sin embargo, puede sobrescribir estos blobs mediante una operación PutBlob , sujeto al tamaño máximo permitido del blob impuesto por la versión de API correspondiente que usa PutBlob.

• Cuando use la operación List Blobs (Enumerar blobs) sin especificar un delimitador, los resultados incluirán tanto los directorios como los blobs. Si decide usar un delimitador, use solo una barra diagonal (/). Este es el único delimitador admitido.

• Si usa delete Blob API para eliminar un directorio, el directorio solo se elimina si está vacío. Esta condición significa que no se puede usar blob API para eliminar directorios de forma recursiva.

Las siguientes API REST de blob no se admiten:

• Blob (página)
• Página de Publicación
• Obtener rangos de páginas
• Copia incremental del blob
• Importar página desde URL
• Anexar sello de blob

No se admiten discos de máquina virtual no administrados en cuentas que tengan un espacio de nombres jerárquico. Si desea habilitar un espacio de nombres jerárquico en una cuenta de almacenamiento, coloque los discos de máquina virtual no administrados en una cuenta de almacenamiento que no tenga habilitada la característica de espacio de nombres jerárquico.

Compatibilidad con la configuración de listas de control de acceso (ACL) de forma recursiva en Azure Data Lake Storage

La capacidad de aplicar cambios de ACL de forma recursiva desde el directorio principal a los elementos secundarios está disponible con carácter general. En la versión actual de esta funcionalidad, puede aplicar cambios de ACL mediante Explorador de Azure Storage, PowerShell, CLI de Azure y los SDK de .NET, Java, Python y Node.js. Todavía no está disponible la compatibilidad con Azure Portal.

Listas de control de acceso (ACL) y acceso de lectura anónimo

Si se concede acceso de lectura anónimo a un contenedor, las ACL no tienen ningún efecto en ese contenedor o en los archivos de ese contenedor. Esta restricción solo afecta a las solicitudes de lectura. Las solicitudes de escritura siguen respetando las ACL. Exigir autorización para todas las solicitudes de datos de blob.

Puntos de conexión privados para Azure Data Lake Storage

Si usa puntos de conexión privados para acceder a Azure Data Lake Storage (una cuenta de almacenamiento con espacio de nombres jerárquico habilitado), debe crear uno para los subrecursos blob y dfs. Las operaciones que tienen como destino el punto de conexión de Data Lake Storage (dfs) se pueden redirigir al punto de conexión de blob y algunas operaciones (como administrar ACL, crear directorios y eliminar directorios) requieren un punto de conexión privado DFS. La creación de puntos de conexión privados para ambos subrecursos garantiza que todas las operaciones se completen correctamente. Para obtener más información, consulte Uso de puntos de conexión privados para Azure Storage.

AzCopy con Azure Data Lake Storage

Cuando se usa AzCopy con cuentas que tienen habilitado un espacio de nombres jerárquico, solo AzCopy v10 admite las API de Data Lake Storage necesarias. Use solo la versión más reciente de AzCopy (AzCopy v10). No se admiten versiones anteriores, como AzCopy v8.1.

Explorador de Azure Storage con Azure Data Lake Storage

Cuando use Explorador de Azure Storage con cuentas de almacenamiento que tengan habilitado un espacio de nombres jerárquico, use solo versiones 1.6.0 o posteriores. Las versiones anteriores no admiten las API de espacio de nombres jerárquicas necesarias para administrar archivos y directorios.

Explorador de almacenamiento en Azure Portal

En el explorador de almacenamiento que aparece en Azure Portal, no puede acceder a un archivo o carpeta especificando una ruta de acceso. En su lugar, debe examinar las carpetas para acceder a un archivo. Por lo tanto, si una ACL concede a un usuario acceso de lectura a un archivo, pero no acceso de lectura a todas las carpetas que conducen al archivo, ese usuario no puede ver el archivo en el explorador de almacenamiento.

Aplicaciones de terceros

Las aplicaciones de terceros que usan las API REST para seguir funcionando si las usa con Data Lake Storage. Es probable que las aplicaciones que usan las API de Blob funcionen.

Controlador Azure Storage Blob para Windows (WASB)

Actualmente, el controlador WASB, que se diseñó para funcionar solo con la API Blob, experimenta problemas en algunos escenarios comunes. En concreto, cuando se trata de un cliente de una cuenta de almacenamiento con espacio de nombres jerárquico habilitado. El acceso multiprotocolo en Data Lake Storage no mitiga estos problemas.

No se admite el uso del controlador WASB como cliente para una cuenta de almacenamiento habilitada para espacios de nombres jerárquicos. En su lugar, use el controlador Azure Blob File System (ABFS) en el entorno de Hadoop. Si está intentando migrar desde un entorno local de Hadoop con una versión anterior a la rama 3 de Hadoop, abra un caso de soporte técnico de Azure para obtener ayuda para determinar la mejor opción a seguir para su organización.

Eliminación no definitiva de blobs en Azure Data Lake Storage

En las cuentas de almacenamiento que tienen un espacio de nombres jerárquico, si cambia el nombre de los directorios primarios para los archivos o directorios eliminados temporalmente, es posible que el portal de Azure no muestre correctamente los elementos eliminados temporalmente. En tales casos, use PowerShell o CLI de Azure para enumerar y restaurar los elementos eliminados temporalmente.

Suscripciones de eventos en Azure Data Lake Storage

En las cuentas de almacenamiento que tienen un espacio de nombres jerárquico, si la cuenta tiene una suscripción de eventos, las operaciones de lectura en el punto de conexión secundario (la réplica de solo lectura en cuentas de almacenamiento con redundancia geográfica) producen un error. Para resolver este problema, quite las suscripciones a eventos. El uso del punto de conexión de Data Lake Storage (abfss://URI) para cuentas habilitadas para espacios de nombres no jerárquicos no genera eventos, pero el punto de conexión de blob (wasb:// URI) genera eventos.