Requisitos y limitaciones del catálogo de Unity

En esta página se describen los requisitos de proceso, los formatos de archivo admitidos, las restricciones de nomenclatura y las limitaciones conocidas del catálogo de Unity.

Compatibilidad con regiones

Todas las regiones admiten Unity Catalog. Para más información, consulte Regiones de Azure Databricks.

Requisitos de proceso

Unity Catalog es compatible con clústeres que ejecutan Databricks Runtime 11.3 LTS o posteriores. Unity Catalog es compatible de forma predeterminada en todas las versiones de computación de SQL Warehouse.

Los clústeres que se ejecutan en versiones anteriores de Databricks Runtime no proporcionan compatibilidad con todas las características y funcionalidades de GA del catálogo de Unity.

Para acceder a los datos en el Catálogo de Unity, los clústeres deben configurarse con el modo de acceso correcto. Unity Catalog es seguro de forma predeterminada. Si un clúster no está configurado con el modo de acceso estándar o dedicado, el clúster no puede acceder a los datos en el Catálogo de Unity. Consulte Modos de acceso.

Para obtener información detallada sobre los cambios de funcionalidad del catálogo del Unity en cada versión de Databricks Runtime, consulte las notas de lanzamiento.

Compatibilidad con formato de archivo

El catálogo de Unity admite los siguientes formatos de tabla:

Requisitos de nomenclatura de objetos protegibles

Las siguientes limitaciones se aplican a todos los nombres de objeto en el catálogo de Unity:

  • Los nombres de equipo no pueden superar los 255 caracteres.
  • No se permiten los siguientes caracteres especiales:
    • Periodo (.)
    • Área ( )
    • Barra diagonal(/)
    • Todos los caracteres de control ASCII (hexadecimal 00-1F)
    • El carácter DELETE (hexadecimal 7F)
  • El catálogo de Unity almacena todos los nombres de objeto en minúsculas.
  • Al hacer referencia a nombres UC en SQL, debe usar acentos versos para escape de nombres que contengan caracteres especiales, como guiones (-).

Note

Los nombres de columna pueden usar caracteres especiales, pero el nombre debe escaparse con acentos versos en todas las instrucciones SQL si se usan caracteres especiales. El catálogo de Unity conserva el uso de mayúsculas y minúsculas, pero las consultas en las tablas del catálogo de Unity no distinguen mayúsculas de minúsculas.

Limitaciones

El catálogo de Unity tiene las siguientes limitaciones. Algunas de ellas son específicas de las versiones más antiguas de Databricks Runtime y los modos de acceso a la computación.

Las cargas de trabajo de Structured Streaming tienen limitaciones adicionales, en función del entorno de ejecución y el modo de acceso de Databricks. Consulte Requisitos y limitaciones de proceso estándar yRequisitos y limitaciones de proceso dedicados.

Databricks publica nuevas funcionalidades que reducen esta lista periódicamente.

  • Los grupos que se crearon anteriormente en un entorno de trabajo (es decir, grupos a nivel de entorno de trabajo) no se pueden usar en las instrucciones de Unity Catalog GRANT. Esto es para garantizar una visualización uniforme de los grupos que pueden abarcar espacios de trabajo. Para usar grupos en GRANT instrucciones, cree los grupos en el nivel de cuenta y actualice cualquier automatización para la administración de principales o grupos (como los conectores SCIM, Okta y Microsoft Entra ID y Terraform) para hacer referencia a los puntos de conexión de la cuenta en lugar de a los puntos de conexión del espacio de trabajo. Consulte Fuentes de grupo.
  • Las cargas de trabajo en R no admiten el uso de vistas dinámicas para la seguridad a nivel de fila o columna al ejecutarse en Databricks Runtime 15.3 y versiones anteriores.
    • Use un recurso de proceso dedicado que ejecute Databricks Runtime 15.4 LTS o superior para cargas de trabajo en R que consultan vistas dinámicas. Estas cargas de trabajo también requieren un área de trabajo habilitada para el proceso sin servidor. Para más información, consulte Control de acceso detallado en cómputo dedicado.
  • Una tabla administrada se puede clonar superficialmente en otra tabla administrada en Databricks Runtime 13.3 LTS y versiones posteriores. Una tabla externa se puede clonar superficialmente a otra tabla externa en Databricks Runtime 14.2 y versiones posteriores. Una tabla administrada no se puede copiar superficialmente en una tabla externa. Además, una tabla externa no se puede clonar de forma superficial en una tabla administrada. Para obtener más información, consulte Clone superficial para tablas del catálogo de Unity.
  • No se admite la creación de cubos para las tablas Unity Catalog. Si ejecuta comandos que intentan crear una tabla en cubo en Unity Catalog, se producirá una excepción.
  • Escribir en la misma ruta o tabla de Delta Lake desde áreas de trabajo en varias regiones puede resultar en un rendimiento poco fiable si algunos clústeres acceden a Unity Catalog y otros no.
  • La manipulación de particiones para tablas externas mediante comandos como ALTER TABLE ADD PARTITION requiere que se habilite el registro de metadatos de partición. Consulte Detección de particiones para tablas externas.
  • Cuando se usa el modo de sobrescritura para tablas que no están en formato Delta, el usuario debe tener el CREATE TABLE privilegio en el esquema primario y debe ser el propietario del objeto existente O tener el privilegio MODIFY en el objeto.
  • Las UDF de Python no se admiten en Databricks Runtime 12.2 LTS y versiones posteriores. Esto incluye UDAFs, UDTFs y Pandas en Spark (applyInPandas y mapInPandas). Las UDF escalares de Python se admiten en Databricks Runtime 13.3 LTS y versiones posteriores.
  • Las UDFs de Scala no se admiten en Databricks Runtime 14.1 y versiones anteriores en cómputo con modo de acceso estándar. Las UDFs escalares se admiten en Databricks Runtime 14.2 y versiones posteriores en el cálculo con el modo de acceso estándar.
  • No se admiten los grupos estándar de subprocesos de Scala. En su lugar, utilice los grupos de subprocesos especiales en org.apache.spark.util.ThreadUtils, por ejemplo, org.apache.spark.util.ThreadUtils.newDaemonFixedThreadPool. Sin embargo, los siguientes grupos de procesos en ThreadUtils no son compatibles: ThreadUtils.newForkJoinPool y cualquier grupo de procesos ScheduledExecutorService.
  • Los registros de diagnóstico de Azure solo registran eventos del catálogo de Unity en el nivel de área de trabajo. Para ver las acciones de nivel de cuenta, debe usar la tabla del sistema de registro de auditoría. Consulte la referencia de la tabla del sistema de registro de auditoría .

Los modelos registrados en Unity Catalog tienen limitaciones adicionales. Consulte Limitaciones.

Cuotas de recursos

Unity Catalog aplica cuotas de recursos en todos los objetos protegibles. Estas cuotas se enumeran en Límites de recursos. Si espera superar estos límites de recursos, póngase en contacto con el equipo de la cuenta de Azure Databricks.

Puede supervisar el uso de la cuota mediante las API de cuotas de recursos de Unity Catalog. Vea Supervisión del uso de cuotas de recursos de Unity Catalog.

  • Last updated on