Usar canalizaciones de Lakeflow con el almacén de metadatos heredado de Hive

Configurar las canalizaciones de Lakeflow para publicar datos en el metastore heredado de Hive, incluidos la ubicación de almacenamiento, el acceso al almacenamiento en la nube y el registro de eventos. Databricks recomienda usar el catálogo de Unity para todas las canalizaciones nuevas. Consulte Uso de Unity Catalog con canalizaciones.

Consultar tablas de transmisión y vistas materializadas en el metastore de Hive

Una vez completada la actualización, puede ver el esquema y las tablas, consultar los datos o usar los datos en aplicaciones posteriores.

Una vez publicadas, las tablas de canalización se pueden consultar desde cualquier entorno con acceso al esquema de destino. Esto incluye Databricks SQL, cuadernos y otras canalizaciones de Lakeflow.

Configurar una canalización para publicar en el metastore de Hive

Para publicar en el metastore heredado de Hive, elija Usar Metastore de Hive en Opciones avanzadas al crear una nueva canalización (es posible que deba seleccionar Ver más para ver la opción). Debe especificar un esquema de destino predeterminado al publicar en metastore de Hive. Consulte Configuración de canalizaciones.

Especificar una ubicación de almacenamiento

Puede especificar una ubicación de almacenamiento para una canalización que se publica en el metastore de Hive. La motivación principal para especificar una localización es gestionar el lugar de almacenamiento de objetos para los datos escritos por tu pipeline. Databricks recomienda especificar siempre una ubicación de almacenamiento para evitar escribir en la raíz de DBFS.

Dado que las canalizaciones de Lakeflow administran completamente todas las tablas, los datos, los puntos de control y los metadatos, la mayoría de la interacción con los conjuntos de datos de canalización se producen a través de tablas registradas en el metastore de Hive o en el catálogo de Unity.

Configuración de almacenamiento en la nube

Para acceder Azure Storage, debe configurar los parámetros necesarios, incluidos los tokens de acceso, mediante la configuración spark.conf en las configuraciones del clúster. Para obtener un ejemplo de configuración del acceso a una cuenta de almacenamiento de Azure Data Lake Storage (ADLS), consulte Acceso seguro a las credenciales de almacenamiento con secretos en una canalización.

Consulte Trabajar con el registro de eventos para canalizaciones de metastore de Hive.

Si la canalización publica tablas en el metastore de Hive, el registro de eventos se almacenará en /system/events, bajo la ubicación de storage. Por ejemplo, si ha configurado la canalización storage como /Users/username/data, el registro de eventos se almacena en la ruta /Users/username/data/system/events de DBFS.

Si no ha configurado el valor storage, la ubicación predeterminada del registro de eventos es /pipelines/<pipeline-id>/system/events en DBFS. Por ejemplo, si el identificador de la canalización es 91de5e48-35ed-11ec-8d3d-0242ac130003, la ubicación de almacenamiento es /pipelines/91de5e48-35ed-11ec-8d3d-0242ac130003/system/events.

Puede crear una vista para simplificar la consulta del registro de eventos. En el ejemplo siguiente, se crea una vista temporal llamada event_log_raw. Esta vista se usa en las consultas de registro de eventos de ejemplo incluidas en este artículo:

CREATE OR REPLACE TEMP VIEW event_log_raw
AS SELECT * FROM delta.`<event-log-path>`;

Reemplace <event-log-path> por la ubicación del registro de eventos.

Cada instancia de una ejecución de canalización se denomina actualización. A menudo, querrá extraer información de la actualización más reciente. Ejecute las consultas siguientes para buscar el identificador de la actualización más reciente y guardarlo en la vista temporal latest_update_id. Esta vista se usa en las consultas de registro de eventos de ejemplo incluidas en este artículo:

CREATE OR REPLACE TEMP VIEW latest_update AS
SELECT origin.update_id AS id
FROM event_log_raw
WHERE event_type = 'create_update'
ORDER BY timestamp DESC
LIMIT 1;

Puede consultar el registro de eventos en un cuaderno de Azure Databricks o en el editor de SQL. Use un cuaderno o el editor de SQL para ejecutar las consultas de registro de eventos de ejemplo.

Cuadernos de código fuente de canalización de ejemplo para áreas de trabajo sin Unity Catalog

Puede importar los siguientes cuadernos en un espacio de trabajo de Azure Databricks sin tener habilitado Unity Catalog y usarlos para implementar canalizaciones de Lakeflow. Importe el cuaderno del idioma elegido y especifique la ruta de acceso en el campo Código fuente al configurar una canalización con la opción de almacenamiento Hive metastore. Consulte Configuración de canalizaciones.

Introducción a

Obtención del cuaderno

Introducción a

Obtención del cuaderno