Mantenimiento de la mesa Delta en la casa del lago

Ejecute el mantenimiento de tablas en tablas Delta para mantenerlos en buen estado a lo largo del tiempo mediante la compactación de archivos pequeños, la aplicación de optimizaciones de lectura y la eliminación de archivos obsoletos a los que ya no se hace referencia.

Puedes ejecutar el mantenimiento tanto como una operación ad hoc en el portal Fabric (acción de mantenimiento de la tabla lakehouse) como un proceso programado y orquestado usando notebooks, pipelines o REST API. Las canalizaciones de Fabric Data Factory incluyen una actividad dedicada de Mantenimiento de Lakehouse (Preview) que puede ejecutar OPTIMIZE (con orden V opcional) y VACUUM sobre tablas Delta de lakehouse como parte de los flujos de trabajo programados de la pipeline. Este artículo se centra en el flujo de trabajo del portal ad hoc.

Para obtener instrucciones de mantenimiento entre cargas de trabajo, incluidas recomendaciones para el punto de conexión de SQL Analytics, Power BI Direct Lake y consumidores de Data Warehouse, consulte Conservación y optimización de tablas de cargas de trabajo. Para patrones de mantenimiento code-first, véase optimización de tablas Delta Lake y V-order y Gestionar la casa del lago con Fabric REST API.

Mantenimiento de la mesa de corrida desde Lakehouse

El mantenimiento de las mesas en Lakehouse solo se aplica a las mesas Delta. No se admiten tablas de Hive heredadas que usan formatos como Parquet, ORC, AVRO o CSV.

En el diálogo Ejecutar comandos de mantenimiento, elija opciones basadas en el objetivo.

Como práctica general, ejecute el mantenimiento después de la actividad principal de ingesta o actualización, o cuando observe muchos archivos pequeños y un rendimiento de lectura más lento.

1. Desde tu cuenta de Fabric, navega hasta la casa del lago deseada.

2. En Lakehouse Explorer, en Tablas, haz clic derecho en la tabla objetivo (o usa la elipsis).

3. Seleccione la entrada de menú Mantenimiento.

   

4. En el cuadro de diálogo Ejecutar comandos de mantenimiento , elija las opciones de mantenimiento:

   • Seleccione la opción Activado para compactar pequeños archivos Parquet en archivos más grandes para lecturas más eficaces.

   • Si tienes seleccionada Activada , también puedes marcar la casilla Aplicar V-orden . Cuando seleccionas esta opción, Fabric aplica el orden V (ordenación, codificación y compresión optimizadas) como parte de optimización.

     Nota:

     El orden en V tiene un impacto de unos 15% en los tiempos medios de escritura. También puede proporcionar hasta 50% más compresión.

   • Seleccione la opción Activado para ejecutar el comando Delta Lake VACUUM y quitar archivos sin referencia anteriores al umbral de retención. Para más información sobre el comportamiento de retención y la seguridad, consulte Configuración de retención de vacío.

   • Seleccione la opción Activar para combinar transacciones en archivos parquet y quitar los archivos de vectores de eliminación adicionales, limpiar el espacio y optimizar las lecturas de tabla.

5. Seleccione Ejecutar ahora para ejecutar el trabajo de mantenimiento de la tabla.

6. Realice un seguimiento de la ejecución del trabajo en cualquiera de estos lugares:

   • Panel de notificaciones (icono de campana en el encabezado del portal de Fabric) para obtener el estado de ejecución inmediata.
   • Centro de supervisión (seleccione Supervisar en el panel de navegación izquierdo) para obtener detalles completos del trabajo. Busque actividades que contengan TableMaintenance en el nombre de la actividad para tareas iniciadas desde el portal. Para el mantenimiento ejecutado a través de las canalizaciones de Fabric Data Factory, busque la ejecución de la canalización en la vista Canalizaciones del centro > de monitorización y filtre por el nombre de actividad de mantenimiento de Lakehouse.

Después de ejecutar el mantenimiento, el éxito se refleja como una actividad de mantenimiento de tabla completada en Notificaciones y como una entrada exitosa TableMaintenance en el centro de supervisión.

Para obtener más información sobre la navegación y los filtros del centro de supervisión, consulte Uso del centro de supervisión.

Configuración de retención de vacío

El VACUUM comando quita los archivos a los que ya no hace referencia el registro delta y que son anteriores al umbral de retención. El umbral de retención predeterminado es de siete días.

El uso de un intervalo de retención más corto puede reducir el historial de viajes en el tiempo Delta y puede afectar a los lectores o escritores concurrentes. Las solicitudes de mantenimiento de API y del portal de Fabric producen un error de forma predeterminada en intervalos de retención inferiores a siete días.

Si debe usar un intervalo de retención de menos de siete días, configure spark.databricks.delta.retentionDurationCheck.enabled a false en las propiedades de Spark del entorno de Fabric que utilizan las cargas de trabajo de Spark de su área de trabajo. Para obtener información sobre cómo y dónde configurar y adjuntar entornos, consulte Crear, configurar y usar un entorno en Fabric y Configuración de computación de Spark en entornos de Fabric.

Contenido relacionado

• Resumen de Delta Lake en Fabric
• Actividad de mantenimiento de Lakehouse (versión preliminar)
• Optimización y mantenimiento de tablas entre cargas de trabajo
• Optimización de la tabla Delta Lake y orden V
• Gestiona la casa del lago con Fabric REST API