Opciones de datos almacenados temporalmente para Dataflow Gen2

Note

Las opciones de datos almacenadas provisionalmente que se describen en este artículo se encuentran actualmente en versión preliminar.

Al habilitar almacenamiento provisional en una consulta, Dataflow Gen2 escribe resultados intermedios en un Lakehouse interno de almacenamiento provisional para que el motor pueda usar la capacidad de proceso de Fabric para realizar transformaciones o cargar datos en un destino.

La sección Datos almacenados provisionalmente en la configuración de escala de flujo de datos le permite ajustar dos aspectos de esa canalización:

  • Copia optimizada a Lakehouse (versión preliminar) — Use una ruta más rápida para escribir datos almacenados temporalmente en un destino de datos de Lakehouse de Fabric.
  • Habilitar la compresión V-Order (Versión preliminar) — Aplica la compresión V-Order a los datos escritos en el Lakehouse de almacenamiento provisional.

Ambas opciones se aplican en el nivel de flujo de datos y solo surten efecto en Dataflow Gen2.

Dónde encontrar la configuración

  1. Abra el flujo de datos en el editor de Power Query.
  2. Seleccione Opciones en el menú.
  3. Vaya a la pestaña Escala .
  4. Los dos valores se muestran en Datos almacenados provisionalmente.

Captura de pantalla del cuadro de diálogo Opciones con la pestaña Escalado seleccionada y la sección Datos preparados resaltada.

Copia optimizada en Lakehouse (versión preliminar)

Cuando esta opción está activada, Dataflow Gen2 usa una ruta de movimiento de datos optimizada para las consultas que:

  • Tener habilitado el almacenamiento provisional y
  • Escriba en un destino de datos Fabric Lakehouse.

En la ruta predeterminada, los datos fluyen desde el Warehouse de ensayo al Lakehouse con serialización adicional y saltos de red. La ruta optimizada reduce esos saltos, lo que puede acortar considerablemente el tiempo de actualización de los flujos de datos que dependen en gran medida del área de almacenamiento provisional y que se cargan en un Lakehouse.

Para un ejemplo medido del impacto en el tiempo de refresco y el consumo de CU de esta opción, véase Escenario 3: Copia optimizada a Lakehouse en los benchmarks de coste y rendimiento de Dataflow Gen2.

Cuándo usarlo

Activa esta opción al preparar consultas que terminan en un destino de datos de Lakehouse de Fabric. El almacenamiento provisional es más útil cuando:

  • La consulta contiene transformaciones que no se pueden plegar en el origen de datos.
  • Conviene usar la capacidad de proceso de ensayo de Fabric (Lakehouse o Warehouse) para ejecutar operaciones pesadas, como uniones, agrupaciones o filtros, antes de escribir en el destino.

Para más información sobre cuándo ayuda el almacenamiento provisional, consulte Procedimientos recomendados para obtener el mejor rendimiento con Dataflow Gen2.

Comportamiento predeterminado

La opción está desactivada de forma predeterminada. Para la mayoría de los flujos de datos que almacenan provisionalmente los datos y escriben en una Fabric Lakehouse, activar esta opción es beneficiosa.

Considerations

  • La opción solo surte efecto en las consultas que tienen habilitado el almacenamiento provisional y que escriben en un destino de datos de Fabric Lakehouse. En el caso de las consultas que escriben en otros destinos (Fabric Warehouse, Fabric base de datos SQL, Azure SQL, Snowflake, KQL, Azure Data Lake Storage Gen2, destinos de archivo), la opción no tiene ningún efecto.
  • Si desactiva la preparación de una consulta, la ruta de copia optimizada no se aplica a esa consulta.
  • La opción se aplica a todas las consultas aptas del flujo de datos. Actualmente no existe ninguna anulación por consulta.

Habilitar la compresión V-Order (versión preliminar)

V-Order es una optimización en tiempo de escritura para el formato de archivo Parquet que mejora el rendimiento de lectura para los motores posteriores de Fabric, a costa de un mayor uso de CPU durante la escritura. Para obtener información de referencia y directrices para distintos motores, consulte Optimización de tablas de Delta Lake y V-Order y Mantenimiento y optimización de tablas entre cargas de trabajo.

Cuando esta opción está activada, Dataflow Gen2 aplica la compresión V-Order a los datos escritos en staging Lakehouse. Cuando está desactivado, los datos almacenados provisionalmente se escriben sin orden V.

Cuándo activar o desactivar V-Order para el entorno de ensayo

Staging Lakehouse contiene datos intermedios que solo usa Dataflow Gen2: el flujo de datos vuelve a leer los datos almacenados provisionalmente durante la misma actualización para aplicar transformaciones adicionales o escribir en un destino, y el conector de flujo de datos lee de los datos almacenados provisionalmente cuando otros elementos consultan la salida del flujo de datos. Los motores de consulta de usuario final (Power BI Direct Lake, Fabric Warehouse, el punto de conexión de SQL Analytics, Spark) no leen directamente el almacenamiento provisional de Lakehouse. Esos escenarios se aplican en cambio al destino de datos de Lakehouse. Para obtener instrucciones sobre el destino, consulte Habilitar la compresión V-Order en un destino de lakehouse.

Dado que los datos almacenados provisionalmente normalmente se leen un número reducido de veces dentro de la misma actualización, la desactivación del orden de V para el almacenamiento provisional es una buena opción para la mayoría de los flujos de datos. Omitir V-Order reduce el uso de CPU durante la escritura y acorta la duración de la actualización, especialmente en las escrituras en el área de ensayo de gran tamaño. Considere activar V-Order on para la preparación si la salida preparada del flujo de datos se consume muchas veces a través del conector de Dataflow y desea favorecer el rendimiento de lectura de esas consultas posteriores por encima del costo de escritura de la preparación.

Comportamiento predeterminado

La opción está activada de forma predeterminada. Use las instrucciones anteriores para decidir lo que es adecuado para el flujo de datos.

Otros casos en los que se aplica V-Order

Además de la configuración de nivel de flujo de datos que controla el Lakehouse de almacenamiento provisional, V-Order también se puede controlar en la propia conexión del destino de datos de Lakehouse mediante la opción avanzada Habilitar el uso de la compresión V-Order. Esta configuración controla si los datos escritos en el Lakehouse de destino se comprimen con V-Order. El destino es la capa a la que acceden Direct Lake, Fabric Warehouse, el punto de conexión para análisis de SQL y Spark, por lo que las directrices a nivel de destino dependen del escenario.

Para obtener más información sobre la opción en el nivel de destino, consulte Habilitar la compresión V-Order en un destino de Lakehouse.

Contenido relacionado

  • Last updated on