Mejorar las canalizaciones de Azure Data Factory con flujos de datos de asignación a Fabric (versión preliminar)

Utiliza la experiencia de actualización integrada de Azure Data Factory para actualizar pipelines elegibles que contienen Mapping Data Flows a Microsoft Fabric Data Factory. Durante la actualización, los flujos de datos de asignación compatibles se convierten en transformaciones de flujo de datos de asignación (MDF) en Dataflow Gen2, y las canalizaciones asociadas se actualizan a canalizaciones de Fabric.

Este artículo describe los pasos adicionales de validación, ejecución y monitorización para transformaciones MDF mejoradas. Para una visión general de la experiencia completa de actualización de Azure Data Factory, consulta Actualizar tus pipelines de Azure Data Factory a Fabric Data Factory.

Prerequisites

Antes de iniciar la actualización, asegúrese de que tiene lo siguiente:

• Una instancia de Azure Data Factory con al menos una canalización que contiene un Mapping Data Flow.
• Permiso para acceder a la instancia de Azure Data Factory y sus pipelines.
• Acceso a un entorno con Microsoft Fabric habilitado.
• Una licencia de Fabric. Si no tienes una licencia, la experiencia de incorporación View in Fabric (Preview) te invita a registrarte para obtener una licencia gratuita, si la inscripción en autoservicio está habilitada para tu arrendatario.
• Acceso a una capacidad de Fabric, como una capacidad de prueba.
• Permisos de contribuyente o superiores para crear y actualizar elementos en el espacio de trabajo de Fabric.
• Conexiones Fabric para almacenes de datos de origen y destino que no se crean automáticamente durante la actualización.

La experiencia de actualización crea automáticamente las conexiones Fabric compatibles cuando sus configuraciones de autenticación de Azure Data Factory pueden mapearse de forma segura. Para otras conexiones, selecciona una conexión Fabric existente o crea una antes de comenzar la actualización.

Escenarios de actualización admitidos

La experiencia de actualización integrada admite canalizaciones aptas de Azure Data Factory que contienen flujos de datos de asignación. Durante el proceso de actualización:

• Las pipelines seleccionadas de Azure Data Factory se actualizan a pipelines Fabric.
• Los flujos de datos de mapeo soportados se convierten en transformaciones MDF en Dataflow Gen2.
• Los pipelines y sus flujos de datos de asignación referenciados se actualizan juntos.
• Los servicios enlazados soportados se asignan a conexiones Fabric nuevas o existentes.
• Las pipelines y los flujos de datos de mapeo originales de Azure Data Factory permanecen sin cambios.

Antes de actualizar, revisa las limitaciones de la transformación MDF, los conectores compatibles, las transformaciones, los métodos de autenticación y los requisitos de red.

Actualizar pipelines que contienen flujos de datos de asignación

Inicia la actualización de versión en Azure Data Factory a través de View in Fabric (Preview). Ver tu fábrica en Fabric no mejora ni cambia tus canalizaciones. La actualización comienza solo después de revisar la preparación, seleccionar pipelines y seleccionar explícitamente Iniciar actualización (Vista previa).

Paso 1: Visualiza tu Azure Data Factory en Fabric

1. Abre tu portal de Azure Data Factory.

2. Seleccione Ver en Fabric (Vista previa).

   

3. Si es la primera vez que usas esta experiencia, revisa y acepta los términos y condiciones, y luego selecciona Probar Fabric Data Factory.

   

4. Sigue los pasos de incorporación para:

   • Verifica u obtén una licencia de Fabric.
   • Selecciona una capacidad Fabric.
   • Crea o reutiliza el espacio de trabajo de Fabric asociado a tu Azure Data Factory.
   • Mostrar Azure Data Factory como un elemento en el espacio de trabajo.
   • Opcionalmente, comparte acceso al espacio de trabajo con usuarios y grupos existentes de Azure Data Factory.

   

Después de la configuración, tu Azure Data Factory es visible en Fabric. No se actualiza nada, y la ejecución y la facturación de la canalización permanecen en Azure Data Factory.

Para obtener todos los detalles de introducción, consulta Mejora tus pipelines de Azure Data Factory a Fabric Data Factory.

Paso 2: Preparación para la revisión

1. En el elemento de Azure Data Factory en Fabric, selecciona Evaluar y mejorar.

   

2. Revisa la evaluación del estado de preparación.

3. Identifica las canalizaciones que contienen flujos de datos de asignación que quieres actualizar.

4. Revisa cualquier pipeline categorizado como Revisión y aborda capacidades no soportadas o parcialmente soportadas antes de actualizar.

5. Selecciona los pipelines elegibles que quieres actualizar.

La evaluación es de solo lectura y no modifica ni actualiza las canalizaciones seleccionadas.

Paso 3: Revisa las conexiones

1. Seleccione Revisar conexiones.
2. Revisa los servicios enlazados de Azure Data Factory utilizados por los pipelines seleccionados y los Mapping Data Flows.
3. Verifica las conexiones que se crearon automáticamente.
4. Para conexiones que no se crearon automáticamente, selecciona una conexión Fabric existente o crea una nueva.
5. Confirma que cada fuente y destino requeridos estén asignados a una conexión válida de Fabric.

Paso 4: Inicia la actualización

1. Revisa los pipelines y mapeos de conexión seleccionados.
2. Selecciona Iniciar actualización (Vista previa).
3. Espere a que la actualización se complete.
4. Revisa el estado de cada elemento mejorado.

Durante la actualización:

• Los pipelines seleccionados de Azure Data Factory se actualizan a pipelines de Fabric.
• Los flujos de datos de asignación compatibles a los que hacen referencia las canalizaciones seleccionadas se convierten en transformaciones MDF en Dataflow Gen2.
• Las canalizaciones y sus flujos de datos de asignación se actualizan conjuntamente.
• Los elementos mejorados se colocan en una carpeta con el nombre del Azure Data Factory de origen como prefijo.
• Los pipelines fuente de Azure Data Factory y los Mapping Data Flows permanecen sin cambios.

Validar transformaciones de flujo de datos de asignación actualizadas

Una vez finalizada la actualización, abre los resultados de la actualización o la carpeta que contiene los elementos actualizados, y valida las transformaciones MDF antes de ejecutar los pipelines.

Abre el elemento mejorado de Dataflow Gen2

1. Abre el elemento mejorado de Dataflow Gen2.

2. Revisar la lógica mejorada de transformación de MDF.

3. Valida el grafo de transformación.

   

Guardar la transformación de flujo de datos de mapeo mejorada

1. Abra el menú Guardar y ejecutar .

2. Haga clic en Guardar.

   

Ejecutar pipelines actualizados

Tras la validación, ejecuta la canalización mejorada de Fabric.

Configurar la ejecución de la pipeline

1. Abre la canalización de Fabric mejorada.

2. Seleccione la actividad Flujo de datos.

3. Revise la consulta de transformación de MDF seleccionada.

4. Configure los valores del entorno de ejecución de Spark si es necesario.

   

Ejecutar el pipeline mejorado

1. Valide la canalización.

2. Verifica que todas las conexiones necesarias estén mapeadas y autenticadas.

3. Reactiva cualquier actividad que hayas desactivado por conexiones no mapeadas.

4. Ejecuta el pipeline manualmente.

5. Compara sus resultados con la pipeline original de Azure Data Factory.

6. Tras la validación, ejecuta o configura, y vuelve a activar las programaciones y los activadores según sea necesario.

   

Validar los resultados de la actualización

Antes del cambio a producción, valida la carga de trabajo mejorada en un entorno no productivo:

• Confirma que has mapeado y autenticado todas las conexiones Fabric necesarias.
• Compara los recuentos de filas de origen y sumidero con la ejecución original de Azure Data Factory.
• Validar el esquema, los tipos de datos, el manejo nulo y el comportamiento de la deriva del esquema.
• Validar las expresiones de mapeo de Data Flow y los resultados de transformación.
• Verifica el comportamiento de insertar, actualizar, upsert y eliminar.
• Valida parámetros y contenido dinámico.
• Confirma el comportamiento idempotente cuando se vuelven a ejecutar las canalizaciones.
• Revisa la gestión de errores y la monitorización.
• Compara el comportamiento y el rendimiento en tiempo de ejecución sin asumir la misma duración de ejecución.
• Vuelva a activar y configure los activadores solo después de completar la validación de extremo a extremo.

Las pipelines originales de Azure Data Factory y los Mapping Data Flows siguen disponibles para validación lado a lado.

Monitorizar las ejecuciones de transformadas de flujo de datos de mapeo actualizadas

Puedes monitorizar las ejecuciones de pipelines mejorados y transformaciones MDF a través de:

• Panel de salida de la canalización
• Centro de supervisión
• Ejecuciones de actividades
• Detalles de ejecución de la actividad de flujo de datos

Para revisar los detalles de ejecución:

1. Abra los detalles de ejecución de la canalización.

2. Seleccione la actividad de flujo de datos en Ejecuciones de actividad.

3. Revise el estado de ejecución y los detalles del entorno de ejecución.

   

   

Limitaciones

Las limitaciones generales de actualización de Azure Data Factory también se aplican a pipelines que contienen flujos de datos de mapeo. Revisa las limitaciones conocidas antes de seleccionar pipelines para actualizar.

Las siguientes limitaciones se aplican actualmente a las transformaciones MDF durante la vista previa pública:

Contenido relacionado

• Actualiza tus pipelines de Azure Data Factory a Fabric Data Factory
• Transformaciones de un flujo de datos de asignación en Dataflow Gen2 (versión preliminar)
• Planificación de actualización para Azure Data Factory a Fabric Data Factory
• Prácticas recomendadas para actualizar de Azure Data Factory a Fabric Data Factory
• Precios de Dataflow Gen2