Nota:
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Esta guía cubre estrategias de actualización, criterios de decisión y enfoques paso a paso para trasladar las canalizaciones de Azure Data Factory (ADF) a Fabric Data Factory. Para conocer las mejores prácticas a nivel de implementación para cada componente de actualización, consulte Mejores prácticas de actualización.
¿Por qué actualizar?
Migrar de los pipelines de ADF y Synapse a Fabric Data Factory es más que una migración directa: es una oportunidad para simplificar la gobernanza, estandarizar patrones y aprovechar las nuevas capacidades para mejorar su estrategia de integración de datos.
Fabric ofrece muchas características nuevas, entre las que se incluyen:
- Actividades de canalización integradas como correo electrónico y Teams para el enrutamiento de mensajes
- CI/CD integrado (canalizaciones de implementación) sin dependencias externas de Git
- Integración sin problemas del área de trabajo con OneLake, Warehouse y Lakehouse para análisis unificados
- El modelo de datos semántico simplificado actualiza esa escala para satisfacer las necesidades de autoservicio y de datos empresariales.
- Funcionalidades de inteligencia artificial integradas con Copilot para ayudarle a crear y administrar canalizaciones
Para obtener una comparación detallada, consulte la guía de comparación de Azure Data Factory y Fabric Data Factory.
Diferencias de arquitectura críticas
Antes de actualizar de Azure Data Factory a Fabric Data Factory, considera estas diferencias arquitectónicas críticas que suelen tener el mayor impacto en la planificación de la actualización:
| Category | Azure Data Factory | Fabric Data Factory | Impacto de la mejora |
|---|---|---|---|
| Código personalizado | Actividad personalizada | Actividad de Azure Batch | El nombre de la actividad es diferente, pero admite la misma funcionalidad. |
| Dataflows | Mapeo de flujos de datos con ejecución basada en Spark | Dataflow Gen2 soporta transformadas de Mapping Data Flow (MDF) con ejecución basada en Spark. Las transformaciones MDF se encuentran actualmente en vista previa. | Los flujos de datos de mapeamento de Azure Data Factory y Azure Synapse Analytics pueden migrarse a transformaciones MDF en Dataflow Gen2 utilizando la experiencia de migración integrada. Revisa los conectores compatibles, transformaciones, métodos de autenticación y limitaciones de previsualización antes de la migración. Para escenarios no soportados, rediseña la transformación usando Power Query en Dataflow Gen2, Fabric Warehouse SQL, notebooks u otra capacidad Fabric. |
| Conjuntos de datos | Objetos de conjunto de datos independientes y reutilizables | Las propiedades se definen en línea dentro de las actividades | Al convertir de ADF a Fabric, la información del "conjunto de datos" está dentro de cada actividad. |
| Conexiones dinámicas | Las propiedades del servicio vinculado pueden ser dinámicas mediante parámetros | Las propiedades de conexión no admiten propiedades dinámicas, pero las actividades de canalización pueden usar contenido dinámico para objetos de conexión | En el caso de las soluciones basadas en arquitectura controlada por metadatos que se basan en conexiones parametrizadas, parametrice el objeto de conexión en Fabric. |
| parámetros globales | Parámetros globales | Biblioteca de variables de Fabric | Diferentes patrones de implementación y tipos de datos, aunque tenemos una guía de actualización. |
| Actividades de HDInsight | Cinco actividades independientes (Hive, Pig, MapReduce, Spark, Streaming) | Actividad de HDInsight única | Solo necesita un tipo de actividad al convertir datos, pero toda la funcionalidad está soportada. |
| Identity | Identidad administrada | Identidad del área de trabajo de Fabric | Diferentes modelos de identidad, con algún planeamiento necesario para cambiar. |
| Almacén de claves | Integración madura con todos los tipos de autenticación | Integración limitada a través de Fabric Key Vault Reference | Compare las fuentes y métodos de autenticación de Key Vault actualmente compatibles con las configuraciones existentes. |
| Ejecución de canalización | Ejecución de la actividad de canalización | Invocar la actividad de la canalización con el tipo de conexión FabricDataPipeline | Los requisitos de nombre de actividad y conexión cambian al convertir. |
| Scheduling | Un desencadenador para muchas canalizaciones o muchos desencadenadores por canalización con administración centralizada | Una programación por canalización o muchas programaciones por canalización sin reutilización de programación ni centro central | Fabric requiere actualmente la gestión de programación por pipeline. |
Rutas de actualización
Las rutas de mejora dependen de tus activos ADF y de su paridad de características. Entre las opciones se incluyen:
- Elementos de Azure Data Factory en Fabric para asegurar la continuidad. - Una vista en tiempo real de tu instancia existente de Azure Data Factory dentro de Fabric, permitiendo una actualización y prueba gradual. Esta experiencia también es un buen primer paso antes de usar herramientas de conversión o replatforming.
- Utiliza la experiencia de actualización integrada para pipelines de Azure Data Factory: Evalúa la preparación de pipelines directamente en Azure Data Factory, revisa los resultados de compatibilidad y actualiza los pipelines compatibles a un espacio de trabajo Fabric usando una experiencia de usuario guiada.
- Actualización manual para entornos complejos - Reconstruir pipelines en Fabric para aprovechar nuevas funciones y optimizar el rendimiento. Este enfoque es necesario para pipelines con baja paridad o lógica personalizada, pero también es una oportunidad para modernizar tu arquitectura.
Elementos de Azure Data Factory en el área de trabajo de Fabric
Añade un ADF existente a tu espacio de trabajo de Fabric para obtener visibilidad y gobernanza inmediatas mientras actualizas poco a poco. Este enfoque es ideal para la identificación, la asignación de responsables y las pruebas en paralelo, porque los equipos pueden ver las canalizaciones, organizarlas en espacios de trabajo de Fabric y planificar las transiciones por dominio. Use elementos de Azure Data Factory para catalogar lo que existe, priorizar primero las canalizaciones de mayor valor y menor riesgo y establecer convenciones (nomenclatura, carpetas, reutilización de conexiones) que los scripts de conversión y las herramientas de asociados puedan seguir consistentemente.
Puedes montar en Fabric mediante el tipo de elemento de Azure Data Factory: Lleva Azure Data Factory a Fabric.
Actualizar los pipelines de Azure Data Factory usando la experiencia integrada
Fabric ofrece una experiencia de actualización integrada basada en la evaluación que puedes utilizar para evaluar y actualizar los pipelines de Azure Data Factory directamente a través de las experiencias de usuario de Azure Data Factory y Fabric, sin scripts ni herramientas personalizadas. Esta experiencia le ayuda a:
- Evalúe la disponibilidad de la canalización y las actividades directamente en Azure Data Factory.
- Entiende las brechas de compatibilidad antes de actualizar.
- Monte el Azure Data Factory en un área de trabajo de Fabric para su revisión en paralelo.
- Actualiza de forma incremental las canalizaciones compatibles a Fabric desde tu factoría de datos adjunta.
- Actualice los flujos de datos de asignación compatibles en las canalizaciones seleccionadas a transformaciones MDF en Dataflow Gen2.
- Planifica la remediación o rediseño de elementos que requieran actualizaciones, usen capacidades no compatibles o que llegarán próximamente.
Cada pipeline y actividad está claramente categorizada (Listos, Necesita revisión, Próximamente o No compatible), ayudando a los equipos a planificar las actualizaciones de forma intencionada y validar resultados antes de cambiar las cargas de producción. Este enfoque es muy adecuado para clientes que desean una ruta de actualización guiada, de bajo riesgo e incremental, manteniendo la visibilidad de las funciones no compatibles y los siguientes pasos. Para obtener instrucciones paso a paso, consulte Actualice sus canalizaciones de Azure Data Factory a Fabric.
La experiencia de actualización integrada también admite canalizaciones aptas que contienen Mapping Data Flows. Los flujos de datos de mapeo compatibles se actualizan a transformaciones MDF en Dataflow Gen2, preservando su lógica de transformación y su modelo de ejecución basado en Spark. Esta funcionalidad está actualmente en versión preliminar. Para requisitos, limitaciones e instrucciones de actualización, consulta Upgrade Azure Data Factory Mapping Data Flow pipelines to Fabric.
Actualización manual
La actualización manual es necesaria para pipelines complejos con baja paridad, pero también es una oportunidad para modernizar tu arquitectura y adoptar las funciones integradas de Fabric. Esta ruta requiere un planeamiento y desarrollo iniciales más iniciales, pero puede producir ventajas a largo plazo en la capacidad de mantenimiento, el rendimiento y el costo.
Para actualizar de forma eficaz, sigue estos pasos:
- Evaluación e inventario: cataloge todos los recursos de ADF, incluidas las canalizaciones, los conjuntos de datos, los servicios vinculados y los entornos de ejecución de integración. Identifique las dependencias y los patrones de uso.
- Identifica duplicados y elementos no utilizados: Elimina los elementos no usados o redundantes en ADF para agilizar la actualización y tu entorno de integración de datos.
- Identificar lagunas: Utiliza la herramienta de evaluación de tuberías y revisa la paridad de conectores y la paridad de actividad para identificar brechas entre tus tuberías ADF y Fabric, y planifica alternativas.
- Revisar nuevas características: use nuestra guía de decisión de movimiento de datos y nuestra guía de decisión de integración de datos para decidir qué herramientas de Fabric funcionarán mejor para sus necesidades.
- Plan: Revisa las mejores prácticas de mejora para tener en cuenta cada uno de tus artículos y las pautas para aprovechar al máximo las capacidades mejoradas de Fabric.
- Si usas parámetros globales en ADF, planea actualizarlos a librerías de variables Fabric. Consulte Convertir parámetros globales de ADF a librerías de variables de Fabric para obtener instrucciones detalladas.
- Transición ADF: Considera añadir un elemento de Azure Data Factory en Microsoft Fabric como primer paso para actualizar, permitiendo una transición gradual en una sola plataforma.
- Prioriza: Clasifica tus pipelines según el impacto en el negocio, la complejidad y la facilidad de actualización.
- Automatiza donde puedas: Utiliza la experiencia de actualización integrada para evaluar, actualizar y validar pipelines de forma incremental antes de mover cargas de trabajo en producción. Para obtener más información, consulte la herramienta Actualización.
-
Considere las herramientas: use estas herramientas para facilitar la recreación:
- Use plantillas de Fabric como punto de partida para canalizaciones con escenarios comunes de integración de datos.
- Uso de parametrización para crear canalizaciones reutilizables
- Utilice Copilot en Fabric Data Factory para facilitar la creación de canalizaciones
- Uso de canalizaciones de implementación para CI/CD y control de versiones
-
Actualización manual: Para escenarios que no soportan otros métodos de mejora, recompártelos en Fabric:
- Volver a crear conexiones: Configurar conexiones en Fabric para reemplazar los servicios vinculados en ADF
- Recrear actividades: Configura tus actividades en tus canalizaciones, reemplazando actividades no compatibles con alternativas de Fabric o mediante la actividad de canalización Invoke
- Programar y establecer desencadenadores: Reconstruir las programaciones y los desencadenadores de eventos en Fabric para que coincidan con las programaciones de ADF
- Prueba a fondo: Valida las tuberías mejoradas frente a los resultados esperados, los indicadores de rendimiento y los requisitos de cumplimiento.
Ejemplos de escenarios de actualización
Pasar de ADF a Fabric puede implicar diferentes estrategias en función de su caso de uso. Esta sección describe las rutas de mejora habituales y las consideraciones para ayudarte a planificar de forma eficaz.
- Escenario 1: canalizaciones y flujos de datos de ADF
- Escenario 2: ADF con CDC, SSIS y Airflow
- Escenario 3: Actualización de tubería mediante la experiencia integrada
- Escenario 4: Elementos de ADF en un área de trabajo de Fabric
Escenario 1: canalizaciones y flujos de datos de ADF
Moderniza tu entorno ETL mediante la actualización de las canalizaciones y los flujos de datos a Fabric. Planee estos elementos:
- Recrea los servicios enlazados como conexiones Fabric, o mapea los servicios vinculados a conexiones Fabric existentes durante la experiencia de actualización integrada.
- Recree parámetros globales como bibliotecas de variables.
- Defina las propiedades del conjunto de datos en línea en las actividades de canalización.
- Reemplace los SHIR (entornos de ejecución de integración autohospedados) por los OPDG (pasarelas de datos locales) y los IR de VNet por pasarelas de datos de red virtual.
- Para las canalizaciones aptas que contienen Mapping Data Flows, utilice la experiencia de actualización integrada para actualizar los Mapping Data Flows compatibles a transformaciones MDF en Dataflow Gen2.
- Revisa las limitaciones de la transformación MDF, conectores compatibles, transformaciones, métodos de autenticación y requisitos de red antes de actualizar.
- Para Mapear flujos de datos que usan capacidades no soportadas en la vista previa actual, remediar los componentes no soportados o rediseñar la transformación utilizando Power Query en Dataflow Gen2, Fabric Warehouse SQL, cuadernos Spark u otra capacidad Fabric adecuada.
- Reconstruir actividades de ADF no admitidas utilizando alternativas de Fabric o la actividad de invocar canalización. Las actividades no admitidas incluyen:
- Data Lake Analytics (U-SQL), un servicio de Azure en desuso.
- Actividad de validación, que puedes reconstruir usando Get Metadata, bucles de pipeline y actividades If
- Power Query está totalmente integrado en Fabric como flujos de datos, donde se puede reutilizar el código M.
- Actividades de Notebook, Jar y Python, que puedes reemplazar por la actividad Databricks en Fabric.
- Actividades de Hive, Pig, MapReduce, Spark y Streaming, que puedes reemplazar con la actividad HDInsight en Fabric.
Para conocer los requisitos y las instrucciones paso a paso, consulta Actualizar las canalizaciones de flujo de datos de asignación de Azure Data Factory a Fabric.
Por ejemplo, esta es la página de configuración del conjunto de datos de ADF, con su ruta de acceso de archivo y la configuración de compresión:
Y esta es una actividad de copia para Data Factory en Fabric, donde la compresión y la ruta de acceso de archivo se especifican en la actividad.
Escenario 2: ADF con CDC, SSIS y Airflow
Vuelva a crear CDC como Tarea de copia. Para Airflow, copie sus DAG en la oferta de Apache Airflow de Fabric. Ejecute paquetes SSIS mediante canalizaciones de ADF y llámelos desde Fabric.
Escenario 3: Actualización del pipeline usando la experiencia integrada
Esta experiencia guiada y centrada en la evaluación te ayuda a evaluar la preparación, identificar brechas de compatibilidad y actualizar las canalizaciones soportadas de forma incremental a un espacio de trabajo Fabric, todo ello sin scripts.
La experiencia de actualización integrada también admite canalizaciones aptas que contienen flujos de datos de asignación. Los flujos de datos de mapeo compatibles se actualizan a transformaciones MDF en Dataflow Gen2, preservando su lógica de transformación y su modelo de ejecución basado en Spark. Esta funcionalidad está actualmente en versión preliminar.
Para obtener más información, consulte:
- Actualice las canalizaciones de Azure Data Factory a Fabric
- Actualizar Azure Data Factory Mapping Data Flow pipelines a Fabric
Escenario 4: Elementos de ADF en un área de trabajo de Fabric
Puede agregar toda una fábrica de ADF en un espacio de trabajo de Fabric como un elemento nativo. Esto le permite administrar fábricas de ADF junto con los artefactos de Fabric dentro de la misma interfaz. La interfaz de usuario de ADF sigue siendo totalmente accesible, lo que le permite supervisar, administrar y editar los elementos de fábrica de ADF directamente desde el área de trabajo de Fabric. Sin embargo, la ejecución de canalizaciones, actividades y runtimes de integración se sigue produciendo dentro de tus recursos de Azure.
Esta función es útil para las organizaciones que están en proceso de transición a Fabric, ya que proporciona una visión unificada tanto de los recursos de ADF como de Fabric, simplificando la gestión y planificación de la actualización.
Para obtener más información, consulte Bring your Azure Data Factory into Fabric.