Arquitectura de medallón de almacén de datos moderno en Microsoft Fabric

Este ejemplo de carga de trabajo describe una arquitectura de medallón de un almacén de datos moderno (MDW) basado principalmente en SQL. Un almacenamiento de datos moderno usa almacenes de datos basados en SQL para organizar datos estructurados para análisis e informes. Esta arquitectura implementa las capas bronce, plata y oro en Fabric Data Warehouse y usa Fabric Data Factory para orquestar la ingesta y transformación de datos.

Fabric Data Warehouse almacena datos relacionales en formato Delta en OneLake y admite el desarrollo de T-SQL a través de tablas, vistas, transacciones y procedimientos almacenados. Power BI, los clientes SQL y otras aplicaciones consumen datos depurados de la capa de oro.

Architecture

Descargue un archivo de PowerPoint de esta arquitectura.

En el diagrama, Mirroring se encarga de la replicación de las bases de datos operativas, y los flujos de trabajo de Fabric Data Factory incorporan las fuentes no replicadas a la ruta bronce.

Flujo de datos

El siguiente flujo de datos corresponde al diagrama anterior:

1. Las bases de datos operativas, las aplicaciones SaaS, los archivos y otros sistemas de origen generan datos.

2. La ingesta incorpora los datos de origen a Fabric a través de dos vías. Para las bases de datos operativas compatibles, Mirroring en Fabric replica continuamente los datos en un elemento de base de datos replicado en OneLake. A continuación, un almacén CTAS o INSERT ... SELECT un paso conservan esos datos en el almacén de bronce. Para los archivos, las aplicaciones SaaS y otros orígenes no reflejados, use canalizaciones de Data Factory de Fabric o T-SQL de almacén de datos, como COPY INTO, para cargar tablas de bronce.

3. La capa de bronce almacena datos sin procesar, mínimamente procesados en tablas de almacenamiento. Los metadatos de ingesta, como las marcas de tiempo de carga y los identificadores de origen, admiten la auditoría y el reprocesamiento.

4. La primera fase de transformación (Bronze to silver) valida y transforma los datos de bronce en la capa de plata.

5. La capa de plata contiene datos limpios, desduplicados y conformes. Cuando se requiere análisis histórico, las tablas «silver» conservan los cambios de los datos de origen con fechas de entrada en vigor e indicadores de fila actual.

6. Los procedimientos almacenados o los trabajos de dbt suelen implementar la Bronze to silver fase mediante patrones SQL como CREATE TABLE AS SELECT (CTAS), INSERT ... SELECTy MERGE.

7. La capa gold proporciona esquemas de estrella listos para el consumo, data marts y tablas preagregadas.

8. La segunda fase de transformación (Silver to gold) transforma los datos de la capa silver en entidades de negocio, dimensiones, hechos y agregados en la capa gold.

9. Power BI consume los datos de nivel Gold a través de modelos semánticos. Otros clientes, como los clientes SQL, los cuadernos y las aplicaciones, pueden consultar el punto de conexión SQL del almacén de datos.

Components

• Fabric Data Warehouse proporciona las tablas relacionales y de proceso de T-SQL para las capas bronce, plata y oro.
• OneLake almacena los datos del almacén en formato Delta y almacena los datos replicados por Mirroring de Fabric.
• Mirroring en Fabric replica continuamente las bases de datos operativas compatibles en OneLake.
• Fabric Data Factory ingiere datos y organiza procedimientos almacenados, canalizaciones y otras actividades de transformación.
• Power BI proporciona modelos semánticos, informes y paneles a partir de datos seleccionados de nivel Gold.

Guía de diseño

En las instrucciones siguientes se describe cómo implementar las capas de bronce, plata y oro y organizar las áreas de trabajo auxiliares. Adapte estas recomendaciones a los orígenes de datos de la carga de trabajo y los requisitos de gobernanza y las aptitudes del equipo.

Capa de bronce: ingesta de datos sin procesar

La capa de bronce ingiere datos sin procesar y captura todos los datos de origen en su forma original sin aplicar ninguna lógica de negocios. Actúa como el sistema de registro, lo que permite la rastreabilidad completa y el reprocesamiento. Las tablas de esta capa reflejan detenidamente los esquemas de origen y evitan intencionadamente el filtrado, la desduplicación o el enriquecimiento. Las columnas de metadatos opcionales, como las marcas de tiempo de ingesta o los nombres de archivo de origen, suelen admitir la auditoría.

Para las bases de datos operativas compatibles, utilice la creación de reflejos en Fabric para replicar continuamente las tablas de origen a OneLake. Para orígenes de tipo archivo, SaaS o no admitidos, use las canalizaciones de Fabric Data Factory, COPY INTO para la ingesta masiva, o CTAS con OPENROWSET o INSERT ... SELECT para persistir datos de archivos externos en el almacén bronze.

En esta fase, la ingesta se mantiene al mínimo para que la capa bronce siga siendo el sistema de registro reproducible. Cuando sea necesario para orígenes no reflejados, un procedimiento almacenado de carga de bronce (o un modelo dbt equivalente) puede estandarizar los registros entrantes y agregar metadatos de carga.

Los procedimientos recomendados para la capa de bronce resaltan la conservación de todos los datos sin procesar, incluidos los registros no válidos, el uso de la ingesta por lotes para evitar problemas de archivos pequeños, la alineación de esquemas estrechamente con los sistemas de origen y la automatización de flujos de trabajo de ingesta mediante canalizaciones de Fabric para garantizar la coherencia y confiabilidad a escala.

Capa de plata: limpieza y conformidad de datos

La capa de plata se centra en la limpieza y homogeneización de los datos mediante el refinamiento de los datos de bronce con la aplicación de reglas de calidad de datos, estandarización, eliminación de duplicados e integración de datos procedentes de múltiples fuentes. En última instancia, genera una única fuente de verdad para los datos limpios y confiables.

Normalmente, las transformaciones se implementan en esta fase mediante T-SQL, mediante patrones como CREATE TABLE AS SELECT (CTAS), INSERT … SELECTy MERGE instrucciones para admitir el procesamiento por lotes e incrementales. Aunque Fabric Data Warehouse no admite vistas materializadas, puede usar vistas de lago materializadas, implementadas mediante Spark, para generar tablas Delta. El punto de conexión de SQL Analytics expone estas tablas Delta como tablas para que el almacén de datos pueda leerlas.

Los procedimientos recomendados para la capa silver incluyen el diseño de transformaciones para que sean idempotentes, aplicar reglas de calidad de datos de forma coherente y usar MERGE para actualizaciones incrementales. Cuando la carga de trabajo requiera historización, conserve las versiones de fila con fechas de inicio y finalización efectivas y un indicador de fila actual. Las dimensiones de Gold pueden usar este historial para implementar un comportamiento de dimensión de cambio lento (SCD) de tipo 1 o 2.

Capa de oro: datos depurados para análisis

La capa gold ofrece datos depurados y listos para el negocio, optimizados para la analítica, la generación de informes y su consumo en herramientas de BI como Power BI. Esta capa está diseñada siguiendo patrones de modelado analítico, normalmente con esquemas en estrella con tablas de hechos y dimensiones, mercados de datos específicos de cada dominio y tablas de resumen preagregadas para admitir consultas de alto rendimiento y un análisis intuitivo.

Normalmente, las tablas gold se derivan exclusivamente de datos silver y se exponen a los usuarios finales y a las herramientas de generación de informes.

Use claves sustitutas estables para las dimensiones, de modo que los hechos no dependan de las claves mutables del sistema de origen. Fabric Data Warehouse admite BIGINT IDENTITY columnas para la generación de claves suplentes. Los valores de identidad son únicos, pero no se garantiza que sean secuenciales o ordenados, y pueden producirse huecos. Si esas limitaciones no son adecuadas para la carga de trabajo, genere y conserve las claves suplentes en la lógica de transformación y mantenga una asignación duradera a cada clave natural. No regenere las claves suplentes durante una actualización completa.

Entre los procedimientos recomendados para la capa gold se incluyen los datos de modelado para alinearse estrechamente con los casos de uso analíticos y empresariales, la agregación de datos siempre que sea posible para mejorar el rendimiento, la aplicación de controles de seguridad como la seguridad de nivel de fila (RLS), la seguridad de nivel de columna (CLS) y el enmascaramiento de datos y documentar exhaustivamente el linaje y las transformaciones de datos.

Estrategia del área de trabajo

Una estrategia de área de trabajo define cómo las capas de bronce, plata y oro están separadas lógica y físicamente para equilibrar la gobernanza, la seguridad y la simplicidad operativa. Puede implementar capas mediante áreas de trabajo independientes por capa, que se recomienda cuando se requieren límites de seguridad seguros, una propiedad clara o una separación estricta de responsabilidades. Por ejemplo, debe aislar la ingesta de datos sin procesar de los datos empresariales depurados.

Como alternativa, puede implementar capas dentro de una sola área de trabajo mediante almacenes independientes para datos de bronce, plata y oro. Este enfoque puede reducir la sobrecarga de administración y simplificar el desarrollo y las pruebas entre capas, a la vez que se conserva la separación de nivel de almacén entre capas de medallón.

La elección entre estos enfoques normalmente depende de factores como la escala organizativa, los requisitos de seguridad, la estructura del equipo y la madurez de la gobernanza. Muchas empresas adoptan un modelo híbrido a medida que evoluciona su implementación de Fabric. Se recomienda usar áreas de trabajo independientes cuando se requieren límites de aislamiento, gobernanza y propiedad.

Guía de implementación

Fabric Data Warehouse proporciona coherencia transaccional y procesamiento de datos confiable en las capas de bronce, plata y oro. Use escrituras orientadas a lotes para minimizar los problemas de archivos pequeños y mejorar la eficacia del almacenamiento y de las consultas. Utilice MERGE sentencias para gestionar los datos que llegan con retraso o que se han modificado en escenarios de procesamiento incremental.

Mantenga las transacciones de corta duración para reducir la contención y optimizar la simultaneidad, especialmente en entornos de ingesta alta. Supervise activamente el rendimiento y el estado operativo mediante la información de consultas de Fabric y las vistas de administración dinámica (DMV). La separación arquitectónica de las cargas de trabajo de lectura y escritura en Fabric permite además que los trabajos de ingesta y transformación se ejecuten simultáneamente sin bloquear consultas analíticas, lo que garantiza un rendimiento predecible para el análisis y los informes de nivel inferior.

Utilice procedimientos almacenados T-SQL y canalizaciones de Fabric Data Factory para la transformación y la orquestación nativas de SQL. Los equipos que prefieren modelos y pruebas sql modulares pueden usar el adaptador dbt mantenido Microsoft para Fabric Data Warehouse. Ejecute pruebas de unicidad, integridad referencial y valor aceptado como puertas de implementación o canalización antes de publicar datos en capas descendentes.

Alternatives

Esta arquitectura incluye varios componentes que puede sustituir por otros servicios o enfoques de Azure, en función de los requisitos funcionales y no funcionales de la carga de trabajo. Considere las siguientes alternativas y sus ventajas e inconvenientes.

En escenarios que enfatizan la ingeniería de datos a gran escala, el análisis avanzado, el aprendizaje automático o los datos no estructurados, una arquitectura de lakehouse-first en Microsoft Fabric puede ser una mejor opción. En este enfoque, una instancia de Fabric lakehouse actúa como almacén de datos principal en OneLake y las transformaciones se implementan principalmente mediante herramientas basadas en Spark, como cuadernos o Dataflow Gen2. Este patrón proporciona la computación distribuida, los cuadernos interactivos y las herramientas de aprendizaje automático que no son el foco de esta arquitectura de almacén de datos centrada en SQL.

Para las organizaciones con un enfoque sólido en la ciencia de datos, la inteligencia artificial o el procesamiento distribuido complejo, Azure Databricks es otra alternativa. Azure Databricks normalmente se selecciona cuando las cargas de trabajo requieren una integración profunda con marcos de aprendizaje automático de código abierto, control específico sobre la ejecución de Spark o portabilidad multinube.

Para un análisis casi en tiempo real o controlado por eventos, Fabric Real-Time Intelligence, Azure Event Hubs o Azure Stream Analytics podría ser más adecuado que un diseño de medallón orientado a lotes centrado en Fabric Data Warehouse.

Detalles del escenario

Fabric Data Warehouse es una buena opción para esta arquitectura de medallón cuando el objetivo principal es ofrecer datos controlados y listos para análisis a escala mediante patrones SQL conocidos.

Escenario 1: Semántica relacional y rendimiento de SQL para conjuntos de datos seleccionados y listos para análisis

Fabric Data Warehouse es adecuado porque proporciona tablas y vistas relacionales, transacciones ACID y operaciones de T-SQL sobre los datos delta. Este conjunto de características admite cargas de trabajo en las que los datos ya están limpios y conformes y deben consultarse de forma coherente a través de SQL.

Ejemplo: Una aerolínea crea conjuntos de datos depurados de nivel gold para las operaciones de vuelo y la analítica de ingresos. Los analistas dependen del rendimiento estable de las consultas SQL para evaluar las tendencias de rendimiento en tiempo, la rentabilidad de las rutas y el uso de la tripulación. El uso de tablas y vistas de almacenamiento garantiza la coherencia transaccional y el comportamiento confiable de las consultas, lo que es más difícil de garantizar con el acceso basado en archivos ad hoc.

Escenario 2: Gobernanza centralizada con una experiencia centrada en SQL

Fabric Data Warehouse permite la gobernanza centralizada a través de permisos de área de trabajo, seguridad de nivel de objeto y linaje integrado, al tiempo que expone los datos a través de una interfaz SQL que es familiar para los equipos de ingeniería de análisis. Este enfoque reduce la fricción operativa, simplifica el control de acceso y acelera la adopción en todos los equipos sin introducir nuevos paradigmas de acceso.

Ejemplo: Una empresa multinacional aplica una estricta segregación de funciones: los equipos de plataforma gestionan la ingesta y las transformaciones, y los equipos de analítica solo consumen datos curados. Al exponer solo las tablas de capas doradas a través de un almacén y gobernar el acceso de forma centralizada, la organización evita el acceso no controlado a datos sin procesar o intermedios al tiempo que mantiene un flujo de trabajo conocido basado en SQL.

Escenario 3: Uso optimizado para BI para informes y cuadros de mando

El almacenamiento está optimizado para cargas de trabajo de alta simultaneidad y lectura intensiva, lo que lo convierte en una opción segura cuando un gran número de usuarios empresariales consumen paneles e informes basados en modelos semánticos coherentes. Esta optimización es especialmente importante cuando se requieren el rendimiento, la estabilidad y el comportamiento predecible de las consultas durante el uso máximo.

Ejemplo: Los equipos de finanzas y operaciones acceden a los paneles Power BI durante el horario comercial para supervisar los KPI, como ingresos, eficiencia operativa y cumplimiento del Acuerdo de Nivel de Servicio. Fabric Data Warehouse aísla las cargas de trabajo SELECT y no SELECT en grupos de proceso separados, lo que reduce la contienda directa entre las consultas del panel de control y la ingesta del almacén.

Escenario 4: Soporte para modelado dimensional para una capa oro reutilizable

Fabric Data Warehouse se ajusta de forma natural a los patrones de modelado dimensional, incluidas las tablas de hechos y de dimensiones, que se usan habitualmente en la capa dorada para exponer conjuntos de datos reutilizables y orientados al negocio. Estos modelos simplifican el análisis, reducen la duplicación de lógica y promueven definiciones de métricas coherentes en todos los equipos.

Ejemplo: Una organización minorista crea tablas de dimensiones compartidas para clientes, productos y tiendas, junto con tablas de hechos para ventas e inventario. Estos conjuntos de datos gold se reutilizan en varios informes y unidades de negocio de Power BI, lo que garantiza que los KPI, como las ventas netas o el volumen de negocios de inventario, se definen una vez y se aplican de forma coherente.

Considerations

Estas consideraciones implementan los pilares del marco de Azure Well-Architected, que es un conjunto de principios rectores que puede usar para mejorar la calidad de una carga de trabajo.

Confiabilidad

La confiabilidad ayuda a garantizar que la aplicación pueda cumplir los compromisos que realice para sus clientes. Para obtener más información, consulte la lista de comprobación de revisión de diseño para confiabilidad.

Consulte Fiabilidad en Microsoft Fabric para conocer el modelo de resiliencia documentado, incluido el comportamiento ante la caída de una zona y las consideraciones regionales. Valide las expectativas de recuperación con estas directrices según su región y los requisitos de la carga de trabajo.

Para escenarios de recuperación ante desastres entre regiones, diseñe y documente una estrategia de recuperación que se alinee con los requisitos de la organización y el modelo de responsabilidad compartida.

• Fabric Data Warehouse admite PRIMARY KEYrestricciones de tabla , FOREIGN KEYy UNIQUE solo como NOT ENFORCED. El almacén de datos no valida la unicidad ni la integridad referencial. La lógica de ingesta y transformación debe detectar registros duplicados o huérfanos y evitar que lleguen a capas descendentes.

Security

La seguridad proporciona garantías contra ataques deliberados y el uso indebido de sus valiosos datos y sistemas. Para obtener más información, consulte la lista de comprobación de revisión de diseño para seguridad.

Microsoft Fabric proporciona funcionalidades para administrar, controlar y auditar la configuración de seguridad en función de los requisitos de la organización. Tenga en cuenta los siguientes procedimientos de seguridad:

• Use Microsoft Entra ID inicio de sesión único (SSO) para autenticar a los usuarios y proporcionar una administración de identidades coherente entre dispositivos y ubicaciones.

• Aplique permisos basados en el área de trabajo para controlar quién puede crear, modificar o consumir artefactos Fabric.

• Use los controles de seguridad de red de entrada y salida de Fabric al acceder a datos o servicios dentro o fuera de su red. Estos controles incluyen el acceso condicional, los vínculos privados, el acceso al área de trabajo de confianza y los puntos de conexión privados administrados.

• Use los registros de auditoría de Fabric para realizar un seguimiento de la actividad del usuario, los cambios de configuración y el acceso a los datos en toda la plataforma.

Para obtener más información, consulte Seguridad en Fabric.

Optimización de costos

La optimización de costos se centra en formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte la lista de comprobación de revisión de diseño para la optimización de costos.

Microsoft Fabric proporciona reservas de capacidad para un número definido de unidades de capacidad (RU). Las reservas de un año pueden ayudar a reducir los costes de las cargas de trabajo predecibles y estables.

Para maximizar el uso de la capacidad de Fabric, considere las siguientes prácticas:

• Empiece con capacidades de prueba o con SKU F de pago por uso para comprender el comportamiento de la carga de trabajo. Lleve a cabo una prueba de concepto de alcance acotado con cargas de trabajo representativas de ingesta, transformación y generación de informes. Supervise el consumo de CU y extrapole los resultados para calcular las necesidades de producción. Puede escalar las capacidades de Fabric a medida que aumenta la demanda.

• Analice el uso histórico para identificar los períodos máximos y fuera de los picos. Programe cargas de trabajo no críticas o en segundo plano durante las ventanas de menor demanda para reducir la presión de CU sostenida.

• Reduzca el consumo de proceso innecesario mediante la optimización de consultas SQL, expresiones de análisis de datos (DAX) y trabajos en segundo plano.

• Fabric admite la expansión y el suavizado para absorber picos a corto plazo en la demanda de proceso y distribuir el consumo de cargas de trabajo en segundo plano a lo largo del tiempo. Estas características ayudan a ajustar el tamaño de las capacidades de uso medio en lugar de a la demanda máxima. Para obtener más información, consulte Evaluación y optimización de la capacidad de Fabric.

• Coordinar las transformaciones de larga duración y las operaciones de actualización para evitar la superposición de cargas de trabajo de proceso elevado en la misma capacidad. Para más información, consulte Administración de cargas de trabajo en Fabric Data Warehouse.

Tenga en cuenta las siguientes consideraciones de precios:

• Los patrones de acceso a datos, períodos de retención y volumen de almacenamiento oneLake afectan directamente al costo total. Calcule el crecimiento esperado de los datos por capa de medallón y alinee la retención con los requisitos empresariales y de cumplimiento.

• Los precios de Microsoft Fabric se basan en una capacidad F asignada, medida en CUs. Las licencias por usuario de Power BI son independientes y no aprovisionan capacidad de Fabric.

Use la estimación preconfigurada en la calculadora de precios de Azure para obtener un coste inicial de esta arquitectura. Ajuste los valores para que coincidan con la carga de trabajo esperada.

Excelencia operativa

La excelencia operativa abarca los procesos operativos que implementan, supervisan y mantienen una carga de trabajo en producción. Para obtener más información, consulte la lista de comprobación de revisión de diseño para la excelencia operativa.

Microsoft Fabric proporciona visibilidad operativa integrada en las cargas de trabajo de análisis, almacenamiento y ingeniería de datos. Use la aplicación métricas de capacidad de Fabric para supervisar el consumo de capacidad, identificar artefactos que consumen muchos recursos y comprender cómo contribuyen las cargas de trabajo interactivas y en segundo plano al uso general. Estas conclusiones ayudan a los equipos a tomar decisiones operativas fundamentadas sobre el escalado, la programación y la optimización.

Configure alertas proactivas para que los administradores de capacidad puedan identificar pronto situaciones de uso elevado o limitación y responder antes de que se produzca un impacto en los usuarios.

Eficiencia en el rendimiento

La eficiencia del rendimiento hace referencia a la capacidad de una carga de trabajo para escalar y satisfacer la demanda de los usuarios de forma eficaz. Para obtener más información, consulte la lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

Microsoft Fabric incluye varios mecanismos para ayudar a administrar el rendimiento y el uso de la capacidad:

• La capacidad de ráfaga y el suavizado permiten atender más rápido los picos de demanda de computación a corto plazo, al tiempo que distribuyen el uso a lo largo del tiempo. Las operaciones interactivas normalmente se suavizan en minutos y las operaciones en segundo plano se suavizan en ventanas más largas.

• La limitación se aplica cuando una capacidad registra un uso de cómputo sostenido superior a los límites de su SKU asignado. La limitación retrasa o rechaza nuevas operaciones para proteger la estabilidad de la plataforma.

• La aplicación métricas de capacidad de Fabric proporciona visibilidad detallada del consumo de capacidad y distingue entre las operaciones interactivas (como las consultas de informe) y las operaciones en segundo plano (como la ingesta o la actualización del modelo). Esta distinción permite las optimizaciones de rendimiento dirigidas para diferentes tipos de carga de trabajo.

Colaboradores

Microsoft mantiene este artículo. Los siguientes colaboradores escribieron este artículo.

• Prabhjot Kaur | Arquitecto sénior de soluciones en la nube

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

• ¿Qué es Fabric Data Warehouse?
• Conectividad de almacenamiento
• ¿Qué es Copilot en el Data Warehouse?
• CI/CD en Fabric Data Warehouse
• arquitectura de Data Warehouse

Recursos relacionados

• Elección de un almacén de datos analíticos en Microsoft Fabric
• ¿Qué es un lago de datos?
• Almacenamiento y análisis de datos