¿Qué es un lakehouse en Microsoft Fabric?

Un lakehouse de Fabric combina la escalabilidad de un data lake con las capacidades de consulta de un almacén de datos. Los datos estructurados y no estructurados se almacenan en una sola ubicación, los administran con Delta Lake y los analizan con Apache Spark y SQL, todo ello sin mover datos entre sistemas. Con accesos directos en OneLake y el uso compartido de datos entre inquilinos, también puedes acceder a datos sujetos a gobernanza de fuentes externas y de otras organizaciones sin necesidad de duplicarlos.

Una casa de lago le ofrece:

• Una copia de datos para cargas de trabajo de ingeniería y análisis de datos
• Formato delta Lake para transacciones ACID, aplicación de esquemas y desplazamiento en el tiempo
• Acceso a Spark y SQL para que los ingenieros de datos usen cuadernos mientras los analistas usan T-SQL
• Integración integrada con Power BI, canalizaciones, flujos de datos y otros elementos de Fabric

Casa del lago vs. almacén

Las principales diferencias entre una casa en un lago y un almacén en Fabric se reducen a tus herramientas de desarrollo preferidas, tipos de datos y patrones de carga de trabajo. Ambos comparten el mismo motor de SQL y almacenan datos en formato Delta en OneLake, pero están diseñados para diferentes escenarios:

Puede usar ambos en la misma área de trabajo (por ejemplo, importar y transformar datos en un lakehouse con Spark), y a continuación, exponer conjuntos de datos preparados a un almacén de datos para informes basados en SQL. Para orientación detallada, consulta Elegir entre almacén y casa del lago.

Trabajar con datos de lakehouse

Puede cargar, transformar y consultar datos en una instancia de Lakehouse a través de varias herramientas de Fabric:

• Atajos en OneLake — Accede a datos de fuentes externas (incluidos otros inquilinos mediante el intercambio de datos entre inquilinos) sin copiarlos en la casa del lago. Los accesos directos proporcionan referencias dinámicas y de solo lectura a los datos operativos y analíticos en OneLake. Consulta los atajos en OneLake.

• Explorador de Lakehouse : examine tablas y archivos, cargue datos y administre metadatos directamente en el explorador. Puede cambiar entre la vista de tabla y la vista de archivo y agregar múltiples lakehouses al explorador. Consulta Navegar por el explorador de Lakehouse.

  

• Explorador de consultas de Spark SQL : ejecute consultas de Spark SQL directamente dentro del explorador de Lakehouse sin salir del contexto de trabajo. El explorador de consultas admite IntelliSense, pestañas dinámicas, consultas entre esquemas y entre lakehouses, visualización de gráficos en línea y creación de vistas. Consulte Consulta de datos con el Explorador de consultas de Spark SQL.

• Notebooks: escriba código Spark (Python, Scala, SQL, R) para la lectura, transformación y escritura de datos en tablas y carpetas de Lakehouse. Consulte Exploración de datos con un cuaderno y Carga de datos con un cuaderno.

• Canalizaciones : use la actividad de copia y otras herramientas de integración de datos para extraer datos de orígenes externos en lakehouse. Consulte Copia de datos mediante la actividad de copia.

• Spark job definitions: ejecute aplicaciones Spark compiladas en Java, Scala o Python para ETL de nivel de producción. Consulte ¿Qué es una definición de trabajo de Apache Spark?.

• Flujos de datos Gen 2 : ingesta y preparación de datos con una interfaz visual con poco código. Consulte Creación del primer flujo de datos.

Para obtener una comparación completa de las opciones de ingesta, consulte Opciones para incorporar datos a lakehouse.

Análisis de los datos de lakehouse con el motor que prefiera

La cinta de opciones lakehouse incluye una lista desplegable Analizar datos con la que podrá abrir los datos en diferentes experiencias de análisis directamente desde lakehouse:

Para obtener más detalles sobre cada opción y dónde encontrar el menú desplegable, consulta Navegar por el explorador de Lakehouse.

Punto de conexión de análisis SQL de Lakehouse

Al crear un lakehouse, Fabric genera automáticamente un punto de conexión de analytics SQL. Este punto de conexión le permite:

• Consulta de tablas delta con T-SQL : use una sintaxis SQL conocida sin configurar un almacenamiento independiente.
• Conecte Power BI directamente: cree un modelo semántico de Power BI para crear informes en los datos de su lakehouse.
• Uso compartido de acceso de solo lectura : los analistas y los generadores de informes pueden consultar los datos sin afectar a las cargas de trabajo de Spark.

El endpoint de analítica SQL es de solo lectura y no soporta toda la superficie T-SQL de un almacén. Úselo para la exploración, los informes y las consultas ad hoc.

Detección y registro automáticos de tablas

Una lakehouse organiza los datos en dos carpetas de nivel superior: Tablas para tablas Delta administrados y Archivos para datos no estructurados o no Delta. Al colocar un archivo en la carpeta Tables, Fabric automáticamente:

• Valida el archivo con formatos admitidos (actualmente solo tablas Delta).
• Extrae metadatos: nombres de columna, tipos de datos, compresión y creación de particiones.
• Registra la tabla en el metastore para que pueda consultarla inmediatamente con Spark SQL o T-SQL.

Esta experiencia administrada de archivo a tabla significa que no es necesario escribir CREATE TABLE instrucciones manualmente para los datos que aterrizan en el área administrada.

Multitarea con almacén de datos

Lakehouse usa un diseño de pestaña del explorador que le permite abrir y cambiar entre varios elementos sin perder su lugar:

• Conservar las operaciones en ejecución: Las cargas de datos y las cargas de subida continúan ejecutándose mientras cambias a otra pestaña.

• Conservar el contexto: Las tablas, los archivos y los objetos seleccionados permanecen abiertos al navegar entre pestañas.

• Recarga de lista sin bloqueo: La actualización de archivos y tablas se realiza en segundo plano sin bloquear tu trabajo.

• Notificaciones con ámbito: Las notificaciones del sistema identifican de qué lakehouse proceden, por lo que puede realizar un seguimiento de las actualizaciones en las pestañas.

Diseño accesible de casa junto al lago

Lakehouse admite tecnologías de asistencia y patrones de interacción accesibles:

• Compatibilidad del lector de pantalla: Funciona con lectores de pantalla populares para la navegación y la interacción.
• Texto alternativo para imágenes: Todas las imágenes incluyen texto alternativo descriptivo.
• Campos de formulario etiquetados: Todos los campos de formulario tienen etiquetas asociadas para los usuarios de teclado y lector de pantalla.
• Flujo de texto: Diseño dinámico que se adapta a diferentes tamaños y orientaciones de pantalla.
• Navegación por el teclado: Compatibilidad completa con el teclado para navegar por la casa del lago sin un mouse.

Contenido relacionado

• Crea una casa en el lago en Fabric
• Opciones para incorporar datos en el lakehouse
• lakehouse SQL analytics endpoint
• Consulta de datos con el Explorador de consultas de Spark SQL
• Explora datos con un notebook de Lakehouse
• Elige entre almacén y casa del lago
• Recuperación de archivos eliminados en OneLake