Accesos directos de OneLake

Los accesos directos de Microsoft OneLake unifican los datos entre dominios, nubes y cuentas haciendo de OneLake el único lago de datos virtual para toda la empresa. Las experiencias de Fabric y sus motores analíticos pueden conectarse a sus fuentes de datos existentes, incluidos Azure, Amazon Web Services (AWS) y OneLake, a través de un espacio de nombres unificado. OneLake administra todos los permisos y credenciales, por lo que no es necesario configurar por separado cada carga de trabajo de Fabric para conectarse a cada origen de datos. Además, puede usar atajos para eliminar copias periféricas de los datos y reducir la latencia del proceso asociada a copias de datos y almacenamiento temporal. Los accesos directos también mantienen la sincronización con los datos de origen, incluidas las actualizaciones automáticas de esquemas para las tablas de acceso directo.

¿Qué son los accesos directos?

Los accesos directos son objetos de OneLake que apuntan a otras ubicaciones de almacenamiento. La ubicación puede ser interna o externa a OneLake. La ubicación a la que apunta un acceso directo es la ruta de acceso de destino del acceso directo. La ubicación donde aparece el acceso directo es la ruta de acceso directo.

Los accesos directos aparecen como carpetas en OneLake y cualquier carga de trabajo o servicio que tenga acceso a OneLake puede usarlos. Los accesos directos se comportan como vínculos simbólicos. Son un objeto independiente del destino. Si elimina un acceso directo, el destino no se ve afectado. Si mueve, cambia el nombre o elimina una ruta de acceso de destino, el acceso directo puede interrumpirse.

¿Dónde puedo crear accesos directos?

Puede crear accesos directos en los almacenes de lago de datos y las bases de datos de Lenguaje de consulta Kusto (KQL).

Puede usar el portal de Fabric para crear accesos directos de forma interactiva y puede usar la API REST para crear accesos directos mediante programación.

Lakehouse

Al crear accesos directos en un almacén de lago de datos, es importante comprender la estructura de las carpetas del elemento. Lakehouses tiene dos carpetas de nivel superior: la carpeta Tablas y la carpeta Files . La carpeta tables es para conjuntos de datos estructurados. La carpeta files es para datos no estructurados o semiestructurados.

En la carpeta Tablas, solo puedes crear accesos directos en el nivel superior. OneLake no admite accesos directos en subdirectorios de la carpeta Tables . Los accesos directos de la sección Tablas suelen apuntar a orígenes internos dentro de OneLake o vincular a otros recursos de datos que se ajustan al formato de tabla Delta. Si el destino del acceso directo contiene datos en un formato de tabla compatible (como Delta), lakehouse sincroniza automáticamente los metadatos de la tabla y reconoce la carpeta como una tabla.

Los esquemas de tabla se sincronizan automáticamente para todas las tablas de acceso directo, incluidas las tablas nuevas y existentes. Esta sincronización garantiza que los cambios de esquema en el origen se reflejen en el acceso directo sin necesidad de actualizaciones manuales. Los accesos directos de la sección Tablas pueden vincularse a una sola tabla o a un esquema, que es una carpeta primaria para varias tablas.

En la carpeta files, no hay restricciones sobre dónde puede crear accesos directos. Puede crear accesos directos en cualquier nivel de la jerarquía de carpetas. La detección de tablas no se produce en la carpeta files. Los accesos directos aquí pueden apuntar a sistemas de almacenamiento internos de OneLake y externos con datos en cualquier formato.

Base de datos KQL

Al crear un acceso directo en una base de datos KQL, este aparece en la carpeta Accesos directos de la base de datos. La base de datos KQL trata accesos directos como tablas externas. Para consultar el acceso directo, use la función external_table del Lenguaje de consulta Kusto.

Accesos directos de la base de datos Eventhouse

Al crear un acceso directo de base de datos en un centro de eventos, puede elegir incluir todos los subelementos de la base de datos de origen o seleccionar subelementos específicos para compartir. Esta funcionalidad de uso compartido de nivel de tabla permite el uso compartido de datos seguro y controlado sin exponer bases de datos completas.

Seleccionar subelementos específicos

Al crear un acceso directo de base de datos, puede seleccionar entre los siguientes tipos de subelementos:

• Tablas: tablas normales de la base de datos de origen
• Tablas de accesos directos - tablas que son en sí mismas accesos directos
• Vistas materializadas - vistas precalculadas para consultas optimizadas
• Funciones: funciones almacenadas para la lógica de consulta reutilizable

Para seleccionar subelementos específicos:

1. En un centro de eventos, seleccione + Nuevo>acceso directo de base de datos.
2. Elija un método para identificar la base de datos de origen:
   • Catálogo oneLake: examine y seleccione una base de datos de Fabric.
   • URI del clúster: escriba manualmente un URI de clúster Azure Data Explorer y un nombre de base de datos.
   • Token de invitación : pegue un token emitido por el productor de datos. El productor predefini la selección del subelemento.
3. En la sección Subelementos que se van a incluir , seleccione Incluir todos los subelementos (valor predeterminado) o Seleccionar subelementos específicos.
4. Si selecciona subelementos específicos, use el selector insertado para filtrar por tipo y buscar por nombre.
5. Seleccione Crear para crear el acceso directo.

Sincronización automática de esquemas

Existen dos tipos de sincronización automática de esquema para los atajos de bases de datos de Eventhouse:

• Sincronización automática de esquema para el acceso directo de la base de datos: Añade o elimina tablas, tablas de acceso directo, vistas materializadas y funciones. Esta sincronización ocurre solo cuando creas un acceso directo a la base de datos y seleccionas Incluir todos los subelementos. Si seleccionas solo un subconjunto de los subelementos, esta sincronización no se aplica.
• Sincronización automática de esquema para una tabla de acceso directo: Añade, elimina o renombra columnas, y cambia los tipos de columnas. Esta sincronización ocurre por defecto en todas las tablas de acceso directo, a menos que la desactives con el comando KQL en el siguiente ejemplo.

Los consumidores de un recurso compartido de nivel de tabla solo pueden consultar y ver subelementos explícitamente incluidos en el recurso compartido. Los nombres de subelementos no compartidos no son visibles para los consumidores.

Para desactivar la sincronización automática de esquema en una tabla de acceso directo, ejecute el siguiente comando en la base de datos de origen:

.create-or-alter external table ExternalTable
kind=delta
(
   h@'https://storageaccount.blob.core.windows.net/container1;secretKey'
) with (AutoUpdateSchema=false)

Dependencias del subelemento

Al seleccionar subelementos, el sistema controla automáticamente las dependencias:

• Al seleccionar una vista o función materializada, las tablas a las que se hace referencia se seleccionan automáticamente.
• Al anular la selección de una vista o función materializada, las tablas a las que se hace referencia permanecen seleccionadas.
• Al deseleccionar una tabla, las vistas materializadas o las funciones que dependen de ella se deseleccionan automáticamente.

¿Dónde puedo acceder a los accesos directos?

Cualquier servicio Fabric o no Fabric que pueda acceder a los datos de OneLake puede usar accesos directos. Los accesos directos son transparentes para cualquier servicio que acceda a los datos a través de la API de OneLake. Los accesos directos simplemente aparecen como otra carpeta en el lago. Apache Spark, SQL, Inteligencia en Tiempo Real y Servicios de Análisis pueden usar atajos al consultar datos.

Apache Spark

Los cuadernos de Apache Spark y los trabajos de Apache Spark pueden usar los accesos directos que cree en OneLake. Utilice rutas de acceso de archivo relativas para leer datos directamente desde accesos directos. Además, si crea un acceso directo en la sección Tablas del almacén de lago de datos y está en formato Delta, puede leerlo como una tabla administrada mediante la sintaxis SQL de Apache Spark.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Los accesos directos de la sección Tablas de un almacén de lago de datos se deben leer mediante el punto de conexión de análisis SQL del almacén de lago. Puede acceder al endpoint de SQL Analytics mediante el selector de modo del lakehouse o a través de SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Inteligencia en tiempo real

Los accesos directos en las bases de datos KQL se reconocen como tablas externas. Para consultar el acceso directo, use la función external_table del Lenguaje de consulta Kusto.

external_table('MyShortcut')
| take 100

Servicios de Análisis

Puede crear modelos semánticos para los almacenes de lago de datos que contienen accesos directos en la sección Tablas del almacén de lago de datos. Cuando el modelo semántico se ejecuta en modo Direct Lake, Analysis Services puede leer datos directamente desde el acceso directo.

Servicios que no son de Fabric

Las aplicaciones y los servicios fuera de Fabric también pueden acceder a accesos directos a través de la API de OneLake. OneLake admite un subconjunto de las API de ADLS Gen2 y Blob Storage. Para más información sobre la API de OneLake, consulte Acceso a OneLake con las API.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Tipos de accesos directos

Los accesos directos de OneLake admiten varios orígenes de datos del sistema de archivos. Estos orígenes incluyen ubicaciones internas de OneLake y orígenes externos o no Microsoft.

También puede crear accesos directos a ubicaciones locales o restringidas a la red mediante la puerta de enlace de datos local (OPDG) de Fabric.

Accesos directos internos de OneLake

Use accesos directos internos de OneLake para hacer referencia a datos dentro de los elementos de Fabric existentes, entre los que se incluyen:

• Bases de datos KQL
• Casas junto al lago
• Catálogos reflejados de Azure Databricks
• Bases de datos en espejo
• Modelos semánticos
• Bases de datos SQL
• Almacenes

Para obtener instrucciones para crear un acceso directo interno, consulte Creación de un acceso directo interno de OneLake.

El acceso directo puede apuntar a una ubicación de carpeta dentro del mismo elemento, entre elementos dentro de la misma área de trabajo o incluso entre elementos de áreas de trabajo diferentes. Al crear un acceso directo entre elementos, no es necesario que los tipos de elemento coincidan. Por ejemplo, puede crear un acceso directo en una instancia de Lakehouse que apunte a los datos de un almacén.

Cuando un usuario accede a los datos desde otra ubicación de OneLake a través de un acceso directo, OneLake usa la identidad del usuario que realiza la llamada para autorizar el acceso a los datos. Este usuario debe tener permisos en la ubicación de destino para leer los datos.

Accesos directos externos de OneLake

Para obtener instrucciones detalladas para crear un tipo de acceso directo específico, seleccione un artículo de esta lista de orígenes externos admitidos:

• Accesos directos de Amazon S3
• Accesos directos compatibles con Amazon S3
• Accesos directos de Azure Data Lake Storage (ADLS) Gen 2
• accesos directos de Azure Blob Storage
• Accesos directos de Dataverse
• Accesos directos de Google Cloud Storage
• Atajos de Iceberg
• Accesos directos de OneDrive y SharePoint

Almacenamiento en caché

El almacenamiento en caché de atajos puede reducir los costes de salida asociados con el acceso a datos entre diferentes nubes. Como OneLake lee los archivos a través de un acceso directo externo, el servicio almacena los archivos en una memoria caché para el área de trabajo de Fabric. OneLake responde a las solicitudes de lectura posteriores de la memoria caché en lugar del proveedor de almacenamiento remoto. Puede establecer el período de retención para los archivos almacenados en caché entre 1 y 28 días. Cada vez que accede al archivo, se restablece el período de retención. Si el almacenamiento remoto proporciona tiene una versión más reciente del archivo que la versión de la caché, OneLake atiende la solicitud del proveedor de almacenamiento remoto y actualiza el archivo en la memoria caché. Si no tiene acceso a un archivo dentro del período de retención seleccionado, se purga de la memoria caché. Los archivos individuales mayores de 1 GB de tamaño no se almacenan en caché.

Para habilitar el almacenamiento en caché para accesos directos, abre el panel Configuración del área de trabajo. Elija la pestaña OneLake. Cambie la configuración de caché a Activado y seleccione el período de retención.

Puede borrar la memoria caché en cualquier momento. En la misma página de configuración, seleccione el botón Restablecer caché. Esta acción elimina todos los archivos de la memoria caché de accesos directos en este espacio de trabajo.

Cómo los accesos directos utilizan conexiones en la nube

Los accesos directos de ADLS y S3 delegan la autorización mediante conexiones en la nube. Al crear un nuevo acceso directo de ADLS o S3, cree una nueva conexión o seleccione una conexión existente para el origen de datos. Establecer una conexión para un acceso directo es una operación de enlace. Solo los usuarios con permisos en la conexión pueden realizar la operación de enlace. Si no tiene permiso en la conexión, no puede crear nuevos accesos directos mediante esa conexión.

Para obtener más información sobre cómo ver y actualizar conexiones en la nube, consulte Administración de conexiones para accesos directos.

Seguridad de acceso directo

Los accesos directos requieren determinados permisos para administrar y usar. OneLake shortcut security (Seguridad de acceso directo de OneLake ) explica los permisos necesarios para crear accesos directos y acceder a los datos a través de ellos.

¿Cómo manejan los accesos directos las eliminaciones?

Los accesos directos no admiten eliminaciones en cascada. Al eliminar un acceso directo, solo se elimina el objeto de acceso directo. Los datos del destino de acceso directo permanecen sin cambios. Sin embargo, si elimina un archivo o una carpeta dentro de un acceso directo y tiene permisos en el objeto de destino del acceso directo para realizar la operación de eliminación, también eliminará el archivo o la carpeta en el objeto de destino.

Por ejemplo, imagine un almacén de lago de datos con la siguiente ruta de acceso: MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut es un acceso directo que apunta a una cuenta de ADLS Gen2 que contiene los directorios Foo\Bar.

Si elimina MyLakehouse\Files\MyShortcut, elimina el acceso directo MyShortcut de lakehouse, pero los archivos y directorios de la cuenta de ADLS Gen2 Foo\Bar permanecerán sin cambios.

Si elimina MyLakehouse\Files\MyShortcut\Foo\Bary tiene permisos de escritura en la cuenta de ADLS Gen2, elimine el directorio Bar de la cuenta de ADLS Gen2.

Como otro ejemplo, considere un lakehouse con compatibilidad para esquemas con la siguiente ruta: MyLakehouse\Tables\MySchemaShortcut\Dir1. MySchemaShortcut es un acceso directo de esquema que apunta a una cuenta de ADLS Gen2 que contiene el directorio Dir1.

Si elimina MyLakehouse\Tables\MySchemaShortcut, se elimina el acceso directo del esquema MySchemaShortcut de lakehouse, pero los archivos y directorios de la cuenta Dir1 de ADLS Gen2 permanecen sin verse afectados.

Si elimina MyLakehouse\Tables\MySchemaShortcut\Dir1y tiene permisos de escritura en la cuenta de ADLS Gen2, elimine el directorio Dir1 de la cuenta de ADLS Gen2.

Vista de linaje del área de trabajo

Al crear accesos directos entre varios elementos de Fabric dentro de un área de trabajo, puede visualizar las relaciones de acceso directo a través de la vista de linaje del área de trabajo. Seleccione el botón Vista de linaje ( ) en la esquina superior derecha del explorador del área de trabajo.

Limitaciones y consideraciones

• Cada elemento de Fabric admite hasta 100 000 accesos directos. En este contexto, el término item hace referencia a aplicaciones, lakehouses, almacenes, informes, etc.
• Una única ruta oneLake admite hasta 10 accesos directos.
• El número máximo de accesos directos a los vínculos de acceso directo es 5.
• Los nombres de acceso directo, las rutas de acceso principales y las rutas de acceso de destino no pueden contener "%" ni caracteres "+".
• Los accesos directos no admiten caracteres no latinos.
• El linaje de los accesos directos a almacenes de datos y modelos semánticos no está disponible actualmente.
• Un acceso directo de Fabric se sincroniza automáticamente con el origen. Las actualizaciones de esquemas y metadatos se aplican sin intervención manual, pero el tiempo de propagación puede variar debido al rendimiento del origen de datos, las vistas almacenadas en caché o la conectividad de red.
• Table API puede tardar hasta un minuto en reconocer nuevos accesos directos.
• Los métodos abreviados de esquema solo se pueden crear en lakehouses habilitados para esquemas.

Contenido relacionado

• Creación de un acceso directo de OneLake
• Mover atajos a una nueva región
• Uso de las API de REST para las combinaciones de teclas de OneLake