Atalhos do OneLake

Os atalhos no Microsoft OneLake unificam seus dados entre domínios, nuvens e contas, tornando o OneLake o único data lake virtual para toda a sua empresa. As experiências do Fabric e os mecanismos analíticos podem se conectar às suas fontes de dados existentes, incluindo Azure, Amazon Web Services (AWS) e o OneLake, por meio de um espaço de nomes unificado. O OneLake gerencia todas as permissões e credenciais, portanto, você não precisa configurar separadamente cada carga de trabalho Fabric para se conectar a cada fonte de dados. Além disso, você pode usar atalhos para eliminar cópias de borda de dados e reduzir a latência do processo associada a cópias de dados e preparo. Os atalhos também mantêm a sincronização com os dados de origem, incluindo atualizações automáticas de esquema para tabelas de atalho.

O que são atalhos?

Atalhos são objetos no OneLake que apontam para outras localizações de armazenamento. O local pode ser interno ou externo ao OneLake. O local para o qual um atalho aponta é o caminho de destino do atalho. O local em que o atalho aparece é o caminho de atalho.

Os atalhos aparecem como pastas no OneLake e qualquer carga de trabalho ou serviço que tenha acesso ao OneLake pode utilizar esses atalhos. Os atalhos se comportam como links simbólicos. Eles são um objeto independente do alvo. Se você excluir um atalho, o destino não será afetado. Se você mover, renomear ou excluir um caminho de destino, o atalho poderá ser interrompido.

Onde posso criar atalhos?

Você pode criar atalhos em lakehouses e bancos de dados da Linguagem de Consulta Kusto (KQL).

Você pode usar o portal Fabric para criar atalhos interativamente e pode usar a API REST para criar atalhos programaticamente.

Lakehouse

Ao criar atalhos em uma lakehouse, você deve entender a estrutura de pastas do item. Lakehouses têm duas pastas de nível superior: a pasta Tabelas e a pasta Arquivos . A pasta de tabelas destina-se a conjuntos de dados estruturados. A pasta de arquivos destina-se a dados não estruturados ou semiestruturados.

Na pasta Tabelas , você pode criar atalhos apenas no nível superior. O OneLake não dá suporte a atalhos em subdiretórios da pasta Tabelas . Os atalhos na seção Tabelas normalmente apontam para fontes internas no OneLake ou vinculam a outros ativos de dados que estão em conformidade com o formato de tabela Delta. Se o destino do atalho contiver dados em um formato de tabela com suporte (como Delta), o lakehouse sincronizará automaticamente os metadados da tabela e reconhecerá a pasta como uma tabela.

Os esquemas de tabela são sincronizados automaticamente para todas as tabelas de atalho, incluindo tabelas novas e existentes. Essa sincronização garante que as alterações de esquema na origem sejam refletidas no atalho sem a necessidade de atualizações manuais. Os atalhos na seção Tabelas podem ser vinculados a uma única tabela ou um esquema, que é uma pasta pai para várias tabelas.

Na pasta de arquivos, não há restrições sobre onde você pode criar atalhos. Você pode criar atalhos em qualquer nível da hierarquia de pastas. A descoberta de tabelas não acontece na pasta de arquivos. Os atalhos aqui podem apontar para sistemas internos do OneLake e de armazenamento externo com dados em qualquer formato.

Banco de dados KQL

Quando você criar um atalho em um banco de dados KQL, ele aparecerá na pasta Atalhos do banco de dados. O banco de dados KQL trata atalhos como tabelas externas. Para consultar o atalho, utilize a função external_table da linguagem de Consulta Kusto.

Atalhos de banco de dados do Eventhouse

Ao criar um atalho de banco de dados em uma casa de eventos, você pode optar por incluir todos os subitem do banco de dados de origem ou selecionar subitens específicos a serem compartilhados. Essa funcionalidade de compartilhamento no nível da tabela permite o compartilhamento de dados seguro e controlado sem expor bancos de dados inteiros.

Selecionar subitems específicos

Ao criar um novo atalho de banco de dados, você pode selecionar entre os seguintes tipos de subitem:

• Tabelas – Tabelas regulares do banco de dados de origem
• Tabelas de atalho - tabelas que funcionam como atalhos
• Exibições materializadas – exibições pré-computadas para consultas otimizadas
• Funções – Funções armazenadas para lógica de consulta reutilizável

Para selecionar subitens específicos:

1. Em um eventhouse, selecione + Novo>Atalho de banco de dados.
2. Escolha um método para identificar o banco de dados de origem:
   • Catálogo do OneLake – Procurar e selecionar um banco de dados de Fabric.
   • URI do cluster – insira manualmente um URI de cluster Azure Data Explorer e um nome de banco de dados.
   • Token de convite – cole um token emitido pelo produtor de dados. A seleção do subitem é predefinida pelo produtor.
3. Na seção Subitems para incluir , selecione Incluir todos os subitems (padrão) ou Selecionar subitens específicos.
4. Se você selecionar subitens específicos, use o seletor embutido para filtrar por tipo e pesquisar por nome.
5. Selecione Criar para criar o atalho.

Sincronização automática de esquema

Existem dois tipos de sincronização automática do esquema para atalhos de banco de dados do Eventhouse:

• Sincronização automática de esquema para o atalho do banco de dados: adiciona ou remove tabelas, tabelas de atalho, vistas materializadas e funções. Essa sincronização acontece apenas quando você cria um atalho de banco de dados e seleciona Incluir todos os subitens. Se você selecionar apenas um subconjunto dos subitens, essa sincronização não se aplica.
• Sincronização automática de esquema para uma tabela de atalhos: adiciona, exclui ou renomeia colunas e muda os tipos de coluna. Essa sincronização acontece por padrão para todas as tabelas de atalho, a menos que você desligue com o comando KQL no exemplo a seguir.

Os consumidores de um compartilhamento em nível de tabela só podem consultar e exibir os subitens explicitamente incluídos no compartilhamento. Os nomes de subitem não compartilhados não são visíveis para os consumidores.

Para desabilitar a sincronização automática de esquema em uma tabela de atalhos, execute o seguinte comando no banco de dados de origem:

.create-or-alter external table ExternalTable
kind=delta
(
   h@'https://storageaccount.blob.core.windows.net/container1;secretKey'
) with (AutoUpdateSchema=false)

Dependências de subitem

Quando você seleciona subitem, o sistema lida automaticamente com dependências:

• Quando você seleciona uma exibição ou função materializada, as tabelas referenciadas são selecionadas automaticamente.
• Quando você desmarca uma exibição ou função materializada, as tabelas referenciadas permanecem selecionadas.
• Quando você desmarca uma tabela, quaisquer exibições materializadas ou funções que dependem dela são automaticamente desmarcadas.

Onde posso acessar atalhos?

Qualquer serviço Fabric ou não Fabric que possa acessar dados no OneLake pode usar atalhos. Os atalhos são transparentes para qualquer serviço que acessa dados por meio da API Do OneLake. Os atalhos aparecem apenas como outra pasta no lake. O Apache Spark, o SQL, a inteligência em tempo real e o Analysis Services podem utilizar atalhos ao consultar dados.

Apache Spark

Notebooks e tarefas do Apache Spark podem usar atalhos que você cria no OneLake. Utilize caminhos de arquivo relativos para ler dados diretamente de atalhos. Além disso, se você criar um atalho na seção Tabelas do lakehouse e estiver no formato Delta, poderá lê-lo como uma tabela gerenciada usando a sintaxe do Apache Spark SQL.

df = spark.read.format("delta").load("Tables/MyShortcut")
display(df)

df = spark.sql("SELECT * FROM MyLakehouse.MyShortcut LIMIT 1000")
display(df)

SQL

Você pode ler os atalhos na seção Tabelas de um lakehouse pelo ponto de extremidade da análise do SQL do lakehouse. Você pode acessar o endpoint SQL para análise através do seletor de modo do lakehouse ou por meio do SQL Server Management Studio (SSMS).

SELECT TOP (100) *
FROM [MyLakehouse].[dbo].[MyShortcut]

Inteligência em tempo real

Os atalhos em bancos de dados KQL são reconhecidos como tabelas externas. Para consultar o atalho, utilize a função external_table da linguagem de Consulta Kusto.

external_table('MyShortcut')
| take 100

Analysis Services

Você pode criar modelos semânticos para lakehouses contendo atalhos na seção Tabelas do lakehouse. Quando o modelo semântico é executado no modo Direct Lake, o Analysis Services pode ler dados diretamente do atalho.

Serviços não-Fabric

Aplicativos e serviços fora de Fabric também podem acessar atalhos por meio da API do OneLake. O OneLake dá suporte a um subconjunto das APIs de Armazenamento de Blobs e ADLS Gen2. Para saber mais sobre a API do OneLake, confira Acesso do OneLake com APIs.

https://onelake.dfs.fabric.microsoft.com/MyWorkspace/MyLakhouse/Tables/MyShortcut/MyFile.csv

Tipos de atalhos

Os atalhos no OneLake dão suporte a várias fontes de dados do sistema de arquivos. Essas fontes incluem locais internos do OneLake e fontes externas ou não Microsoft.

Você também pode criar atalhos para locais locais ou locais com restrições de rede usando o gateway de dados local do Fabric (OPDG).

Atalhos internos do OneLake

Use atalhos internos do OneLake para fazer referência a dados em itens de Fabric existentes, incluindo:

• Bancos de dados KQL
• Casas de lago
• Catálogos de Azure Databricks espelhados
• Bancos de dados espelhados
• Modelos semânticos
• Bancos de dados SQL
• Depósitos

Para obter instruções para criar um atalho interno, consulte Criar um atalho interno do OneLake.

O atalho pode apontar para um local da pasta dentro do mesmo item, entre itens dentro do mesmo workspace ou até mesmo entre itens em workspaces diferentes. Quando você cria um atalho entre itens, os tipos de item não precisam corresponder. Por exemplo, você pode criar um atalho em um lakehouse que aponta para dados em um armazém.

Quando um usuário acessa dados de outro local do OneLake por meio de um atalho, o OneLake usa a identidade do usuário de chamada para autorizar o acesso aos dados. Esse usuário deve ter permissões no local de destino para ler os dados.

Atalhos externos do OneLake

Para obter instruções detalhadas para criar um tipo de atalho específico, selecione um artigo nesta lista de fontes externas com suporte:

• Atalhos do Amazon S3
• Atalhos compatíveis com o Amazon S3
• Atalhos do Azure Data Lake Storage (ADLS) Gen 2
• Armazenamento de Blobs do Azure atalhos
• Atalhos do Dataverse
• Atalhos do Google Cloud Storage
• Atalhos do Iceberg
• Atalhos do OneDrive e SharePoint

Cache

O cache de atalho pode reduzir os custos de saída associados ao acesso aos dados entre nuvens. À medida que o OneLake lê arquivos por meio de um atalho externo, o serviço armazena os arquivos em um cache para o workspace Fabric. O OneLake responde às solicitações de leitura subsequentes do cache em vez do provedor de armazenamento remoto. Você pode definir o período de retenção para arquivos armazenados em cache entre 1 e 28 dias. Cada vez que você acessa o arquivo, o período de retenção é redefinido. Se o armazenamento remoto fornecido tiver uma versão mais recente do arquivo do que a versão do cache, o OneLake atenderá à solicitação do provedor de armazenamento remoto e atualizará o arquivo no cache. Se você não acessar um arquivo dentro do período de retenção selecionado, ele será limpo do cache. Arquivos individuais com mais de 1 GB de tamanho não são armazenados em cache.

Para habilitar o cache para atalhos, abra o painel Configurações do espaço de trabalho. Escolha a guia OneLake. Alterne a configuração de cache para Ativar e selecione o Período de Retenção.

Você pode limpar o cache a qualquer momento. Na mesma página de configurações, clique no botão Redefinir cache. Essa ação remove todos os arquivos do cache de atalho nesta área de trabalho.

Como os atalhos usam conexões de nuvem

Os atalhos ADLS e S3 delegam a autorização usando conexões de nuvem. Ao criar um novo atalho do ADLS ou S3, você deve criar uma nova conexão ou selecionar uma conexão existente para a fonte de dados. Definir uma conexão para um atalho é uma operação de associação. Somente usuários com permissão na conexão podem executar a operação de associação. Se você não tiver permissão na conexão, não poderá criar novos atalhos usando essa conexão.

Para obter mais informações sobre como exibir e atualizar conexões de nuvem, consulte Gerenciar conexões para atalhos.

Segurança de atalho

Os atalhos exigem determinadas permissões para gerenciar e usar. A segurança de atalho do OneLake explica as permissões necessárias para criar atalhos e acessar dados por meio deles.

Como os atalhos lidam com exclusões?

Os atalhos não dão suporte a exclusões em cascata. Ao excluir um atalho, você exclui apenas o objeto de atalho. Os dados do destino de atalho permanecem inalterados. No entanto, se você excluir um arquivo ou pasta em um atalho e tiver permissões no destino de atalho para executar a operação de exclusão, você também excluirá o arquivo ou a pasta no destino.

Por exemplo, considere um lakehouse com o caminho a seguir: MyLakehouse\Files\MyShortcut\Foo\Bar. MyShortcut é um atalho que aponta para uma conta do ADLS Gen2 que contém os diretórios Foo\Bar.

Se você excluir MyLakehouse\Files\MyShortcut, você excluirá o atalho MyShortcut do lakehouse, mas os arquivos e diretórios na conta do ADLS Gen2 Foo\Bar permanecerão inalterados.

Se você excluir MyLakehouse\Files\MyShortcut\Foo\Bare tiver permissões de gravação na conta do ADLS Gen2, excluirá o diretório bar da conta do ADLS Gen2.

Como outro exemplo, considere um lakehouse com esquema habilitado com o seguinte caminho: MyLakehouse\Tables\MySchemaShortcut\Dir1. MySchemaShortcut é um atalho de esquema que aponta para uma conta do ADLS Gen2 que contém o diretório Dir1 .

Se você excluir MyLakehouse\Tables\MySchemaShortcut, excluirá o atalho de esquema MySchemaShortcut do lakehouse, mas os arquivos e diretórios na conta do ADLS Gen2 Dir1 permanecerão inalterados.

Se você excluir MyLakehouse\Tables\MySchemaShortcut\Dir1e tiver permissões de gravação na conta do ADLS Gen2, excluirá o diretório Dir1 da conta do ADLS Gen2.

Exibição de linhagem do workspace

Ao criar atalhos entre vários itens de Fabric em um workspace, você pode visualizar as relações de atalho por meio da visualização de linhagem do workspace. Selecione o botão Exibição de linhagem ( ) no canto superior direito do Navegador de espaços de trabalho.

Limitações e considerações

• Cada item do Fabric dá suporte a até 100.000 atalhos. Nesse contexto, o termo item refere-se a aplicativos, lakehouses, armazéns, relatórios e muito mais.
• Um único caminho do OneLake dá suporte a até 10 atalhos.
• O número máximo de atalhos diretos para os links de atalho é 5.
• Nomes de atalho, caminhos pai e caminhos de destino não podem conter caracteres "%" ou "+".
• Os atalhos não dão suporte a caracteres não latinos.
• A linhagem de atalhos para armazéns e modelos semânticos não está disponível no momento.
• Um atalho Fabric sincroniza automaticamente com a origem. As atualizações de esquema e metadados são aplicadas sem intervenção manual, mas o tempo de propagação pode variar devido ao desempenho da fonte de dados, exibições armazenadas em cache ou conectividade de rede.
• Pode levar até um minuto para que a API de Tabela reconheça novos atalhos.
• Os atalhos de esquema só podem ser criados em lakehouses com esquema habilitado.

Conteúdo relacionado

• Criar um atalho para o OneLake
• Mover atalhos para uma nova região
• Usar as APIs REST dos atalhos do OneLake