Casos de uso do endpoint de análise SQL do Lakehouse

O endpoint de análise SQL é uma superfície T-SQL otimizada para leitura sobre dados Delta no Fabric. Este artigo explica a carga de trabalho de data warehousing Fabric com o endpoint de análise SQL da casa do lago, e cenários para uso da casa do lago em armazenamento de dados.

O que é um endpoint de análise SQL em Lakehouse?

O endpoint de análise SQL permite que você consulte dados no lakehouse usando a linguagem T-SQL e o protocolo TDS.

  • O endpoint de análise SQL expõe tabelas Delta do lakehouse como tabelas SQL que você pode consultar com T-SQL.
  • Cada mesa Delta de uma casa de lago é representada como uma única mesa. Os dados devem estar no formato delta.
  • Cada casa de lago tem um endpoint de análise SQL, e cada espaço de trabalho pode ter mais de uma casa de lago. Outros itens do Fabric – incluindo armazéns, bancos de dados espelhados, bancos de dados SQL e Azure Cosmos DB – também auto-provisionam um endpoint de análise SQL, então um espaço de trabalho pode ter mais endpoints de análise SQL do que itens do lakehouse.

Você não precisa criar um endpoint de análise SQL no Fabric. Um endpoint de análise SQL é criado automaticamente para cada lakehouse, banco de dados ou banco de dados espelhado. Um endpoint de análise SQL atua como um recurso leve de data warehouse para seus itens pai, complementando a arquitetura lakehouse do warehouse. Essa arquitetura permite que o espelhamento do Spark ou do Fabric controle os dados em uma estrutura de pastas no lakehouse que o ponto de extremidade de análise SQL pode visualizar.

Note

Nos bastidores, o endpoint de análise SQL usa o mesmo mecanismo que o Warehouse para oferecer consultas SQL de alto desempenho e baixa latência.

Descoberta automática de metadados

Um processo contínuo lê os logs Delta da /Tables pasta e garante que os metadados do SQL para tabelas, como estatísticas, estejam sempre atualizados. Não é necessária nenhuma ação do usuário e não é necessário importar, copiar dados ou configurar a infraestrutura. Para mais informações, consulte Esquema gerado automaticamente no endpoint de análise SQL.

Cenários que a casa do lago permite para armazenamento de dados

Na Fabric, oferecemos um depósito.

O lakehouse, com seu endpoint de análise SQL, alimentado pelo warehouse, pode simplificar a tradicional árvore de decisão de padrões de arquitetura batch, streaming ou lambda. Junto com um data warehouse, o lakehouse permite muitos cenários analíticos aditivos. Esta seção explora como usar uma casa de lago junto com um galpão para uma estratégia de análise de melhor raça.

Análises com a camada de ouro da sua casa de lago

Uma estratégia conhecida para a organização de dados lake é a arquitetura de medalhão. Essa estratégia organiza arquivos em camadas brutas (bronze), consolidadas (prata) e refinadas (ouro). Você pode usar um endpoint de análise SQL para analisar dados na camada gold da arquitetura medalhão se os arquivos estiverem armazenados no formato Delta Lake, mesmo que estejam armazenados fora do OneLake do Microsoft Fabric.

Use atalhos no OneLake para referenciar pastas gold em contas externas de armazenamento do Azure Data Lake que os motores Azure Synapse Spark ou Azure Databricks gerenciam.

Você também pode adicionar data warehouses como soluções orientadas por área temática ou por domínio para temas específicos que possam ter requisitos analíticos sob medida.

Se você optar por manter seus dados em Fabric, eles serão always abertos e acessíveis por meio de APIs, formato Delta e, claro, T-SQL.

Consulte como serviço suas tabelas Delta do Lakehouse e outros itens do OneLake

Analistas, cientistas de dados e engenheiros de dados podem precisar consultar dados em um data lake. Em Fabric, essa experiência de ponta a ponta é completamente SaaSified.

O OneLake é um data lake unificado e lógico para toda a organização. O OneLake é o OneDrive para dados. O OneLake pode conter vários espaços de trabalho, por exemplo, conforme suas divisões organizacionais. Cada item em Fabric torna os dados acessíveis por meio do OneLake.

Os dados em uma casa de lago no Fabric são fisicamente armazenados no OneLake com a seguinte estrutura de pastas:

  • A /Files pasta contém arquivos brutos e não consolidados (bronze) que os engenheiros de dados devem processar antes da análise. Os arquivos podem estar em vários formatos, como CSV, Parquet, diferentes tipos de imagens e muito mais.
  • A pasta /Tables contém dados refinados e consolidados (gold), prontos para análise empresarial. Os dados consolidados estão no formato do Delta Lake.

Um endpoint de análise SQL pode ler dados na pasta /tables dentro do OneLake. A análise é tão simples quanto consultar o endpoint de análise SQL da casa do lago. Junto com o warehouse, você também obtém consultas entre bancos de dados e a capacidade de alternar de simples consultas de leitura para construir lógica de negócios adicional sobre seus dados do OneLake com Fabric Data Warehouse.

Engenharia de Dados com Spark e Serving com SQL

Empresas orientadas por dados precisam manter a sincronização de seus sistemas de back-end e análises em tempo quase real com aplicativos voltados para o cliente. O impacto das transações deve refletir com precisão por meio de processos de ponta a ponta, aplicativos relacionados e sistemas OLTP (processamento de transações online).

No Fabric, você pode usar o Spark Streaming ou a Engenharia de Dados para organizar seus dados. Você pode usar o endpoint de análise SQL do Lakehouse para validar a qualidade dos dados e para os processos T-SQL existentes. Isso pode ser feito em uma arquitetura medalhão ou em múltiplas camadas da sua casa de lago, servindo dados de bronze, prata, ouro ou de encenação, curação e refinamento. Você pode personalizar as pastas e tabelas criadas por meio do Spark para atender aos seus requisitos de engenharia de dados e de negócios. Quando pronto, um warehouse pode atender todas as suas aplicações de business intelligence a jusante e outros casos de uso de análise, sem copiar dados, usar Views ou refinar dados usando CREATE TABLE AS SELECT (CTAS), procedimentos armazenados e outros comandos DML / DDL.

Integração com a camada de ouro da sua casa aberta no lago

Um endpoint de análise SQL não se limita apenas à análise de dados no Fabric. Ao usar um endpoint de análise SQL, você pode analisar dados de lagos em qualquer lakehouse usando Azure Synapse Spark, Azure Databricks ou qualquer outro motor de engenharia de dados centrado em lagos. Você pode armazenar os dados no Azure Data Lake Storage ou no Amazon S3.

Você sempre pode acessar essa integração estreita e bidirecional com o lakehouse no Fabric por qualquer engine usando APIs abertas, o formato Delta e, claro, o T-SQL.

Virtualização de dados de data lakes externos com atalhos

Use atalhos OneLake para referenciar pastas gold em contas externas de armazenamento do Azure Data Lake que os motores Azure Synapse Spark ou Azure Databricks gerenciem, assim como qualquer tabela Delta armazenada no Amazon S3.

Você pode analisar qualquer pasta referenciada em um atalho de um endpoint de análise SQL e criar uma tabela SQL para os dados referenciados. Use a tabela SQL para disponibilizar dados em data lakes gerenciados externamente e permitir análises nesses dados.

Esse atalho atua como um warehouse virtual que você pode usar a partir de um warehouse para atender a necessidades adicionais de análises subsequentes ou consultar diretamente.

Para analisar dados em contas externas de armazenamento de data lake, use as seguintes etapas:

  1. Crie um atalho que faça referência a uma pasta no Azure Data Lake Storage ou na conta do Amazon S3. Após você digitar os dados e credenciais da conexão, um atalho é mostrado na casa do lago.
  2. Mude para o endpoint de análise SQL do lakehouse e encontre uma tabela SQL com um nome que corresponda ao nome do atalho. Esta tabela SQL faz referência à pasta no ADLS ou S3.
  3. Consulte a tabela SQL que faz referência a dados no ADLS ou S3. Use a tabela como qualquer outra tabela no endpoint de análise de SQL. Você pode unir tabelas que fazem referência a dados em contas de armazenamento diferentes.

Note

Se a tabela SQL não aparecer imediatamente no endpoint de análise SQL, aguarde alguns minutos. A tabela SQL que faz referência a dados na conta de armazenamento externo é criada com um atraso.

Analisar dados arquivados ou históricos em um data lake

O particionamento de dados é uma técnica bem conhecida de otimização de acesso a dados em data lakes. Armazene conjuntos de dados particionados em estruturas de pastas hierárquicas no formato /year=<year>/month=<month>/day=<day>, onde year, monthe day são as colunas de particionamento. Essa estrutura mantém os dados históricos logicamente separados e permite que os mecanismos de computação leiam os dados conforme necessário com filtragem com desempenho, em vez de ler todo o diretório e todas as pastas e arquivos dentro.

Dados particionados permitem acesso mais rápido se as consultas filtram os predicados que comparam colunas de predicado com um valor.

Um endpoint de análise SQL pode ler facilmente esse tipo de dados sem necessidade de configuração. Por exemplo, você pode usar qualquer aplicativo para arquivar dados em um data lake, incluindo SQL Server 2022 ou Instância Gerenciada de SQL do Azure. Depois de particionar os dados e armazená-los em um data lake para fins de arquivamento por meio de tabelas externas, um endpoint de análise SQL pode ler tabelas particionadas do Delta Lake como tabelas SQL e permitir que sua organização analise esses dados. Essa abordagem reduz o custo total de propriedade, reduz a duplicação de dados e ilumina os cenários de Big Data, IA e outros cenários de análise.

Você também pode usar consultas de viagem no tempo para consultar rapidamente versões anteriores de dados. A viagem no tempo é uma funcionalidade de baixo custo e eficiente para consultar os estados anteriores de dados com consultas T-SQL. Para um endpoint de análise SQL em Lakehouse, a viagem no tempo é limitada pelas configurações de retenção de vácuo. Para começar, consulte Como consultar usando a viagem no tempo no nível da instrução.

Virtualização de dados do Fabric com atalhos

No Fabric, os workspaces permitem separar dados com base em requisitos complexos de negócios, geográficos ou regulatórios.

Um endpoint de análise SQL permite que você deixe os dados no local e ainda analise os dados no depósito ou na casa do lago, mesmo em outros espaços de trabalho Fabric, por meio de uma virtualização fluida. Toda casa de lago em Fabric armazena dados no OneLake.

Os atalhos permitem que você faça referência a pastas em qualquer local do OneLake.

Todo depósito no Fabric armazena dados de tabelas no OneLake. Se uma tabela for somente acréscimo, os dados da tabela serão expostos como dados do Delta Lake no OneLake. Atalhos permitem que você consulte pastas em qualquer OneLake onde as tabelas do depósito estejam expostas.

Compartilhamento e consulta entre espaços de trabalho

Embora os workspaces permitam separar dados com base em requisitos complexos de negócios, geográficos ou regulatórios, às vezes você precisa facilitar o compartilhamento entre essas linhas para necessidades de análise específicas.

Um endpoint de análise SQL Lakehouse pode facilitar o compartilhamento de dados entre departamentos e usuários, onde o usuário pode trazer sua própria capacidade e armazenamento. Os workspaces organizam departamentos, unidades de negócios ou domínios analíticos. Usando atalhos, os usuários podem encontrar os dados de qualquer armazém ou casa do lago. Os usuários podem executar instantaneamente suas próprias análises personalizadas dos mesmos dados compartilhados. Além de ajudar com os chargebacks departamentais e a alocação de uso, essa abordagem é uma versão de cópia zero dos dados.

O ponto de acesso de análise do SQL permite a consulta de qualquer tabela e facilitação no compartilhamento. Você pode adicionar controles usando funções de workspace e funções de segurança para atender a requisitos de negócios adicionais.

Para habilitar a análise de dados entre espaços de trabalho, use as seguintes etapas:

  1. Crie um atalho do OneLake que referencie uma tabela ou uma pasta em um workspace que você possa acessar.
  2. Escolha uma casa de lago ou armazém que contenha uma tabela ou pasta Delta Lake que você queira analisar. Quando você seleciona uma tabela ou pasta, um atalho aparece na casa do lago.
  3. Mude para o endpoint de análise SQL do lakehouse e encontre a tabela SQL com um nome que corresponde ao nome do atalho. Esta tabela SQL faz referência à pasta em outro workspace.
  4. Consulte a tabela SQL que faz referência a dados em outro workspace. Você pode usar a tabela como qualquer outra tabela no endpoint de análise SQL. Você pode unir as tabelas que fazem referência a dados em workspaces diferentes.

Para obter mais informações sobre segurança no ponto de extremidade de análise de SQL, consulte a segurança do OneLake para pontos de extremidade de análise de SQL.

Note

Se a tabela SQL não aparecer imediatamente no endpoint de análise SQL, aguarde alguns minutos. A tabela SQL que faz referência a dados em outro workspace é criada com um atraso.

Analisar dados particionados

O particionamento de dados é uma técnica bem conhecida de otimização de acesso a dados em data lakes. Você armazena conjuntos de dados particionados em estruturas de pastas hierárquicas no formato /year=<year>/month=<month>/day=<day>, onde year, monthe day são as colunas de particionamento. Os conjuntos de dados particionados habilitam o acesso mais rápido aos dados se as consultas usarem predicados que filtram dados comparando colunas de predicado com um valor.

Um ponto de extremidade de análise SQL pode representar conjuntos de dados particionados do Delta Lake como tabelas SQL e permitir que você os analise.

Para obter mais informações e exemplos sobre como consultar dados externos, consulte Consultar arquivos externos do data lake usando o Fabric Data Warehouse ou o endpoint de análise SQL. Para obter um exemplo e um caso de uso para consultar arquivos parquet particionados, consulte Consultar dados particionados.

Analise dados na casa do lago, armazém ou casa de eventos

As páginas principais do Lakehouse e do Warehouse incluem o ponto de extremidade Eventhouse como parte do menu analisar dados com. O endpoint do Eventhouse fornece uma experiência de consulta impulsionada pelo Eventhouse diretamente nos dados do Lakehouse e do Warehouse, sem duplicação de dados ou sincronização manual.

Captura de tela do botão

Quando você habilita o endpoint Eventhouse, um Eventhouse e um banco de dados KQL são criados automaticamente como itens filho do Lakehouse ou Warehouse de origem, com a sincronização de esquema realizada em segundo plano. O ponto de extremidade sempre reflete o esquema atual dos dados de origem, permitindo acesso analítico quase em tempo real.

Essa integração torna o Eventhouse uma extensão natural da fonte de dados, em vez de um sistema separado que você precisa configurar e gerenciar. Para obter mais informações sobre o ponto de extremidade Eventhouse, consulte Habilitar o ponto de extremidade Eventhouse para lakehouse e warehouse.

Conteúdo relacionado

  • Last updated on