Consulte dados usando o explorador de consultas do lago

O explorador de consultas do Lakehouse é um editor integrado de consultas embutido diretamente no explorador do Lakehouse. Você pode escrever e executar consultas SQL do Spark em seus dados do lakehouse sem sair do explorer. Você não precisa mudar para o endpoint de análise SQL nem criar um notebook para explorar dados rapidamente.

O explorador de consultas usa o Apache Spark como motor de execução, aproveitando o endpoint Livy do lago (lakehouse). Você obtém o mesmo dialeto SQL que os notebooks do Spark, suporte para operações de leitura e escrita e a capacidade de consultar grandes conjuntos de dados com eficiência.

Abrir o gerenciador de consultas

Você pode abrir o Explorador de consultas a partir do Explorador do Lakehouse das seguintes maneiras:

• Menu de navegação superior – Selecione Nova Consulta SparkSQL no menu de navegação superior. Uma aba de consulta em branco abre diretamente no Lakehouse Explorer.
• Menu de navegação à esquerda — clique com o botão direito do mouse em qualquer tabela, exibição ou atalho na árvore do gerenciador e selecione Nova Consulta SparkSQL. Uma aba de consulta abre com uma instrução previamente preenchida SELECT * FROM <table> LIMIT 100.

A árvore do explorador permanece visível à esquerda quando o explorador de consultas está aberto, para que você possa consultar esquemas e tabelas enquanto escreve consultas.

Recursos do editor de consultas

O editor de consultas fornece uma experiência de criação produtiva para o Spark SQL:

• IntelliSense – Preenchimento automático para nomes de tabela, nomes de coluna, esquemas e funções SQL. Depois de digitar FROM, o IntelliSense sugere lakehouses, esquemas e tabelas disponíveis. As sugestões de coluna aparecem quando uma tabela é referenciada na consulta. Passe o mouse sobre um nome de tabela para ver suas colunas em um pop-out.
• Realce de sintaxe — palavras-chave, identificadores e literais sql codificados por cores.
• Formatar — Selecione Formatar na barra de ferramentas para indentar automaticamente e estruturar o SQL.
• Executar e Cancelar – Selecione Executar para executar a consulta ou Cancelar para interromper uma consulta em execução.
• Números de linha e dobragem de código – recolher seções de consulta longa para facilitar a navegação.

Abas dinâmicas

Você pode abrir várias guias de consulta simultaneamente e alternar entre elas instantaneamente. Cada aba mantém seu próprio texto de consulta, estado de execução e resultados de forma independente.

Para abrir uma nova guia, selecione Nova Consulta SparkSQL na faixa de opções ou menu de contexto. Para fechar uma guia, selecione o X na guia. Fechar uma guia não afeta outras pessoas.

As guias dinâmicas são úteis quando você precisa explorar diferentes aspectos de seus dados ao mesmo tempo. Por exemplo, uma aba para pedidos, outra para clientes e outra para detalhamento regional.

Executar consultas

Quando você seleciona Executar na barra de ferramentas da janela de consulta, o gerenciador de consultas se conecta a uma sessão leve do Spark que usa o ponto de extremidade do Lakehouse Livy e é otimizada para uma inicialização rápida.

A barra de status na parte inferior do gerenciador de consultas mostra o estado da sessão atual:

Em consultas subsequentes (início quente), a execução começa imediatamente sem a etapa "Iniciar Sessão".

Instruções SQL com suporte

O gerenciador de consultas dá suporte a todas as instruções SQL do Spark, incluindo:

• SELECT — Consultar e explorar dados em esquemas e lakehouses.
• DML — INSERT, UPDATE, DELETE e MERGE para modificações de dados.
• DDL — CREATE VIEW, CREATE TABLE, ALTER e DROP para gerenciamento de esquema.
• Comandos utilitários — DESCRIBE, SHOW TABLES, SHOW SCHEMAS e outras consultas de metadados.

Consultas entre esquemas e entre lakehouses

Você pode consultar tabelas em diferentes esquemas no mesmo lakehouse, em vários lakehouses no mesmo workspace e até mesmo em lakehouses em diferentes workspaces — tudo a partir de uma única aba de consulta.

• Esquema cruzado – Tabelas de referência usando schema_name.table_name sintaxe (por exemplo, SELECT * FROM sales.orders JOIN marketing.campaigns ON ...).
• Cross-lakehouse — Use o caminho totalmente qualificado workspace_name.lakehouse_name.schema_name.table_name para consultar tabelas em outros lakehouses.

Results

Os resultados da consulta aparecem em uma grade abaixo do editor. A grade de resultados fornece:

• Classificação de coluna — selecione um cabeçalho de coluna para classificar em ordem crescente ou decrescente.
• Pesquisar e filtrar — Filtre os resultados diretamente para encontrar valores específicos.
• Indicador de contagem de linhas – mostra o número de linhas retornadas. Os resultados são limitados a 1.000 linhas por padrão. Um indicador claro é exibido quando os resultados são truncados.
• Copiar — Selecione células e copie com Ctrl+C. Cole em Excel ou em outras ferramentas.
• Exportação – baixe os resultados no formato CSV, JSON ou XML.
• Gráficos integrados — Crie gráficos de barras, linhas, pizza e outros tipos diretamente do conjunto de resultados. Os gráficos são atualizados quando você altera o tipo de gráfico ou os dados subjacentes. Nenhum código de visualização é necessário.

Criar visualizações

Você pode criar exibições diretamente do gerenciador de consultas para persistir consultas úteis como ativos reutilizáveis. As exibições aparecem automaticamente na árvore do Lakehouse Explorer ao lado de tabelas.

Há duas maneiras de criar um modo de exibição:

• Instrução SQL — escreva e execute uma CREATE VIEW instrução no editor. Para obter mais informações sobre exibições do Spark, consulte exibições do Spark no lakehouse.

  CREATE VIEW my_view AS
  SELECT customer_id, SUM(amount) AS total
  FROM sales.orders
  GROUP BY customer_id
  

• Salvar como Exibição — depois de executar uma consulta SELECT, selecione Salvar como Exibição na barra de ferramentas. Forneça um nome para a exibição na caixa de diálogo.

Limitations

• Somente SQL do Spark — o gerenciador de consultas dá suporte ao SQL do Spark. Não há suporte para PySpark, Scala e R. Para suporte a vários idiomas, use um notebook.
• Sem salvamento de consultas – as consultas não são mantidas entre sessões. Para manter uma consulta útil, salve-a como uma visualização.
• Nenhum histórico de consultas – as consultas anteriores não são armazenadas. O salvamento e o histórico de consultas estão previstos para uma versão futura.
• Nenhuma criação de exibição materializada — não há suporte para a criação de MLV (exibição materializada). Use um bloco de anotações para criar exibições materializadas.
• Nenhuma colaboração em tempo real – o gerenciador de consultas não dá suporte à coautoria dinâmica.
• Nenhum agendamento de consulta – para execução de consulta agendada, use pipelines ou notebooks.

Conteúdo relacionado

• Navegue pelo explorador da Casa do Lago
• O que é um lakehouse?
• Endpoint de análise SQL Lakehouse
• Explorar dados com um notebook lakehouse
• Visões do Spark no lakehouse