Azure Databricks

Resumo

Property	Value
Conector	Azure Databricks
Produtos	Power BI (modelos semânticos) Power Query Online
Estado de liberação	Disponibilidade geral
Category	Database
Tipos de autenticação	Active Directory do Azure Credenciais do cliente do Databricks Token de acesso pessoal
Autenticação específica do produto	Service Principal (Power BI/Fabric) Identidade do workspace (Power BI/Fabric)
Variante de fonte de dados	Databricks
Documentação de referência da função	Databricks.Catalogs Databricks.Contents Databricks.Query

Pré-requisitos

Para redes privadas, você precisará implementar as seguintes configurações de rede:

• *.blob.core.windows.net* e *.store.core.windows.net precisam ser abertos em seu ambiente de rede.
• Essa lista de downloads e revogações de certificados também precisa ser adicionada à sua lista de permissões.
• Se o suporte ao firewall estiver habilitado em sua conta de armazenamento do workspace do Databricks, você deverá configurar um gateway de dados de rede virtual ou um gateway de dados local para permitir o acesso privado à conta de armazenamento. Isso garante que o serviço Power BI do Fabric possa continuar a acessar a conta de armazenamento do workspace e que o CloudFetch continue funcionando corretamente. Como alternativa, você pode desabilitar o CloudFetch com a configuração EnableQueryResultDownload=0.

Capacidades suportadas

• Importação
• DirectQuery (modelos semânticos Power BI)

Parameters

Ponto de entrada:Databricks.Catalogs

Contagem de parâmetros necessária: 2

Campos em options

Conectar-se do Power Query Desktop

AWS, Azure ou GCP

Para se conectar ao Databricks do Power Query Desktop, execute as seguintes etapas:

1. Na interface de Obter Dados, pesquise por Databricks para selecionar o conector do Databricks, Azure Databricks. Use o conector Azure Databricks para todos os dados do Databricks SQL Warehouse, a menos que você tenha sido instruído de outra forma pelo representante do Databricks.

   

2. Forneça o nome do host do servidor e o caminho HTTP para o Databricks SQL Warehouse. Consulte Configurar os drivers ODBC e JDBC do Databricks para obter instruções para pesquisar seu "Nome do host do servidor" e o "Caminho HTTP". Insira essas informações adequadamente. Opcionalmente, você pode fornecer um catálogo e/ou banco de dados padrão em Opções Avançadas. Selecione OK para continuar.

   

3. Forneça suas credenciais para autenticar com o Databricks SQL Warehouse. Há três opções para credenciais:

   • Credenciais do cliente do Databricks. Consulte o Databricks OAuth M2M para obter instruções sobre como gerar credenciais de cliente OAuth M2M do Databricks.

   • Token de Acesso Pessoal (utilizável para AWS, Azure ou GCP). Para obter instruções sobre como gerar um PAT (Token de Acesso Pessoal), consulte tokens de acesso pessoal.

   • Azure Active Directory (utilizável apenas para Azure). Entre em sua conta organizacional usando o pop-up do navegador.

     

   Observação

   Depois de inserir suas credenciais para um SQL Warehouse do Databricks específico, Power BI Desktop armazena em cache e reutiliza essas mesmas credenciais em tentativas de conexão subsequentes. Você pode modificar essas credenciais indo até Arquivo > Opções e configurações > Configurações de fonte de dados. Mais informações: Alterar o método de autenticação

4. Depois de se conectar com êxito, o Navegador mostrará os dados que estarão disponíveis a você no cluster. Você pode escolher Transform Data para transformar os dados usando Power Query ou Load para carregar os dados na Área de Trabalho Power Query.

   

Conectar-se do Power Query Online

Para se conectar ao Databricks do Power Query Online, execute as seguintes etapas:

1. Selecione a opção Azure Databricks na experiência de obtenção de dados. Aplicativos diferentes têm diferentes maneiras de acessar a experiência de obtenção de dados do Power Query Online. Para obter mais informações sobre como acessar a experiência de obtenção de dados do Power Query Online a partir do seu aplicativo, acesse Onde obter dados.

   Liste os conectores do Databricks disponíveis usando a caixa de pesquisa. Use o conector Azure Databricks para todos os dados do Databricks SQL Warehouse, a menos que você tenha sido instruído de outra forma pelo representante do Databricks.

   

2. Insira o Nome do host do servidor e o Caminho HTTP para o Databricks SQL Warehouse. Consulte Configurar os drivers ODBC e JDBC do Databricks para obter instruções para pesquisar seu "Nome do host do servidor" e o "Caminho HTTP". Opcionalmente, você pode fornecer um catálogo e/ou banco de dados padrão em Opções Avançadas.

   

3. Forneça suas credenciais para autenticar com o Databricks SQL Warehouse. Há quatro opções de credenciais:

   • Credenciais do cliente do Databricks. Para obter instruções sobre como gerar credenciais de cliente OAuth M2M do Databricks, consulte Databricks OAuth M2M.
   • Token de Acesso Pessoal (utilizável para AWS, Azure ou GCP). Consulte Tokens de Acesso Pessoal para obter instruções sobre como gerar um Token de Acesso Pessoal (PAT).
   • Azure Active Directory (utilizável apenas para Azure). Entre em sua conta organizacional usando o pop-up do navegador.
   • Entidade de serviço (utilizável somente para Azure). Autentique-se com uma entidade de serviço do Microsoft Entra ID. Essa opção está disponível ao configurar uma conexão de nuvem ou gateway.

4. Depois que você se conectar com êxito, o Navegador aparece e exibe os dados disponíveis no servidor. Selecione seus dados no navegador. Em seguida, selecione Next para transformar os dados em Power Query.

   

Informações adicionais

Implementação do conector de driver de conectividade com banco de dados Arrow

Você pode usar o driver Arrow Database Connectivity (ADBC) para o conector Azure Databricks no Power BI. À medida que continuamos a aprimorar e adicionar novos recursos a esse conector, recomendamos que você atualize para a versão mais recente para experimentá-la e enviar comentários sobre o produto.

Para mudar para o driver ADBC:

1. Abra o painel desejado no Power BI.
2. Selecione Transformar Dados.
3. Selecione Editor Avançado na seção de opção Query.
4. Especifique Implementation="2.0" para o ADBC.

   let
       Source = Databricks.Catalogs("adb-<workspace-id>.<random-number>.azuredatabricks.net", "/sql/1.0/warehouses/<sql-warehouse-id>",
           [Catalog=null, Database=null, EnableAutomaticProxyDiscovery=null, Implementation="2.0"]),
       powerbi_Database = Source{[Name="powerbi",Kind="Database"]}[Data],
       default_Schema = powerbi_Database{[Name="default",Kind="Schema"]}[Data],
       dashboard_data_Table = default_Schema{[Name="dashboard_data",Kind="Table"]}[Data]
   in
       dashboard_data_Table
   

Limitações e considerações

• O conector Azure Databricks dá suporte ao proxy web. No entanto, não há suporte para configurações automáticas de proxy definidas em arquivos .pac.
• No conector Azure Databricks, a fonte de dados Databricks.Query não é suportada em combinação com o modo DirectQuery do modelo semântico do Power BI.