Ingerir dados no OneLake e analisar com o Azure Databricks

Neste guia, você vai:

  • Crie um pipeline em um espaço de trabalho e ingira dados para o OneLake no formato Delta.

  • Leia e modifique uma tabela Delta no OneLake com o Azure Databricks.

Pré-requisitos

Antes de começar, você deve ter:

  • Um espaço de trabalho com um item de lakehouse.

  • Um espaço de trabalho premium do Azure Databricks. Somente os espaços de trabalho Premium do Azure Databricks oferecem suporte à passagem de credenciais do Microsoft Entra. Ao criar o cluster, habilite a passagem de credencial no Azure Data Lake Storage nas Opções Avançadas.

Ingerir dados e modificar a tabela Delta

  1. Navegue até o lakehouse no serviço do Power BI, selecione Obter dados e selecione Novo pipeline.

    Captura de tela mostrando como navegar até a nova opção de pipeline de dentro da interface do usuário.

  2. No prompt do Novo Pipeline, insira um nome no novo pipeline e selecione Criar.

  3. Para este exercício, selecione o conjunto de dados de exemplo NYC Taxi - Green como a fonte de dados.

    Captura de tela mostrando como selecionar o modelo semântico com amostra de Nova York.

  4. Na tela de visualização, selecione Avançar.

  5. Quanto ao destino dos dados, selecione o nome do lakehouse que deseja usar para armazenar os dados na tabela Delta do OneLake. Você pode escolher um lakehouse existente ou criar um novo.

    Captura de tela mostrando como selecionar o lakehouse de destino.

  6. Selecione onde você quer armazenar a saída. Escolha Tabelas como a pasta Raiz. Insira "nycsample" como o nome da tabela e selecione Avançar.

  7. Na tela Examinar + Salvar, selecione Iniciar transferência de dados imediatamente e selecioneSalvar + Executar.

    Captura de tela mostrando como inserir o nome da tabela.

  8. Quando o trabalho for concluído, navegue até o seu lakehouse e visualize a tabela Delta listada na pasta /Tables.

  9. Clique com o botão direito do mouse no nome da tabela criada, selecione Propriedades e copie o caminho do ABFS (Azure Blob Filesystem).

  10. Abra o notebook do seu Azure Databricks. Leia a tabela Delta no OneLake.

    olsPath = "abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample" 
df=spark.read.format('delta').option("inferSchema","true").load(olsPath)
df.show(5)

  11. Atualize os dados da tabela Delta alterando um valor de campo.

    %sql
update delta.`abfss://<replace with workspace name>@onelake.dfs.fabric.microsoft.com/<replace with item name>.Lakehouse/Tables/nycsample` set vendorID = 99999 where vendorID = 1;

Conteúdo relacionado

  • Last updated on