Importar dados usando o Power Query

A experiência guiada do Power Query é a abordagem de ingestão mais abrangente disponível no Microsoft Dynamics 365 Sustainability. Ele permite que você importe dados para várias entidades de várias fontes, tudo por meio de uma única importação. Você pode adicionar uma ou muitas entidades ao longo do fluxo de ingestão e receber diretrizes detalhadas para garantir que a ingestão seja bem-sucedida.

Esse fluxo separa as etapas de transformação e mapeamento de dados, para que diferentes usuários possam transformar e mapear dados durante a ingestão. Você também pode transformar e mapear dados no mesmo fluxo de ingestão. A experiência de mapeamento inclui lógica inteligente que usa informações de atributo das consultas de transformação de dados para identificar as entidades corretas do modelo de dados.

As etapas nesta seção ajudam você a usar a experiência de Power Query em Dynamics 365 Sustainability.

Etapa 1: Iniciar a experiência de Power Query

1. Para acessar a nova experiência do Power Query, selecione Importações de dados em Gerenciamento de dados na área Dados na navegação esquerda.

2. Selecione Experiência guiada do Power Query. Uma nova tela de navegação é aberta onde você pode selecionar as entidades para importação.

   

   Dynamics 365 Sustainability criou uma experiência de carrinho de compras em que todas as entidades disponíveis são divididas nas categorias a seguir.

   • Atividades de Carbono
   • Emissões de Carbono
   • Água
   • Resíduo
   • Dados de Referência
   • Cadeia de valor
   • Métricas de relatório

   Selecione qualquer uma dessas categorias de dados para visualizar uma lista de todas as suas entidades que você pode importar.

Etapa 2: Adicionar entidades

Você pode adicionar uma ou mais entidades na mesma importação de dados. Selecione o botão Adicionar antes de cada entidade no carrinho de compras à direita. Você também pode adicionar entidades entre categorias na mesma importação.

Uma marca de verificação indica cada item selecionado no carrinho de compras. Você pode remover entidades do carrinho de compras selecionando o X ao lado delas.

Você também pode visualizar todos os dados importados para cada uma dessas entidades selecionando Exibir ao lado do nome da entidade. Uma nova janela exibe todos os dados já importados para Dynamics 365 Sustainability.

A experiência do carrinho de compras está em uma navegação separada à direita chamada ferramentas de transformação de dados. Essas ferramentas aparecem em três guias. Cada guia está disponível durante a experiência de importação, mas você pode ocultá-las, se necessário, selecionando Ocultar ferramentas de transformação de dados no canto superior direito. Cada aba orienta você a importar dados com sucesso.

• Dados
• Lista de Verificação
• Modelos e dicas

Data

A guia Dados fornece uma lista de todas as entidades adicionadas à importação de dados, juntamente com uma lista suspensa de todas as entidades disponíveis para importação em Dynamics 365 Sustainability. Selecione o menu suspenso para listar as entidades. Selecione uma entidade para adicioná-la à importação de dados. Essa ferramenta oferece a opção de adicionar entidades, caso você tenha esquecido de fazer a seleção na primeira etapa.

Checklist

A aba Checklist fornece uma lista de todas as entidades, com as entidades da importação mostradas primeiro. Depois de selecionar qualquer entidade, você verá uma lista de todos os atributos necessários e opcionais para uma importação bem-sucedida. Essa ferramenta fornece uma referência rápida para garantir que todos os atributos necessários sejam importados da fonte de dados para que a importação seja bem-sucedida.

A lista de verificação também fornece mais informações sobre cada um dos atributos, como se fosse uma lista de seleção ou pesquisa. Você pode obter mais detalhes sobre alguns desses atributos selecionando o ícone de informações ao lado deles.

Para alguns atributos, abre uma nova janela com as informações disponíveis.

Modelos e dicas

A guia Modelos e dicas fornece a opção de baixar e usar modelos simplificados do Excel na experiência do Power Query. A experiência de modelos dedicados detalhada em Importar dados com modelos de Excel é usada para uma importação única e fornece diretrizes para importar dados com êxito para Dynamics 365 Sustainability. No entanto, os modelos em Power Query incluem apenas as entidades e atributos que você pode baixar por meio da experiência Power Query, adicionar os dados e criar uma conexão Power Query.

Essa guia inclui diretrizes sobre como usar esses modelos na experiência Power Query. Ele também inclui vídeos e documentação sobre como transformar dados no Dynamics 365 Sustainability, juntamente com a documentação detalhada sobre Power Query. Todas essas informações ajudam a atender às suas necessidades, dependendo do nível de experiência, tanto em entidades de sustentabilidade quanto na experiência do Power Platform. A opção de incluir modelos na experiência do Power Query fornece flexibilidade se você achar difícil usar as ferramentas de transformação do Power Query, mesmo com as informações fornecidas.

Etapa 3: Escolher uma fonte de dados

1. Depois de adicionar todas as entidades ao carrinho de compras, selecione Avançar para escolher a fonte de dados. Uma lista exibe todos os conectores Power Query que você pode usar para importar dados.

   

2. Selecione a fonte de dados para ir para a página Configurações de conexão . Dependendo da origem selecionada, talvez seja necessário autenticar usando suas credenciais e estabelecer uma conexão com a fonte de dados.

   Exemplo de fonte de dados do Excel:

   

   Exemplo de um banco de dados SQL:

   

3. Selecione a fonte de dados e, em seguida, selecione o Avançar na parte inferior da tela. Selecione a guia na navegação à esquerda para visualizar o conjunto de dados e selecione Transformar dados.

   

Etapa 4: Transformar dados

O exemplo a seguir utiliza dados de exemplo para ilustrar a experiência guiada de transformação de dados usando o Power Query.

O arquivo de dados que você está usando para extrair dados para combustão estacionária não contém cabeçalhos de coluna e convenções de nomenclatura, conforme definido no modelo de dados Dynamics 365 Sustentabilidade. Também não está claro se todos os dados de referência necessários estão no sistema para importar com sucesso os dados de combustão estacionária. Agora você pode verificar todos os dados de dependência e importá-los por meio da mesma importação de dados se ainda não estiverem no sistema.

1. Adicionar consultas: Primeiro, adicione consultas para transformar os dados de origem. Para garantir que os dados de origem permaneçam intactos, crie uma cópia da consulta de dados de origem. Selecione a consulta de dados de demonstração, pressione Ctrl+C e depois pressione Ctrl+V para criar uma nova consulta. Renomear para combustão estacionária.

2. Revisar atributos de dados: Selecione a guia Checklist em Ferramentas de transformação de dados, selecione o menu suspenso e, em seguida, selecione combustão estacionária em Módulos de dados recentes. Uma lista exibe todos os atributos necessários para importar dados com êxito, juntamente com os atributos opcionais dessa entidade. Módulos de dados recentes no menu suspenso da lista de verificação sempre fornecem a lista de todas as entidades no carrinho de compras que você selecionou em uma importação de dados.

   

   A lista de verificação indica que existem outras entidades que já devem estar no sistema ou precisam ser importadas junto com outros atributos que incluem datas, lista de seleção e pesquisa. As instruções a seguir mostram como adicionar cada uma dessas entidades e atributos dependentes.

3. Datas de início e término do consumo: O conjunto de dados não inclui as datas de início e término do consumo, que são atributos necessários para combustão estacionária. Para adicionar esses atributos, selecione a coluna Adicionar no topo e depois selecione a coluna Customizada. Na janela, atualize Nome da nova coluna para Data de início do consumo, selecione o tipo de dados data no menu suspenso, adicione #date(2021,09,01) sob Fórmula de coluna personalizada e, em seguida, selecione OK. Repita esta etapa para adicionar uma coluna de Data final de consumo no mesmo formato (ano, mês, data). Esta etapa adiciona as colunas para esses dois atributos obrigatórios. Para copiar a coluna, selecione Coluna duplicada e, em seguida, selecione Substituir valores para alterar qualquer um dos valores nele.

   

4. Instalação: selecione o ícone de informações ao lado da instalação para obter uma lista de todas as instalações atualmente no sistema. Para este conjunto de dados, parece que todas as instalações já estão no sistema e estão listadas na coluna intitulada Operação. Altere o cabeçalho da coluna para Unidade.

5. Unidade organizacional: Para adicionar unidade organizacional a esta importação, vá até a aba Dados em ferramentas de transformação de dados e insira Organização no menu suspenso. Esta ação mostra a entidade da Unidade organizacional sob dados de referência. Selecione-a e adicione-a ao carrinho de compras.

   

   Crie uma nova consulta copiando a consulta de dados de demonstração no lado esquerdo e renomeando-a para Unidade organizacional. A lista de verificação da unidade organizacional indica que os atributos necessários incluem o nome e o tipo de unidade organizacional. Selecione Escolher colunas na parte superior, desmarque Selecionar tudo e escolha organização para mostrar apenas a coluna organização. Para adicionar o tipo de organização, selecione Adicionar coluna na parte superior, selecione Coluna personalizada para abrir uma nova janela e em seguida, altere Nome da nova coluna para Tipo de unidade organizacional. Selecione o tipo de dados texto no menu suspenso, adicione "Divisão" entre aspas duplas em Fórmula de coluna personalizada e selecione OK.

   

   Esta ação adiciona a coluna tipo de unidade organizacional à consulta. Renomeie a coluna organização como Nome, conforme definido no modelo de dados. Certifique-se de verificar se há duplicatas. Clique com o botão direito no cabeçalho da coluna Nome e então selecione Remover duplicatas.

6. Tipo de qualidade de dados: O tipo de qualidade de dados é uma lista de seleção que pode ser uma de três opções. Para adicionar esse atributo, selecione a consulta de combustão estacionária, selecione Adicionar coluna na parte superior e selecione Coluna personalizada. Em uma nova janela, atualize o nome da nova coluna para o tipo de qualidade dos dados. Na lista suspensa, selecione tipo de dados como texto, adicione "Medido" entre aspas duplas em Fórmula da coluna personalizada e, em seguida, selecione OK. Esta ação adiciona a coluna Tipo de qualidade de dados à consulta.

7. Tipo de combustível: Para o tipo de combustível, o método mais fácil é criar um livro de exercícios Excel e adicionar os tipos de combustível de origem em uma única coluna. Embora você possa usar o Power Query para extrair essas informações do arquivo de origem, você precisa de um determinado nível de experiência do Power Platform que pode não ser ideal para um pequeno subconjunto de dados. Para este exemplo, você criou um arquivo do Excel que lista os tipos de combustível da fonte de dados. Para importar este arquivo, selecione Obter dados na parte superior, o que o adiciona à lista de consultas já criadas. Selecione Usar a primeira linha como cabeçalho para garantir que a nova consulta use a primeira linha como cabeçalho.

   

   O tipo de combustível na fonte de dados precisa corresponder à sua descrição exatamente dentro do modelo de dados de sustentabilidade Dynamics 365. Selecione o ícone de informações ao lado do tipo de combustível na lista de verificação para ver a lista completa e a convenção de nomenclatura. Neste conjunto de dados, Carvão precisa ser atualizado para Alcatrão de Carvão. Selecione a célula com Carvão, clique com o botão direito, selecione Renomear, substitua Carvão por Alcatrão de Carvão e então selecione OK.

   

   Os dados de demonstração usam uma convenção de nomenclatura diferente para os tipos de combustível, portanto, você deve alinhá-los com os tipos de combustível descritos no modelo de dados. Você precisa adicionar uma coluna condicional disponível no Power Query. Selecione a consulta de combustão estacionária, escolha Adicionar coluna na parte superior e selecione Coluna condicional. Atualize o nome da coluna para Tipo de Combustível e, em seguida, selecione o primeiro combustível da fonte de dados usando o menu suspenso sob o nome da coluna para aplicar uma condição. Neste exemplo, se qualquer um dos tipos de combustível de origem tiver um valor maior que zero, selecione o tipo de combustível apropriado correspondente ao modelo de dados que você carregou anteriormente. Continue adicionando as cláusulas para todos os seis tipos de combustível nos dados de demonstração. Selecione OK para adicionar uma coluna de tipo de combustível com essas condições à consulta de combustão estacionária.

   

8. Nome: o conjunto de dados não inclui uma coluna Nome, que também é um atributo obrigatório para combustão estacionária. Você pode renomear qualquer uma das colunas na consulta de combustão estacionária ou adicionar uma coluna personalizada e um nome exclusivo. Adicione uma coluna personalizada intitulada Nome, com Combustão Estacionária como texto.

9. Quantidade e unidade de quantidade: Quantidade e Unidade de Quantidade são campos necessários para combustão estacionária, então adicione-os à consulta. Selecione Adicionar coluna na parte superior e selecione Coluna Condicional. Atualize o nome da coluna para Quantidade e selecione Tipo de Combustível no nome da coluna para aplicar uma condição. Neste exemplo, corresponda a quantidade de tipo de combustível à quantidade nos dados de demonstração. Insira cada um dos tipos de combustível. Na lista suspensa Saída, selecione Usar valores em uma coluna para selecionar o tipo de combustível correspondente no próximo menu suspenso. Continue adicionando as cláusulas para todos os seis tipos de combustível nos dados de demonstração. Selecione OK para adicionar uma coluna Quantidade com essas condições à consulta de combustão estacionária.

   

   Repita essas etapas para adicionar uma coluna à unidade de quantidade.

   

10. Verificar unidades: para que a importação seja bem-sucedida, as unidades na fonte de dados devem corresponder às unidades definidas no modelo de dados Dynamics 365 Sustentabilidade. Para verificar a convenção de nomenclatura, selecione o ícone Estrutura de informações ao lado da unidade de quantidade no checklist da entidade. Uma nova janela se abre para todas as unidades e suas convenções de nomenclatura. Para atualizar as unidades para os dados de demonstração:

    1. Selecione o menu suspenso ao lado do cabeçalho da Unidade da Quantidade.
    2. Selecione Carregar mais para fornecer uma lista de todas as unidades dentro dessa coluna.
    3. Clique com o botão direito do mouse na primeira unidade e selecione Substituir valores.
    4. Insira o nome do modelo de dados da unidade e selecione OK.

    Repita esta etapa para todas as unidades nos dados.

    

11. Dados limpos: Certifique-se de que nenhum dos registros tenha células vazias na consulta. Para verificar e remover células vazias, selecione qualquer um dos menus suspensos do cabeçalho da coluna Quantidade de Combustível e selecione Remover vazio. Repita esta etapa para todas as colunas de Quantidade de Combustível. Repita a mesma etapa para a coluna chamada Unidade da Quantidade.

12. Finalizar consultas: Selecione os atributos necessários para combustão estacionária e finalize a consulta. Selecione Escolher colunas na parte superior da janela, desmarque Selecionar tudo e, em seguida, selecione todos os atributos necessários. Para verificar se todos os atributos estão disponíveis e selecionados na consulta, consulte a lista de verificação em Ferramentas de transformação de dados. Depois de selecionar, escolha OK.

13. Remover dados da demonstração: Antes de transformar as consultas, remova a consulta original dos dados da demonstração.

Etapa 5: Criar uma importação de dados

1. Depois de criar e transformar as consultas, selecione Criar na parte inferior da página para criar sua importação de dados.

2. Agendar a importação de dados: esta página fornece uma opção para definir um agendamento recorrente para atualização de dados da fonte conectada que você pode desativar usando uma alternância. A atualização pode ser automática em uma frequência definida ou em um cronograma definido. Você também pode optar por substituir os dados importados anteriormente. Depois de selecionar uma opção, escolha Avançar.

   

3. Revisão e nome: insira um nome para a importação de dados junto com uma descrição (opcional) e selecione Conectar.

   

   Uma importação de dados é criada para este conjunto de dados. Os dados não aparecem no Dynamics 365 Sustentabilidade até serem mapeados para as entidades do modelo de dados. Você pode continuar com o mapeamento após a conclusão da transformação ou você ou outro usuário pode concluir o mapeamento posteriormente.

   

4. Selecione Concluído para ir para a página Importações de dados ou selecione Campos de mapa para mapear seus dados.

Etapa 6: Dados do mapa

A experiência de mapeamento fornece mais diretrizes e lógicas para mapear entidades e atributos. Ele oferece a capacidade de visualizar dados mapeados e inteligência para identificar entidades que correspondem aos dados das consultas.

A página Mapeamento contém os seguintes componentes:

• Consultas: todas as consultas geradas na etapa de transformação de dados. Um ponto azul ao lado de uma consulta indica que o mapeamento está incompleto, precisa de revisão e não está salvo.

• Fonte de dados: Este menu suspenso exibe uma lista de todas as entidades disponíveis que você pode mapear para as consultas selecionadas. As entidades que você seleciona durante as etapas de importação sempre aparecem na parte superior do menu suspenso em Usadas recentemente.

  

• Dados de visualização: Depois de mapear uma consulta para uma entidade, você vê uma prévia dos dados mapeados. Examine o mapeamento antes que os dados sejam salvos.

• Mapear automaticamente: o mapeamento automático permite mapear os dados para uma consulta se você souber para qual entidade a consulta é. Ela analisa palavras parciais e correspondências parciais de palavras. Selecione uma consulta na navegação à esquerda, selecione a entidade apropriada no menu suspenso fonte de dados e selecione Mapeamento automático para mapear os campos.

• Encontrar a melhor correspondência: Você pode mapear consultas para as entidades do modelo de dados mesmo com informações parciais ou incompletas. A lógica compara a correspondência percentual para todos os atributos obrigatórios na consulta primeiro, depois para os atributos opcionais, depois combinando o nome da consulta com a definição de dados de sustentabilidade e, finalmente, qualquer uma das definições de dados adicionadas ou selecionadas durante a importação. Selecione a consulta no lado esquerdo e, em seguida, selecione Localizar a melhor correspondência para mapear os campos de origem para a entidade de modelo de dados correta. Outra verificação de validação na experiência de mapeamento é quando os campos não são uma correspondência exata e exigem sua validação antes que o mapeamento seja salvo. Esses campos são destacados em azul, indicando que devem ser verificados antes de salvar o mapeamento.

  

• Pronto para importar: você pode importar várias entidades por meio de uma única importação. Esse processo requer várias consultas que você deve mapear dentro da importação de dados. Você faz o mapeamento individualmente para cada consulta para garantir que você possa examinar e mapear os campos de origem com precisão. Se o trabalho de importação for executado antes da conclusão do mapeamento, ocorrerão erros de importação. A experiência de mapeamento inclui uma alternância dedicada que você ativa após a conclusão do mapeamento. Essa etapa garante que a importação não seja executada até que o mapeamento seja concluído, eliminando quaisquer erros de ingestão que possam surgir do mapeamento incompleto.

Para os dados de demonstração, selecione cada uma das consultas e conclua o mapeamento usando o mapa automático ou encontre a melhor correspondência. Revise os campos de origem durante cada mapeamento. Após a verificação, salve o mapeamento e alterne Pronto para importar para Ativado. Vá até a página de importações de dados para ver o status da importação de dados adicionada.

A página Importações de dados é atualizada e inclui os seguintes detalhes para cada importação:

• Nome da importação de dados.
• Descrição, se adicionada pelo usuário.
• Status do mapeamento para indicar que a importação está mapeada ou não mapeada.
• Alternar para Pronto para importar.
• Status da importação dos dados.
• Última atualização, incluindo data e hora da atualização.
• Definição de dados da entidade ou entidades que estão sendo importadas.
• Proprietário da importação de dados.
• Proprietário da etapa de mapeamento.

Você pode editar a importação e o mapeamento separadamente.

Editar uma importação do Power Query

Dynamics 365 Sustainability permite que você atualize ou edite uma importação anterior e faça alterações no arquivo de origem, entidades, atualização agendada ou nome da importação. Para editar uma importação existente:

1. No painel de navegação esquerdo, em Gerenciamento de dados, selecione Importações de dados.

2. Selecione a importação de dados que você deseja editar.

3. Selecione Editar importação na parte superior da página. A página Definir seus dados aparece com a opção de adicionar entidades de dados à importação.

   

4. Adicione ou altere entidades e selecione Avançar.

5. Selecione Configurar conexão.

   

6. Selecione as credenciais e, em seguida Conectar.

   

7. Se você quiser alterar o tipo de importação ou o arquivo de origem, selecione Obter dados no painel de navegação superior. Você foi retornado à página Conectar à fonte de dados, onde pode repetir as etapas anteriores. Você também pode editar e transformar dados nas consultas existentes usando recursos do Power Query.

   

   Mais documentação sobre como usar o Power Query está disponível dentro de Modelos e dicas em Ferramentas de transformação de dados.

8. Se você planeja atualizar apenas o agendamento de atualização de dados, selecione Criar na parte inferior da página. Você pode então atualizar a atualização de dados, importar nome ou descrição. Selecione Conectar.

9. Selecione Concluído, se nenhuma atualização de mapeamento for necessária. Se o mapeamento precisar ser atualizado, selecione Campos do mapa para ir para a tela de mapeamento.

10. Selecione as consultas que devem ser remapeadas e siga as etapas de mapeamento anteriores. Após a conclusão do mapeamento, salve o mapeamento e defina a alternância Pronto para importar como Sim.

    A importação agora está atualizada na página de importação de dados .

11. Se apenas o mapeamento precisar ser atualizado, vá para a página de mapeamento na página Importações de dados selecionando Editar mapeamento na navegação superior.

Importar dimensões personalizadas

Importar dimensões personalizadas é parte integrante da nova experiência de importação e só está disponível por meio da experiência do Power Query.

As etapas a seguir são o fluxo de trabalho preferencial para a ingestão de dimensões personalizadas:

• Definir novas colunas nos seus dados de origem.
• Transforme os dados em uma forma homogênea para que o Power BI possa processá-los em cálculos e relatórios.
• Criar e mapear dimensões personalizadas.
• Referir-se a dimensões personalizadas em cálculos e análises.

Esta seção se concentra na importação e no mapeamento. Para saber mais sobre dimensões personalizadas, consulte Dimensões personalizadas.

Para ingerir dimensões personalizadas, defina mais atributos (colunas) em sua fonte de dados, como Excel ou banco de dados.

Exemplo de dados adicionais:

Na experiência Power Query, transforme os dados, potencialmente com várias consultas, para que os dados sejam consistentes e válidos para cálculos (se necessário). Por exemplo, transforme um conjunto de dados heterogêneo em vários homogêneos.

Consulta pré-transformação:

Consulta pós-transformação:

Mapping

Siga estas etapas para detectar e mapear os atributos de entidade do modelo de dados. Revise todos os mapeamentos e verifique se você não mapeia nenhuma dimensão personalizada para um campo de destino de dimensão padrão ou incorreto.

Na seção Dimensões Personalizadas:

• Campos de origem: selecione na lista suspensa um campo de origem dos seus dados originais.
• Campos de Destino:
  • Se a dimensão personalizada existir na lista suspensa, selecione-a e selecione Adicionar.
  • Se não estiver disponível, digite um nome para o qual mapear, selecione o tipo e, em seguida, selecione Adicionar.

Você também pode criar as dimensões nas configurações de gerenciamento Dimensões personalizadas antes do mapeamento para que estejam disponíveis para seleção no controle suspenso.

Adicione uma dimensão personalizada existente:

Adicionar uma nova dimensão personalizada:

Informações relacionadas

• Visão geral da importação de dados
• Atualização incremental de dados
• Alterar a propriedade da conexão de importação de dados (versão preliminar)
• Importar dados com modelos do Excel
• Importar dados com o Power Query
• Importar dados com conectores de provedor de dados
• Importar dados manualmente
• Revisar importações de dados
• Considerações e perguntas frequentes