Obter dados do Armazenamento do Azure

Neste artigo, aprende como colocar dados do Armazenamento do Azure (contentores Azure Data Lake Storage Gen2, contentores de blobs ou blobs individuais) para uma tabela numa base de dados KQL. Pode ingerir dados continuamente ou de uma só vez. Após a conclusão da ingestão, os dados ficam disponíveis para consulta.

• Ingestão contínua (pré-visualização): A ingestão contínua estabelece um pipeline de ingestão que permite a uma casa de eventos ouvir eventos do Armazenamento do Azure. O pipeline notifica a casa de eventos para extrair informações quando ocorrerem eventos inscritos. Os eventos são BlobCreated e BlobRenamed.

• Ingestão única: Use este método para recuperar dados de Armazenamento do Azure como uma operação única.

  Observação

  • Um fluxo de ingestão contínua pode afetar sua cobrança. Para obter mais informações, consulte Eventhouse e Consumo do Banco de Dados KQL.

Pré-requisitos

• Um workspace com uma capacidade com Microsoft Fabric ativado.
• Um banco de dados KQL com permissões de edição.
• Uma conta de armazenamento Azure.

Pré-requisitos para ingestão contínua

• Uma identidade Fabric workspace. Meu espaço de trabalho não é suportado. Se necessário, crie um novo espaço de trabalho.

No Azure:

• Regista o fornecedor de recursos da Grade de Eventos com a tua subscrição de Azure.
• Atribua à identidade do espaço de trabalho permissões da função Leitor de Dados de Blob de Armazenamento.
• Crie um contêiner de blob para armazenar os arquivos de dados.

  • Carregue um ficheiro de dados. A estrutura do arquivo de dados é usada para definir o esquema da tabela. Para obter mais informações, consulte Formatos de dados suportados pelo Real-Time Intelligence.

    Observação

    Deve carregar um ficheiro de dados:

    • Antes da configuração para definir o esquema da tabela durante a instalação.
    • Após a configuração para acionar a ingestão contínua, visualizar dados e verificar a conexão.

    Observação

    A ingestão contínua do Armazenamento do Azure também é suportada quando a conta de armazenamento está configurada com endpoints privados (Private Link). Certifique-se de que o espaço de trabalho do Fabric pode aceder à conta de armazenamento através do caminho de rede privada configurado.

Adicionar a atribuição de função de identidade do espaço de trabalho à conta de armazenamento

1. Nas definições do espaço de trabalho do Fabric, copie o ID da identidade do seu espaço de trabalho.

   

2. No portal Azure, navegue até à sua conta Armazenamento do Azure e selecione Controlo de Acesso (IAM)>Adicionar>Adicionar atribuição de funções.

3. Selecione Storage Blob Data Reader.

4. Na caixa de diálogo Adicionar atribuição de função , selecione + Selecionar membros.

5. Cole o ID de identidade do espaço de trabalho, selecione o aplicativo e depois Selecione>Revisar + atribuir.

Crie um contentor de blob e carregue um ficheiro de dados

1. Na conta de armazenamento, selecione Contêineres.

2. Selecione + Contentor, introduza um nome para o contentor e selecione Guardar.

3. Entre no contêiner, selecione carregar e carregue o arquivo de dados preparado anteriormente.

   Para obter mais informações, consulte formatos suportados e compressões suportadas.

4. No menu de contexto, [...], selecione Propriedades do contêiner e copie a URL para entrada durante a configuração.

   

Selecione Armazenamento do Azure como fonte de dados

Abra o fluxo Get Data e selecione Armazenamento do Azure como fonte.

1. A partir do seu Espaço de Trabalho, abra a casa de eventos e selecione a base de dados.

2. Na faixa de opções do banco de dados KQL, selecione Obter dados.

3. Selecione a fonte de dados na lista disponível. Neste exemplo, está a ingerir dados do Armazenamento do Azure.

   

Configurar

Verifique os dados de pré-visualização antes da ingestão

A guia Inspecionar é aberta com uma pré-visualização dos dados.

Para concluir o processo de ingestão, selecione Concluir.

Opcionalmente:

• Use a lista suspensa do arquivo de definição de esquema para alterar o arquivo do qual o esquema é inferido.

• Use a lista suspensa de tipo de arquivo para explorar as opções avançadas com base no tipo de dados.

• Use o menu suspenso Table_mapping para definir um novo mapeamento.

• Selecione </> para abrir o visualizador de comandos para visualizar e copiar os comandos automáticos gerados a partir de suas entradas. Também podes abrir os comandos num conjunto de consultas KQL.

• Selecione o ícone de lápis para Editar colunas.

Editar colunas

As alterações que você pode fazer em uma tabela dependem dos seguintes parâmetros:

• Tipo de Tabela é novo ou existente
• O tipo de mapeamento é novo ou existente

Mapeando transformações

Alguns mapeamentos de formato de dados (Parquet, JSON e Avro) suportam transformações simples durante a ingestão. Para aplicar transformações de mapeamento, crie ou atualize uma coluna na janela Editar colunas.

As transformações de mapeamento podem ser executadas em uma coluna do tipo string ou datetime, com a fonte tendo o tipo de dados int ou long. Para obter mais informações, consulte a lista completa de transformações de mapeamento suportadas.

Opções avançadas com base no tipo de dados

Tabela (CSV, TSV, PSV):

• Se estiver a ingerir formatos tabulares numa tabela existente, pode selecionar Avançadas>Manter o esquema da tabela. Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Quando essa opção é marcada, o mapeamento é feito por ordem e o esquema da tabela permanece o mesmo. Se essa opção estiver desmarcada, novas colunas serão criadas para os dados de entrada, independentemente da estrutura dos dados.

  

• Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Para usar a primeira linha como nomes de coluna, selecione Primeira linha é o cabeçalho da coluna.

  Captura de ecrã onde a primeira linha é a alternância do cabeçalho da coluna.

Tabela (CSV, TSV, PSV):

• Se estiver a ingerir formatos tabulares numa tabela existente, selecione Table_mapping>Usar esquema existente. Os dados tabulares não incluem necessariamente os nomes das colunas usadas para mapear os dados de origem para as colunas existentes. Ao selecionar esta opção, o mapeamento é feito por ordem e o esquema da tabela mantém-se igual. Se eliminar esta opção, são criadas novas colunas para os dados recebidos, independentemente da estrutura de dados.

• Para usar a primeira linha como nomes de coluna, selecione Cabeçalho da primeira linha.

  

JSON:

• Para determinar a divisão de colunas dos dados JSON, selecione Níveis aninhados, de 1 a 100.

  

Consulte o resumo da ingestão

Na janela de Resumo , todos os passos mostram assinalações verdes quando a ingestão de dados termina com sucesso. Você pode selecionar um cartão para explorar os dados, excluir os dados ingeridos ou criar um painel com métricas-chave.

Conteúdo relacionado

• Para gerir a sua base de dados, veja Gerir dados.
• Para criar, armazenar e exportar consultas, consulte Dados de consulta num conjunto de consultas KQL.