Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Este artigo oferece uma visão geral dos métodos disponíveis para ingerir dados em uma Casa de Eventos usando a experiência Get Data.
Fontes de dados
Você pode ingerir dados em uma Casa de Eventos a partir das seguintes fontes:
- Arquivo local
- OneLake
- Hub em Tempo Real
- Fluxo de eventos
- Armazenamento do Azure
- Hubs de eventos do Azure
- Amazon S3
- Cópia do pipeline do Data Factory
- Fluxos de dados do Data Factory
- Eventos de negócios do Eventhouse e do Painel em Tempo Real
Fontes de dados adicionais
Se sua fonte não estiver na lista, selecione Conectar mais fontes de dados para usar os conectores disponíveis por meio do Real-Time hub. Você pode trazer dados para o Eventstream e depois para o Eventhouse sem sair do fluxo de trabalho Get Data. Para esses casos, selecione a opção Conectar mais fontes de dados .
Suporte a mensagens grandes (versão prévia)
Importante
Esse recurso está na versão prévia.
Quando você recebe dados de um Eventstream ou de um arquivo local, a pré-visualização de dados inclui uma opção de seleção Permitir valores grandes para string e dynamic colunas. Quando ativado, permite que células de dados individuais contenham valores de 1 MB até 32 MB.
Essa capacidade permite que você mantenha uma grande carga útil junta em uma única célula quando seu cenário exige.
Por exemplo, armazenar e processar um documento JSON grande em uma única coluna eventhouse string ou dynamic. Se seu cenário se beneficiar de um modelo de dados mais estruturado, você pode transformar o payload em colunas separadas usando o Editor de Processamento de Eventos do Eventstream antes da ingestão, ou uma política de atualização do Eventhouse após a ingestão.
Para cenários de análise, dividir mensagens grandes em colunas menores e estruturadas geralmente é mais eficiente. Essa abordagem pode reduzir o consumo de memória e as operações de E/S (entrada/saída) ao armazenar, indexar e consultar os dados.
Importante
Como parte do assistente de ingestão, um mecanismo de inferência de esquema analisa os primeiros 1.000 registros dos dados de visualização prévia recebidos. Se identificar um valor grande entre esses registros, ele automaticamente seleciona a caixa de seleção e exibe uma mensagem que notifica que valores grandes foram detectados. Se um valor grande aparecer mais tarde nos dados, o mecanismo de inferência de esquema não o detecta automaticamente, e você deve selecionar manualmente a caixa para ingerir valores maiores que 1 MB por célula.
Os formatos AVRO, Parquet e TXT não são escaneados para mensagens grandes durante esse assistente de configuração. Para esses formatos, você deve selecionar Permitir valores grandes se esperar string ou dynamic valores que excedam 1 MB por célula.
O suporte para mensagens grandes não está disponível para atalhos (tabelas externas) nem para tabelas com aceleração de consulta em atalhos do OneLake.
A disponibilidade de dados do OneLake para tabelas com colunas de grande valor depende dos limites de tamanho alvo.
Você também pode ativar essa opção para uma coluna de tabela existente depois. Para mais informações, veja Permitir valores grandes para uma coluna. Essa mudança se aplica apenas a novos dados ingeridos daqui para frente; os valores previamente ingeridos string são truncados até o limite (MaxValueSize propriedade da política padrão é 1 MB), os dynamic valores são substituídos por nulos.
Quando ativada, a coluna utiliza a BigObjectIndexed32 política de codificação, que indexa valores grandes para desempenho de consulta, mas aumenta o consumo de memória. Para verificar se a política está ativada para uma coluna, veja Política de codificação, ou visualize-a no painel lateral de detalhes da tabela em Gerenciar e monitore uma tabela de banco de dados KQL. Para mais informações sobre a política, veja Tipos de políticas de codificação.