Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Este artigo apresenta uma visão geral dos métodos disponíveis para ingerir dados numa Casa de Eventos utilizando a experiência Get data.
Fontes de dados
Pode ingerir dados numa Casa de Eventos a partir das seguintes fontes:
- Arquivo local
- OneLake
- Real-Time hub
- Eventstream
- Armazenamento Azure
- Hubs de Eventos do Azure
- Amazon S3
- Cópia de pipeline do Data Factory
- Fluxos de dados da Fábrica de Dados
- Eventos de negócio do Eventhouse e do Real-Time Dashboard
Origens de dados adicionais
Se a sua fonte não estiver listada, selecione Ligar mais fontes de dados para usar os conectores disponíveis através Real-Time hub. Pode trazer dados para o Eventstream e depois para o Eventhouse sem sair do fluxo de trabalho Get Data. Nestes casos, selecione a opção Ligar mais fontes de dados .
Suporte a mensagens grandes (pré-visualização)
Importante
Este recurso está em pré-visualização.
Quando recebe dados de um Eventstream ou de um ficheiro local, a pré-visualização de dados inclui uma opção de seleção Permitir valores grandes para string e dynamic colunas. Quando ativado, permite que células de dados individuais contenham valores desde 1 MB até 32 MB.
Esta capacidade permite-lhe manter uma grande carga útil unida numa única célula quando o seu cenário o exige.
Por exemplo, armazenar e processar um grande documento JSON numa única casa string de eventos ou dynamic coluna. Se o seu cenário beneficiar de um modelo de dados mais estruturado, pode transformar o payload em colunas separadas usando o Event Processing Editor do Eventstream antes da ingestão, ou uma política de atualização do Eventhouse após a ingestão.
Para cenários de análise, dividir mensagens grandes em colunas mais pequenas e estruturadas é geralmente mais eficiente. Esta abordagem pode reduzir o consumo de memória e as operações de I/O (entrada/saída) quando armazena, indexa e consulta os dados.
Importante
Como parte do assistente de ingestão, um mecanismo de inferência de esquema analisa os primeiros 1.000 registos dos dados de pré-visualização recebidos. Se identificar um valor grande entre esses registos, seleciona automaticamente a caixa de seleção e mostra uma mensagem que o notifica de que foram detetados valores grandes. Se um valor grande aparecer mais tarde nos dados, o motor de inferência de esquemas não o deteta automaticamente, e deve selecionar manualmente a caixa de seleção para ingerir valores superiores a 1 MB por célula.
Os formatos AVRO, Parquet e TXT não são analisados à procura de mensagens grandes neste assistente de configuração. Para estes formatos, deve selecionar Permitir valores grandes se espera que os valores de string ou dynamic excedam 1 MB por célula.
O Suporte para Mensagens de Grande Dimensão não é compatível com atalhos (tabelas externas), nem com tabelas com aceleração de consultas em atalhos do OneLake.
A disponibilidade de dados OneLake para tabelas com colunas de valor grande depende dos limites de tamanho alvo.
Também podes ativar esta opção para uma coluna de tabela existente mais tarde. Para mais informações, veja Permitir valores grandes para uma coluna. Esta alteração aplica-se apenas a novos dados ingeridos daqui para a frente; os valores previamente ingeridos string são truncados até ao limite (MaxValueSize a propriedade da política padrão é 1 MB), os dynamic valores são substituídos por nulos.
Quando ativada, a coluna utiliza a BigObjectIndexed32 política de codificação, que indexa valores elevados para o desempenho da consulta, mas aumenta o consumo de memória. Para verificar se a política está ativada para uma coluna, consulte Política de codificação, ou veja-a no painel lateral de detalhes da tabela em Gerenciar e monitorize uma tabela de base de dados KQL. Para mais informações sobre a política, consulte Tipos de política de codificação.