Funcionalidades do Zerobus Ingest

Esta página é uma visão geral do que o Zerobus Ingest em Lakeflow Connect oferece. Cada funcionalidade liga à sua documentação completa.

• Endpoint sempre ativo: sem servidor, ativado por predefinição, dimensiona automaticamente.
• Bloqueio de mensagens: métodos de ingestão e como confirmar a durabilidade.
• Chamadas de confirmação: reagem a confirmações e erros de forma assíncrona.
• Funcionalidades da tabela Delta: particionamento, liquid clustering e VARIANT dados.
• Coluna de resgate: capturar campos que não encaixam no esquema da tabela em vez de os rejeitar.
• Localização de contingência persistente: onde os dados são armazenados se não puderem ser publicados.
• Monitorizar o seu uso: tabelas do sistema para uso e despesa.

Ponto terminal permanentemente ativo

Zerobus Ingest é um endpoint serverless que está ativo por predefinição para espaços de trabalho em regiões suportadas. Não há nada para começar, provisionar ou escalar. Quando tiver uma tabela de destino e uma entidade de serviço com acesso à mesma, pode começar a enviar dados, e a capacidade aumenta automaticamente à medida que abre mais fluxos. Para começar, consulte Use Zerobus Ingest.

Características da tabela Delta

O Zerobus Ingest escreve em tabelas Delta geridas pelo Unity Catalog padrão, por isso os dados ingeridos funcionam com capacidades de tabelas Delta. Para os requisitos que uma tabela alvo deve cumprir, veja Requisitos da Tabela.

• Tabelas particionadas: suportadas, sujeitas a um limite de dispersão da partição. O Azure Databricks recomenda o cluster líquido para chaves de alta cardinalidade. Ver Tabelas particionadas.
• Tabelas clusterizadas líquidas (Beta): o layout recomendado, que organiza os dados para o desempenho das consultas sem o limite de dispersão de partição. Veja Utilizar clustering líquido para tabelas.
• Dados variantes: ingerir dados semi-estruturados em VARIANT colunas. Veja Tipos de dados suportados.

Local de recurso durável

Se uma alteração quebrada na tabela acontecer depois de o Zerobus Ingest tornar os seus dados duráveis mas antes de poder publicar os dados na tabela, o Zerobus Ingest escreve esses dados como ficheiros Parquet num diretório de reserva dentro do local de armazenamento da sua tabela, em vez de os descartar. Para encontrar e reprocessar estes dados após corrigir o esquema, veja Recuperar dados da localização de contingência durável.

Monitorizar a sua utilização

Monitorize a sua utilização e os seus gastos do Zerobus Ingest através de tabelas do sistema. Consulte a referência da tabela do sistema Zerobus Ingest e, quanto a gastos, a tabela do sistema de faturação em Custo.