Funzionalità di Zerobus Ingest

Questa pagina offre una panoramica di ciò che Zerobus Ingest a Lakeflow Connect offre. Ogni funzionalità è collegata alla documentazione completa.

• Endpoint sempre attivo: serverless, attivo di default, scala automaticamente.
• Blocco dei messaggi: metodi di acquisizione e come confermarne la durabilità.
• Callback di conferma: gestiscono conferme ed errori in modo asincrono.
• Caratteristiche della tabella Delta: partizionamento, clustering liquido e VARIANT dati.
• Colonna di salvataggio: cattura campi che non si adattano allo schema della tabella invece di rifiutarli.
• Posizione di riserva duratura: dove i dati arrivano se non possono essere pubblicati.
• Monitoraggio del tuo utilizzo: tabelle di sistema per uso e spesa.

Endpoint sempre attivo

Zerobus Ingest è un endpoint serverless attivato di default per gli spazi di lavoro nelle regioni supportate. Non c'è nulla da cui iniziare, né provvistare, né scalare. Una volta che hai una tabella di destinazione e un'entità servizio con accesso ad essa, puoi iniziare a inviare dati e la capacità si ridimensiona automaticamente man mano che apri altri flussi. Per iniziare, vedi Usa Zerobus Ingest.

Caratteristiche della tabella Delta

Zerobus Ingest scrive nelle tabelle Delta gestite da Unity Catalog standard, quindi i dati ingeriti funzionano con le capacità delle tabelle Delta. Per i requisiti che una tabella target deve soddisfare, vedi requisiti della tabella.

• Tabelle partizionate: supportate, soggette a un limite di dispersione della partizione. Azure Databricks raccomanda il cluster liquido per chiavi ad alta cardinalità. Vedi Tabelle partizionate.
• Tabelle cluster liquide (Beta): la disposizione raccomandata, che organizza i dati per le prestazioni delle query senza il limite partition-fan-out. Vedere Usare clustering liquido per le tabelle.
• Dati varianti: ingerire dati semi-strutturati in VARIANT colonne. Vedere Tipi di dati supportati.

Posizione di riserva resistente

Se una modifica interrotta nella tabella arriva dopo che Zerobus Ingest rende i tuoi dati durevoli ma prima che possa pubblicarli sulla tabella, Zerobus Ingest scrive quei dati come file Parquet in una cartella di riserva all'interno della posizione di archiviazione della tabella, invece di eliminarla. Per trovare e rielaborare questi dati dopo aver sistemato lo schema, vedi Recupero dei dati dalla posizione di fallback durevole.

Monitoraggio dell'utilizzo

Monitora l'utilizzo e i costi di Zerobus Ingest attraverso le tabelle di sistema. Vedi riferimento alla tabella di sistema Zerobus Ingest e, per la spesa, la tabella del sistema di fatturazione sotto Costo.