Fonctionnalités d’ingestion de Zerobus

Cette page présente un aperçu de ce que propose Zerobus Ingest à Lakeflow Connect. Chaque fonctionnalité renvoie à sa documentation complète.

• Point de terminaison toujours actif : sans serveur, activé par défaut, se met automatiquement à l’échelle.
• Blocage des messages : méthodes d’ingestion et comment vérifier la durabilité.
• Rappels d’accusés de réception : réagissez de manière asynchrone aux accusés de réception et aux erreurs.
• Fonctionnalités de la table Delta : partitionnement, clustering dynamique et VARIANT données.
• Colonne de sauvetage : capturez des champs qui ne correspondent pas au schéma de la table au lieu de les rejeter.
• Emplacement de repli durable : où les données sont envoyées si elles ne peuvent pas être publiées.
• Surveillance de votre consommation : tables système pour l’utilisation et les dépenses.

Point de terminaison toujours actif

Zerobus Ingest est un point de terminaison serverless activé par défaut pour les espaces de travail dans les régions prises en charge. Il n’y a rien à commencer, à provisionner ou à mettre à l’échelle. Une fois que vous disposez d’une table cible et d’un principal de service y ayant accès, vous pouvez commencer à envoyer des données, et la capacité augmente automatiquement à mesure que vous ouvrez davantage de flux. Pour commencer, consultez Utiliser Zerobus Ingest.

Caractéristiques de la table Delta

Zerobus Ingest écrit dans des tables Delta gérées par Unity Catalog standard, donc vos données ingérées fonctionnent avec des capacités de table Delta. Pour les exigences qu’une table cible doit remplir, voir Exigences de la table.

• Tables partitionnées : prises en charge, sous réserve d’une limite de dispersion de partitions. Azure Databricks recommande le cluster liquide pour les clés à haute cardinalité. Voir Tableaux partitionnés.
• Tables en clusters liquides (bêta) : la structure recommandée, qui organise les données pour optimiser les performances des requêtes sans la limite de distribution ramifiée des partitions. Consultez Utilisation de Liquid Clustering pour les tables.
• Données variantes : ingérer des données semi-structurées dans VARIANT des colonnes. Consultez Types de données pris en charge.

Emplacement de secours durable

Si une modification incompatible du schéma de table intervient après que Zerobus Ingest a rendu vos données durables, mais avant de pouvoir les publier dans la table, Zerobus Ingest écrit ces données sous forme de fichiers Parquet dans un répertoire de secours au sein de l’emplacement de stockage de votre table, au lieu de les supprimer. Pour trouver et retraiter ces données après avoir corrigé le schéma, voir Récupérer les données depuis la position de secours durable.

Surveillance de votre utilisation

Surveillez l’utilisation et les coûts de Zerobus Ingest à l’aide des tables système. Voir la référence des tables système Zerobus Ingest et, en ce qui concerne les dépenses, la table système de facturation sous Coût.