Ingesta de datos de OpenTelemetry con Zerobus Ingest

Zerobus Ingest OTLP es un punto de conexión nativo del Protocolo OpenTelemetry (OTLP) integrado en el servicio Zerobus Ingest. Permite insertar trazas, registros y métricas directamente en las Tablas Delta del Catálogo de Unity mediante SDK y recopiladores estándar de OpenTelemetry, sin necesidad de bibliotecas personalizadas.

Para configurar el cliente de OTLP para enviar datos a Zerobus Ingest, consulte Configuración de clientes de OpenTelemetry (OTLP) para enviar datos a Unity Catalog.

Azure Databricks factura la ingestión de OTLP como uso de Zerobus Ingest. Para ver precios y cómo controlar tu gasto, consulta Coste.

Conceptos

Los conceptos siguientes son útiles para comprender cómo funciona Zerobus Ingest OTLP.

Compatibilidad de OTLP

Zerobus Ingest OTLP implementa los servicios estándar del recopilador OTLP, tal como se definen en la especificación OpenTelemetry, a través de gRPC y HTTP (Protobuf). Cualquier exportador compatible con OTLP, como un SDK OpenTelemetry, el OpenTelemetry Collector u otra biblioteca de instrumentación, puede enviar datos a este punto final.

Señales soportadas

Zerobus Ingest OTLP expone un servicio por tipo de señal de telemetría. Cada señal está disponible tanto en OTLP/gRPC como en OTLP/HTTP (Protobuf):

Señal Ruta de acceso del servicio gRPC Ruta HTTP
Trazas: Trazas distribuidas con soporte completo para eventos, vínculos y estado. /opentelemetry.proto.collector.trace.v1.TraceService/Export /v1/traces
Registros: registros de eventos con severidad, cuerpo y correlación con trazas a través de trace_id y span_id. /opentelemetry.proto.collector.logs.v1.LogsService/Export /v1/logs
Métricas: los cinco tipos de métricas de OTLP: Medidor, Suma, Histograma, ExponencialHistograma y Resumen. /opentelemetry.proto.collector.metrics.v1.MetricsService/Export /v1/metrics

Éxito parcial

Zerobus Ingest OTLP admite el éxito parcial según lo definido por la especificación OTLP. Si una solicitud contiene una combinación de registros válidos e no válidos, se ingieren los registros válidos y se rechazan los registros no válidos. La respuesta incluye el recuento de registros rechazados (rejected_spans, rejected_log_records, o rejected_data_points) y un error_message que describe por qué.

Compresión

La compresión de Gzip está soportada en los tres servicios OTLP, tanto en gRPC como en HTTP. Para usar gRPC, establece el encabezado grpc-encoding en gzip. Para HTTP, fija el Content-Encoding encabezado en gzip. Alternativamente, configura tu exportador OTLP para usar compresión gzip.

Limitaciones

  • Solo se soporta la codificación Protobuf de OTLP/HTTP. No se soporta OTLP/HTTP con cuerpo JSON, y las peticiones con un Content-Type de application/json son rechazadas.
  • Cada solicitud tiene como destino una tabla, especificada mediante el x-databricks-zerobus-table-name encabezado . Para ingerir seguimientos, registros y métricas, configure exportadores independientes que apunten a tablas diferentes.
  • Las tablas deben crearse de antemano con el esquema correcto. La ingesta de Zerobus no crea ni modifica tablas.
  • La cuota predeterminada es de 10 000 solicitudes por segundo. Si necesita una cuota mayor, póngase en contacto con su representante de Databricks.
  • Algunos campos numéricos OTLP pueden perder precisión o desbordarse cuando se mapean a tipos Delta. Véase Precisión numérica y tipos con signo.
  • Para la lista completa de cuotas de Ingesta de Zerobus, véase Cuotas de Ingesta de Zerobus.

Recursos adicionales

  • Last updated on