Ingerir dados do OpenTelemetry com o Zerobus Ingest

OTLP do Zerobus Ingest é um ponto de extremidade nativo do OTLP (OpenTelemetry Protocol), integrado ao serviço Zerobus Ingest. Ele permite enviar logs, métricas e rastreamentos diretamente para tabelas Delta do Catálogo do Unity usando SDKs e coletores do OpenTelemetry padrão, sem precisar de bibliotecas personalizadas.

Para configurar seu cliente OTLP para enviar dados ao Zerobus Ingest, consulte Configurar clientes do OpenTelemetry (OTLP) para enviar dados ao Catálogo do Unity.

O Azure Databricks cobra a ingestão via OTLP como uso do Zerobus Ingest. Para preços e como monitorar seus gastos, veja Custo.

Conceitos

Os conceitos a seguir são úteis para entender como o OTLP do Zerobus Ingest funciona.

Compatibilidade OTLP

O Zerobus Ingest OTLP implementa os serviços padrão do OTLP Collector, conforme definidos na especificação OpenTelemetry, tanto em gRPC quanto em HTTP (Protobuf). Qualquer exportador compatível com OTLP, como um SDK OpenTelemetry, o OpenTelemetry Collector ou outra biblioteca de instrumentação, pode enviar dados para esse endpoint.

Sinais do com suporte

O Zerobus Ingest OTLP expõe um serviço para cada tipo de sinal de telemetria. Cada sinal está disponível tanto em OTLP/gRPC quanto em OTLP/HTTP (Protobuf):

Sinal Caminho do serviço gRPC Caminho HTTP
Rastreamentos: os intervalos de rastreamento distribuído oferecem suporte completo para eventos, links e status. /opentelemetry.proto.collector.trace.v1.TraceService/Export /v1/traces
Logs: registros de log com severidade, corpo e correlação com rastreamentos por meio de trace_id e span_id. /opentelemetry.proto.collector.logs.v1.LogsService/Export /v1/logs
Métricas: todos os cinco tipos de métrica OTLP: Medidor, Soma, Histograma, ExponentialHistogram e Resumo. /opentelemetry.proto.collector.metrics.v1.MetricsService/Export /v1/metrics

Êxito parcial

Zerobus Ingest OTLP dá suporte ao êxito parcial, conforme definido pela especificação OTLP. Se uma solicitação contiver uma combinação de registros válidos e inválidos, os registros válidos serão ingeridos e os registros inválidos serão rejeitados. A resposta inclui a contagem de registros rejeitados (rejected_spans, rejected_log_records ou rejected_data_points) e um error_message que descreve o motivo.

Compression

A compressão Gzip é suportada em todos os três serviços OTLP, tanto em gRPC quanto em HTTP. Para gRPC, defina o grpc-encoding cabeçalho para gzip. Para HTTP, defina o Content-Encoding cabeçalho para gzip. Alternativamente, configure seu exportador OTLP para usar compressão gzip.

Limitações

  • Apenas a codificação Protobuf do OTLP/HTTP é suportada. OTLP/HTTP com corpo JSON não tem suporte, e solicitações com um Content-Type de application/json são rejeitadas.
  • Cada solicitação tem como destino uma tabela, especificada usando o x-databricks-zerobus-table-name cabeçalho. Para ingerir rastros, logs e métricas, configure exportadores separados que apontem para tabelas diferentes.
  • As tabelas devem ser criadas com antecedência com o esquema correto. Zerobus Ingest não cria nem modifica tabelas.
  • A cota padrão é de 10.000 solicitações por segundo. Se você precisar de uma cota maior, entre em contato com seu representante do Databricks.
  • Alguns campos numéricos OTLP podem perder precisão ou transbordar quando mapeados para tipos Delta. Veja Precisão numérica e tipos de sinal.
  • Para ver a lista completa das cotas do Zerobus Ingest, consulte cotas do Zerobus Ingest.

Recursos adicionais

  • Last updated on