OpenTelemetry-gegevens opnemen met Zerobus Ingest

Zerobus Ingest OTLP is een systeemeigen OTLP-eindpunt (OpenTelemetry Protocol) dat is ingebouwd in de Zerobus Ingest-service . Hiermee kunt u traceringen, logboeken en metrische gegevens rechtstreeks naar Unity Catalog Delta-tabellen pushen met behulp van standaard Sdk's voor OpenTelemetry en collectors, zonder dat u aangepaste bibliotheken nodig hebt.

Als u uw OTLP-client wilt configureren voor het verzenden van gegevens naar Zerobus Ingest, raadpleegt u OpenTelemetry-clients (OTLP) configureren om gegevens naar Unity Catalog te verzenden.

Azure Databricks factureert OTLP-opname als Zerobus Ingest-gebruik. Voor prijzen en hoe je je uitgaven kunt monitoren, zie Kosten.

Concepten

De volgende concepten zijn handig om te begrijpen hoe Zerobus Ingest OTLP werkt.

OTLP-compatibiliteit

Zerobus Ingest OTLP implementeert de standaard OTLP Collector-diensten zoals gedefinieerd door de OpenTelemetrie-specificatie, zowel over gRPC als HTTP (Protobuf). Elke OTLP-compatibele exporteur, zoals een OpenTelemetry SDK, de OpenTelemetry Collector of een andere instrumentatiebibliotheek, kan gegevens naar dit eindpunt sturen.

Ondersteunde signalen

Zerobus Ingest OTLP stelt één dienst per telemetriesignaaltype beschikbaar. Elk signaal is beschikbaar via zowel OTLP/gRPC als OTLP/HTTP (Protobuf):

Signaal gRPC-servicepad HTTP-pad
Traces: Gedistribueerde tracesegmenten met volledige ondersteuning voor gebeurtenissen, koppelingen en status. /opentelemetry.proto.collector.trace.v1.TraceService/Export /v1/traces
Logboeken: Logboekrecords met ernst, hoofdtekst en correlatie naar traceringen via trace_id en span_id. /opentelemetry.proto.collector.logs.v1.LogsService/Export /v1/logs
Metrische gegevens: Alle vijf metrische OTLP-typen: Meter, Som, Histogram, ExponentieelHistogram en Samenvatting. /opentelemetry.proto.collector.metrics.v1.MetricsService/Export /v1/metrics

Gedeeltelijk succes

Zerobus Ingest OTLP ondersteunt gedeeltelijk succes zoals gedefinieerd door de OTLP-specificatie. Als een aanvraag een combinatie van geldige en ongeldige records bevat, worden de geldige records opgenomen en worden de ongeldige records geweigerd. Het antwoord bevat het aantal geweigerde records (rejected_spans, rejected_log_recordsof rejected_data_points) en een error_message beschrijving waarom.

Compressie

Gzip-compressie wordt ondersteund op alle drie OTLP-diensten, zowel via gRPC als HTTP. Voor gRPC zet je de grpc-encoding header op gzip. Voor HTTP stel je de Content-Encoding header in op gzip. Of configureer je OTLP-exporter om gzip-compressie te gebruiken.

Beperkingen

  • Alleen de Protobuf-codering van OTLP/HTTP wordt ondersteund. OTLP/HTTP met een JSON-body wordt niet ondersteund, en verzoeken met een Content-Type of application/json worden geweigerd.
  • Elke aanvraag is gericht op één tabel, die is opgegeven met behulp van de x-databricks-zerobus-table-name header. Als u traceringen, logboeken en metrische gegevens wilt opnemen, configureert u afzonderlijke exporteurs die naar verschillende tabellen verwijzen.
  • Tabellen moeten vooraf worden gemaakt met het juiste schema. Zerobus Ingest maakt of wijzigt geen tabellen.
  • Het standaardquotum is 10.000 aanvragen per seconde. Als u een hoger quotum nodig hebt, neemt u contact op met uw Databricks-vertegenwoordiger.
  • Sommige OTLP-numerieke velden kunnen precisie verliezen of overlopen wanneer ze worden toegewezen aan Delta-types. Zie Numerieke precisie en getekende types.
  • Voor de volledige lijst van Zerobus Ingest-quota, zie Zerobus Ingest-quota.

Aanvullende informatiebronnen

  • Last updated on