Osservabilità di GenAI - Tracciamento MLflow

MLflow Tracing offre un'osservabilità end-to-end delle applicazioni GenAI, compresi i sistemi complessi basati su agenti. Registra input, output, passaggi intermedi e metadati in modo da vedere esattamente il comportamento dell'app.

Video sul gateway di tracciamento

Il tracciamento consente di:

  • Eseguire il debug e comprendere l'applicazione
  • Monitorare le prestazioni e ottimizzare i costi
  • Monitorare le applicazioni di produzione
  • Valutare e migliorare le prestazioni delle applicazioni di alta qualità
  • Verificare la controllabilità e la conformità
  • Integrare la traccia con molti framework di terze parti più diffusi
  • Usare il linguaggio naturale con Genie Code per analizzare, eseguire il debug ed esplorare i dati di traccia

Dove vengono archiviate le tracce

Sono disponibili due opzioni per archiviare le tracce. Databricks consiglia di archiviare tracce in Unity Catalog per carichi di lavoro nuovi e di produzione. Indipendentemente dall'opzione selezionata per archiviare le tracce, gli esperimenti MLflow sono il punto di ingresso dell'interfaccia utente per la visualizzazione delle tracce:

  • Tracce archiviate in Unity Catalog (scelta consigliata): puntare l'esperimento in una posizione di traccia del catalogo Unity in modo che le tracce vengano posizionate nelle tabelle Delta OpenTelemetry (OTel). Non esiste alcun limite di archiviazione, le tracce sono queryabili con SQL come qualsiasi tabella Delta e il catalogo Unity regola l'accesso.
  • Tracce archiviate in un esperimento: MLflow archivia le tracce nell'esperimento stesso, ma MLflow limite di archiviazione a 100.000 tracce per esperimento e questa opzione potrebbe non essere compatibile con le funzionalità MLflow più recenti.
Capability Tracce archiviate nel catalogo unity Tracce archiviate in un esperimento
Limite archiviazione Unlimited 100.000 tracce per esperimento
Opzioni di query Interfaccia utente di MLflow e SDK di Python, oltre a SQL, Genie, dashboard ai/BI e qualsiasi strumento basato su Spark Interfaccia utente di MLflow e SDK di Python
Governance Autorizzazioni per schema e tabelle di Unity Catalog Controlli di accesso a livello di esperimento
Compatibilità di OpenTelemetry Tracce archiviate in formato OTel, compatibili con altri client e strumenti OTel Non supportato

Risorse aggiuntive