funzionalità di intelligenza artificiale Azure Databricks

Azure Databricks offre una piattaforma per la creazione, la valutazione, la distribuzione e il monitoraggio delle applicazioni di intelligenza artificiale (app di intelligenza artificiale). Riunisce una suite di strumenti che affrontano le sfide dello sviluppo di app di intelligenza artificiale di livello aziendale. Azure Databricks si integra con i framework open source più diffusi, aggiungendo governance di livello aziendale, osservabilità e strumenti operativi, noti collettivamente come LLMOps.

Questa pagina elenca le principali funzionalità per l'intelligenza artificiale, organizzate in base alle fasi del flusso di lavoro di intelligenza artificiale.

Eseguire query sull'intelligenza artificiale

Azure Databricks rende facilmente disponibili modelli di intelligenza artificiale all'avanguardia dai principali provider di modelli tramite i modelli di base ospitati da Databricks. È anche possibile interrogare i modelli di provider esterni e i modelli personalizzati. Tutti questi modelli possono essere sottoposti a query tramite interfacce dell'interfaccia utente, API/SDK e SQL. Questa facoltatività consente di usare l'intelligenza artificiale per tutti i casi d'uso--- chat generale, agenti complessi, pipeline di dati automatizzate, analisi interattiva dei dati e altro ancora.

metodo Features
Interfaccia utente
  • Per lo sviluppo, AI Playground offre un'interfaccia utente per l'esecuzione di query su modelli e agenti di intelligenza artificiale disponibili.
  • Per i test, gli agenti e le app possono essere sottoposti a query e valutate dagli esperti di dominio usando l'app di revisione.
  • Per la produzione, le app possono essere ospitate con un'interfaccia utente usando Le app di Databricks da usare all'interno dell'organizzazione. Per le app esterne, è possibile potenziare le app rivolte agli utenti usando le API di Databricks.
API e SDK
SQL

Creare l'intelligenza artificiale

Azure Databricks offre un set flessibile di strumenti per la creazione di app, agenti, strumenti e modelli di intelligenza artificiale. Questi includono framework basati sull'interfaccia utente e sul codice, tutti in grado di ottimizzare i sistemi di intelligenza artificiale in base ai dati. È possibile sfruttare qualsiasi framework di intelligenza artificiale open source e integrare strumenti personalizzati e server MCP.

Categoria Features
Apps
  • Databricks Apps offre sviluppo e distribuzione di app flessibili per gli utenti autenticati.
  • Le app personalizzate possono essere basate sulle API di Databricks.
Agenti
Tools
Modelli e richieste

Preparare e gestire i dati

Azure Databricks semplifica i dati per l'intelligenza artificiale unificando la governance dei carichi di lavoro tradizionali di dati e intelligenza artificiale. Con tutti i dati gestiti in Unity Catalog con controlli di accesso con granularità fine, è facile modificare i limiti di ingegneria dei dati e intelligenza artificiale per adattarsi all'organizzazione. I dati possono essere preparati per l'intelligenza artificiale usando qualsiasi strumento di ingegneria dei dati , ad esempio le pipeline di Lakeflow. Una tabella in Unity Catalog può essere servita per l'intelligenza artificiale, usando un indice vettoriale per i dati non strutturati o una tabella di funzionalità per i dati strutturati.

Tipo di dati Features
Non strutturato (testo, immagini e così via)
Strutturata (tabelle)
  • SQL serverless consente di integrare tabelle e query SQL nell'app di intelligenza artificiale per l'analisi o le trasformazioni.
  • Gli agenti Genie possono essere usati nei sistemi multi-agente per rispondere alle query in linguaggio naturale sui dati strutturati.
  • Gli store di funzionalità online forniscono l'accesso alle funzionalità in tempo reale per l'app di intelligenza artificiale.

Distribuire e gestire l'intelligenza artificiale

Azure Databricks offre sistemi di gestione pronti per la produzione per app, agenti e modelli di intelligenza artificiale supportati da Databricks Apps. Queste distribuzioni scalabili possono essere usate sia per la gestione in tempo reale che per l'inferenza batch. Tutte le distribuzioni si integrano con gli strumenti di osservabilità e di valutazione e monitoraggio.

Framework di sviluppo Distribuzione e fornitura
Databricks App Le app e gli agenti possono essere distribuiti usando Databricks Apps, che fornisce la distribuzione basata sull'interfaccia utente e sulle API.
Assistente conoscenze Knowledge Assistant automatizza la distribuzione dell'agente agli endpoint di gestione dei modelli.

Traccia, valutazione e monitoraggio dell'intelligenza artificiale

Azure Databricks fornisce MLflow gestito per l'osservabilità, la valutazione e il monitoraggio dell'intelligenza artificiale. Le API open source semplificano l'integrazione e la portabilità, mentre il servizio gestito fornisce endpoint pronti per la produzione. Databricks-managed MLflow può essere usato per le app e gli agenti di intelligenza artificiale ospitati in Databricks e ospitati altrove.

Categoria Features
Traccia e osservabilità
  • MLflow Tracing consente di instrumentare gli agenti e le app di intelligenza artificiale per raccogliere dati di telemetria e osservabilità per la valutazione, il monitoraggio della produzione e il controllo.
Evaluation
Monitoring
  • Monitoraggio della produzione consente di misurare la qualità sulle tracce di produzione, usando gli stessi giudici e valutatori dalla valutazione effettuata durante lo sviluppo.
Feedback umano

LLMOps

Azure Databricks offre una suite completa di strumenti per le operazioni di intelligenza artificiale o "LLMOps". Governance unificata dei dati e degli asset di intelligenza artificiale in Unity Catalog semplifica e protegge la distribuzione dell'intelligenza artificiale in un'organizzazione. AI Gateway semplifica la gestione di modelli provenienti da molti fornitori di modelli AI. I bundle di automazione dichiarativa e MLflow forniscono il controllo delle versioni e l'infrastruttura come codice per l'implementazione di processi LLMOps affidabili.

Categoria Features
Governance degli asset di dati e intelligenza artificiale Unity Catalog offre una governance unificata per i dati e gli asset di intelligenza artificiale. Gli asset di dati includono file, tabelle, indici vettoriali e archivi di funzionalità. Gli asset di intelligenza artificiale includono modelli, strumenti e connessioni per server MCP e altre API.
Gestione degli endpoint del modello Il gateway di intelligenza artificiale offre governance e monitoraggio centralizzati per gli endpoint del modello di intelligenza artificiale.
Controllo delle versioni dei prompt MLflow fornisce un registro dei prompt, nonché il monitoraggio degli esperimenti.
Infrastruttura come codice MlOps Stacks, basato su bundle di asset di Databricks, offre gestione e distribuzione basata su codice di infrastruttura e flussi di lavoro.

Supporto open source

Azure Databricks offre supporto completo per l'ecosistema open source in rapida crescita per l'IA.

Per lo sviluppo, è possibile usare qualsiasi framework open source e distribuirlo usando Databricks Apps. I servizi Databricks possono essere usati da strumenti e app di intelligenza artificiale di terze parti usando server MCP o l'API REST o gli SDK.

Per l'osservabilità, la valutazione e il monitoraggio, MLflow Tracing fornisce l'autologging nativo per oltre 20 framework di IA open source ed è possibile aggiungere un tracciamento personalizzato a qualsiasi altro framework o codice. Le tracce possono quindi essere usate con la valutazione di MLflow e il monitoraggio della produzione. Le tracce seguono le specifiche di traccia OpenTelemetry e possono essere esportate in strumenti di terze parti.

Risorse aggiuntive