Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Apache Spark™ Declarative Pipelines è un framework dichiarativo per la compilazione di pipeline di dati batch e di streaming in SQL e Python. Le pipeline di Lakeflow estendono e sono interoperabili con Spark Declarative Pipelines e vengono eseguite su Databricks Runtime, ottimizzato per le prestazioni. I casi d'uso comuni per le pipeline includono l'inserimento di dati da origini come l'archiviazione cloud (ad esempio Amazon S3, Azure ADLS Gen2 e Google Cloud Storage) e i bus di messaggio (ad esempio Apache Kafka, Amazon Pubs, Google Pub/Sub, Azure EventHub e Apache Pulsar) e trasformazioni incrementali di batch e streaming.
Annotazioni
Le pipeline di Lakeflow richiedono il piano Premium. Per ulteriori informazioni, contattare il team dell'account Databricks.
I seguenti argomenti ti aiutano a iniziare con le pipeline.
| Argomento | Description |
|---|---|
| Come utilizzare le pipeline Lakeflow | Inizia qui. Capisci come utilizzare le pipeline durante tutto il loro ciclo di vita, e perché, con collegamenti ai compiti in ogni fase. |
| Concetti relativi alla pipeline | Scopri i concetti di alto livello delle pipeline, inclusi flussi, tabelle in streaming e viste materializzate. |
Per informazioni più approfondite sulle pipeline, vedi:
| Argomento | Description |
|---|---|
| Tutorial | Seguire i tutorial per ottenere un'esperienza pratica nell'uso delle pipeline. |
| Sviluppare pipeline | Informazioni su come sviluppare e testare pipeline che creano flussi per l'inserimento e la trasformazione dei dati. |
| Configurare le pipeline | Informazioni su come pianificare e configurare le pipeline. |
| Monitorare le pipeline | Informazioni su come monitorare le pipeline e risolvere i problemi relativi alle query della pipeline. |
| Gli sviluppatori | Informazioni su come usare Python e SQL durante lo sviluppo di pipeline. |
| Pipeline autonome | Informazioni sulla creazione di tabelle di streaming autonome e viste materializzate in Databricks SQL o Python. |
| Procedure consigliate | Informazioni sui modelli consigliati per la creazione di pipeline affidabili, efficienti e gestibili. |