Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questa pagina elenca limitazioni e considerazioni per i connettori basati su query in Databricks Lakeflow Connect, inclusi requisiti per la tabella sorgente, raccomandazioni su partizionamento e indicizzazione, e funzionalità disponibili solo tramite l'API.
Limitazioni generali
Le seguenti limitazioni si applicano a tutti i connettori basati su query, indipendentemente dalla fonte.
- I connettori basati su query eseguono query sull'origine in base a una pianificazione. Non forniscono l'ingestione continua. Se è necessaria una latenza inferiore, usare un connettore di database CDC gestito.
- La colonna del cursore deve essere una singola colonna. I cursori compositi (più colonne combinate) non sono supportati. Il valore della colonna deve essere in aumento monotonico. Le righe con valori di cursore in corrispondenza o al di sotto del limite superiore archiviato non vengono reingestite.
- Le righe con una colonna di cursore NULL non vengono inserite.
- I valori del cursore timestamp vengono tracciati con precisione di microsecondi (sei cifre di frazione di secondo). Se la colonna del cursore sorgente memorizza una precisione più fine, come una colonna di SQL Server
datetime2con la precisione predefinita di 7, le righe al valore massimo del cursore con una settima cifra frazionaria diversa da zero non vengono ingerite fino a una run successiva, dopo che il valore massimo del cursore nella sorgente è aumentato. Per evitare ciò, usa una colonna cursore con al massimo sei cifre di frazione di secondo. Cambiare la colonna del cursore richiede un aggiornamento completo. - Le visualizzazioni non sono supportate. Il connettore può assorbire una visualizzazione da alcune fonti, ma funzionalità come la selezione delle colonne non sono disponibili per le visualizzazioni.
Requisiti e raccomandazioni per le tabelle di origine
Quando si progetta un carico di lavoro di inserimento dati basato su query, prendere in considerazione le seguenti caratteristiche della tabella di origine. Incidono sul modo in cui una tabella viene acquisita e sulle prestazioni del carico di lavoro.
Chiave primaria, chiave univoca e cursore
I connettori basati su query usano una chiave primaria (PK) o una chiave univoca (Regno Unito) per identificare le righe e una colonna di cursore per rilevare le modifiche. Il comportamento di inserimento dipende da quale di queste sono disponibili nella tabella di origine:
Importante
Se specifichi manualmente la chiave primaria, assicurati che sia composta da colonne uniche e non nullabili. Se l'impostazione di tracciamento della storia, nota come dimensioni che cambiano lentamente (SCD), è impostata su SCD tipo 1 o SCD tipo 2, il connettore utilizza la chiave primaria come chiave di fusione. Valori di chiave duplicati o nulli possono causare perdita silenziosa di dati. La modalità APPEND_ONLY non è influenzata perché non esegue un'unione.
| Tabella di origine | Comportamento di acquisizione |
|---|---|
| PK o UK dotato di cursore | Snapshot regolare e inserimento incrementale. |
| PK o UK senza cursore | Modalità batch snapshot (APPLY CHANGES FROM SNAPSHOT). Il connettore legge nuovamente la tabella completa in ogni esecuzione, quindi questa modalità è più adatta alle tabelle più piccole. |
| Nessun PK o UK, cursore disponibile | Il connettore genera una chiave sintetica da tutte le colonne. Questa operazione funziona per le tabelle senza righe duplicate. Per le tabelle con righe completamente duplicate, usare la APPEND_ONLY modalità di archiviazione. |
| Nessun PK o UK, nessun cursore | Il connettore genera una chiave sintetica da tutte le colonne. Utilizzare la modalità di archiviazione APPEND_ONLY usando qualsiasi colonna come cursore ed eseguire sempre un aggiornamento completo. Per le tabelle con righe completamente duplicate, APPEND_ONLY è necessario perché la chiave sintetica non può distinguere righe identiche. |
Suggerimenti per il partizionamento e l'indicizzazione
Segui queste raccomandazioni affinché il connettore possa parallelizzare le letture ed eseguire query incrementali in modo efficiente.
Il connettore seleziona automaticamente una colonna per partizionare la query di origine per eseguire letture parallele. Prima prova la colonna chiave primaria iniziale, purché sia un tipo numerico, stringa, data o timestamp. Se la colonna non è adatta, seleziona invece una colonna chiave univoca. Per il partizionamento bilanciato, la colonna deve avere:
- Cardinalità elevata: è consigliabile usare almeno 1.000 valori distinti per le tabelle che si avvicinano a 1 TB.
- Asimmetria bassa dei dati: evitare colonne i cui valori vengono raggruppati in modo pesante intorno ad alcuni valori. Le colonne asimmetriche creano partizioni sovradimensionate che possono causare timeout delle query e perdere lo stato di avanzamento quando un'esecuzione viene riavviata.
Se la colonna selezionata automaticamente non soddisfa questi criteri, contatta il team di account Databricks per richiedere la sostituzione della colonna di partizionamento.
Indicizza la colonna cursore nel database di origine con un indice B-tree. Durante la fase incrementale, il connettore filtra in base alla colonna cursore (
cursor_column > last_value). Senza un indice B-tree sulla colonna del cursore, ogni lettura incrementale scansiona l'intera tabella, il che degrada le prestazioni man mano che la tabella cresce.
Funzionalità solo per API
Le funzionalità seguenti sono supportate per i connettori basati su query, ma solo usando l'API:
- Filtro delle righe
- Rilevamento eliminazione logica (
deletion_condition) - Rilevamento dell'eliminazione definitiva (Beta)
- Inserimento solo append (
APPEND_ONLYmodalità SCD) - Catalogo e schema a destinazioni multiple