Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Important
Questa funzionalità è in versione beta. Per utilizzarlo, un amministratore dello spazio di lavoro deve attivare Feature Views Advanced Functionality dalla pagina Previews. Vedere Gestire le anteprime di Azure Databricks.
Utilizzare una purga delle entità delle feature per rimuovere i valori calcolati di una o più Feature Views per le entità selezionate. Per impostazione predefinita, una purga imposta i valori delle caratteristiche selezionate su NULL nelle righe corrispondenti delle tabelle di materializzazione offline e online applicabili in Unity Catalog e Lakebase. Per eliminare le righe corrispondenti, imposta delete_rows=True. Esegui la purge nello spazio di lavoro dove sono state create le materializzazioni che vuoi sottoporre a purge. Non elimina le definizioni della Feature View, le materializzazioni o i dati di origine. Le materializzazioni create in altri spazi di lavoro non sono influenzate.
Ad esempio, puoi eliminare i valori delle feature materializzati di un cliente dopo aver ricevuto una richiesta di cancellazione dei dati. Per rimuovere anche le righe che contengono le chiavi di entità del cliente, impostare delete_rows=True.
Warning
Prima di inviare un'eliminazione, devi rimuovere le entità selezionate dai dati di origine delle feature e impedire all'origine di ricevere nuovi dati per quelle entità. Una purga non cambia la sorgente né interrompe la materializzazione programmata e continua. Se i dati di origine corrispondenti rimangono o arrivano più tardi, una materializzazione ricrea i valori.
Requirements
- Le funzionalità devono essere Feature Views registrate. Ogni Feature View deve avere almeno una materializzazione creata nello spazio di lavoro dove si invia la purga. Per eliminare le materializzazioni create in diversi spazi di lavoro, invia una richiesta separata in ciascun spazio di lavoro.
RequestSource,FeatureViewSource, e altre funzionalità non materializzabili non sono supportate. - Specificare da 1 a 500 feature univoche con i nomi in tre parti del relativo Unity Catalog.
- Nessuna funzionalità può avere un backfill in corso, o una purga nella fase di cancellazione logica, quando invii la richiesta. Vedi Backfill Feature Views.
- La tabella delle entità deve essere una tabella Delta del Catalogo Unity con almeno una colonna. Vedi Preparare la tabella delle entità.
- Usa Databricks Feature Engineering client versione 0.18.0 e superiore.
- Per la cancellazione delle righe con
delete_rows=True, si utilizza la versione client 0.18.3 e superiore di Databricks Feature Engineering. - Per
delete_rows=True, includi ogni caratteristica condivisa da ogni tabella materializzata interessata. Una richiesta può abbracciare più tabelle, e il requisito si applica indipendentemente a ciascuna tabella. La validazione rifiuta una copertura incompleta conINVALID_PARAMETER_VALUEe elenca le tabelle e le colonne interessate che la richiesta non copre.
Permissions
Per la produzione, Databricks raccomanda di eseguire purge con lo stesso service principal che crea e materializza le Feature Views. Questa entità principale normalmente ha già i privilegi richiesti. Se i privilegi sono cambiati, verifica i seguenti requisiti prima di inviare un'eliminazione.
Per inviare e completare una purga, devi avere i seguenti privilegi:
-
MANAGEsu ogni Feature View nella richiesta. -
SELECTsulla tabella delle entità. -
SELECTeMODIFYsu ogni tabella offline, parziale aggregata e online aggiornata dalla purga. - L'accesso all'istanza o al progetto Lakebase utilizzato dallo store online, incluso il permesso di leggere e aggiornare le sue tabelle online, e di eliminare le righe quando
delete_rows=True. Vedere Concedere le autorizzazioni del progetto. - Autorizzazione a leggere, per uno Stream schema-registry senza uno schema incorporato, i metadati della relativa tabella di ingestione, come
SELECToREAD_METADATA, ove disponibili. La validazione di purga legge lo schema per risolvere i tipi di chiavi di entità, non le righe della tabella di ingestione. -
USE CATALOGeUSE SCHEMAautorizzazioni sul catalogo e sullo schema genitore di ciascuna risorsa elencata sopra.
Per descrizioni complete dei privilegi del Catalogo Unity, vedi riferimento ai privilegi del Catalogo Unity. Per i permessi delle Feature View, vedi Materializzare le Feature View.
Prepara la tabella delle entità
Crea una tabella Delta che identifichi le entità da eliminare. Ogni colonna deve corrispondere a una chiave di entità di ogni Feature View nella richiesta. I nomi delle colonne e i tipi di dati devono corrispondere alle chiavi dell'entità della Feature View. Non includere colonne non chiave.
La tabella può contenere un sottoinsieme delle chiavi di entità che è un prefisso iniziale della lista delle entità della Feature View. L'eliminazione corrisponde a tutte le entità con i valori di chiave forniti, indipendentemente dalle chiavi rimanenti. Sono supportati i valori di chiave nulli.
Important
Le colonne della entities-table devono contenere tutte le chiavi di entità o un prefisso iniziale che corrisponda all'ordine dell'elenco delle entità della Feature View. L'ordine delle colonne nella tabella delle entità non conta.
Per le tabelle online esistenti, l'ordine della chiave primaria può differire dall'ordine dell'elenco delle entità della Feature View. In tal caso, la validazione utilizza invece il prefisso di chiave primaria della tabella online e riporta l'ordine richiesto se una richiesta di chiave parziale non corrisponde.
Le Feature View richieste possono avere insiemi di chiavi di entità diversi, purché le colonne della tabella entities siano un sottoinsieme dell'insieme di chiavi di entità di ogni Feature View.
Il job di purga risolve una versione della tabella Delta e usa quell'istantanea per ogni target. Non modificare la tabella delle entità dopo aver inviato la richiesta. Per rimuovere definitivamente le entità aggiunte dopo che il processo ha determinato la versione, invia un'altra richiesta.
Scegli valori NULL o l'eliminazione delle righe
Per impostazione predefinita, una purga imposta i valori delle caratteristiche selezionate a NULL e mantiene le righe, incluse le relative chiavi di entità e le altre colonne. Usa questa modalità per rimuovere i valori delle caratteristiche mantenendo le righe.
Imposta delete_rows=True per rimuovere le righe corrispondenti, comprese le relative chiavi entità. Usa la cancellazione delle righe per una richiesta di cancellazione dei dati che richiede la rimozione delle chiavi entità così come dei valori delle feature. Includi ogni caratteristica che condivide ogni tabella materializzata interessata, come descritto nei Requisiti.
Come funziona la pulizia
Una purga ha due fasi:
- Cancellazione logica (
PENDING_PURGEeRUNNING_PURGEstati): La purga elimina le righe corrispondenti o imposta i valori delle caratteristiche aNULL, quindi sincronizza le modifiche online. Dopo questa fase, la purga libera il blocco sulle funzionalità, così può iniziare un'altra purga durante il cleanup. - Pulizia (
PENDING_CLEANUPeRUNNING_CLEANUPstati): Per le tabelle offline, la purga attende almeno sette giorni, poi rimuove file di dati obsoleti e log delle transazioni. L'operazione rimane incompleta fino al termine della pulizia.
Se la ritenzione di file o log di una tabella offline supera sette giorni, la purga la riduce a sette giorni per l'intera tabella, limitando così il viaggio temporale su quella tabella a sette giorni. Non aumentare nessuna delle due impostazioni di conservazione oltre sette giorni durante l'operazione, altrimenti la pulizia fallisce.
Le proprietà di conservazione sono delta.deletedFileRetentionDuration per i file dati e delta.logRetentionDuration per i log delle transazioni. La purga non ripristina i loro valori originali dopo la pulizia.
Per Lakebase, Databricks raccomanda una finestra di ripristino a un punto nel tempo (PITR) di sette giorni o meno. Vedi Configura la finestra di ripristino. Le purghe non attendono la pulizia automatica della cronologia di Lakebase né verificano la cancellazione fisica di quella cronologia.
Avvia una purga
Chiamare FeatureEngineeringClient.purge_feature_entities. L'argomento delete_rows è predefinito Falsesu , quindi l'esempio seguente imposta i valori delle feature a NULL e mantiene le righe. Il metodo restituisce un'operazione di lunga durata senza attendere la fine dello svuotamento.
from databricks.feature_engineering import FeatureEngineeringClient
fe = FeatureEngineeringClient()
operation = fe.purge_feature_entities(
features=[
"main.feature_store.customer_purchase_count_30d",
"main.feature_store.customer_purchase_total_30d",
],
entities_table="main.feature_store.entities_to_purge",
)
print(f"Purge operation: {operation.name()}")
Per eliminare invece le righe corrispondenti:
operation = fe.purge_feature_entities(
features=[
"main.feature_store.customer_purchase_count_30d",
"main.feature_store.customer_purchase_total_30d",
],
entities_table="main.feature_store.entities_to_purge",
delete_rows=True,
)
Monitorare lo stato delle operazioni
Usa operation.done() per aggiornare l'operazione e verificare se è terminata. Ispeziona il suo stato con operation.metadata() o interroga fe.get_operation(name=operation.name()) e leggi metadata["state"].
Per le purghe offline con pulizia, gli stati descrivono queste fasi:
-
PENDING_PURGE: La cancellazione logica è in attesa di iniziare. -
RUNNING_PURGE: La purga elimina le righe corrispondenti o imposta i valori delle feature aNULLe sincronizza le modifiche online. -
PENDING_CLEANUP: La purga sta aspettando la scadenza del periodo di ritenzione offline. -
RUNNING_CLEANUP: L'eliminazione consiste nel ripulire i file di dati offline obsoleti e i log delle transazioni.
Le purghe e le run solo online senza compiti di pulizia possono segnalare PENDING o RUNNING invece. L'operazione termina con SUCCEEDED, FAILED, oppure CANCELLED.
Controlla i risultati per funzionalità
I risultati per feature sono disponibili dopo la fine dell'operazione. Nella sessione di invio, usa operation.wait() dopo che operation.done() restituisce True. Per recuperare i risultati in una sessione successiva, chiama fe.get_operation(name=...) con il nome dell'operazione stampato quando hai inviato la purga:
from databricks.feature_engineering import FeatureEngineeringClient
from databricks.sdk.service.ml import PurgeFeatureEntitiesResponse
fe = FeatureEngineeringClient()
status = fe.get_operation(name="operations/<operation_id>")
if not status.done:
print(f"Purge is still in progress: {status.metadata['state']}")
elif status.error:
print(f"Purge operation error: {status.error}")
else:
response = PurgeFeatureEntitiesResponse.from_dict(status.response)
print(f"Purge state: {response.state}")
for result in response.results or []:
print(
result.feature,
result.offline_state,
result.online_state,
result.error,
)
La risposta completa contiene un risultato per ogni Feature View:
-
offline_stateriporta l'esito per le materializzazioni offline. -
online_stateriporta l'esito combinato delle materializzazioni online. - Un esito è
SUCCEEDED,FAILED, oNOT_APPLICABLE. - Un risultato è
NOT_APPLICABLEquando la Feature View non ha un target di materializzazione per quel tipo di store. Ad esempio, una Feature View solo online ha un risultato offline diNOT_APPLICABLE, e una Feature View senza materializzazione online ha un risultato online diNOT_APPLICABLE. -
errorcontiene l'errore specifico della Feature View quando un target applicabile fallisce.
Controlla ogni risultato per funzionalità. Un'operazione può concludersi con risultati diversi per diverse Feature View o tipi di store.
Controlla anche response.state e response.error per un guasto a livello operativo.
Recuperare da un errore parziale
Se una purga fallisce parzialmente, ispezionare gli errori per funzione e correggere eventuali problemi di accesso o configurazione. Poi invia una nuova richiesta di purga con una nuova request_id per le Feature Views con risultati falliti. Per la cancellazione delle righe, includere ogni caratteristica che condivide ogni tabella materializzata interessata, anche se alcune di queste caratteristiche hanno avuto successo nella richiesta precedente. Mantieni puliti i dati sorgente prima di riprovare. Se i problemi persistono, contatta l'assistenza Databricks.
Riprovare una richiesta in modo sicuro
Imposta request_id su un valore UUID4 e mantienilo fino a quando la richiesta non viene accettata. Se un guasto di rete o di un client rende il risultato dell'invio ambiguo, riprova la stessa richiesta con lo stesso ID. Databricks restituisce l'operazione esistente invece di avviare una seconda eliminazione.
Il set di funzionalità e la tabella delle entità devono corrispondere alla richiesta originale. Il riutilizzo di un ID con parametri di richiesta diversi viene rifiutato. Il client genera un ID quando ne ometti uno, ma è necessario un ID esplicito per rendere idempotenti i tentativi a livello applicativo. Questo è utile anche quando un livello di orchestrazione esterno può riprovare l'operazione.
Costi di calcolo per la purga degli attributi
Le esecuzioni di purga utilizzano calcolo serverless. Con il client Databricks Feature Engineering versione 0.18.1 e superiore, utilizzare tags o budget_policy_id per attribuire il costo di calcolo:
operation = fe.purge_feature_entities(
features=["main.feature_store.customer_purchase_count_30d"],
entities_table="main.feature_store.entities_to_purge",
tags={"team": "recommendations", "workflow": "privacy-deletion"},
budget_policy_id="00000000-0000-0000-0000-000000000000",
)
I tag si applicano al purge compute, non alle risorse Unity Catalog Feature. Una richiesta supporta al massimo 25 tag.