Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Microsoft Purview Unified Catalog e le funzionalità classiche di governance dei dati di Microsoft Purview (in precedenza Azure Purview) verranno ritirate. Microsoft sta consolidando le proprie funzionalità di governance dei dati in Microsoft Fabric. Non è più possibile creare nuovi account e le funzionalità esistenti rimarranno in modalità di manutenzione fino al 12 novembre 2027. Per le tempistiche di ritiro, le linee guida per la transizione e i passaggi successivi consigliati, vedere l'annuncio relativo al ritiro della governance dei dati di Microsoft Purview.
Quando si eseguono controlli di qualità dei dati in Microsoft Purview Unified Catalog, è possibile configurare e pubblicare record di errore di qualità dei dati per eccezioni alle regole. Utilizzando questa configurazione, è possibile rivedere e correggere questi record direttamente nell'archiviazione gestita.
Per le origini dati cloud, è possibile archiviare e gestire i record di errore di qualità dei dati in Microsoft Fabric Lakehouse o Azure Data Lake Storage Gen2. Per le origini dati locali, è possibile creare un database dei record degli errori in Oracle o SQL Server per archiviare e gestire i record degli errori di qualità dei dati.
Utilizzando questa funzionalità, gli utenti di Qualità dei dati di Microsoft Purview possono identificare, analizzare e risolvere i problemi di qualità dei dati. Aiuta a garantire l'accuratezza, la completezza, la coerenza, la tempestività e la validità dei dati in tutti i sistemi e casi d'uso.
Architettura
Per pubblicare i record di errore di qualità dei dati per le eccezioni alle regole, è necessario configurare l'archiviazione gestita in Microsoft Purview. L'amministratore della governance dei dati per l'organizzazione è responsabile della configurazione dei dettagli di archiviazione nella pagina di amministrazione di Microsoft Purview. Lo steward della qualità dei dati può abilitare l'interruttore dalla console di gestione della qualità dei dati o dalla pagina di panoramica della qualità dei dati in Unified CatalogGestione>>dello statoQualità dei dati.
Percorso di archiviazione della configurazione
- In Unified Catalog, vai a Gestione> integritàQualità dei dati.
- Selezionare un dominio di governance dall'elenco per aprirne la pagina dei dettagli.
- Selezionare Gestisci, quindi selezionare Impostazioni.
- Selezionare Area di Azure nell'elenco a discesa di tutte le aree di Azure supportate.
- Dopo aver selezionato l'area di Azure, selezionare Nuovo per configurare i dettagli di archiviazione.
- Selezionare il tipo di archiviazione: Fabric o Data Lake Storage Gen2.
- Immettere l'URL della posizione.
- Se si seleziona Fabric come tipo di storage, immettere l'ID area di lavoro e l'ID lakehouse. Concedere l'accesso del collaboratore a Microsoft Purview Manage Service Identity (MSI) all'area di lavoro Fabric.
- Se si seleziona Azure Data Lake Storage Gen2 come tipo di archiviazione, immettere i dettagli seguenti:
- Aggiungere la sottoscrizione di Azure. Per trovare il nome della sottoscrizione di Azure, passare a
portal.azure.com. - Aggiungi risorsa. Per trovare il nome della risorsa, seleziona Home> seleziona Risorsadall'elenco Risorse.
- Aggiungi il nome del contenitore . Per trovare il nome del contenitore, selezionare Data Lake Storage nella pagina panoramica in
portal.azure.com - Aggiungere il percorso della cartella. Questa è un'informazione facoltativa.
- Concedere l'accesso al collaboratore dei dati BLOB di archiviazione a Microsoft Purview Manage Service Identity (MSI) al contenitore Data Lake Storage Gen2.
- Aggiungere la sottoscrizione di Azure. Per trovare il nome della sottoscrizione di Azure, passare a
- Verifica la connessione.
- Salvare la configurazione.
- Puoi salvare come bozza se non hai tutte le informazioni necessarie in modo da non perdere ciò che hai inserito.
L'elaborazione è un prerequisito per la configurazione dell'archiviazione di endpoint privati o rete virtuale. Per la richiesta di approvazione dell'endpoint privato, selezionare la casella di controllo Abilita V-Net gestito . Viene inviata una richiesta di approvazione al portale di Azure, che è necessario approvare per abilitare l'accesso alla rete virtuale. Questo processo è simile alla configurazione di una connessione Data Quality. È necessario distribuire il calcolo nella stessa area di Azure dell'account di archiviazione.
Se si configura il tenant di infrastruttura per l'esecuzione in una rete virtuale o in un collegamento privato, selezionare la casella di controllo Abilita V-NET gestito nella pagina Configura archiviazione . Aggiungere quindi l'ID risorsa del collegamento privato come elencato di seguito:
/subscriptions/07d669d6-83f2-4f15-8b5b 4a4b31a7050e/resourceGroups/pdgbugbashfabricvnet/providers/Microsoft.PowerBI/priva teLinkServicesForPowerBI/fabricvnetpl.
Per configurare il calcolo per le reti virtuali, vedere Configurare la qualità dei dati per le reti virtuali gestite. Per configurare e usare il collegamento privato per il tenant di Fabric, seguire le istruzioni per configurare il collegamento privato per il tenant di Fabric prima di configurare la qualità dei dati, la connessione di rete virtuale e l'allocazione di calcolo.
Nota
- Le origini dati cloud supportate per i record di errore Data Quality sono: Azure SQL, Azure SQL MI, Azure Data Lake Storage G2, Azure Databricks, Microsoft Fabric, Azure Synapse e Google BigQuery.
- Le origini dati locali supportate per i record di errore sono: Oracle e SQL Server.
- Se i prodotti di dati includono asset provenienti da più aree di Azure, è necessario creare una cartella dei record di errore di qualità dei dati specifica dell'area per ogni area per soddisfare i requisiti di residenza dei dati. Qualità dei dati di Microsoft Purview non copia i dati tra le aree di Azure.
- Se è già stata creata una posizione di archiviazione senza specificare un'area di Azure, è necessario aggiornarla in modo da includere l'area. Qualità dei dati non riuscita/i record di errore non vengono pubblicati fino a quando non viene fornita un'area.
- Se si configurano più cartelle specifiche dell'area per l'archiviazione dei record di errore o di qualità dei dati, Qualità dei dati di Microsoft Purview instrada automaticamente i record di errore alla cartella internazionale corretta durante l'analisi.
- Se si usano reti virtuali, non è possibile testare la connessione. La scheda Verifica connessione è disabilitata.
- È possibile usare il sink di errore dietro le reti virtuali solo se si esegue il processo anche in una connessione di rete virtuale. In caso contrario, la pubblicazione della riga di errore viene ignorata.
- Per una connessione di origine di rete non virtuale ad Azure Databricks Unity Catalog, Snowflake, Google BigQuery, Azure Synapse Analytics, database Oracle locale, Fabric e database MI di Azure SQL, è necessario configurare il sink di errore nell'area dell'account Microsoft Purview, non nell'area dell'asset di dati.
- Per le origini di rete virtuale e tutti gli altri tipi di origini di rete non virtuali, l'area del sink di errore deve corrispondere all'area dell'asset.
Impostazione di archiviazione dei record di errore di qualità dei dati per l'archiviazione di rete non virtuale - Fabric:
Impostazione di archiviazione dei record di errore di qualità dei dati per l'archiviazione virtuale - Fabric:
Impostazione di archiviazione dei record di errore di qualità dei dati per l'archiviazione non virtuale - AdlsG2:
Impostazione di archiviazione dei record di errore di qualità dei dati per l'archiviazione di rete virtuale - AdlsG2:
Attenzione
- Se non si dispone di spazio di archiviazione e connessione configurati per archiviare i record di errore di qualità dei dati nell'area della risorsa (come indicato nella sezione precedente), il processo di analisi della qualità dei dati ha comunque esito positivo, ma la pubblicazione della riga di errore viene ignorata.
- Dopo aver configurato l'archiviazione e la connessione, è possibile abilitare la funzionalità di record degli errori di qualità dei dati andando a Gestione> integrità Impostazioni digestione> dellaqualità> dei datiper il dominio di governance selezionato o dalla pagina di panoramica della qualità dei dati per un asset di dati.
- Per analizzare i record errati pubblicati, usare le versioni più recenti di Spark (>= 3.xx) in Synapse o Databricks.
- Le configurazioni del sink di errore in uno stato pubblicato verranno usate solo per l'output del sink di errore, non in uno stato bozza . Se la configurazione è in uno stato bozza, il sistema ignora la pubblicazione della riga di errore nello spazio di archiviazione configurato.
Rilevamento degli errori di qualità dei dati
Per rilevare errori di qualità dei dati nei dati, configurare e impostare un'analisi della qualità dei dati. Selezionare l'asset di dati e configurare le regole per le colonne critiche che necessitano di una misurazione della qualità dei dati. È possibile utilizzare regole predefinite, creare regole personalizzate o utilizzare la funzionalità di suggerimento regola per consigliare regole per un'analisi della qualità dei dati. Per altre informazioni, vedere Regole sulla qualità dei dati.
Abilita registrazione degli errori
Per ottenere record di errore, abilitare l'acquisizione e l'archiviazione di record di errore per ogni processo di qualità dei dati eseguito seguendo questa procedura:
- Seguire le istruzioni per avviare un'analisi della qualità dei dati su un asset di dati.
- Dopo aver selezionato Esegui analisi qualitativa nella pagina dell'asset di dati, attivare l'interruttore per Abilita la pubblicazione delle righe non riuscite.
È anche possibile abilitare la registrazione degli errori per tutti gli asset di dati con regole di qualità dei dati associate ai prodotti di dati in un dominio di governance seguendo questa procedura:
- In Unified Catalog, vai a Gestione> integritàQualità dei dati.
- Selezionare un dominio di governance dall'elenco per aprirne la pagina dei dettagli.
- Selezionare Gestisci, quindi selezionare Impostazioni.
- Attivare l'interruttore per Abilita la pubblicazione delle righe non riuscite.
Configurare la pianificazione per l'esecuzione
Impostare la pianificazione per eseguire il processo di qualità dei dati e pubblicare i record di errore nello spazio di archiviazione configurato. Per altre informazioni, vedere Configurare ed eseguire analisi di qualità dei dati.
Anche se è possibile eseguire analisi di qualità dei dati su base ad hoc selezionando Esegui analisi di qualità in una pagina di asset di dati, negli scenari di produzione è probabile che i dati di origine vengano aggiornati costantemente. Monitorare regolarmente la qualità dei dati per rilevare eventuali problemi. L'automazione del processo di analisi consente di gestire gli aggiornamenti regolari delle analisi di qualità.
Controllare i record di errore nell'archiviazione configurata
- Individua la posizione delle righe di errore pubblicate nella pagina panoramica della qualità dei dati.
- Selezionare Visualizza report di analisi, nell'angolo in alto a destra, appena sotto il punteggio di qualità più recente.
- Passare al percorso visualizzato nella cartella Data Lake Storage Gen2 o Fabric Lakehouse, come illustrato nell'esempio seguente:
Gerarchia di cartelle di Data Lake Storage Gen2
Contenitore Data Lake Storage Gen2 (ad esempio, il nome della cartella è DEH):
- DataQualityAuditExtract
- Dominio di governance (BusinessDomain)
- Prodotto dati
- Asset di dati
- RunDate
- RunId
- Purview DQRunId
- File di record di errore
Leggere i record di errore di qualità dei dati da Data Lake Storage Gen2
Usare un notebook Synapse o Databricks per leggere i dati dal contenitore Data Lake Storage Gen2 usando questo script PySpark:
#For complete error records of all jobs run on the asset
path = "abfss://TestWSPDGBB@onelake.dfs.fabric.microsoft.com/TestSelfServeLakehouse.Lakehouse/Files/SelfServeFolder/DataQualityAuditExtracts/BusinessDomain_577b8e54-e534-478d-bbc6-19a3221fc71e/DataProduct_a04c82a2-2372-4b9e-9e0a-4dfd8959ee85/DataAsset_4b2b2644-c94a-447f-9b2e-32961ac0170b"
df = spark.read.format("delta").load(path)
display(df)
#For All Runs on a particular Date
path = "abfss://TestWSPDGBB@onelake.dfs.fabric.microsoft.com/TestSelfServeLakehouse.Lakehouse/Files/SelfServeFolder/DataQualityAuditExtracts/BusinessDomain_577b8e54-e534-478d-bbc6-19a3221fc71e/DataProduct_a04c82a2-2372-4b9e-9e0a-4dfd8959ee85/DataAsset_4b2b2644-c94a-447f-9b2e-32961ac0170b"
df = spark.read.format("delta").load(path).where("_purviewDQRunDate = '2025-08-06'")
display(df)
#For a Specific run
path = "abfss://TestWSPDGBB@onelake.dfs.fabric.microsoft.com/TestSelfServeLakehouse.Lakehouse/Files/SelfServeFolder/DataQualityAuditExtracts/BusinessDomain_577b8e54-e534-478d-bbc6-19a3221fc71e/DataProduct_a04c82a2-2372-4b9e-9e0a-4dfd8959ee85/DataAsset_4b2b2644-c94a-447f-9b2e-32961ac0170b"
df = spark.read.format("delta").load(path).where("_purviewDQRunId = '647b8a8f-7140-4158-9914-9c2409a5ec67'")
display(df)
#For a specific rule of the run
path = "abfss://TestWSPDGBB@onelake.dfs.fabric.microsoft.com/TestSelfServeLakehouse.Lakehouse/Files/SelfServeFolder/DataQualityAuditExtracts/BusinessDomain_577b8e54-e534-478d-bbc6-19a3221fc71e/DataProduct_a04c82a2-2372-4b9e-9e0a-4dfd8959ee85/DataAsset_4b2b2644-c94a-447f-9b2e-32961ac0170b"
df = spark.read.format("delta").load(path).where("_purviewDQRunId = '647b8a8f-7140-4158-9914-9c2409a5ec67' AND _purviewDQRuleId = '32d57f8d-87dc-4862-90c9-c3bcad1051ad'")
display(df)
#For a specific rule across all runs
path = "abfss://TestWSPDGBB@onelake.dfs.fabric.microsoft.com/TestSelfServeLakehouse.Lakehouse/Files/SelfServeFolder/DataQualityAuditExtracts/BusinessDomain_577b8e54-e534-478d-bbc6-19a3221fc71e/DataProduct_a04c82a2-2372-4b9e-9e0a-4dfd8959ee85/DataAsset_4b2b2644-c94a-447f-9b2e-32961ac0170b"
df = spark.read.format("delta").load(path).where(" _purviewDQRuleId = '32d57f8d-87dc-4862-90c9-c3bcad1051ad'")
display(df)
#For comparing two runs
path = "abfss://TestWSPDGBB@onelake.dfs.fabric.microsoft.com/TestSelfServeLakehouse.Lakehouse/Files/SelfServeFolder/DataQualityAuditExtracts/BusinessDomain_577b8e54-e534-478d-bbc6-19a3221fc71e/DataProduct_a04c82a2-2372-4b9e-9e0a-4dfd8959ee85/DataAsset_4b2b2644-c94a-447f-9b2e-32961ac0170b"
df = spark.read.format("delta").load(path).where("_purviewDQRunId = '647b8a8f-7140-4158-9914-9c2409a5ec67' OR _purviewDQRunId = 'a508f960-254c-4eb1-9097-03307402475b'")
display(df)
Set di dati di esempio:
Leggere i record di errore da Fabric Lakehouse
- Vai al percorso mostrato nella tua Lakehouse ed esplora tutti i record di fallimento pubblicati su Fabric Lakehouse.
- Creare un collegamento da Delta Parquet a Delta Table. In alternativa, è possibile usare un file Delta Parquet per creare un dashboard dei record di errore di qualità dei dati, come illustrato in questo esempio:
Usare un blocco appunti per creare una tabella di collegamento di record di asset di dati non riusciti. Visualizza lo script del blocco appunti.
Modello di dati di output
È possibile visualizzare i record non riusciti a livello di un asset di dati regolamentato. Per ogni nuova esecuzione di valutazione che ha esito positivo nell'asset di dati, il processo aggiunge un nuovo set di record non riusciti per ogni valutazione delle regole alla tabella dei record non riusciti.
Formato: Delta
Schema di output: ogni riga di output contiene tutte le colonne di una riga di asset di dati di input che non ha superato una valutazione delle regole, insieme a un set di colonne di metadati che è possibile usare per identificare e analizzare la riga non riuscita.
Chiave primaria: chiave composta di colonne di risorse di dati di input + _purviewDQRunId + _purviewDQRuleId
| Colonne di metadati | Data type | Descrizione |
|---|---|---|
| _purviewDQRunId | stringa | GUID che rappresenta l'ID esecuzione dell'analisi della valutazione disponibile per l'utente al momento dell'esecuzione. Inoltre, una colonna di partizione Delta. |
| _purviewDQRunDate | stringa | La data di esecuzione nel formato AAAA-MM-GG. Inoltre, una colonna di partizione Delta. |
| _purviewDQRuleId | stringa | ID regola di qualità che corrisponde alla regola non riuscita. Inoltre, una colonna di partizione Delta. |
| _purviewDQRuleName | stringa | Nome regola al momento dell'esecuzione del processo. |
| _purviewDQRuleType | stringa | Il tipo di regola (ad esempio: UniqueCheck, NotNull, Regex). |
| _purviewDQGovernanceDomainId | stringa | ID del dominio di governance dell'asset di dati eseguito. |
| _purviewDQDataProductId | stringa | Prodotto dei dati dell'asset di dati eseguito. |
| _purviewDQDataAssetId | stringa | L'ID dell'asset di dati. |
| _purviewDQRunSubmitTimestamp | stringa | I timestamp esatti dell'ora di invio dell'esecuzione nel fuso orario UTC predefinito in base al formato ISO. |
Creare un dashboard Power BI per i record di errore di qualità dei dati
Usare l'ID di dominio aziendale per collegare i prodotti dati e gli asset di dati associati per la creazione di report sui record di errore di qualità dei dati.
- Un dominio aziendale può essere collegato a più prodotti di dati.
- Ogni prodotto di dati può essere collegato a più asset di dati.
- Ogni asset di dati può avere più regole.
- Ogni regola può generare più record di errore.
Questa immagine illustra un modello di dati per creare un report di base del record di errore di qualità dei dati:
Questa immagine illustra un report di esempio creato con il modello di dati mostrato nell'immagine precedente:
Limitazioni
- Per ogni esecuzione vengono pubblicati 100.000 record non riusciti per ogni regola.
- Sono stati analizzati set di dati con un massimo di 100 milioni di righe con un massimo di 40 regole.
- Poiché i dati vengono archiviati nell'archiviazione gestita dell'organizzazione, l'organizzazione è proprietaria del controllo dell'accesso basato sui ruoli per i dati. Microsoft pubblica righe di errore di qualità dei dati nello spazio di archiviazione di un'organizzazione in base al consenso dell'organizzazione.
Nota
Non è possibile accedere alle righe non riuscite selezionando l'URL. Per motivi di sicurezza, l'esplorazione diretta del database dei record di errore tramite l'URL non è supportata.
URL di esempio: https://onelake.dfs.fabric.microsoft.com/xxxxxxx-4xxx-88aa-xxxe22db3d5/babea959-fxxxxxxxxx-d2efe0716593/Files/xxxx1/DataQualityAuditExtracts/BusinessDomain_xxxx-xxxx-ccc9-92c2-1554a93dd2af/DataProduct_abc33xxxxyu-28ec-4186-01fg-591c0420e677/DataAsset_xxxxx-583a-49ee-abd6-6543464654e4ss
Script per creare un collegamento
È possibile automatizzare la creazione di collegamenti alle tabelle dal controllo della qualità dei dati che estrae i dati delle righe non riusciti usando questo script in un notebook di Fabric. Dopo aver creato le tabelle di collegamento, i record di errore per i nuovi processi vengono eseguiti sulla tabella dei collegamenti delle risorse vengono aggiornati automaticamente in Fabric.
# NEW Script to automate the creation of table shortcuts from Data Quality audit extracts failed row data.
# Update these three values for your Fabric Workspace ID, Lakehouse ID and Purview BYOC Self-serve store path
workspaceId = "f28dc1c8-360c-4788-9f46-e69853b1c40d" #Example: f28dc1c8-360c-4788-9f46-e69853b1c40d
lakehouseId = "77d6df6b-64ab-4628-985f-9365591a85a8" #Example: 77d6df6b-64ab-4628-985f-9365591a85a8
dataqualityauditPath = "Files/SelfServeFolder/DataQualityAuditExtracts" #Example: "Files/DEH2/DataQualityAuditExtracts"
#Use for lakehouses with Lakehouse-Schema (Public preview feature)
DestinationShortcutUri = f"abfss://{workspaceId}@onelake.dfs.fabric.microsoft.com/{lakehouseId}/Tables/DataQualityAuditExtracts"
#Use for lakehouses without Lakehouse-Schema
#DestinationShortcutUri = f"abfss://{workspaceId}@onelake.dfs.fabric.microsoft.com/{lakehouseId}/Tables"
import sempy.fabric as fabric
from sempy.fabric.exceptions import FabricHTTPException
import fnmatch
import re
import os
from collections import deque
SourceUri = f"abfss://{workspaceId}@onelake.dfs.fabric.microsoft.com/{lakehouseId}/{dataqualityauditPath}"
request_headers = {
"Authorization": "Bearer " + mssparkutils.credentials.getToken("pbi"),
"Content-Type": "application/json"
}
print(request_headers)
def is_delta_table(uri: str):
#print("Checking for uri:" + uri)
delta_log_path = os.path.join(uri, "_delta_log")
return mssparkutils.fs.exists(delta_log_path)
def extract_onelake_https_uri_components(uri):
pattern = re.compile(r"abfss://([^@]+)@[^/]+/([^/]+)/(.*)")
match = pattern.search(uri)
if match:
workspace_id, item_id, path = match.groups()
return workspace_id, item_id, path
else:
return None, None, None
def is_valid_onelake_uri(uri: str) -> bool:
workspace_id, item_id, path = extract_onelake_https_uri_components(uri)
if "abfss://" not in uri or workspace_id is None or item_id is None or path is None:
return False
return True
def get_onelake_shorcut(workspace_id: str, item_id: str, path: str, name: str):
shortcut_uri = (
f"v1/workspaces/{workspace_id}/items/{item_id}/shortcuts/{path}/{name}"
)
result = client.get(shortcut_uri).json()
return result
def get_last_path_segment(uri: str):
path = uri.split("/") # Split the entire URI by '/'
return path[-1] if path else None
def create_onelake_shorcut(SourceUri: str, dest_uri: str, result: list):
src_workspace_id, src_item_id, src_path = extract_onelake_https_uri_components(
SourceUri
)
dest_workspace_id, dest_item_id, dest_path = extract_onelake_https_uri_components(
dest_uri
)
name = get_last_path_segment(SourceUri)
dest_uri_joined = os.path.join(dest_uri, name)
# If the destination path already exists, return without creating shortcut
if mssparkutils.fs.exists(dest_uri_joined):
print(f"Table already exists: {dest_uri_joined}")
result.append(dest_uri_joined)
return None
request_body = {
"name": name,
"path": dest_path,
"target": {
"oneLake": {
"itemId": src_item_id,
"path": src_path,
"workspaceId": src_workspace_id,
}
},
}
#print(request_body)
shortcut_uri = f"v1/workspaces/{dest_workspace_id}/items/{dest_item_id}/shortcuts"
print(f"Creating shortcut: {shortcut_uri}/{name}..")
try:
client.post(shortcut_uri, json=request_body, headers=request_headers)
except FabricHTTPException as e:
print(e)
print(e.error_reason)
return None
return get_onelake_shorcut(dest_workspace_id, dest_item_id, dest_path, name)
client = fabric.FabricRestClient()
queue = deque([SourceUri])
result = []
while queue:
current_uri = queue.popleft()
#print(current_uri)
if is_delta_table(os.path.join("", current_uri)):
#print(current_uri)
shortcut = create_onelake_shorcut(os.path.join("", current_uri), DestinationShortcutUri, result)
if shortcut is not None:
result.append(shortcut)
continue;
# List subitems in the current folder
subitems = mssparkutils.fs.ls(current_uri)
for item in subitems:
if item.isDir:
queue.append(item.path)
print(f"{len(result)}" + " error record shortcut tables present in the lakehouse: ")
for item in result:
print(item)
Record di errore per le origini dati locali
I record di errore di qualità dei dati per le origini dati locali vengono archiviati all'interno dei database Oracle o SQL Server locali corrispondenti. Gli utenti devono definire un database degli errori designato in cui verranno archiviati i record di errore di qualità dei dati. Per ogni origine dati locale supportata, gli utenti devono creare un database degli errori nello stesso ambiente. Ad esempio, se gli utenti eseguono valutazioni della qualità dei dati su un database Oracle, devono creare un database degli errori Oracle per archiviare i record di errore o non riusciti risultanti. Analogamente, se gli utenti valutano la qualità dei dati in un database di SQL Server, devono creare un database di SQL Server in cui archiviare i record di qualità dei dati non riusciti corrispondenti.
Esempio di configurazione dei record di errore di qualità dei dati del database Oracle
Errore relativo alla convenzione di denominazione delle tabelle dei record
Formato nome tabella
PURVIEW_ERRORRECORD_<SCHEMA>_<ASSET_NAME>
Esempio
- Schema: ORACLENEW_DATAGOV
- Nome risorsa / tabella: EMPLOYEE_DETAILS_ERRORRECORD
Nome tabella finale:
PURVIEW_ERRORRECORD_ORACLENEW_DATAGOV_EMPLOYEE_DETAILS_ERRORRECORD
Questa convenzione assicura:
- Chiara tracciabilità allo schema di origine
- Facile identificazione delle tabelle di registrazione degli errori
- Allineamento con gli standard di governance dei dati Purview
Scenari di caricamento dei dati
Scenario 1: Caricamento First-Time (creazione di tabelle)
- Tabella, colonne e indici vengono creati durante la prima esecuzione
- Record inseriti: 1.000.000
- Regole applicate: 1
Timestamp:
- Creato il: 28/01/2026 19:37:55
- Ultima modifica: 28/01/2026 19:41:34
Scenario 2: Carico su tabella esistente
- Tabella già esistente
- Si verifica solo l'inserimento dei dati
- Record inseriti: 1.000.000
- Regole applicate: 1
Timestamp:
- Creato il: 28/01/2026 19:33:19
- Ultima modifica: 28/01/2026 19:36:54
Ripristino degli errori e logica di riavvio
- Se l'inserimento dei dati non riesce, il processo riprende dall'ultimo record inserito correttamente.
- I record inseriti in precedenza non vengono duplicati.
Ciò garantisce:
- Comportamento idempotente
- Nessuna perdita di dati
- Ricondizionamento minimo
Esecuzione di query sulle tabelle dei record di errore
Tabella di origine: PRODUTTORI Tabella dei record di errore: PURVIEW_ERRORRECORD_DBO_MANUFACTURERS
Query di esempio
SELECT TOP 5 * FROM PURVIEW_ERRORRECORD_DBO_MANUFACTURERS WITH (NOLOCK) WHERE _PurviewJobId = 'c7f7c92e-9a36-46c5-86bc-bc3c595d5ddd';
Questa query recupera i record di errore associati a un'esecuzione specifica di un processo di Microsoft Purview.
Metriche delle prestazioni di SQL Server
1 milione di prestazioni di inserimento dei record
Tempo di esecuzione:
- Creato il: 29/01/2026 16:45:05
- Ultima modifica: 29/01/2026 16:54:14
Tempo totale impiegato: ~9 minuti
Ciò dimostra l'inserimento di massa efficiente utilizzando l'elaborazione parallela.
Nota
- Per le operazioni di governance dei dati è necessario configurare le autorizzazioni appropriate di Oracle e SQL Server.
- Usare convenzioni di denominazione standardizzate per le tabelle dei record di errore.
- Gli inserti su larga scala devono essere ottimizzati utilizzando il dosaggio parallelo.
- L'abilitazione del ripristino in caso di errore garantisce un riavvio sicuro senza duplicazioni.
Contenuto correlato
- Qualità dei dati per i dati lakehouse fabric
- Qualità dei dati per le origini dati con mirroring di Fabric
- Qualità dei dati per le origini dati di collegamento a Fabric
- Qualità dei dati per Azure Synapse serverless e data warehouse
- Qualità dei dati per il catalogo Unity di Azure Databricks
- Qualità dei dati per le origini dati di Snowflake
- Qualità dei dati per Google BigQuery
- Qualità dei dati: supporto nativo per i dati Iceberg