Inventario dell'archiviazione BLOB di Azure

L'inventario dei BLOB di Archiviazione di Azure fornisce un elenco dei contenitori, dei BLOB, delle versioni dei BLOB e degli snapshot nel tuo account di archiviazione, insieme alle proprietà associate. Genera un report di output in formato con valori delimitati da virgole (CSV) o Apache Parquet su base giornaliera o settimanale. È possibile usare il report per controllare la conservazione, il blocco a fini giudiziari o lo stato di crittografia dei contenuti dell'account di archiviazione oppure per conoscere le dimensioni totali dei dati, l'età, la distribuzione su livelli o altri attributi dei dati. È anche possibile usare l'inventario BLOB per semplificare i flussi di lavoro aziendali o velocizzare i processi di elaborazione dei dati, usando l'inventario BLOB come automazione pianificata delle API Elenca contenitori ed Elencare BLOB. Le regole dell'inventario BLOB consentono di filtrare i contenuti del report in base al tipo di BLOB, al prefisso o selezionando le proprietà del BLOB da includere nel report.

L'inventario dei BLOB di Archiviazione di Azure è disponibile per i seguenti tipi di account di archiviazione:

• Standard per utilizzo generale v2
• Archiviazione BLOB in blocchi Premium
• Archiviazione di oggetti binari

Funzionalità dell'inventario

L'elenco seguente descrive le caratteristiche e le funzionalità disponibili nella versione corrente dell'inventario BLOB di Archiviazione di Azure.

• Report di inventario per BLOB e contenitori

  È possibile generare report di inventario per blob e contenitori. Un report per BLOB può contenere BLOB di base, snapshot, lunghezza del contenuto, versioni del BLOB e relative proprietà associate, ad esempio ora di creazione, ora dell'ultima modifica. I contenitori vuoti non sono elencati nel report dell'inventario BLOB. Un report sui contenitori descrive i contenitori e le proprietà associate, come lo stato dei criteri di non modificabilità e lo stato della conservazione a fini legali.

• Schema personalizzato

  È possibile scegliere i campi visualizzati nei report. Scegliere da un elenco di campi supportati. Questo elenco viene visualizzato più avanti in questo articolo.

• Formato di output CSV e Apache Parquet

  È possibile generare un report di inventario in formato di output CSV o Apache Parquet.

• File manifesto ed evento di Griglia di eventi di Azure per ciascun report di inventario

  Per ogni report di inventario viene generato un file manifesto e un evento di Griglia di eventi di Azure. Questi verranno descritti più avanti in questo articolo.

Abilitazione dei report di inventario

Abilita i report di inventario dei blob aggiungendo un criterio con una o più regole nel tuo account di archiviazione. Per indicazioni, vedere Abilitare i report di inventario dei blob di Archiviazione di Azure.

Aggiornare un criterio di inventario

Se si usa già l'inventario BLOB di Archiviazione di Azure e lo si è configurato prima di giugno 2021, è possibile iniziare a usare le nuove funzionalità caricando il criterio e quindi salvandolo nuovamente dopo aver apportato modifiche. Quando si ricarica il criterio, i nuovi campi nel criterio vengono popolati con valori predefiniti. È possibile cambiare questi valori se lo si desidera. Saranno inoltre disponibili le due funzionalità seguenti.

• Un contenitore di destinazione è ora supportato per ogni regola invece di essere supportato solo per i criteri.

• Un file manifesto e un evento di Griglia di eventi di Azure vengono ora generati per ogni regola anziché per ogni criterio.

Criteri di gestione delle scorte

Il report di inventario viene configurato aggiungendo un criterio dell'inventario con una o più regole. Un criterio dell'inventario è una raccolta di regole in un documento JSON.

{
  "enabled": true,
  "rules": [
  {
    "enabled": true,
    "name": "inventoryrule1",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  },
  {
    "enabled": true,
    "name": "inventoryrule2",
    "destination": "inventory-destination-container",
    "definition": {. . .}
  }]
}

Visualizzare il codice JSON per un criterio dell'inventario selezionando la scheda Visualizzazione Codice nella sezione Inventario BLOB del portale di Azure.

Regole dell'inventario

Una regola acquisisce le condizioni di filtro e i parametri di output per la generazione di un report dell'inventario. Ogni regola crea un report di inventario. Le regole possono avere prefissi sovrapposti. Un blob può comparire in più di un inventario, a seconda delle definizioni della regola.

Ogni regola all'interno del criterio presenta vari parametri:

Il flag globale Inventario BLOB abilitato ha la precedenza sul parametro enabled in una regola.

Definizione della regola

Filtri delle regole

Per personalizzare un report di inventario BLOB sono disponibili diversi filtri:

Visualizzare il codice JSON per le regole dell'inventario selezionando la scheda Visualizzazione Codice nella sezione Inventario BLOB del portale di Azure. I filtri vengono specificati in una definizione della regola.

{
  "destination": "inventory-destination-container",
  "enabled": true,
  "rules": [
  {
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob", "appendBlob", "pageBlob"],
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"],
        "excludePrefix": ["inventorytestcontainer10", "etc/logs"],
        "includeSnapshots": false,
        "includeBlobVersions": true,
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name", "Creation-Time"]
    },
    "enabled": true,
    "name": "blobinventorytest",
    "destination": "inventorydestinationContainer"
  },
  {
    "definition": {
      "filters": {
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"]
      },
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name", "HasImmutabilityPolicy", "HasLegalHold"]
    },
    "enabled": true,
    "name": "containerinventorytest",
    "destination": "inventorydestinationContainer"
    }
  ]
}

Campi schema personalizzati supportati per l'inventario dei blob

Campo	Archiviazione BLOB (supporto predefinito)	Archiviazione Data Lake
Name (obbligatorio)
Ora di creazione
Ultima modifica
UltimoTempoDiAccesso1
ETag
La lunghezza del contenuto
Tipo di Contenuto
Codifica contenuto
Lingua del contenuto
Contenuto-CRC64
Content-MD5
Cache-Control
Cache-Disposition
Tipo di blob
Livello di accesso
TempiDiModificaDellaCategoriaDiAccesso
Stato di locazione
LeaseState
Crittografato dal server
CustomerProvidedKeySHA256
Metadati
Ora di scadenza
hdi_isfolder
Proprietario
Gruppo
Autorizzazioni
Acl
Snapshot (disponibile e obbligatorio quando si sceglie di includere gli snapshot nel report)
Eliminata
ID eliminato
Tempo Eliminato
GiorniRimanentiDiConservazione
VersionId (disponibile e obbligatorio quando si sceglie di includere le versioni dei BLOB nel report)
IsCurrentVersion (disponibile e obbligatorio quando si sceglie di includere le versioni dei BLOB nel report)
TagCount
Tag
CopyId
Sorgente di copia
Stato della copia
Avanzamento della copia
TempoDiCompletamentoCopia
DescrizioneStatoCopia
PoliticaDiImmutabilitàFinoAllaData
Modalità di Politica di Immutabilità
Blocco legale
RehydratePriority
Stato dell'archivio
EncryptionScope
IncrementalCopy
x-ms-blob-sequence-number

¹ Disattivato per impostazione predefinita. Abilitare facoltativamente il rilevamento dell'ora dell'ultimo accesso.

Campi dello schema personalizzati supportati per l'inventario contenitore

Campo	Archiviazione BLOB (supporto predefinito)	Archiviazione Data Lake
Name (obbligatorio)
Ultima modifica
ETag
Stato di locazione
LeaseState
Durata del Contratto di Locazione
Metadati
Accesso pubblico
DefaultEncryptionScope
DenyEncryptionScopeOverride
HasImmutabilityPolicy
HasLegalHold
Archiviazione Immutabile con Versionamento Abilitato
Deleted (viene visualizzato solo se è selezionato Includi contenitori eliminati)
Versione (Viene visualizzata solo se è selezionato Includi contenitori eliminati)
DeletedTime (viene visualizzato solo se è selezionato Includi contenitori eliminati)
Giorni di conservazione rimanenti (verrà visualizzato solo se è selezionata l'opzione "Includi contenitori eliminati")

Esecuzione dell'inventario

Se si configura l'esecuzione giornaliera di una regola, l'esecuzione verrà pianificata per essere eseguita ogni giorno. Se si configura l'esecuzione settimanale di una regola, l'esecuzione verrà pianificata per essere eseguita ogni settimana, la domenica, all'ora UTC.

Il tempo impiegato per generare un report di inventario dipende da vari fattori e il tempo massimo entro il quale un'esecuzione dell'inventario può essere completata prima di fallire è di sei giorni. Per altre informazioni su questi fattori che influenzano, vedere Caratteristiche delle prestazioni dell'inventario BLOB.

Le esecuzioni non si sovrappongono, pertanto è necessario che un'esecuzione sia stata completata prima che possa iniziarne un'altra della stessa regola. Ad esempio, se per una regola è pianificata l'esecuzione giornaliera, ma l'esecuzione della stessa regola del giorno precedente è ancora in corso, quel giorno non verrà avviata una nuova esecuzione. Le regole per cui è stata pianificata l'esecuzione settimanale verranno eseguite ogni domenica indipendentemente dal fatto che l'esecuzione precedente abbia avuto esito positivo o negativo. Se un'esecuzione non viene completata correttamente, controllare che le esecuzioni successive vengano completate prima di contattare il supporto. Le prestazioni di una singola esecuzione possono variare; pertanto, se un'esecuzione non si completa, è possibile che quelle successive si completino.

I criteri di inventario vengono letti o scritti integralmente. Gli aggiornamenti parziali non sono supportati. Le regole di inventario vengono valutate ogni giorno. Pertanto, se si modifica la definizione di una regola, ma le regole di un criterio sono già state valutate per quel giorno, gli aggiornamenti non verranno valutati fino al giorno successivo.

Evento di completamento dell'inventario

L'evento BlobInventoryPolicyCompleted viene generato al termine dell'esecuzione dell'inventario per una regola. Questo evento viene generato anche se l'esecuzione dell'inventario ha esito negativo e viene visualizzato un errore utente prima dell'avvio dell'esecuzione. Ad esempio, un criterio non valido o un errore che si verifica quando un contenitore di destinazione non è presente attiverà l'evento. Il codice JSON seguente mostra un esempio di evento BlobInventoryPolicyCompleted.

{
  "topic": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/BlobInventory/providers/Microsoft.EventGrid/topics/BlobInventoryTopic",
  "subject": "BlobDataManagement/BlobInventory",
  "eventType": "Microsoft.Storage.BlobInventoryPolicyCompleted",
  "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "data": {
    "scheduleDateTime": "2021-05-28T03:50:27Z",
    "accountName": "testaccount",
    "ruleName": "Rule_1",
    "policyRunStatus": "Succeeded",
    "policyRunStatusMessage": "Inventory run succeeded, refer manifest file for inventory details.",
    "policyRunId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "manifestBlobUrl": "https://testaccount.blob.core.windows.net/inventory-destination-container/2021/05/26/13-25-36/Rule_1/Rule_1-manifest.json"
  },
  "dataVersion": "1.0",
  "metadataVersion": "1",
  "eventTime": "2021-05-28T15:03:18Z"
}

Nella tabella seguente viene descritto lo schema dell'evento BlobInventoryPolicyCompleted.

Output dell'inventario

Ogni regola di inventario genera un set di file nel contenitore di destinazione dell'inventario specificato per tale regola. L'output dell'inventario viene generato nel percorso seguente: https://<accountName>.blob.core.windows.net/<inventory-destination-container>/YYYY/MM/DD/HH-MM-SS/<ruleName dove:

• accountName è il nome dell'account di Archiviazione BLOB di Azure.
• inventory-destination-container è il contenitore di destinazione specificato nella regola di inventario.
• AAAA/MM/GG/HH-MM-SS è l'ora in cui è iniziata l'esecuzione dell'inventario.
• ruleName è il nome della regola di inventario.

File di inventario

Ogni esecuzione dell'inventario per una regola genera i file seguenti:

• File di inventario: l'esecuzione di un inventario per una regola genera un file in formato CSV o Apache Parquet. Ogni file contiene oggetti corrispondenti e i relativi metadati.

  Importante

  A partire da ottobre 2023, le operazioni di inventario producono più file se il numero di oggetti è elevato. Per altre informazioni, vedere Domande frequenti sull'output di più file di inventario.

  I report nel formato Apache Parquet presentano le date nel formato seguente: timestamp_millis [number of milliseconds since 1970-01-01 00:00:00 UTC]. Per un file in formato CSV, la prima riga è sempre la riga dello schema. L'immagine seguente mostra un file CSV di inventario aperto in Microsoft Excel.

  

  Importante

  I percorsi BLOB visualizzati in un file di inventario potrebbero non essere visualizzati in un ordine specifico.

• File di checksum: un file di checksum contiene il checksum MD5 del contenuto del file manifest.json. Il nome del file di checksum è <ruleName>-manifest.checksum. La generazione del file di checksum segna il completamento dell'esecuzione di una regola di inventario.

• File manifesto: un file manifest.json contiene i dettagli dei file di inventario generati per tale regola. Il nome del file è <ruleName>-manifest.json. Questo file acquisisce anche la definizione della regola fornita dall'utente e il percorso dell'inventario per tale regola. Il codice JSON seguente mostra il contenuto di un file manifest.json di esempio.

  {
  "destinationContainer" : "inventory-destination-container",
  "endpoint" : "https://testaccount.blob.core.windows.net",
  "files" : [
    {
      "blob" : "2021/05/26/13-25-36/Rule_1/Rule_1.csv",
      "size" : 12710092
    }
  ],
  "inventoryCompletionTime" : "2021-05-26T13:35:56Z",
  "inventoryStartTime" : "2021-05-26T13:25:36Z",
  "ruleDefinition" : {
    "filters" : {
      "blobTypes" : [ "blockBlob" ],
      "includeBlobVersions" : false,
      "includeSnapshots" : false,
      "prefixMatch" : [ "penner-test-container-100003" ]
    },
    "format" : "csv",
    "objectType" : "blob",
    "schedule" : "daily",
    "schemaFields" : [
      "Name",
      "Creation-Time",
      "BlobType",
      "Content-Length",
      "LastAccessTime",
      "Last-Modified",
      "Metadata",
      "AccessTier"
    ]
  },
  "ruleName" : "Rule_1",
  "status" : "Succeeded",
  "summary" : {
    "objectCount" : 110000,
    "totalObjectSize" : 23789775
  },
  "version" : "1.0"
  }
  

  Questo file viene creato all'avvio dell'esecuzione. Il campo status di questo file è impostato su Pending fino al completamento dell'esecuzione. Al termine dell'esecuzione, questo campo viene impostato su uno stato di completamento, ad esempio Succeeded o Failed.

Determinazione dei prezzi e fatturazione

Il prezzo dell'inventario si basa sul numero di blob e contenitori analizzati durante il periodo di fatturazione. La pagina Prezzi di Archiviazione BLOB di Azure mostra il prezzo per un milione di oggetti analizzati. Ad esempio, se il prezzo per analizzare un milione di oggetti è $0.003, l'account contiene tre milioni di oggetti e si producono quattro report in un mese, la fattura sarà 4 * 3 * $0.003 = $0.036.

Dopo aver creato i file di inventario, verranno addebitati costi aggiuntivi standard di operazioni e archiviazione di dati per l'archiviazione, la lettura e la scrittura dei file generati dall'inventario nell'account.

Se una regola contiene un prefisso che si sovrappone a un prefisso di un'altra regola, lo stesso BLOB può essere visualizzato in più report di inventario. In questo caso, ti vengono addebitati i costi per entrambe le istanze. Si supponga, ad esempio, che l'elemento prefixMatch di una regola sia impostato su ["inventory-blob-1", "inventory-blob-2"] e che l'elemento prefixMatch di un'altra regola sia impostato su ["inventory-blob-10", "inventory-blob-20"]. Un oggetto denominato inventory-blob-200 viene visualizzato in entrambi i report di inventario.

Anche gli snapshot e le versioni di un blob concorrono alla fatturazione, anche se hai impostato i filtri includeSnapshots e includeVersions su false. Questi valori di filtro non influiscono sulla fatturazione. È possibile usarli solo per filtrare ciò che viene visualizzato nel report.

Per altre informazioni sui prezzi per l'inventario BLOB di Archiviazione di Azure, vedere Prezzi di Archiviazione BLOB di Azure.

Supporto delle funzionalità

Il supporto di questa funzionalità potrebbe essere influenzato dall'abilitazione dei protocolli Data Lake Storage Gen2, NFS (Network File System) 3.0 o SFTP (SSH File Transfer Protocol). Se è stata abilitata una di queste funzionalità, vedere Supporto delle funzionalità di Archiviazione BLOB negli account di Archiviazione di Azure per valutare il supporto per questa funzionalità.

Problemi noti e limitazioni

Questa sezione descrive le limitazioni e i problemi noti della funzionalità di inventario BLOB di Archiviazione di Azure.

Il numero di oggetti del report di inventario e le dimensioni dei dati non devono essere confrontati con la fatturazione

Un report di inventario non include metadati, log di sistema e proprietà, pertanto non deve essere confrontato con il numero di oggetti fatturati e le dimensioni dei dati per l'account di archiviazione.

Il completamento dei processi di inventario richiede più tempo in determinati casi

Un processo di inventario può richiedere più tempo in questi casi:

• Viene aggiunta una grande quantità di nuovi dati

• Viene eseguita una regola o un set di regole per la prima volta

  L'esecuzione dell'inventario potrebbe richiedere più tempo rispetto alle esecuzioni di inventario successive.

• L'esecuzione dell'inventario sta elaborando una grande quantità di dati negli account con spazio dei nomi gerarchico abilitato

  Il completamento di un processo di inventario potrebbe richiedere più di un giorno per gli account con spazio dei nomi gerarchico abilitato che contengono centinaia di milioni di blob. A volte il processo di inventario non riesce e non crea un file di inventario. Se un processo non viene completato con successo, verifica se i processi successivi sono stati completati prima di contattare il supporto.

• Non è possibile generare un report a posteriori per una data specifica.

I processi di inventario non possono scrivere report in contenitori con criteri di replica degli oggetti

I criteri di replica degli oggetti possono impedire a un processo di inventario di scrivere i report di inventario nel contenitore di destinazione. In altri scenari i report possono essere archiviati o diventare non modificabili quando vengono completati in modo parziale, causando l'esito negativo dei processi di inventario.

Inventario e archiviazione non modificabile

Non è possibile configurare un criterio di inventario nell'account se il supporto per l'immutabilità a livello di versione è abilitato in tale account o se il supporto per l'immutabilità a livello di versione è abilitato nel contenitore di destinazione definito nei criteri di inventario.

I report potrebbero escludere i BLOB eliminati temporaneamente negli account con uno spazio dei nomi gerarchico

Se un contenitore o una directory viene eliminato con l'eliminazione temporanea abilitata, tale contenitore o directory e tutti i relativi contenuti vengono contrassegnati come eliminati in modo temporaneo. Tuttavia, nel report di inventario compare solo il contenitore o la directory (segnalato come blob di lunghezza zero) e non i blob eliminati temporaneamente in quel contenitore o directory, anche se si imposta su true il campo includeDeleted del criterio. Ciò può determinare una differenza tra ciò che viene visualizzato nelle metriche di capacità ottenute nel portale di Azure e ciò che viene segnalato da un report di inventario.

Nei report vengono visualizzati solo i BLOB eliminati in modo esplicito. Pertanto, per ottenere un elenco completo di tutti i blob eliminati temporaneamente (directory e tutti i blob figlio), i carichi di lavoro devono eliminare ogni blob in una directory prima di eliminare la directory stessa.

Gestione dei duplicati nell'Inventario Blob

L'Inventario dei BLOB funziona su un sistema distribuito, il che significa che in rari casi possono comparire voci di BLOB duplicate nei report.

Se durante la post-elaborazione del report di inventario il tuo caso d'uso richiede voci blob uniche, puoi usare il Name campo per identificare e restituire solo i blob unici.

Se il report include versioni dei BLOB, usa insieme i campi Name e Version ID per identificare e restituire solo i BLOB e le relative versioni univoci.

Passaggi successivi

• Abilitare i report di inventario dei blob di Archiviazione di Azure
• Calcolare il numero e le dimensioni totali dei BLOB per contenitore
• Esercitazione: analizzare i report di inventario dei blob
• Gestire il ciclo di vita dell'archiviazione BLOB di Azure
• FAQ sull'inventario dei blob