Inventaire des objets blob du Stockage Azure

L’inventaire des blobs stockage Azure liste les conteneurs, blobs, versions des blobs, instantanés et propriétés associées dans votre compte de stockage. Le service génère des rapports quotidiennement ou hebdomadairement en valeurs séparées par virgules (CSV) ou au format Apache Parquet.

Utilisez les rapports d’inventaire pour auditer la rétention, la conservation légale ou le statut de chiffrement du contenu de votre compte de stockage. Vous pouvez également analyser la taille totale, l’âge, la répartition par paliers et d’autres attributs de vos données.

L’inventaire blob peut simplifier les flux de travail métier et accélérer les tâches de traitement des données. Il fournit une automatisation planifiée des API List Containers et List Blobs . Les règles d’inventaire filtrent le contenu des rapports par type de blob, préfixe ou propriétés de blob sélectionnées.

L’inventaire d’objets blob d’stockage Azure est disponible pour les types de comptes de stockage suivants :

• Standard à usage général v2
• Stockage d’objets blob de blocs Premium
• Stockage d'objets blob

Fonctionnalités de l’inventaire

stockage Azure Blob Inventory prend en charge les fonctionnalités et capacités suivantes.

• Rapports d’inventaire pour les blobs et les conteneurs

  Vous pouvez générer des rapports d’inventaire pour les blobs et les conteneurs. Un rapport pour les blobs peut contenir des blobs de base, des instantanés, la longueur du contenu, les versions des blobs, ainsi que leurs propriétés associées telles que le temps de création et le temps de dernière modification. Le rapport ne mentionne pas les contenants vides. Un rapport pour les conteneurs décrit les contenants et leurs propriétés associées, telles que le statut de politique d’immutabilité et le statut légal de détention.

• Schéma personnalisé

  Vous pouvez choisir les champs à afficher dans les rapports. Faites votre choix parmi une liste de champs pris en charge. Cette liste apparaît plus loin dans cet article.

• Format de sortie CSV et Apache Parquet

  Vous pouvez générer un rapport d’inventaire au format de sortie CSV ou Apache Parquet.

• Fichier manifeste et événement Azure Event Grid par rapport d’inventaire

  Le service génère un fichier manifest et un événement Azure Event Grid pour chaque rapport d’inventaire. L’article décrit ces éléments plus loin.

Activation des rapports d’inventaire

Activez les rapports d’inventaire des blobs en ajoutant une stratégie comprenant une ou plusieurs règles à votre compte de stockage. Pour obtenir une aide, consultez Activer les rapports d’inventaire des blobs de Stockage Azure.

Mise à niveau d’une stratégie d’inventaire

Si vous avez configuré l’inventaire des blobs stockage Azure avant juin 2021, chargez la politique, effectuez les modifications nécessaires, puis enregistrez-la. Lorsque vous rechargez la politique, le service remplit les paramètres de destination par règle, le fichier manifeste et les paramètres d’événement Azure Event Grid avec les valeurs par défaut. Vous pouvez changer ces valeurs.

• Chaque règle prend en compte un conteneur de destination au lieu de partager une seule destination au niveau de la politique.

• Le service génère un fichier manifest et un événement Azure Event Grid pour chaque règle au lieu de pour la politique.

Stratégie d’inventaire

Pour configurer les rapports d’inventaire, ajoutez une politique d’inventaire avec une ou plusieurs règles à un document JSON.

{
  "enabled": true,
  "rules": [
  {
    "enabled": true,
    "name": "inventoryrule1",
    "destination": "inventory-destination-container",
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob"]
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name"]
    }
  },
  {
    "enabled": true,
    "name": "inventoryrule2",
    "destination": "inventory-destination-container",
    "definition": {
      "filters": {},
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name"]
    }
  }]
}

Pour afficher le JSON d’une stratégie d’inventaire, sélectionnez l’onglet Vue code dans la section Inventaire des objets blob du portail Azure.

Règles d’inventaire

Une règle capture les conditions de filtrage et les paramètres de sortie associés à la génération d’un rapport d’inventaire. Chaque règle crée un rapport d’inventaire. Les règles peuvent comporter des préfixes qui se chevauchent. Il peut arriver qu’un objet blob apparaisse dans plusieurs inventaires en fonction des définitions de règles.

Chaque règle au sein de la stratégie a plusieurs paramètres :

L’indicateur global inventaire des blobs activé a priorité sur le paramètre activé dans une règle.

Définition de la règle

Filtres de règles

Utilisez les filtres suivants pour personnaliser un rapport d’inventaire blob :

Pour afficher le JSON des règles d’inventaire, sélectionnez l’onglet Affichage du code dans la section Inventaire des objets blob du portail Azure. Vous spécifiez des filtres dans une définition de règle.

{
  "destination": "inventory-destination-container",
  "enabled": true,
  "rules": [
  {
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob", "appendBlob", "pageBlob"],
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"],
        "excludePrefix": ["inventorytestcontainer10", "etc/logs"],
        "includeSnapshots": false,
        "includeBlobVersions": true
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name", "Creation-Time"]
    },
    "enabled": true,
    "name": "blobinventorytest",
    "destination": "inventorydestinationContainer"
  },
  {
    "definition": {
      "filters": {
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"]
      },
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name", "HasImmutabilityPolicy", "HasLegalHold"]
    },
    "enabled": true,
    "name": "containerinventorytest",
    "destination": "inventorydestinationContainer"
    }
  ]
}

Champs de schéma personnalisés pris en charge pour l’inventaire des blobs

Champ	Stockage Blob (pris en charge par défaut)	Data Lake Storage
Name (obligatoire)
Creation-Time
Dernière modification
LastAccessTime1
ETag
Longueur du contenu
Type de contenu
Encodage du contenu
Langue du contenu
Content-CRC64
Content-MD5
Cache-Control
Cache-Disposition
Type de blob
AccessTier
Heure de modification du niveau d’accès
LeaseStatus (en anglais)
LeaseState (en anglais)
ServerEncrypted
CustomerProvidedKeySHA256
Métadonnées
Heure d’expiration
hdi_isfolder
Propriétaire
Groupe
Autorisations
Acl
Snapshot (disponible et obligatoire lorsque vous choisissez d’inclure des instantanés dans votre rapport)
Supprimé
ID de suppression
DeletedTime
Jours de rétention restants
VersionId (disponible et obligatoire lorsque vous choisissez d’inclure des versions de blobs dans votre rapport)
IsCurrentVersion (disponible et obligatoire lorsque vous choisissez d’inclure des versions de blobs dans votre rapport)
NombreDeTags
Étiquettes
CopyId
CopySource (en anglais)
Statut de copie
CopyProgress
HeureDeFinDeCopie
Copier la description de l’état
ImmutabilityPolicyUntilDate
ImmutabilityPolicyMode
LegalHold
Priorité de réhydratation
ArchiveStatus
Champ de chiffrement
IncrementalCopy
x-ms-blob-sequence-number

¹ Désactivé par défaut. Activer éventuellement le suivi du temps d'accès.

Champs de schéma personnalisés pris en charge pour l’inventaire des conteneurs

Champ	Stockage Blob (pris en charge par défaut)	Data Lake Storage
Name (obligatoire)
Dernière modification
ETag
LeaseStatus (en anglais)
LeaseState (en anglais)
Durée du bail
Métadonnées
Accès public
DefaultEncryptionScope
Refuser le dépassement du périmètre de chiffrement
HasImmutabilityPolicy
HasLegalHold
Stockage immuable avec gestion de versions activée
Deleted (apparaît seulement si l’inclusion des conteneurs supprimés est sélectionnée)
Version (apparaît seulement si l’inclusion des conteneurs supprimés est sélectionnée)
DeletedTime (Apparaît uniquement si inclure les conteneurs supprimés est sélectionné)
RemainingRetentionDays (Apparaît uniquement si l’option permettant d’inclure les conteneurs supprimés est sélectionnée)

Exécution d’un inventaire

Si vous configurez une règle pour qu’elle fonctionne quotidiennement, elle s’exécute tous les jours. Si vous configurez une règle pour qu’elle soit exécutée chaque semaine, elle s’exécute chaque dimanche dans UTC.

Une exécution de l’inventaire peut prendre jusqu’à six jours avant d’échouer. Pour en savoir plus sur les facteurs qui influencent le temps d’exécution, voir les caractéristiques de performance de l’inventaire Blob.

Les exécutions ne se chevauchent pas ; une exécution doit donc se terminer avant qu’une autre exécution de la même règle puisse commencer. Par exemple, si l’exécution de la journée précédente d’une règle quotidienne est toujours en cours, le service n’en lance pas une nouvelle ce jour-là. Les règles hebdomadaires s’appliquent chaque dimanche, que la course précédente réussisse ou non. Si une partie ne se termine pas avec succès, vérifiez les parties suivantes avant de contacter le support. La performance des runs peut varier, donc une session suivante peut se terminer avec succès.

Les politiques d’inventaire sont lues ou écrites intégralement. Les mises à jour partielles ne sont pas prises en charge. Les règles d’inventaire sont évaluées quotidiennement. Si vous modifiez une définition de règle après que le service ait évalué la politique de ce jour-là, le service évalue vos mises à jour le lendemain.

Événement d’inventaire terminé

L’événement BlobInventoryPolicyCompleted est généré lorsque l’exécution de l’inventaire est terminée pour une règle. Cet événement se produit également si l’exécution de l’inventaire échoue en raison d’une erreur de l’utilisateur avant qu’elle ne démarre. Par exemple, une politique invalide ou un conteneur de destination manquant déclenche l’événement. Le JSON suivant montre un événement exemplaire BlobInventoryPolicyCompleted .

{
  "topic": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/BlobInventory/providers/Microsoft.EventGrid/topics/BlobInventoryTopic",
  "subject": "BlobDataManagement/BlobInventory",
  "eventType": "Microsoft.Storage.BlobInventoryPolicyCompleted",
  "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "data": {
    "scheduleDateTime": "2021-05-28T03:50:27Z",
    "accountName": "testaccount",
    "ruleName": "Rule_1",
    "policyRunStatus": "Succeeded",
    "policyRunStatusMessage": "Inventory run succeeded, refer manifest file for inventory details.",
    "policyRunId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "manifestBlobUrl": "https://testaccount.blob.core.windows.net/inventory-destination-container/2021/05/26/13-25-36/Rule_1/Rule_1-manifest.json"
  },
  "dataVersion": "1.0",
  "metadataVersion": "1",
  "eventTime": "2021-05-28T15:03:18Z"
}

Le tableau suivant décrit le schéma de l’événement BlobInventoryPolicyCompleted.

Résultat de l’inventaire

Chaque règle d’inventaire crée un ensemble de fichiers dans le conteneur de destination d’inventaire spécifié pour cette règle. La production d’inventaire est disponible par le chemin suivant : https://<accountName>.blob.core.windows.net/<inventory-destination-container>/YYYY/MM/DD/HH-MM-SS/<ruleName> où :

• accountName est le nom du compte Stockage Blob Azure ;
• inventory-destination-container est le conteneur de destination que vous avez spécifié dans la règle d’inventaire ;
• YYYY/MM/DD/HH-MM-SS est le moment où l’inventaire a commencé.
• ruleName est le nom de la règle d’inventaire.

Fichiers d’inventaire

Chaque exécution d’inventaire pour une règle génère les fichiers suivants :

• Fichier d’inventaire : L’exécution d’un inventaire pour une règle génère un fichier au format CSV ou Apache Parquet. Chacun de ces fichiers contient les objets mis en correspondance et leurs métadonnées.

  Important

  Les sorties d’inventaire produisent plusieurs fichiers si le nombre d’objets est important. Pour plus d’informations, consultez FAQ sur les sorties de plusieurs fichiers d’inventaire.

  Les rapports au format Apache Parquet présentent les dates dans le format suivant : timestamp_millis [number of milliseconds since 1970-01-01 00:00:00 UTC]. Pour un fichier au format CSV, la première ligne est toujours celle du schéma. Voici un fichier CSV d’inventaire ouvert dans Microsoft Excel.

  

  Important

  Les chemins d’accès des blobs qui apparaissent dans un fichier d’inventaire peuvent ne pas apparaître dans un ordre particulier.

• Fichier de somme de contrôle : Un fichier de somme de contrôle contient la somme de contrôle MD5 du contenu du manifest.json fichier. Le nom du fichier de somme de contrôle est <ruleName>-manifest.checksum. La génération du fichier de somme de contrôle marque la fin de l’exécution d’une règle d’inventaire.

• Fichier manifeste : Un manifest.json fichier contient les détails des fichiers d’inventaire générés pour cette règle. Le nom du fichier est <ruleName>-manifest.json. Ce fichier capture également la définition de la règle et le chemin vers l’inventaire de cette règle. Le JSON suivant montre le contenu d’un fichier d’exemple manifest.json .

  {
  "destinationContainer" : "inventory-destination-container",
  "endpoint" : "https://testaccount.blob.core.windows.net",
  "files" : [
    {
      "blob" : "2021/05/26/13-25-36/Rule_1/Rule_1.csv",
      "size" : 12710092
    }
  ],
  "inventoryCompletionTime" : "2021-05-26T13:35:56Z",
  "inventoryStartTime" : "2021-05-26T13:25:36Z",
  "ruleDefinition" : {
    "filters" : {
      "blobTypes" : [ "blockBlob" ],
      "includeBlobVersions" : false,
      "includeSnapshots" : false,
      "prefixMatch" : [ "penner-test-container-100003" ]
    },
    "format" : "csv",
    "objectType" : "blob",
    "schedule" : "daily",
    "schemaFields" : [
      "Name",
      "Creation-Time",
      "BlobType",
      "Content-Length",
      "LastAccessTime",
      "Last-Modified",
      "Metadata",
      "AccessTier"
    ]
  },
  "ruleName" : "Rule_1",
  "status" : "Succeeded",
  "summary" : {
    "objectCount" : 110000,
    "totalObjectSize" : 23789775
  },
  "version" : "1.0"
  }
  

  Ce fichier est créé au démarrage de l’exécution. Le champ status de ce fichier est défini sur Pending jusqu’à la fin de l’exécution. Après la fin de la course, ce champ est défini à un état de complétion (par exemple : Succeeded ou Failed).

Tarification et facturation

La tarification des stocks est basée sur le nombre de blobs et de conteneurs que vous scannez pendant la période de facturation. La page de tarification d’Stockage Blob Azure affiche le prix pour un million d’objets analysés. Par exemple, si le prix de l’analyse d’un million d’objets est de $0.003, que votre compte contient trois millions d’objets et que vous produisez quatre rapports mensuels, votre facture serait de 4 * 3 * $0.003 = $0.036.

Après avoir créé des fichiers d’inventaire, vous supportez des frais supplémentaires standards de stockage et d’opérations pour stocker, lire et écrire les fichiers générés par l’inventaire dans le compte.

Si une règle contient un préfixe qui chevauche un préfixe de toute autre règle, le même blob peut apparaître dans plusieurs rapports d’inventaire. Dans ce cas, vous payez pour les deux cas. Par exemple, supposons que l’élément prefixMatch d’une règle est défini sur ["inventory-blob-1", "inventory-blob-2"] et que l’élément prefixMatch d’une autre règle est défini sur ["inventory-blob-10", "inventory-blob-20"]. Un objet nommé inventory-blob-200 apparaît dans les deux rapports d’inventaire.

Les instantanés et les versions d’un blob comptent également dans la facturation, même si vous définissez les filtres includeSnapshots et includeBlobVersions sur false. Ces valeurs de filtre sont sans effet sur la facturation. Vous pouvez les utiliser uniquement pour filtrer ce qui apparaît dans le rapport.

Pour plus d’informations sur la tarification de l’inventaire de blobs Stockage Azure, consultez Tarification Stockage Blob Azure.

Prise en charge des fonctionnalités

La prise en charge de cette fonctionnalité peut être impactée par l’activation de Data Lake Storage Gen2, du protocole NFS (Network File System) 3.0 ou du protocole SFTP (SSH File Transfer Protocol). Si vous avez activé l’une de ces fonctionnalités, consultez Prise en charge des fonctionnalités Stockage Blob dans les comptes Stockage Azure pour évaluer la prise en charge de cette fonctionnalité.

Problèmes connus et limitations

Cette section décrit les limitations et les problèmes connus de la fonctionnalité d’inventaire des objets blob du service Stockage Azure.

Le nombre d’objets et la taille des données du rapport d’inventaire ne doivent pas être comparés à la facturation

Un rapport d’inventaire n’inclut pas les métadonnées, les journaux système et les propriétés, donc ne le comparez pas au nombre d’objets facturés et à la taille des données pour le compte de stockage.

Les travaux d’inventaire prennent plus de temps dans certains cas

Un travail d’inventaire peut prendre plus de temps dans ces cas :

• Vous ajoutez une grande quantité de nouvelles données.

• Vous utilisez une règle ou un ensemble de règles pour la première fois.

  L’exécution de l’inventaire peut prendre plus de temps que les exécutions suivantes.

• L’exécution d’un inventaire traite une grande quantité de données dans des comptes pour lesquels l’espace de noms hiérarchique est activé.

  Une tâche d’inventaire peut prendre plus d’un jour pour se terminer pour des comptes avec espace de noms hiérarchique activé qui contiennent des centaines de millions de blobs. Parfois, le travail d’inventaire échoue et ne crée pas de fichier d’inventaire. Si un travail ne se termine pas correctement, vérifiez les travaux suivants pour voir s’ils se terminent avant de contacter le support.

• Il n’existe aucune option permettant de générer un rapport de manière rétrospective à une date donnée.

Les travaux d’inventaire ne peuvent pas écrire de rapports dans des conteneurs qui ont une stratégie de réplication d’objet

Une stratégie de réplication d’objet peut empêcher un travail d’inventaire d’écrire des rapports d’inventaire dans le conteneur de destination. D’autres scénarios peuvent archiver les rapports ou les rendre immuables lorsqu’ils sont partiellement terminés, ce qui peut entraîner l’échec des tâches d’inventaire.

Inventaire et stockage immuable

Vous ne pouvez pas configurer une politique d’inventaire dans le compte si le support de l’immuabilité au niveau de la version est activé sur ce compte, ou si le support de l’immuabilité au niveau de la version est activé sur le conteneur de destination que vous définissez dans la politique d’inventaire.

Les rapports peuvent exclure les objets blob supprimés de manière réversible dans les comptes dotés d’un espace de noms hiérarchique

Si vous supprimez un conteneur ou un répertoire lorsque la suppression douce est activée, le service marque ce conteneur ainsi que tout son contenu comme supprimés par logiciel. Cependant, seul le conteneur ou l’annuaire, rapporté comme un blob de longueur nulle, apparaît dans un rapport d’inventaire. Le rapport n’inclut pas les blobs enfants supprimés en douce, même si vous mettez le champ de la includeDeleted politique sur true. Ce comportement peut créer une différence entre les indicateurs de capacité du portail Azure et le rapport d’inventaire.

Seules les taches que vous supprimez explicitement apparaissent dans les rapports. Pour obtenir une liste complète de tous les blobs supprimés de façon douce (répertoire et tous les blobs enfants), les charges de travail doivent supprimer chaque blob dans un répertoire avant de supprimer le répertoire lui-même.

Gérer les doublons dans l’inventaire des blobs

L’inventaire blob fonctionne sur un système distribué, ce qui signifie que dans de rares cas, des entrées blob en double peuvent apparaître dans vos rapports.

Si votre cas d’utilisation nécessite des entrées de blob uniques lors du post-traitement d’un rapport d’inventaire, utilisez le Name champ pour ne retourner que des blobs uniques.

Si votre rapport inclut des versions de blobs, utilisez les Name champs et Version ID ensemble pour identifier et retourner uniquement les blobs et versions uniques.

Étapes suivantes

• Activer les rapports d’inventaire d’objets blob Stockage Azure
• Calculer le nombre et la taille totale des objets blob par conteneur
• Tutoriel : analyser les rapports d’inventaire d’objets blob
• Gérer le cycle de vie du stockage Blob Azure
• FAQ sur l’inventaire Blob