Azure Storage-blob-inventaris

Azure Storage blob-inventaris geeft een lijst van de containers, blobs, blobversies, snapshots en bijbehorende eigenschappen in je storage-account. De dienst genereert dagelijks of wekelijks rapporten in komma-gescheiden waarden (CSV) of Apache Parquet-formaat.

Gebruik inventarisrapporten om de retentie, juridische bewaring of encryptiestatus van de inhoud van je opslagaccount te controleren. Je kunt ook de totale grootte, leeftijd, tierverdeling en andere attributen van je data analyseren.

Blob inventory kan bedrijfsworkflows vereenvoudigen en dataverwerkingstaken versnellen. Het biedt geplande automatisering van de List Containers en List Blobs API's. Inventarisregels filteren de inhoud op blobtype, prefix of geselecteerde blob-eigenschappen.

Azure Storage-blob-inventaris is beschikbaar voor de volgende typen opslagaccounts:

• Standaard algemeen gebruik v2
• Premium opslag voor block blobs
• Blob-opslag

Functies voor inventaris

Azure Storage blob-inventaris ondersteunt de volgende functies en mogelijkheden.

• Inventarisrapporten voor blobs en containers

  U kunt inventarisrapporten genereren voor blobs en containers. Een rapport voor blobs kan basisblobs, snapshots, inhoudslengte, blobversies en bijbehorende eigenschappen bevatten, zoals aanmaaktijd en laatst gewijzigde tijd. Het rapport vermeldt geen lege containers. Een rapport over containers beschrijft containers en hun bijbehorende eigenschappen, zoals de status van het onveranderlijkheidsbeleid en de status van juridische bewaring.

• aangepast schema

  U kunt kiezen welke velden in rapporten worden weergegeven. Kies uit een lijst met ondersteunde velden. Deze lijst wordt verderop in dit artikel weergegeven.

• CSV- en Apache Parquet-uitvoerindeling

  U kunt een inventarisrapport genereren in csv- of Apache Parquet-uitvoerformaat.

• Manifestbestand en Azure Event Grid-gebeurtenis voor elk inventarisrapport

  De service genereert een manifestbestand en een Azure Event Grid-gebeurtenis voor elk inventarisrapport. Het artikel beschrijft deze items later.

Inventarisrapporten inschakelen

Schakel blobinventarisrapporten in door een beleid met een of meer regels toe te voegen aan uw opslagaccount. Voor hulp, zie Azure Storage-blobinventaris inschakelen.

Een inventarisbeleid upgraden

Als je Azure Storage blob-inventaris vóór juni 2021 hebt geconfigureerd, laad dan het beleid, breng eventuele wijzigingen aan en sla het dan op. Wanneer je het beleid opnieuw laadt, vult de service de bestemmingsinstellingen per regel, manifestbestand en Azure Event Grid evenementinstellingen met standaardwaarden. Je kunt deze waarden veranderen.

• Elke regel ondersteunt een bestemmingscontainer in plaats van één bestemming op beleidsniveau te delen.

• De service genereert een manifestbestand en een Azure Event Grid-gebeurtenis voor elke regel in plaats van voor het beleid.

Inventarisbeleid

Om inventarisrapporten te configureren, voeg je een inventarisbeleid toe met één of meer regels aan een JSON-document.

{
  "enabled": true,
  "rules": [
  {
    "enabled": true,
    "name": "inventoryrule1",
    "destination": "inventory-destination-container",
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob"]
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name"]
    }
  },
  {
    "enabled": true,
    "name": "inventoryrule2",
    "destination": "inventory-destination-container",
    "definition": {
      "filters": {},
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name"]
    }
  }]
}

Bekijk de JSON voor een inventarisbeleid door het tabblad Codeweergave te selecteren in de sectie Blob-inventaris van Azure Portal.

Inventarisregels

Een regel legt de filtervoorwaarden en uitvoerparameters vast voor het genereren van een inventarisrapport. Elke regel maakt een inventarisrapport. Regels kunnen overlappende voorvoegsels hebben. Een blob kan in meer dan één voorraad worden weergegeven, afhankelijk van regeldefinities.

Elke regel binnen het beleid heeft verschillende parameters:

De vlag voor de globale blob-inventarisatie heeft voorrang op de ingeschakelde parameter in een regel.

Regeldefinitie

Regelfilters

Gebruik de volgende filters om een blob-inventarisrapport aan te passen:

Bekijk de JSON voor inventarisregels door het tabblad Codeweergave te selecteren in de sectie Blob-inventaris van Azure Portal. Je specificeert filters binnen een regeldefinitie.

{
  "destination": "inventory-destination-container",
  "enabled": true,
  "rules": [
  {
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob", "appendBlob", "pageBlob"],
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"],
        "excludePrefix": ["inventorytestcontainer10", "etc/logs"],
        "includeSnapshots": false,
        "includeBlobVersions": true
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name", "Creation-Time"]
    },
    "enabled": true,
    "name": "blobinventorytest",
    "destination": "inventorydestinationContainer"
  },
  {
    "definition": {
      "filters": {
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"]
      },
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name", "HasImmutabilityPolicy", "HasLegalHold"]
    },
    "enabled": true,
    "name": "containerinventorytest",
    "destination": "inventorydestinationContainer"
    }
  ]
}

Ondersteuning voor aangepaste schemavelden in blob-inventaris

Veld	Blob Storage (standaardondersteuning)	Data Lake-opslag
Naam (vereist)
Aanmaaktijd
Laatst gewijzigd
LastAccessTime1
ETag
Lengte van inhoud
Inhoudstype
Inhoudscodering
Inhoudstaal
Content-CRC64
Content-MD5
Cache-beheer
Cache-verwerking
BlobType
AccessTier
ToegangsniveauVeranderingstijd
LeaseStatus
LeaseState
Server Versleuteld
KlantGeleverdeSleutelSHA256
Metagegevens
Verlooptijd
hdi_isfolder
Eigenaar
Groep
Machtigingen
Acl
Momentopname (beschikbaar en vereist wanneer u ervoor kiest momentopnamen in uw rapport op te nemen)
Verwijderd
DeletionId
VerwijderdeTijd
ResterendeBewaringsdagen
VersionId (beschikbaar en vereist wanneer u ervoor kiest om blobversies in uw rapport op te nemen)
IsCurrentVersion (beschikbaar en vereist wanneer u ervoor kiest om blobversies in uw rapport op te nemen)
Aantal tags
Tags
KopieId
Bron Kopiëren
Kopieerstatus
KopieerVoortgang
KopieVoltooiingstijd
KopieStatusBeschrijving
OnveranderlijkheidsbeleidTotDatum
OnveranderlijkheidsbeleidModus
Wettelijke bewaring
Prioriteren voor rehydrateren
Archief Status
EncryptionScope
IncrementalCopy
x-ms-blob-sequence-number

¹ Standaard uitgeschakeld. Schakel desgewenst het bijhouden van de toegangstijd in.

Aangepaste schemavelden die worden ondersteund voor containerinventaris

Veld	Blob Storage (standaardondersteuning)	Data Lake-opslag
Naam (vereist)
Laatst gewijzigd
ETag
LeaseStatus
LeaseState
Leaseperiode
Metagegevens
PublicAccess
Standaardversleutelingsbereik
DenyEncryptionScopeOverride
HasImmutabilityPolicy
HeeftJuridischeBlokkade
OnveranderlijkeOpslagMetVersiebeheerIngeschakeld
Verwijderd (wordt alleen weergegeven als verwijderde containers zijn geselecteerd)
Versie (wordt alleen weergegeven als de optie om verwijderde containers te includeren is geselecteerd)
DeletedTime (Verschijnt alleen als 'verwijderde containers opnemen' is geselecteerd)
RemainingRetentionDays (Verschijnt alleen als 'verwijderde containers opnemen' is geselecteerd)

Voorraadcontrole

Als je een regel dagelijks instelt, draait die elke dag. Als je een regel wekelijks instelt, draait die elke zondag in UTC.

Een inventarisatieronde kan tot zes dagen duren voordat deze mislukt. Om meer te weten te komen over factoren die de runtime beïnvloeden, zie Blob inventory performance characteristics.

Runs overlappen niet, dus een run moet voltooid zijn voordat een nieuwe run van dezelfde regel kan beginnen. Als bijvoorbeeld de uitvoering van een dagelijkse regel van de vorige dag nog bezig is, start de dienst die dag geen nieuwe uitvoering. Wekelijkse regels worden elke zondag uitgevoerd, ongeacht of een eerdere uitvoering slaagt of mislukt. Als een run niet succesvol wordt voltooid, controleer dan volgende runs voordat je contact opneemt met support. De prestaties van de run kunnen variëren, dus een volgende run kan succesvol worden afgerond.

Inventarisbeleidsregels worden volledig gelezen of geschreven. Gedeeltelijke updates worden niet ondersteund. Inventarisregels worden dagelijks geëvalueerd. Als je een regeldefinitie verandert nadat de service het beleid voor die dag heeft geëvalueerd, evalueert de service je updates de volgende dag.

Voltooide inventarisatie-evenement

De BlobInventoryPolicyCompleted gebeurtenis wordt gegenereerd wanneer de inventarisuitvoering voor een regel is voltooid. Deze gebeurtenis treedt ook op als de inventarisatieuitvoering mislukt met een gebruikersfout voordat deze wordt uitgevoerd. Bijvoorbeeld, een ongeldig beleid of een ontbrekende bestemmingscontainer activeert het evenement. De volgende JSON toont een voorbeeldgebeurtenis BlobInventoryPolicyCompleted .

{
  "topic": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/BlobInventory/providers/Microsoft.EventGrid/topics/BlobInventoryTopic",
  "subject": "BlobDataManagement/BlobInventory",
  "eventType": "Microsoft.Storage.BlobInventoryPolicyCompleted",
  "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "data": {
    "scheduleDateTime": "2021-05-28T03:50:27Z",
    "accountName": "testaccount",
    "ruleName": "Rule_1",
    "policyRunStatus": "Succeeded",
    "policyRunStatusMessage": "Inventory run succeeded, refer manifest file for inventory details.",
    "policyRunId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "manifestBlobUrl": "https://testaccount.blob.core.windows.net/inventory-destination-container/2021/05/26/13-25-36/Rule_1/Rule_1-manifest.json"
  },
  "dataVersion": "1.0",
  "metadataVersion": "1",
  "eventTime": "2021-05-28T15:03:18Z"
}

In de volgende tabel wordt het schema van de BlobInventoryPolicyCompleted gebeurtenis beschreven.

Inventarisuitvoer

Elke inventarisregel maakt een set bestanden aan in de opgegeven inventarisbestemmingscontainer voor die regel. De voorraadoutput is beschikbaar op het volgende pad: https://<accountName>.blob.core.windows.net/<inventory-destination-container>/YYYY/MM/DD/HH-MM-SS/<ruleName> waar:

• accountName is de naam van uw Azure Blob Storage-account.
• inventory-destination-container is de doelcontainer die u hebt opgegeven in de inventarisregel.
• JJJJ/MM/DD/HH-MM-SS is het moment waarop de inventarisatie begon.
• ruleName is de naam van de inventarisregel.

Inventarisbestanden

Elke inventarisuitvoering voor een regel genereert de volgende bestanden:

• Inventarisbestand: Een inventarisatierun voor een regel genereert een bestand in CSV- of Apache Parquet-formaat. Elk dergelijk bestand bevat overeenkomende objecten en de bijbehorende metagegevens.

  Belangrijk

  Inventarisruns leveren meerdere bestanden op als het aantal objecten groot is. Zie Veelgestelde vragen over de uitvoer van meerdere inventarisbestanden voor meer informatie.

  Rapporten in het Apache Parquet-formaat presenteren data in het volgende formaat: timestamp_millis [number of milliseconds since 1970-01-01 00:00:00 UTC]. Voor een bestand met CSV-indeling is de eerste rij altijd de schemarij. In de volgende afbeelding ziet u een CSV-inventarisbestand dat is geopend in Microsoft Excel.

  

  Belangrijk

  De blobpaden die in een voorraadbestand worden weergegeven, worden mogelijk niet in een bepaalde volgorde weergegeven.

• Checksumbestand: Een checksumbestand bevat de MD5-checksum van de inhoud van het manifest.json bestand. De naam van het controlesombestand is <ruleName>-manifest.checksum. Het genereren van het controlesombestand markeert de voltooiing van een uitvoering van een voorraadregel.

• Manifestbestand: Een bestand bevat de details van de inventarisbestanden die voor die regel zijn manifest.json gegenereerd. De naam van het bestand is <ruleName>-manifest.json. Dit bestand bevat ook de regeldefinitie en het pad naar de inventaris voor die regel. De volgende JSON toont de inhoud van een voorbeeldbestand manifest.json .

  {
  "destinationContainer" : "inventory-destination-container",
  "endpoint" : "https://testaccount.blob.core.windows.net",
  "files" : [
    {
      "blob" : "2021/05/26/13-25-36/Rule_1/Rule_1.csv",
      "size" : 12710092
    }
  ],
  "inventoryCompletionTime" : "2021-05-26T13:35:56Z",
  "inventoryStartTime" : "2021-05-26T13:25:36Z",
  "ruleDefinition" : {
    "filters" : {
      "blobTypes" : [ "blockBlob" ],
      "includeBlobVersions" : false,
      "includeSnapshots" : false,
      "prefixMatch" : [ "penner-test-container-100003" ]
    },
    "format" : "csv",
    "objectType" : "blob",
    "schedule" : "daily",
    "schemaFields" : [
      "Name",
      "Creation-Time",
      "BlobType",
      "Content-Length",
      "LastAccessTime",
      "Last-Modified",
      "Metadata",
      "AccessTier"
    ]
  },
  "ruleName" : "Rule_1",
  "status" : "Succeeded",
  "summary" : {
    "objectCount" : 110000,
    "totalObjectSize" : 23789775
  },
  "version" : "1.0"
  }
  

  Dit bestand wordt gemaakt wanneer de uitvoering begint. Het status veld van dit bestand is ingesteld op Pending totdat de uitvoering is voltooid. Nadat de run is voltooid, wordt dit veld op een voltooiingsstatus gezet (bijvoorbeeld: Succeeded of Failed).

Prijzen en facturering

De prijsstelling van de voorraad is gebaseerd op het aantal blobs en containers dat je scant tijdens de facturatieperiode. Op de pagina met prijzen voor Azure Blob Storage ziet u de prijs per gescande objecten van één miljoen objecten. Als de prijs voor het scannen van één miljoen objecten bijvoorbeeld is $0.003, bevat uw account drie miljoen objecten en produceert u vier rapporten in een maand, dan zou uw factuur zijn 4 * 3 * $0.003 = $0.036.

Nadat je inventarisbestanden hebt aangemaakt, breng je extra standaardkosten voor gegevensopslag en -operaties aan voor het opslaan, lezen en schrijven van de door de inventaris gegenereerde bestanden in het account.

Als een regel een prefix bevat dat overlapt met een prefix van een andere regel, kan dezelfde blob in meer dan één inventarisrapport voorkomen. In dit geval betaal je voor beide gevallen. Stel bijvoorbeeld dat het prefixMatch element van de ene regel is ingesteld op ["inventory-blob-1", "inventory-blob-2"]en dat het prefixMatch element van een andere regel is ingesteld op ["inventory-blob-10", "inventory-blob-20"]. Er wordt een object met de naam inventory-blob-200 weergegeven in beide inventarisrapporten.

Snapshots en versies van een blob tellen ook mee voor facturering, zelfs als je de filters includeSnapshots en includeBlobVersions instelt op false. Deze filterwaarden zijn niet van invloed op facturering. U kunt ze alleen gebruiken om te filteren wat in het rapport wordt weergegeven.

Voor meer informatie over prijzen voor Azure Storage-blob-voorraad, zie Azure Blob Storage prijzen.

Functieondersteuning

Ondersteuning voor deze functie kan worden beïnvloed door het inschakelen van Data Lake Storage Gen2, het NFS-protocol (Network File System) 3.0 of het SSH File Transfer Protocol (SFTP). Als u een van deze mogelijkheden hebt ingeschakeld, raadpleegt u de ondersteuning voor Blob Storage-functies in Azure Storage-accounts om ondersteuning voor deze functie te beoordelen.

Bekende problemen en beperkingen

In deze sectie worden beperkingen en bekende problemen van de azure Storage-blobinventarisfunctie beschreven.

Het aantal objecten en de grootte van het inventarisrapport moeten niet worden vergeleken met facturering

Een inventarisrapport bevat geen metadata, systeemlogs en eigenschappen, dus vergelijk het niet met het aantal gefactureerde objecten en de datagrootte van het opslagaccount.

Inventarisatieklussen duren in bepaalde gevallen langer om te voltooien

Een inventarisatieklus kan in deze gevallen langer duren:

• Je voegt een grote hoeveelheid nieuwe data toe.

• Je voert voor het eerst een regel of set regels uit.

  De inventarisatieronde kan langer duren dan volgende runs.

• Een inventarisatietaak verwerkt een grote hoeveelheid gegevens in accounts waarvoor hiërarchische naamruimte is ingeschakeld.

  Een inventarisatietaak kan meer dan één dag in beslag nemen voor accounts waarvoor hiërarchische naamruimte is ingeschakeld en die honderden miljoenen blobs bevatten. Soms mislukt de inventaristaak en wordt er geen inventarisbestand gemaakt. Als een taak niet is voltooid, controleert u de volgende taken om te zien of deze zijn voltooid voordat u contact op neemt met de ondersteuning.

• Er is geen optie om een rapport met terugwerkende kracht te genereren voor een bepaalde datum.

Inventaristaken kunnen geen rapporten schrijven naar containers met een objectreplicatiebeleid

Een objectreplicatiebeleid kan voorkomen dat een inventaristaak inventarisrapporten naar de doelcontainer schrijft. Sommige andere scenario's kunnen de rapporten archiveren of onveranderlijk maken wanneer ze gedeeltelijk zijn afgerond, wat kan leiden tot mislukking van voorraadjobs.

Inventaris en onveranderlijke opslag

Je kunt geen inventarisbeleid configureren in het account als ondersteuning voor versieniveau-onveranderlijkheid op dat account is ingeschakeld, of als ondersteuning voor versie-niveau onveranderlijkheid is ingeschakeld in de bestemmingscontainer die je definieert in het inventarisbeleid.

Rapporten kunnen mogelijk zacht verwijderde blobs uitsluiten in accounts die een hiërarchische naamruimte hebben.

Als je een container of map verwijdert wanneer soft delete is ingeschakeld, markeert de service deze en alle inhoud als soft deleted. Alleen de container of directory, gerapporteerd als een blob met lengte nul, wordt weergegeven in een inventarisrapport. Het rapport bevat geen zacht verwijderde child blobs, zelfs niet als je het includeDeleted veld van het beleid op true hebt gezet. Dit gedrag kan een verschil creëren tussen capaciteitsmetrics in het Azure-portaal en het inventarisrapport.

Alleen blobs die je expliciet verwijdert verschijnen in rapporten. Om een volledige lijst te verkrijgen van alle zacht verwijderde blobs (directory en alle kindblobs), moeten workloads elke blob in een map verwijderen voordat de map zelf wordt verwijderd.

Duplicaten afhandelen in blobinventaris

Blob Inventory werkt op een gedistribueerd systeem, wat betekent dat in zeldzame gevallen dubbele blob-vermeldingen in je rapporten kunnen verschijnen.

Als je use case unieke blob-vermeldingen vereist bij het naverwerken van een inventarisrapport, gebruik dan het Name veld om alleen unieke blobs terug te geven.

Als je rapport blobversies bevat, gebruik dan zowel de Name en-velden Version ID samen om alleen de unieke blobs en versies te identificeren en terug te geven.

Volgende stappen

• Azure Storage Blob-inventarisrapporten inschakelen
• Het aantal en de totale grootte van blobs per container berekenen
• Zelfstudie: Blob-inventarisrapporten analyseren
• De levenscyclus van Azure Blob Storage beheren
• Blobinventaris-FAQ