Spis obiektów blob usługi Azure Storage

Inventar Azure Storage zawiera listę kontenerów, blobów, wersji blobów, migawek i powiązanych właściwości w Twoim koncie magazynowym. Usługa generuje raporty codziennie lub co tydzień w formacie wartości rozdzielanych przecinkami (CSV) albo Apache Parquet.

Używaj raportów spisu zasobów do inspekcji stanu przechowywania, blokady prawnej lub szyfrowania zawartości konta magazynu. Możesz także przeanalizować całkowity rozmiar, wiek, rozkład poziomów i inne atrybuty swoich danych.

Inventar Blob może uprościć procesy biznesowe i przyspieszyć zadania przetwarzania danych. Zapewnia planowaną automatyzację API Listowych Kontenerów i List Blobs . Reguły ekwipunku filtrują zawartość raportu według typu blob, prefiksu lub wybranych właściwości blobów.

Spis obiektów blob usługi Azure Storage jest dostępny dla następujących typów kont magazynu:

• Standard ogólnego przeznaczenia v2
• Magazynowanie blokowych blobów klasy Premium
• Przechowywanie blobów

Funkcje inwentaryzacji

Inventar Azure Storage Blob obsługuje następujące funkcje i możliwości.

• Raporty inwentarza dla obiektów blob i kontenerów

  Można tworzyć raporty inwentaryzacyjne dla obiektów blob i kontenerów. Raport dla blobów może zawierać bazowe bloby, migawki, długość treści, wersje blobów oraz ich powiązane właściwości, takie jak czas utworzenia i czas ostatniej modyfikacji. Raport nie wymienia pustych pojemników. Raport dla kontenerów opisuje kontenery i ich powiązane właściwości, takie jak status polityki niezmienności oraz status legalnego trzymania.

• Schemat niestandardowy

  Możesz wybrać pola wyświetlane w raportach. Wybierz jedną z listy obsługiwanych pól. Ta lista zostanie wyświetlona w dalszej części tego artykułu.

• Format danych wyjściowych CSV i Apache Parquet

  Raport spisu można wygenerować w formacie danych wyjściowych CSV lub Apache Parquet.

• Plik manifestu i zdarzenie usługi Azure Event Grid dotyczące raportu inwentarza

  Usługa generuje plik manifestu oraz zdarzenie Azure Event Grid dla każdego raportu inwentarza. Artykuł opisuje te elementy później.

Włączanie raportów zapasów

Włącz raporty spisu obiektów blob, dodając politykę zawierającą co najmniej jedną regułę do swojego konta magazynowania. Aby uzyskać wskazówki, zobacz Włącz raporty spisu obiektów blob usługi Azure Storage.

Ulepszanie polityki dotyczącej zapasów

Jeśli przed czerwcem 2021 r. skonfigurowano zasady spisu obiektów blob usługi Azure Storage, załaduj je, wprowadź wszelkie potrzebne zmiany, a następnie zapisz je. Po ponownym załadowaniu zasad usługa wypełnia domyślnymi wartościami miejsce docelowe dla każdej reguły, plik manifestu oraz ustawienia zdarzeń usługi Azure Event Grid. Możesz zmienić te wartości.

• Każda reguła obsługuje kontener docelowy zamiast współdzielić jedno miejsce na poziomie polityki.

• Usługa generuje plik manifestu oraz zdarzenie Azure Event Grid dla każdej reguły zamiast dla polityki.

Polityka inwentaryzacji

Aby skonfigurować raporty zapasowe, dodaj politykę zapasową z jedną lub więcej regułami do dokumentu JSON.

{
  "enabled": true,
  "rules": [
  {
    "enabled": true,
    "name": "inventoryrule1",
    "destination": "inventory-destination-container",
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob"]
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name"]
    }
  },
  {
    "enabled": true,
    "name": "inventoryrule2",
    "destination": "inventory-destination-container",
    "definition": {
      "filters": {},
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name"]
    }
  }]
}

Aby wyświetlić JSON dla zasad inwentaryzacji, wybierz kartę Widok kodu w sekcji Inwentaryzacja obiektów blob w portalu Azure.

Reguły spisu

Reguła przechwytuje warunki filtrowania i parametry wyjściowe do generowania raportu spisu. Każda reguła tworzy raport spisu. Reguły mogą mieć nakładające się prefiksy. Blob może występować w więcej niż jednym inwentarzu w zależności od definicji reguł.

Każda reguła w ramach zasad ma kilka parametrów:

Globalna flaga włączonego spisu obiektów blob ma pierwszeństwo przed parametrem włączonym w regule.

Definicja reguły

Filtry reguł

Użyj następujących filtrów, aby dostosować raport inwentaryzacji blobów:

Wyświetl JSON dla reguł spisu, wybierając kartę Widok kodu w sekcji Spis Blob w portalu Azure. Filtry określasz w definicji reguły.

{
  "destination": "inventory-destination-container",
  "enabled": true,
  "rules": [
  {
    "definition": {
      "filters": {
        "blobTypes": ["blockBlob", "appendBlob", "pageBlob"],
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"],
        "excludePrefix": ["inventorytestcontainer10", "etc/logs"],
        "includeSnapshots": false,
        "includeBlobVersions": true
      },
      "format": "csv",
      "objectType": "blob",
      "schedule": "daily",
      "schemaFields": ["Name", "Creation-Time"]
    },
    "enabled": true,
    "name": "blobinventorytest",
    "destination": "inventorydestinationContainer"
  },
  {
    "definition": {
      "filters": {
        "prefixMatch": ["inventorytestcontainer1", "inventorytestcontainer2/abcd", "etc"]
      },
      "format": "csv",
      "objectType": "container",
      "schedule": "weekly",
      "schemaFields": ["Name", "HasImmutabilityPolicy", "HasLegalHold"]
    },
    "enabled": true,
    "name": "containerinventorytest",
    "destination": "inventorydestinationContainer"
    }
  ]
}

Niestandardowe pola schematu obsługiwane dla spisu obiektów blob

(No changes needed)	Blob Storage (obsługa domyślna)	Data Lake Storage
Nazwa (wymagana)
Czas tworzenia
Ostatnia modyfikacja
Czas ostatniego dostępu1
ETag
Długość zawartości
Typ zawartości
Kodowanie treści
Język zawartości
Zawartość-CRC64
Content-MD5
Cache-Control
Sposób dysponowania pamięci podręcznej
Typ Blob
AccessTier
CzasZmianyPoziomuDostępu
Stan dzierżawy
Stan dzierżawy
SerwerSzyfrowany
Klucz SHA256 Dostarczony Przez Klienta
Metadane
Czas wygaśnięcia
hdi_isfolder
Właściciel
Grupa
Uprawnienia
Acl
Migawka (dostępna i wymagana w przypadku wybrania dołączenia migawek do raportu)
Usunięte
Identyfikator usunięcia
Usunięty czas
Pozostałe dni retencji
VersionId (dostępny i wymagany, gdy zdecydujesz się uwzględnić wersje obiektów blob w raporcie)
IsCurrentVersion (Dostępna i Wymagana, jeśli zdecydujesz się uwzględnić wersje blob w raporcie)
TagCount
Etykiety
CopyId
KopiaŹródła
CopyStatus
Postęp kopiowania
CzasZakończeniaKopiowania
OpisStatusuKopiowania
PolitykaNiezmiennościDoDaty
Tryb Polityki Niemutowalności
LegalHold
Priorytet Rehydratacji
Stan archiwum
Zakres Szyfrowania
IncrementalCopy
x-ms-blob-sequence-number

¹ Wyłączone domyślnie. Opcjonalnie włącz śledzenie czasu dostępu.

Niestandardowe pola schematu obsługiwane dla inwentarza kontenerów

(No changes needed)	Blob Storage (obsługa domyślna)	Data Lake Storage
Nazwa (wymagana)
Ostatnia modyfikacja
ETag
Stan dzierżawy
Stan dzierżawy
Czas dzierżawy
Metadane
Funkcja PublicAccess
DomyślnyZakresSzyfrowania
Odmów nadpisania zakresu szyfrowania
PosiadaPolitykęNiezmienności
Jest objęty blokadą prawną
NiezmiennePrzechowywanieZWłączonymWersjonowaniem
Usunięte (wyświetlane tylko w przypadku wybrania opcji dołączenia usuniętych kontenerów)
Wersja (jest wyświetlana tylko w przypadku wybrania opcji dołączenia usuniętych kontenerów)
DeletedTime (Pojawia się tylko, jeśli wybrano opcję uwzględnienia usuniętych kontenerów)
RemainingRetentionDays (Pojawia się tylko wtedy, gdy wybrano opcję uwzględnienia usuniętych kontenerów)

Operacja inwentaryzacyjna

Jeśli skonfigurujesz regułę taką działającą codziennie, to działa codziennie. Jeśli ustawisz regułę tak, by działała co tydzień, uruchamia się ona w każdą niedzielę w UTC.

Przebieg inwentaryzacji może trwać do sześciu dni, zanim zakończy się niepowodzeniem. Aby dowiedzieć się więcej o czynnikach wpływających na czas działania, zobacz charakterystyki wydajności zapasów Blobów.

Biegi się nie nakładają, więc przebieg musi się zakończyć, zanim rozpocznie się kolejny przebieg według tej samej zasady. Na przykład, jeśli uruchomienie codziennej reguły z poprzedniego dnia nadal trwa, usługa nie inicjuje nowego uruchomienia tego dnia. Cotygodniowe reguły są uruchamiane w każdą niedzielę, niezależnie od tego, czy poprzednie uruchomienie zakończyło się powodzeniem, czy niepowodzeniem. Jeśli uruchomienie nie zakończy się pomyślnie, sprawdź kolejne uruchomienia, zanim skontaktujesz się z pomocą techniczną. Wydajność uruchomienia może się różnić, więc kolejne uruchomienie może zakończyć się pomyślnie.

Polityki inwentaryzacyjne są odczytywane lub zapisywane w całości. Aktualizacje częściowe nie są obsługiwane. Reguły inwentaryzacyjne są oceniane codziennie. Jeśli zmienisz definicję reguły po ocenie polityki na dany dzień przez usługę, usługa ocenia twoje aktualizacje następnego dnia.

Zdarzenie ukończenia inwentaryzacji

Zdarzenie BlobInventoryPolicyCompleted jest generowane po zakończeniu przebiegu spisu dla reguły. To zdarzenie występuje również wtedy, gdy uruchomienie spisu zakończy się niepowodzeniem z powodu błędu użytkownika przed rozpoczęciem jego uruchamiania. Na przykład nieprawidłowa polityka lub brakujący kontener docelowy wywołuje to zdarzenie. Poniższy JSON pokazuje przykładowe BlobInventoryPolicyCompleted zdarzenie.

{
  "topic": "/subscriptions/xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx/resourceGroups/BlobInventory/providers/Microsoft.EventGrid/topics/BlobInventoryTopic",
  "subject": "BlobDataManagement/BlobInventory",
  "eventType": "Microsoft.Storage.BlobInventoryPolicyCompleted",
  "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
  "data": {
    "scheduleDateTime": "2021-05-28T03:50:27Z",
    "accountName": "testaccount",
    "ruleName": "Rule_1",
    "policyRunStatus": "Succeeded",
    "policyRunStatusMessage": "Inventory run succeeded, refer manifest file for inventory details.",
    "policyRunId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "manifestBlobUrl": "https://testaccount.blob.core.windows.net/inventory-destination-container/2021/05/26/13-25-36/Rule_1/Rule_1-manifest.json"
  },
  "dataVersion": "1.0",
  "metadataVersion": "1",
  "eventTime": "2021-05-28T15:03:18Z"
}

W poniższej tabeli opisano schemat BlobInventoryPolicyCompleted zdarzenia.

Wynik inwentaryzacji

Każda reguła inwentarza tworzy zestaw plików w określonym kontenerze docelowym dla tej reguły. Wynik inwentaryzacji jest dostępny pod następującą ścieżką: https://<accountName>.blob.core.windows.net/<inventory-destination-container>/YYYY/MM/DD/HH-MM-SS/<ruleName> gdzie:

• accountName to nazwa konta usługi Azure Blob Storage.
• inventory-destination-container to miejsce docelowe, które określiłeś w regule inwentaryzacji.
• YYYY/MM/DD/HH-MM-SS to czas, kiedy zaczęła się inwentaryzacja.
• ruleName to nazwa reguły spisu.

Pliki spisu

Każdy przebieg spisu dla reguły generuje następujące pliki:

• Plik inwentaryzacyjny: Operacja inwentaryzacyjna dla reguły generuje plik w formacie CSV lub Apache Parquet. Każdy taki plik zawiera dopasowane obiekty i ich metadane.

  Ważne

  Przeglądy inwentaryzacji generują wiele plików, jeśli liczba obiektów jest duża. Aby dowiedzieć się więcej, zobacz Często zadawane pytania dotyczące wielu danych wyjściowych pliku spisu.

  Raporty w formacie Apache Parquet podają daty w następującym formacie: timestamp_millis [number of milliseconds since 1970-01-01 00:00:00 UTC]. W przypadku pliku sformatowanego w formacie CSV pierwszy wiersz jest zawsze wierszem schematu. Na poniższej ilustracji przedstawiono plik CSV spisu otwarty w programie Microsoft Excel.

  

  Ważne

  Ścieżki obiektów blob, które są wyświetlane w pliku spisu, mogą nie być wyświetlane w żadnej określonej kolejności.

• Plik sumy kontrolnej: Plik sumy kontrolnej zawiera sumę kontrolną MD5 zawartości pliku manifest.json . Nazwa pliku sumy kontrolnej to <ruleName>-manifest.checksum. Generowanie pliku sumy kontrolnej oznacza ukończenie wykonania reguły inwentaryzacji.

• Plik manifestu: Plik zawiera szczegóły plików inwentarza generowanych manifest.json dla tej reguły. Nazwa pliku to <ruleName>-manifest.json. Ten plik zawiera również definicję reguły oraz ścieżkę do inwentarza dla tej reguły. Poniższy JSON pokazuje zawartość przykładowego pliku manifest.json .

  {
  "destinationContainer" : "inventory-destination-container",
  "endpoint" : "https://testaccount.blob.core.windows.net",
  "files" : [
    {
      "blob" : "2021/05/26/13-25-36/Rule_1/Rule_1.csv",
      "size" : 12710092
    }
  ],
  "inventoryCompletionTime" : "2021-05-26T13:35:56Z",
  "inventoryStartTime" : "2021-05-26T13:25:36Z",
  "ruleDefinition" : {
    "filters" : {
      "blobTypes" : [ "blockBlob" ],
      "includeBlobVersions" : false,
      "includeSnapshots" : false,
      "prefixMatch" : [ "penner-test-container-100003" ]
    },
    "format" : "csv",
    "objectType" : "blob",
    "schedule" : "daily",
    "schemaFields" : [
      "Name",
      "Creation-Time",
      "BlobType",
      "Content-Length",
      "LastAccessTime",
      "Last-Modified",
      "Metadata",
      "AccessTier"
    ]
  },
  "ruleName" : "Rule_1",
  "status" : "Succeeded",
  "summary" : {
    "objectCount" : 110000,
    "totalObjectSize" : 23789775
  },
  "version" : "1.0"
  }
  

  Ten plik jest tworzony na początku przebiegu. Pole status tego pliku jest ustawione na wartość Pending do momentu ukończenia wykonania. Po zakończeniu przebiegu pole to jest ustawiane na status ukończenia (na przykład: Succeeded lub Failed).

Ceny i rozliczenia

Ceny za zapasy opierają się na liczbie blobów i pojemników, które zeskanujesz w okresie rozliczeniowym. Na stronie cennika usługi Azure Blob Storage jest wyświetlana cena za milion skanowanych obiektów. Jeśli na przykład cena skanowania miliona obiektów wynosi $0.003, twoje konto zawiera trzy miliony obiektów i generuje cztery raporty w miesiącu, wówczas rachunek będzie miał wartość 4 * 3 * $0.003 = $0.036.

Po utworzeniu plików inwentarza ponosisz dodatkowe standardowe opłaty za przechowywanie, odczyt i zapis plików generowanych przez magazyn na koncie.

Jeśli reguła zawiera prefiks nakładający się na prefiks dowolnej innej reguły, ten sam blob może pojawić się w więcej niż jednym raporcie zapasowym. W tym przypadku płacisz za obie sprawy. Załóżmy na przykład, że prefixMatch element jednej reguły jest ustawiony na ["inventory-blob-1", "inventory-blob-2"]wartość , a prefixMatch element innej reguły ma wartość ["inventory-blob-10", "inventory-blob-20"]. Obiekt o nazwie inventory-blob-200 pojawia się w obu raportach spisu.

Migawki i wersje obiektu blob są również uwzględniane w rozliczeniach, nawet jeśli ustawisz filtry includeSnapshots i includeBlobVersions na false. Te wartości filtru nie mają wpływu na rozliczenia. Można ich używać tylko do filtrowania elementów wyświetlanych w raporcie.

Aby uzyskać więcej informacji na temat cen spisu obiektów blob usługi Azure Storage, zobacz Cennik usługi Azure Blob Storage.

Obsługa funkcji

Może to mieć wpływ na obsługę tej funkcji przez włączenie protokołu Data Lake Storage Gen2, sieciowego systemu plików (NFS) 3.0 lub protokołu SSH File Transfer Protocol (SFTP). Jeśli włączono dowolną z tych funkcji, zobacz Obsługa funkcji usługi Blob Storage na kontach usługi Azure Storage, aby ocenić obsługę tej funkcji.

Znane problemy i ograniczenia

W tej sekcji opisano ograniczenia i znane problemy dotyczące funkcji spisu obiektów blob usługi Azure Storage.

Raport inwentaryzacyjny, liczba obiektów i rozmiar danych nie powinny być porównywane z rozliczeniami

Raport inwentaryzacyjny nie zawiera metadanych, logów systemowych ani właściwości, więc nie porównuj go z liczbą rozliczonych obiektów i rozmiarem danych dla konta magazynowego.

Zadania inwentarzowe w niektórych przypadkach zajmują więcej czasu

Zadanie inwentaryzacyjne może zająć więcej czasu w następujących przypadkach:

• Dodajesz dużą ilość nowych danych.

• Po raz pierwszy uruchamiasz jakąś regułę lub zestaw reguł.

  Pierwsze uruchomienie inwentaryzacji może potrwać dłużej niż kolejne uruchomienia.

• Uruchomienie inwentaryzacji przetwarza dużą ilość danych na kontach z włączoną hierarchiczną przestrzenią nazw.

  W przypadku kont z włączoną hierarchiczną przestrzenią nazw zadanie spisu może zająć więcej niż jeden dzień, jeśli zawierają setki milionów blobów. Czasami zadanie spisu kończy się niepowodzeniem i nie tworzy pliku spisu. Jeśli zadanie nie zostanie ukończone pomyślnie, sprawdź kolejne zadania, aby sprawdzić, czy zostały ukończone przed skontaktowaniem się z pomocą techniczną.

• Nie ma możliwości wygenerowania raportu retrospektywnie dla określonej daty.

Zadania inwentaryzacyjne nie mogą zapisywać raportów w kontenerach, które mają politykę replikacji obiektów.

Polityka replikacji obiektów może uniemożliwić procesowi spisu inwentarza zapisanie raportów w kontenerze docelowym. Inne scenariusze mogą archiwizować raporty lub sprawiać, że raporty są niezmienne, gdy są częściowo ukończone, co może powodować niepowodzenie zadań inwentaryzacji.

Inwentarz i niezmienna pamięć

Nie możesz skonfigurować polityki inwentarza na koncie, jeśli na tym koncie jest włączona obsługa niezmienności na poziomie wersji lub jeśli wsparcie dla niezmienności na poziomie wersji jest włączone w docelowym kontenerze zdefiniowanym w polityce inwentarza.

Raporty mogą wykluczać tymczasowo usunięte obiekty blob na kontach, które mają hierarchiczną przestrzeń nazw

Jeśli usuniesz kontener lub katalog po włączeniu miękkiego usuwania, usługa oznacza go wraz ze wszystkimi jego treściami jako miękko usunięte. Jednak w raporcie inwentarzowym pojawia się tylko kontener lub katalog, raportowany jako blob o zerowej długości. Raport nie zawiera miękko usuniętych dziecięcych blobów, nawet jeśli ustawisz pole polityki includeDeleted na true. Takie zachowanie może powodować różnicę między metrykami pojemności w portalu Azure a raportem inwentaryzacyjnym.

W raportach pojawiają się tylko bloby, które wyraźnie usuniesz. Aby uzyskać pełną listę wszystkich obiektów blob usuniętych nietrwale (katalogu i wszystkich podrzędnych obiektów blob), obciążenia robocze powinny usunąć każdy obiekt blob w katalogu, zanim usuną sam katalog.

Obsługa duplikatów w spisie obiektów blob

Blob Inventory działa w systemie rozproszonym, co oznacza, że w rzadkich przypadkach w raportach mogą pojawić się zduplikowane wpisy obiektów blob.

Jeśli w Twoim przypadku podczas przetwarzania końcowego raportu spisu są wymagane unikalne wpisy obiektów blob, użyj pola Name, aby zwracać tylko unikalne obiekty blob.

Jeśli raport zawiera wersje blobów, użyj razem pól Name i Version ID, aby zidentyfikować i zwrócić tylko unikalne bloby i wersje.

Następne kroki

• Włącz raporty inwentaryzacyjne obiektów blob usługi Azure Storage
• Oblicz liczbę i łączny rozmiar blobów na kontener
• Poradnik: analizuj raporty inwentaryzacji blobów
• Zarządzanie cyklem życia usługi Azure Blob Storage
• FAQ dotyczące ekwipunku blob