Zelfstudie: Blob-inventarisrapporten analyseren

Door te begrijpen hoe uw blobs en containers worden opgeslagen, georganiseerd en gebruikt in productie, kunt u de balans tussen kosten en prestaties beter optimaliseren.

In deze zelfstudie leert u hoe u statistieken kunt genereren en visualiseren, zoals gegevensgroei in de loop van de tijd, gegevens die in de loop van de tijd zijn toegevoegd, het aantal gewijzigde bestanden, de grootte van blobmomentopnamen, toegangspatronen voor elke laag en hoe gegevens worden gedistribueerd, zowel op dit moment als in de loop van de tijd (bijvoorbeeld gegevens over lagen, bestandstypen, in containers en blobtypen).

In deze zelfstudie leert u het volgende:

  • Een blob-inventarisrapport genereren
  • Een Synapse-werkruimte instellen
  • Synapse Studio instellen
  • Analytische gegevens genereren in Synapse Studio
  • Resultaten visualiseren in Power BI

Vereisten

Een inventarisrapport genereren

Schakel blob-inventarisrapporten in voor uw opslagaccount. Zie Blobinventarisrapporten voor Azure Storage inschakelen.

Mogelijk moet u maximaal 24 uur wachten nadat u inventarisrapporten hebt ingeschakeld voordat uw eerste rapport is gegenereerd.

Een Synapse-werkruimte instellen

  1. Een Azure Synapse-werkruimte maken. Zie Een Azure Synapse-werkruimte maken.

    Notitie

    Als onderdeel van het maken van de werkruimte maakt u een opslagaccount met een hiërarchische naamruimte. Azure Synapse slaat Spark-tabellen en toepassingslogboeken op in dit account. Azure Synapse verwijst naar dit account als het primaire opslagaccount. Om verwarring te voorkomen, gebruikt dit artikel de term account voor inventarisrapporten voor het account waarin inventarisrapporten zijn opgenomen.

  2. Wijs in de Synapse-werkruimte de rol Contributor toe aan uw gebruikersidentiteit. Zie Azure RBAC: De rol Eigenaar voor de werkruimte.

  3. Geef de Synapse-werkruimte toestemming om toegang te geven tot de inventarisrapporten in uw opslagaccount door naar uw account voor inventarisrapporten te navigeren en vervolgens de rol Inzender van Blob Storage-gegevens toe te wijzen aan de door het systeem toegewezen beheerde identiteit van de werkruimte. Zie Azure-rollen toewijzen met Azure Portal.

  4. Ga naar het primaire opslagaccount en wijs de rol Blob Storage Contributor toe aan uw gebruikersidentiteit.

Synapse Studio instellen

  1. Open uw Synapse-werkruimte in Synapse Studio. Zie Synapse Studio openen.

  2. Zorg ervoor dat in Synapse Studio de rol van Synapse-beheerder is toegewezen aan uw identiteit. Zie Synapse RBAC: Synapse Administrator-rol voor de werkruimte.

  3. Maak een Apache Spark-pool. Zie Een serverloze Apache Spark-pool maken.

Het voorbeeldnotebook instellen en uitvoeren

In deze sectie genereert u statistische gegevens die u in een rapport visualiseert. Ter vereenvoudiging van deze zelfstudie maakt deze sectie gebruik van een voorbeeldconfiguratiebestand en een pySpark-voorbeeldnotebook. Het notebook bevat een verzameling query's die worden uitgevoerd in Azure Synapse Studio.

Het voorbeeldconfiguratiebestand wijzigen en uploaden

  1. Download het BlobInventoryStorageAccountConfiguration.json-bestand .

  2. Werk de volgende tijdelijke aanduidingen van dat bestand bij:

    • Stel storageAccountName in op de naam van uw account voor voorraadrapporten.

    • Stel destinationContainer in op de naam van de container die de inventarisrapporten bevat.

    • Stel blobInventoryRuleName deze in op de naam van de inventarisrapportregel die de resultaten heeft gegenereerd die u wilt analyseren.

    • Stel accessKey in op de accountsleutel van het account voor voorraadrapporten.

  3. Upload dit bestand naar de container in uw primaire opslagaccount dat u hebt opgegeven toen u de Synapse-werkruimte maakte.

Het PySpark-voorbeeldnotebook importeren

  1. Download het voorbeeldnotebook ReportAnalysis.ipynb.

    Notitie

    Zorg ervoor dat u dit bestand opslaat met de .ipynb extensie.

  2. Open uw Synapse-werkruimte in Synapse Studio. Zie Synapse Studio openen.

  3. Selecteer in Synapse Studio het tabblad Ontwikkelen .

  4. Selecteer het plusteken (+) om een item toe te voegen.

  5. Selecteer Importeren, blader naar het voorbeeldbestand dat u hebt gedownload, selecteer dat bestand en selecteer Openen.

    Het dialoogvenster Eigenschappen wordt weergegeven.

  6. Selecteer in het dialoogvenster Eigenschappen de koppeling Sessie configureren.

    Schermafbeelding van het dialoogvenster Eigenschappen importeren

    Het dialoogvenster Sessie configureren wordt geopend.

  7. Selecteer in de vervolgkeuzelijst Koppelen aan het dialoogvenster Sessie configureren de Spark-pool die u eerder in dit artikel hebt gemaakt. Selecteer vervolgens de knop Toepassen .

Het Python-notebook wijzigen

  1. Stel in de eerste cel van het Python-notebook de waarde van de storage_account variabele in op de naam van het primaire opslagaccount.

  2. Werk de waarde van de container_name variabele bij naar de naam van de container in dat account dat u hebt opgegeven toen u de Synapse-werkruimte maakte.

  3. Selecteer de knop Publiceren.

Het PySpark-notebook uitvoeren

  1. Selecteer Alles uitvoeren in het PySpark-notebook.

    Het duurt enkele minuten om de Spark-sessie te starten en nog een paar minuten om de inventarisrapporten te verwerken. De eerste uitvoering kan enige tijd duren als er talloze inventarisrapporten moeten worden verwerkt. Volgende uitvoeringen verwerken alleen de nieuwe inventarisrapporten die zijn gemaakt sinds de laatste uitvoering.

    Notitie

    Als u wijzigingen aanbrengt in de notebook terwijl deze wordt uitgevoerd, zorg er dan voor dat u die wijzigingen publiceert met de knop Publiceren.

  2. Controleer of de notebook correct is uitgevoerd door het tabblad Data te selecteren.

    Een database met de naam reportdata moet worden weergegeven op het tabblad Werkruimte van het deelvenster Gegevens . Als deze database niet wordt weergegeven, moet u mogelijk de webpagina vernieuwen.

    Schermopname van het deelvenster Gegevens met de rapportgegevensdatabase

    De database bevat een set tabellen. Elke tabel bevat informatie die wordt verkregen door de query's uit te voeren vanuit het PySpark-notebook.

  3. Als u de inhoud van een tabel wilt bekijken, vouwt u de map Tabellen van de rapportgegevensdatabase uit. Klik vervolgens met de rechtermuisknop op een tabel, selecteer SQL-script selecteren en selecteer vervolgens TOP 100 rijen selecteren.

    Schermopname van de menuoptie voor het maken van een nieuw SQL-script

  4. U kunt de query indien nodig wijzigen en vervolgens Uitvoeren selecteren om de resultaten weer te geven.

    Schermopname van de queryeditor en queryresultaten

De gegevens visualiseren

  1. Download het reportAnalysis.pbit-voorbeeldrapportbestand .

  2. Open Power BI Desktop. Zie Power BI Desktop downloaden voor installatierichtlijnen.

  3. Selecteer in Power BI Bestand, Rapport openen en vervolgens Rapporten bladeren.

  4. Wijzig in het dialoogvenster Openen het bestandstype in Power BI-sjabloonbestanden (*.pbit).).

    Screenshot van het type Power BI-sjabloonbestanden dat verschijnt in het open-venster

  5. Blader naar de locatie van het ReportAnalysis.pbit-bestand dat u hebt gedownload en selecteer vervolgens Openen.

    Er wordt een dialoogvenster weergegeven waarin u wordt gevraagd de naam van de Synapse-werkruimte en de naam van de gegevensdatabase op te geven.

  6. Stel in het dialoogvenster het veld synapse_workspace_name in op de naam van de werkruimte en stel het veld database_name in op reportdata. Selecteer vervolgens de knop Laden .

    Schermopname van het dialoogvenster Rapportconfiguratie

    Er wordt een rapport weergegeven met visualisaties van de gegevens die door het notebook zijn opgehaald. De volgende afbeeldingen tonen de typen diagrammen en grafieken die in dit rapport voorkomen.

    Schermopname van het tabblad Overzicht van het rapport

    Schermopname van het tabblad Gedetailleerde analyse van het rapport

    Schermafbeelding van het tabblad Uitsplitsing in het rapport

Volgende stappen

  • Laatst bijgewerkt om