Eigenen Azure Data Lake Storage Gen2 einbringen

Power Automate Process Mining bietet Ihnen die Möglichkeit, Ereignisprotokolldaten direkt von Azure Data Lake Storage Gen2 zu speichern und zu lesen. Diese Funktion vereinfacht die Verwaltung von Extract, Transform, Load (ETL)-Prozessen durch die direkte Verbindung mit Ihrem Speicherkonto.

Diese Funktion unterstützt derzeit die Erfassung der folgenden Daten:

Tabellen und Ansichten

  • Delta-Tabellen
    • Einzelne Delta-Tabelle in Fabric Lakehouse.
  • Materialisierte Ansichten
    • Einzelne materialisierte Sicht in Fabric Lakehouse.

Dateien und Ordner

  • CSV
    • Einzelne CSV-Datei.
    • Ordner mit mehreren CSV-Dateien, die dieselbe Struktur haben. Alle Dateien werden erfasst.
  • Parquet
    • Einzelne Parquet-Datei.
    • Ordner mit mehreren Parquet-Dateien, die die gleiche Struktur haben. Alle Dateien werden erfasst.
  • Delta-Parquet
    • Ordner, der eine Delta-Parquet-Struktur enthält.

Anforderungen

  • Das Data Lake Storage Konto muss Gen2 sein. Sie können dies im Azure-Portal überprüfen. Azure Data Lake Gen1-Speicherkonten werden nicht unterstützt.

  • Das Data Lake Storage-Konto muss den hierarchischen Namespace aktiviert haben.

  • Die Rolle "Besitzer" (auf Speicherkontoebene) muss dem Benutzer zugeordnet werden, der das anfängliche Containersetup ausführt (der Benutzer wird dann zum Besitzer des Prozesses). Darüber hinaus müssen alle Benutzer, die im Prozess die Rolle Besitzer oder Miteigentümer innehaben, zugeordnet werden:

    • Die Rolle Storage-Blob-Datenleser oder Storage-Blob-Datenmitwirkender muss zugewiesen sein
    • Mindestens die Azure Resource Manager-Rolle Leser muss zugewiesen sein.

  • Für Ihr Speicherkonto muss eine Regel für die gemeinsame Nutzung von Ressourcen (CORS) eingerichtet werden, damit es für Power Automate Process Mining freigegeben werden kann.

    • Zulässige Ursprünge müssen auf https://make.*.powerautomate.com und https://make.*.powerapps.com festgelegt werden.

    • Zulässige Methoden müssen sein: get, options, put, post.

    • Zulässige Header sollten so flexibel wie möglich sein. Wir empfehlen, sie als * zu definieren.

    • Sichtbare Header sollten so flexibel wie möglich sein. Wir empfehlen, sie als * zu definieren.

    • Das Höchstalter sollte möglichst flexibel sein. Wir empfehlen die Verwendung von 86400.

      Screenshot des Beispiels der CORS-Einstellungsanzeige.

  • Die CSV-Daten in Ihrem Data Lake Storage sollten die folgenden Anforderungen an das CSV-Dateiformat erfüllen:

    • Komprimierungstyp: Keiner
    • Spaltentrennzeichen: Komma (,)
    • Zeilentrennzeichen: Standard und Kodierung. Zum Beispiel: Standard (\r,\n oder \r\n)

    Screenshot der Anzeige der Dateiformateinstellungen.

  • Alle Daten müssen im endgültigen Ereignisprotokollformat vorliegen und die unter Datenanforderungen aufgeführten Anforderungen erfüllen. Die Daten sollten bereit sein, dem Process-Mining-Schema zugeordnet zu werden. Nach der Ingestion steht keine Datentransformation zur Verfügung.

  • Die Größe (Breite) der Kopfzeile ist derzeit auf 1 MB begrenzt.

Wichtig

Stellen Sie sicher, dass der in Ihrer CSV-Datei dargestellte Zeitstempel dem ISO 8601-Standardformat folgt (z. B. YYYY-MM-DD HH:MM:SS.sss oder YYYY-MM-DDTHH:MM:SS.sss).

Mit Azure Data Lake Storage verbinden

  1. Wählen Sie links im Navigationsbereich Process Mining>Hier beginnen.

  2. Geben Sie im Feld Prozessname einen Namen für den Prozess ein.

  3. Wählen Sie unter der Überschrift DatenquelleDaten importieren>Azure Data Lake>Weiter aus. Screenshot des Schritts „Prozess erstellen“.

  4. Wählen Sie auf der Anzeige VerbindungseinrichtungAbonnement-ID, Ressourcengruppe, Speicherkonto und Container aus den Dropdown-Menüs aus.

  5. Wählen Sie die Datei oder den Ordner mit den Ereignisprotokolldaten aus.

    Sie können entweder eine einzelne Datei oder einen Ordner mit mehreren Dateien auswählen. Alle Dateien müssen die gleichen Header und das gleiche Format haben.

  6. Wählen Sie Weiter.

  7. Auf dem Bildschirm Daten zuordnen ordnen Sie Ihre Daten dem erforderlichen Schema zu.

    Screenshot des Bildschirms „Daten zuordnen“.

  8. Schließen Sie die Verbindung ab, indem Sie Speichern und analysieren auswählen.

Einstellungen für inkrementelle Datenaktualisierung festlegen

Sie können einen aus Azure Data Lake übernommenen Prozess nach einem Zeitplan aktualisieren, entweder durch eine vollständige oder inkrementelle Aktualisierung. Obwohl es keine Aufbewahrungsrichtlinien gibt, können Sie Daten mit einer der folgenden Methoden inkrementell erfassen:

Wenn Sie eine einzelne Datei im vorherigen Abschnitt ausgewählt haben, hängen Sie weitere Daten an die ausgewählte Datei an.

Wenn Sie einen Ordner im vorherigen Abschnitt ausgewählt haben, fügen Sie inkrementelle Dateien zum ausgewählten Ordner hinzu.

Wichtig

Wenn Sie inkrementelle Dateien zu einem ausgewählten Ordner oder Unterordner hinzufügen, stellen Sie sicher, dass Sie die Reihenfolge der Inkrementierung angeben, indem Sie Dateien mit Datumsangaben wie YYYMMDD.csv oder YYYYMMDDHHMMSS.csv benennen.

Um einen Prozess zu aktualisieren:

  1. Gehen Sie zur Seite Details des Prozesses.

  2. Aktualisierungseinstellungen auswählen.

  3. Gehen Sie auf dem Bildschirm Aktualisierung planen wie folgt vor:

    1. Aktivieren Sie den Schalter Daten auf dem neuesten Stand halten.
    2. Wählen Sie in der Dropdownliste Daten aktualisieren alle die Häufigkeit der Aktualisierung aus.
    3. In den Feldern Anfangen bei wählen Sie das Datum und die Uhrzeit der Aktualisierung aus.
    4. Aktivieren Sie den Umschalter für inkrementelle Aktualisierung.
  • Last updated on