Auswählen eines Datenerfassungstools

Nachdem Sie eine Zielplattform für Ihre Migration ausgewählt haben, wählen Sie ein Tool zum Übertragen Ihrer historischen Daten aus.

Die folgenden Tools können historische Daten an Azure Monitor, Azure Data Explorer oder Azure Blob Storage übertragen. In der Tabelle sind die tools aufgeführt, die für jede Zielplattform verfügbar sind, sowie allgemeine Tools, die Ihnen beim Aufnahmeprozess helfen.

Microsoft Sentinel-Datensee Azure Data Explorer Azure Blob Storage Allgemeine Tools
- Azure Monitor custom log ingestion tool
- Direkte API		 - LightIngest
- Logstash		 - Azure Data Factory or Azure Synapse
- AzCopy		 - Azure Data Box
- SIEM-Datenmigrationsbeschleuniger

Microsoft Sentinel-Datensee

Microsoft Sentinel Data Lake ist die systemeigene Datenschicht der Microsoft Sentinel-Plattform. Es ist der einfachste Pfad zu einem einheitlichen, abfragbaren Verlauf Ihrer Sicherheitsdaten innerhalb Microsoft Sentinel und der empfohlenen Plattform für die langfristige Datenaufbewahrung.

Weitere Informationen finden Sie unter Was ist Microsoft Sentinel Data Lake? und Onboard to Microsoft Sentinel Data Lake.

Tool zum Erfassen benutzerdefinierter Protokolle für Azure Monitor

Das Azure Monitor benutzerdefiniertes Protokollerfassungstool auf GitHub ist ein PowerShell-Skript, das benutzerdefinierte Daten an einen Azure Monitor Protokollarbeitsbereich sendet. Sie können das Skript auf den Ordner verweisen, in dem sich alle Ihre Protokolldateien befinden, und das Skript pusht die Dateien in diesen Ordner. Das Skript akzeptiert ein CSV- oder JSON-Format für Protokolldateien.

Direkte API

Mit dieser Option erfassen Sie Ihre benutzerdefinierten Protokolldaten in Azure Monitor Logs. Weitere Informationen finden Sie unter Tutorial: Senden von Daten an Azure Monitor Logs mit der API zur Protokollaufnahme. Sie erfassen die Protokolle mit einem PowerShell-Skript, das eine REST-API verwendet. Alternativ können Sie eine beliebige andere Programmiersprache verwenden, um die Erfassung durchzuführen, und Sie können andere Azure-Dienste verwenden, um die Computeebene zu abstrahieren, z. B. Azure Functions oder Azure Logic Apps.

Azure Data Explorer

Azure Data Explorer (ADX) unterstützt mehrere Datenaufnahmemethoden. Weitere Informationen finden Sie unter Azure Data Explorer Übersicht über die Erfassung von Daten.

Die von ADX akzeptierten Erfassungsmethoden basieren auf verschiedenen Komponenten:

  • SDKs für verschiedene Sprachen, z. B. .NET, Go, Python, Java, NodeJS und APIs.
  • Verwaltete Pipelines wie Event Grid oder Storage Blob Event Hubs und Azure Data Factory.
  • Konnektoren oder Plug-Ins wie Logstash, Kafka, Power Automate und Apache Spark.

Sehen Sie sich lightIngest und Logstash an, zwei Methoden, die besser auf den Anwendungsfall für die Datenmigration zugeschnitten sind.

Verwenden Sie LightIngest für die Datenerfassung

ADX hat das Hilfsprogramm LightIngest speziell für den Anwendungsfall der Historischen Datenmigration entwickelt. Sie können LightIngest verwenden, um Daten aus einem lokalen Dateisystem oder Azure Blob Storage in ADX zu kopieren.

Hier sind einige Hauptvorteile und Funktionen von LightIngest:

  • Da es keine Zeitliche Einschränkung für die Erfassungsdauer gibt, ist LightIngest besonders nützlich, wenn Sie große Datenmengen erfassen möchten.
  • LightIngest ist nützlich, wenn Sie Datensätze nach dem Zeitpunkt ihrer Erstellung und nicht nach dem Zeitpunkt ihrer Erfassung abfragen möchten.
  • Sie müssen sich nicht mit der komplexen Dimensionierung für LightIngest befassen, da das Dienstprogramm das eigentliche Kopieren nicht ausführt. LightIngest informiert ADX über die Blobs, die kopiert werden müssen, und ADX kopiert die Daten.

Wenn Sie LightIngest auswählen, lesen Sie diese Tipps und bewährten Methoden.

  • Um die Migration zu beschleunigen und Die Kosten zu senken, erhöhen Sie die Größe Ihres ADX-Clusters, um mehr verfügbare Knoten für die Erfassung zu erstellen. Verringern Sie die Größe, sobald die Migration beendet ist.
  • Stellen Sie für effizientere Abfragen nach der Erfassung der Daten in ADX sicher, dass die kopierten Daten den Zeitstempel für die ursprünglichen Ereignisse verwenden. Die Daten sollten nicht den Zeitstempel aus dem Zeitpunkt verwenden, an dem die Daten in ADX kopiert werden. Sie geben den Zeitstempel für LightIngest als Pfad des Dateinamens als Teil der CreationTime-Eigenschaft an.
  • Wenn Ihre Pfad- oder Dateinamen keinen Zeitstempel enthalten, können Sie ADX trotzdem anweisen, die Daten mithilfe einer Partitionierungsrichtlinie zu organisieren.

Logstash

Logstash ist eine Open Source serverseitige Datenverarbeitungspipeline, die Daten aus vielen Quellen gleichzeitig erfasst, die Daten transformiert und die Daten dann an Ihren bevorzugten "Stash" sendet. Erfahren Sie, wie Sie Daten aus Logstash in Azure Data Explorer erfassen. Logstash wird auf Windows-, Linux- und macOS-Computern ausgeführt.

Um die Leistung zu optimieren, konfigurieren Sie die Logstash-Ebene entsprechend den Ereignissen pro Sekunde. Es wird empfohlen, LightIngest wann immer möglich zu verwenden, da LightIngest die AdX-Clustercomputing verwendet, um den Kopiervorgang durchzuführen.

Ingest data into Azure Blob Storage

Sie können Daten auf verschiedene Weise in Azure Blob Storage importieren.

Überprüfen Sie Azure Data Factory oder Azure Synapse, die besser auf den Anwendungsfall für die Datenmigration zugeschnitten sind.

Use Azure Data Factory or Azure Synapse to copy data

Gehen Sie wie folgt vor, um die Copy-Aktivität in Azure Data Factory (ADF)- oder Synapse-Pipelines zu verwenden:

  1. Erstellen und Konfigurieren einer selbstgehosteten Integration Runtime Diese Komponente ist für das Kopieren der Daten von Ihrem lokalen Host verantwortlich.
  2. Erstellen Sie verknüpfte Dienste für den Quelldatenspeicher (Dateisystem - und Senkendatenspeicher blob storage).
  3. Verwenden Sie zum Kopieren der Daten das Tool Daten kopieren. Alternativ können Sie Methoden wie PowerShell, Azure-Portal, ein .NET SDK usw. verwenden.

Verwenden Sie AzCopy, um Daten zu kopieren

AzCopy ist ein einfaches Befehlszeilenprogramm, das Dateien in oder aus Speicherkonten kopiert. AzCopy ist für Windows, Linux und macOS verfügbar. Erfahren Sie, wie Sie lokale Daten mit AzCopy in Azure Blob Storage kopieren.

Sie können auch die folgenden Optionen verwenden, um die Daten zu kopieren:

Verwenden von Azure Data Box für die Erfassung umfangreicher Daten

In einem Szenario, in dem die SIEM-Quelle keine gute Verbindung mit Azure hat, kann das Aufnehmen der Daten mithilfe von Tools wie AzCopy, LightIngest oder Azure Data Factory langsam oder sogar unmöglich sein. Um dieses Szenario zu beheben, können Sie Azure Data Box verwenden, um die Daten lokal aus dem Rechenzentrum des Kunden in ein Anwendung zu kopieren und diese Anwendung dann an ein Azure Rechenzentrum zu versenden. Obwohl Azure Data Box kein Ersatz für AzCopy oder LightIngest ist, können Sie dieses Tool verwenden, um die Datenübertragung zwischen dem Kundendatencenter und Azure zu beschleunigen.

Azure Data Box bietet drei verschiedene SKUs, abhängig von der Menge der zu migrierenden Daten:

Nach Abschluss der Migration sind die Daten in einem Speicherkonto unter einem Ihrer Azure-Abonnements verfügbar. Anschließend können Sie AzCopy, LightIngest oder Azure Data Factory verwenden, um Daten aus dem Speicherkonto aufzunehmen.

Verwenden des SIEM-Datenmigrationsbeschleunigers

Neben der Auswahl eines Erfassungstools muss Ihr Team Zeit in die Einrichtung der Foundation-Umgebung investieren. Um die Einrichtung der Umgebung zu erleichtern, können Sie den SIEM-Datenmigrationsbeschleuniger verwenden, der die folgenden Aufgaben automatisiert:

  • Stellt einen virtuellen Windows-Computer bereit, der zum Verschieben der Protokolle aus der Quelle auf die Zielplattform verwendet wird.
  • Lädt die folgenden Tools herunter und extrahiert sie in den Desktop des virtuellen Computers:
  • Stellt die Zielplattform bereit, auf der Ihre Verlaufsprotokolle gehostet werden:
    • Azure Storage-Konto (Azure Blob Storage)
    • Azure Data Explorer Cluster und Datenbank
    • Arbeitsbereich für Azure Monitor-Protokolle (Basisprotokolle; aktiviert mit Microsoft Sentinel)

So verwenden Sie den SIEM-Datenmigrationsbeschleuniger:

  1. Wechseln Sie auf der Seite des SIEM-Datenmigrationsbeschleunigers unten auf der Seite zu Deploy to Azure, und melden Sie sich an.
  2. Wählen Sie Grundlagen aus, wählen Sie Ihre Ressourcengruppe und Ihren Standort aus, und wählen Sie dann Weiter aus.
  3. Wählen Sie Migrations-VM aus, und gehen Sie wie folgt vor:
    • Geben Sie den Namen des virtuellen Computers, den Benutzernamen und das Kennwort ein.
    • Wählen Sie ein vorhandenes VNET aus, oder erstellen Sie ein neues VNET für die Verbindung mit dem virtuellen Computer.
    • Wählen Sie die Größe des virtuellen Computers aus.
  4. Wählen Sie Zielplattform aus, und führen Sie eine der folgenden Aktionen aus:
    • Überspringen Sie diesen Schritt.
    • Geben Sie den Namen des ADX-Clusters und der Datenbank, die SKU und die Anzahl der Knoten an.
    • Wählen Sie für Azure Blob Storage Konten ein vorhandenes Konto aus. Wenn Sie kein Konto haben, geben Sie einen neuen Kontonamen, -typ und -redundanz an.
    • Geben Sie für Azure Überwachungsprotokolle den Namen des neuen Arbeitsbereichs ein.

Nächster Schritt

Erfassen Ihrer Daten

  • Last updated on