Sammeln von Protokollen aus Textdateien mit dem Azure Monitor-Agent und Erfassung in Microsoft Sentinel

Dieser Artikel beschreibt, wie man die benutzerdefinierten Logs über den AMA-Connector nutzt, um Textdatei-Logs zu filtern und einzulesen. Diese Protokolle stammen von Netzwerk- oder Sicherheitsanwendungen, die auf Windows- oder Linux-Rechnern installiert sind. Bevor du den Connector einrichtest, lies dir den Abschnitt Voraussetzungen an. Dieser Abschnitt behandelt erforderliche Berechtigungen, unterstützte Maschinen und die Installation von Agenten.

Viele Anwendungen protokollieren Daten in Textdateien anstelle von Standardprotokollierungsdiensten wie Windows-Ereignisprotokoll oder Syslog. Du kannst den Azure Monitor Agent (AMA) verwenden, um Daten aus Textdateien sowohl auf Windows- als auch auf Linux-Computern zu sammeln. Der AMA kann die Daten während der Sammlung auch transformieren, um sie in verschiedene Felder zu verwandeln.

Weitere Informationen zu den Anwendungen, für die Microsoft Sentinel Lösungen zur Unterstützung der Protokollsammlung haben, finden Sie unter Benutzerdefinierte Protokolle über AMA-Datenconnector – Konfigurieren der Datenerfassung für Microsoft Sentinel von bestimmten Anwendungen.

Allgemeine Informationen zum Erfassen von benutzerdefinierten Protokollen aus Textdateien finden Sie unter Sammeln von Protokollen aus einer Textdatei mit Azure Monitor-Agent.

Wichtig

Voraussetzungen

Stellen Sie vor dem Konfigurieren der benutzerdefinierten Protokolle über den AMA-Connector sicher, dass die folgenden Ressourcen und Berechtigungen vorhanden sind.

Microsoft Sentinel Voraussetzungen

  • Installieren Sie die Microsoft Sentinel Lösung, die Ihrer Anwendung entspricht, und stellen Sie sicher, dass Sie über die Berechtigungen zum Ausführen der Schritte in diesem Artikel verfügen. Sie finden diese Lösungen im Content hub in Microsoft Sentinel, und sie alle enthalten den Connector Custom Logs via AMA.

    Eine Liste der Anwendungen, die Lösungen im Inhaltshub enthalten, finden Sie unter Spezifische Anweisungen pro Anwendung. Wenn keine Lösung für Ihre Anwendung verfügbar ist, installieren Sie die Lösung Benutzerdefinierte Protokolle über AMA .

    Weitere Informationen finden Sie unter Entdecken und Verwalten sofort einsatzbereiter Inhalte in Microsoft Sentinel.

  • Sie verfügen über ein Azure-Konto mit den folgenden Azure-Rollen für die rollenbasierte Zugriffssteuerung (Azure RBAC):

    Integrierte Rolle Bereich Grund
    - Mitwirkender für virtuelle Computer
    - Azure-verbundener Computer
       Ressourcenadministrator
  • Virtuelle Computer (VM)
  • Virtual Machine Scale Sets
  • Azure Arc-fähige Server
  • Bereitstellen des Agents
    Jede Rolle, die die Aktion enthält
    Microsoft.Resources/deployments/*
  • Abonnement
  • Ressourcengruppe
  • Vorhandene Datensammlungsregel
  • So stellen Sie Azure Resource Manager Vorlagen bereit
    Mitwirkender an der Überwachung
  • Abonnement
  • Ressourcengruppe
  • Vorhandene Datensammlungsregel
  • So erstellen oder bearbeiten Sie Datensammlungsregeln

Voraussetzungen für die Protokollweiterleitung

Bestimmte benutzerdefinierte Anwendungen werden auf geschlossenen Appliances gehostet, die das Senden ihrer Protokolle an einen externen Protokollsammler bzw. eine externe Protokollweiterleitung erfordern. In einem solchen Szenario gelten die folgenden Voraussetzungen für die Protokollweiterleitung:

Voraussetzungen für die Computersicherheit

Konfigurieren Sie die Sicherheit des Computers zur Protokollweiterleitung gemäß der Sicherheitsrichtlinie Ihrer Organisation. Konfigurieren Sie z. B. Ihr Netzwerk so, dass es an der Sicherheitsrichtlinie Ihres Unternehmensnetzwerks ausgerichtet ist, und ändern Sie die Ports und Protokolle im Daemon entsprechend Ihren Anforderungen. Um die Sicherheitskonfiguration Ihres Computers zu verbessern, sichern Sie Ihre VM in Azure, oder überprüfen Sie diese bewährten Methoden für die Netzwerksicherheit.

Wenn Ihre Geräte Protokolle über TLS senden, weil sich z. B. Ihre Protokollweiterleitung in der Cloud befindet, müssen Sie den Syslog-Daemon (rsyslog oder syslog-ng) für die Kommunikation in TLS konfigurieren. Weitere Informationen finden Sie unter:

Konfigurieren des Datenconnectors

Der Einrichtungsprozess für benutzerdefinierte Protokolle über den AMA-Datenkonnektor umfasst die folgenden Schritte:

  1. Erstellen Sie die Zieltabelle in Log Analytics (oder in der erweiterten Suche, wenn Sie sich im Defender-Portal befinden).

    Der Name der Tabelle muss mit enden _CL und darf nur aus den folgenden zwei Feldern bestehen:

    • TimeGenerated (vom Typ DateTime): Der Zeitstempel der Erstellung der Protokollmeldung.
    • RawData (vom Typ String): Die Protokollmeldung in ihrer Gesamtheit.
      (Wenn Sie Protokolle von einer Protokollweiterleitung und nicht direkt vom Gerät erfassen, auf dem die Anwendung gehostet wird, nennen Sie dieses Feld Message anstelle von RawData.)
  2. Installieren Sie den Azure Monitor-Agent, und erstellen Sie eine Datensammlungsregel (Data Collection Rule, DCR) mit einer der folgenden Methoden:

  3. Wenn Sie Protokolle mithilfe einer Protokollweiterleitung sammeln, konfigurieren Sie den Syslog-Daemon auf diesem Computer so, dass er auf Nachrichten aus anderen Quellen lauscht, und öffnen Sie die erforderlichen lokalen Ports. Weitere Informationen finden Sie unter Konfigurieren der Protokollweiterleitung zum Akzeptieren von Protokollen.

Wählen Sie die entsprechende Registerkarte aus, um Anweisungen zu erhalten.

Verwenden Sie die folgenden Schritte im Azure- oder Defender-Portal, um die Datenerfassungsregel zu erstellen und zu konfigurieren.

Erstellen einer Datensammlungsregel (DATA Collection Rule, DCR)

Öffnen Sie zu Beginn den Datenconnector Benutzerdefinierte Protokolle über AMA in Microsoft Sentinel, und erstellen Sie eine Datensammlungsregel (Data Collection Rule, DCR).

  1. Wählen Sie in Microsoft Sentinel im Azure-Portal unter KonfigurationDatenkonnektoren aus.
    Wählen Sie für Microsoft Sentinel im Defender-PortalMicrosoft Sentinel>Konfiguration>Datenconnectors aus.

  2. Geben Sie custom in das Suchfeld ein. Wählen Sie in den Ergebnissen den Konnektor Custom Logs via AMA aus.

  3. Wählen Sie im Detailbereich Connectorseite öffnen aus.

    Screenshot von AMA-Connector für benutzerdefinierte Logs in der Galerie.

  4. Wählen Sie im Bereich Konfigurationdie Option +Datensammlungsregel erstellen aus.

    Screenshot der Connectorseite „Benutzerdefinierte Protokolle über AMA“.

  5. Auf der Registerkarte Einfach:

    • Geben Sie einen DCR-Namen ein.
    • Wählen Sie Ihr Abonnement aus.
    • Wählen Sie die Ressourcengruppe aus, in der Sie Ihren DCR finden möchten.

    Screenshot: DCR-Details auf der Registerkarte

  6. Wählen Sie Weiter: Ressourcen > aus.

Definieren von VM-Ressourcen

Wählen Sie auf der Registerkarte Ressourcen die Computer aus, von denen Sie die Protokolle erfassen möchten. Dies sind entweder die Computer, auf denen Ihre Anwendung installiert ist, oder Ihre Computer für die Protokollweiterleitung. Wenn der gesuchte Computer nicht in der Liste angezeigt wird, ist der Computer möglicherweise keine Azure VM, auf der der Azure Agent für verbundene Computer installiert ist.

  1. Verwenden Sie die verfügbaren Filter oder das Suchfeld, um den gesuchten Computer zu finden. Erweitern Sie ein Abonnement in der Liste, um seine Ressourcengruppen zu sehen, und eine Ressourcengruppe, um ihre VMs zu sehen.

  2. Wählen Sie den Computer aus, von dem Sie Protokolle sammeln möchten. Das Kontrollkästchen wird neben dem VM-Namen angezeigt, wenn Sie mit dem Mauszeiger darauf zeigen.

    Screenshot: Auswählen von Ressourcen beim Einrichten des DCR

    Wenn auf den ausgewählten Computern noch nicht der Azure Monitor-Agent installiert ist, wird der Agent beim Erstellen und Bereitstellen des DCR installiert.

  3. Überprüfen Sie Ihre Änderungen und wählen Sie Weiter: Erfassen >.

Konfigurieren des DCR für Ihre Anwendung

Wichtig

Wenn Sie eine angegebene Anwendung oder einen Gerätetyp auswählen, wird das Feld Transformieren automatisch ausgefüllt. Bearbeiten Sie die automatisch ausgefüllte Transformation nicht.

  1. Wählen Sie auf der Registerkarte Sammeln im Dropdownfeld Gerätetyp auswählen (optional) Ihre Anwendung oder Den Gerätetyp aus, oder belassen Sie es als Benutzerdefinierte neue Tabelle , wenn Ihre Anwendung oder Ihr Gerät nicht aufgeführt ist.

  2. Wenn Sie eine der aufgeführten Anwendungen oder Geräte ausgewählt haben, wird das Feld Tabellenname automatisch mit dem richtigen Tabellennamen aufgefüllt. Wenn Sie Benutzerdefinierte neue Tabelle ausgewählt haben, geben Sie unter Tabellenname einen Tabellennamen ein. Der Name muss mit dem Suffix enden _CL .

  3. Geben Sie im Feld Dateimuster den Pfad und dateinamen der zu sammelnden Textdateien ein. Informationen zum Ermitteln der Standarddateinamen und -pfade für die einzelnen Anwendungen oder Gerätetypen finden Sie unter Spezifische Anweisungen pro Anwendungstyp. Sie müssen nicht die Standarddateinamen oder -pfade verwenden, und Sie können Im Dateinamen Auch Wildcards verwenden.

  4. Wenn Sie in Schritt 1 eine benutzerdefinierte neue Tabelle ausgewählt haben, geben Sie im Feld Transformieren eine Kusto-Abfrage ein, die eine Transformation Ihrer Wahl auf die Daten anwendet.

    Wenn Sie eine der aufgeführten Anwendungen oder Geräte in Schritt 1 ausgewählt haben, wird das Feld "Transformieren" automatisch mit der richtigen Transformation aufgefüllt. Bearbeiten Sie nicht die Transformation, die dort angezeigt wird. Je nach gewähltem Typ sollte der Transformationsfeldwert einer der folgenden sein:

    • source (Standard – keine Transformation)
    • source | project-rename Message=RawData (für Geräte, die Logs an einen Forwarder senden)
  5. Überprüfen Sie Ihre Auswahl, und wählen Sie Weiter: Überprüfen + erstellen aus.

Überprüfen und Erstellen der Regel

Nachdem Sie alle Registerkarten ausgefüllt haben, überprüfen Sie, was Sie eingegeben haben, und erstellen Sie die Datensammlungsregel.

  1. Wählen Sie auf der Registerkarte Überprüfen und erstellendie Option Erstellen aus.

    Screenshot, der zeigt, wie die Konfiguration des DCR überprüft und der DCR erstellt wird.

    Der Connector installiert den Azure Monitor-Agent auf den Computern, die Sie beim Erstellen Ihrer DCR ausgewählt haben.

  2. Überprüfen Sie die Benachrichtigungen im Azure-Portal- oder Microsoft Defender-Portal, um festzustellen, wann die DCR erstellt und der Agent installiert ist.

  3. Wählen Sie auf der Connectorseite Aktualisieren aus, damit der DCR in der Liste angezeigt wird.

Konfigurieren der Protokollweiterleitung zum Akzeptieren von Protokollen

Wenn Sie Protokolle von einem Anwendung mithilfe einer Protokollweiterleitung sammeln, konfigurieren Sie den Syslog-Daemon in der Protokollweiterleitung so, dass er auf Nachrichten von anderen Computern lauscht und die erforderlichen lokalen Ports öffnet.

  1. Kopieren Sie die folgende Befehlszeile:

    sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
    
  2. Melden Sie sich bei dem Protokollweiterleitungscomputer an, auf dem Sie gerade den AMA installiert haben.

  3. Fügen Sie den Befehl ein, den Sie im letzten Schritt kopiert haben, um das Installationsskript zu starten.
    Das Skript konfiguriert den rsyslog- oder syslog-ng-Daemon so, dass er das erforderliche Protokoll verwendet, und startet den Daemon neu. Das Skript öffnet Port 514, um eingehende Nachrichten sowohl im UDP- als auch im TCP-Protokoll zu lauschen. Informationen zum Ändern der Überwachungsport- oder Protokollkonfiguration finden Sie in der Konfigurationsdatei des Syslog-Daemons gemäß dem auf dem Computer ausgeführten Daemontyp:

    • Rsyslog: /etc/rsyslog.conf
    • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

    Wenn Sie Python 3 verwenden und es nicht als Standardbefehl auf dem Computer festgelegt ist, ersetzen python3 Sie im eingefügten Befehl durch python . Siehe Voraussetzungen für den Log-Forwarder.

    Hinweis

    Um Szenarien mit vollständigen Datenträgern zu vermeiden, in denen der Agent nicht funktioniert, empfehlen wir, die syslog-ng - oder rsyslog -Konfiguration so festzulegen, dass nicht benötigte Protokolle nicht gespeichert werden. Ein Szenario mit vollem Datenträger beeinträchtigt die Funktion des installierten AMA. Weitere Informationen finden Sie unter RSyslog oder Syslog-ng.

Konfigurieren des Sicherheitsgeräts oder Anwendung

Um Ihre Sicherheitsanwendung oder -appliance einzurichten, siehe Custom Logs via AMA Data Connector – Konfigurieren Sie die Datenaufnahme in Microsoft Sentinel aus bestimmten Anwendungen.

Wenn die Produktdokumentation dein Gerät nicht abdeckt, wende dich an den Lösungsanbieter um Hilfe.