Selezionare uno strumento di inserimento dati

Dopo aver selezionato una piattaforma di destinazione per la migrazione, selezionare uno strumento per trasferire i dati cronologici.

Gli strumenti seguenti possono trasferire dati cronologici in Monitoraggio di Azure, Esplora dati di Azure o Archiviazione BLOB di Azure. La tabella elenca gli strumenti disponibili per ogni piattaforma di destinazione, insieme agli strumenti generali per facilitare il processo di inserimento.

Data lake di Microsoft Sentinel Esplora dati di Azure Archiviazione BLOB di Azure Strumenti generali
- Monitoraggio di Azure strumento personalizzato di ingestione dei log
- API diretta		 - LightIngest
- Logstash		 - Azure Data Factory or Azure Synapse
- AzCopy		 - Azure Data Box
- Acceleratore di migrazione dati SIEM

Data lake di Microsoft Sentinel

Microsoft Sentinel data lake è il livello dati nativo della piattaforma Microsoft Sentinel. Si tratta del percorso più semplice di una cronologia unificata e querybile dei dati di sicurezza all'interno di Microsoft Sentinel e della piattaforma consigliata per la conservazione dei dati a lungo termine.

Per altre informazioni, vedi Che cos'è Microsoft Sentinel data lake? e Effettuare l'onboarding a Microsoft Sentinel data lake.

strumento di inserimento del log personalizzato Monitoraggio di Azure

Lo strumento di inserimento log personalizzato Monitoraggio di Azure in GitHub è uno script di PowerShell che invia dati personalizzati a un'area di lavoro log Monitoraggio di Azure. È possibile puntare lo script alla cartella in cui risiedono tutti i file di log e lo script esegue il push dei file in tale cartella. Lo script accetta un formato CSV o JSON per i file di log.

API diretta

Con questa opzione, è possibile inserire i log personalizzati in log Monitoraggio di Azure. Per altre informazioni, vedere Esercitazione: Inviare dati a Monitoraggio di Azure log con l'API di inserimento dei log. I log vengono inseriti con uno script di PowerShell che usa un'API REST. In alternativa, è possibile usare qualsiasi altro linguaggio di programmazione per eseguire l'inserimento ed è possibile usare altri servizi Azure per astrarre il livello di calcolo, ad esempio Funzioni di Azure o app per la logica Azure.

Esplora dati di Azure

Esplora dati di Azure (ADX) supporta diversi metodi di inserimento dati. Per altre informazioni, vedere Esplora dati di Azure panoramica dell'inserimento dati.

I metodi di inserimento accettati da ADX si basano su componenti diversi:

  • SDK per linguaggi diversi, ad esempio .NET, Go, Python, Java, NodeJS e API.
  • Pipeline gestite, come Event Grid o hub eventi di archiviazione Blob, e Azure Data Factory.
  • Connettori o plug-in, ad esempio Logstash, Kafka, Power Automate e Apache Spark.

Esaminare LightIngest e Logstash, due metodi più adatti al caso d'uso della migrazione dei dati.

Usa LightIngest per l'ingestione dei dati

ADX ha sviluppato l'utilità LightIngest in modo specifico per il caso d'uso della migrazione dei dati cronologici. È possibile usare LightIngest per copiare dati da un file system locale o da Archiviazione BLOB di Azure in un ADX.

Ecco alcuni vantaggi e funzionalità principali di LightIngest:

  • Poiché non esiste alcun vincolo di tempo per la durata dell'inserimento, LightIngest è particolarmente utile quando si desidera inserire grandi quantità di dati.
  • LightIngest è utile quando si desidera eseguire query sui record in base all'ora in cui sono stati creati e non al momento in cui sono stati inseriti.
  • Non è necessario gestire il ridimensionamento complesso per LightIngest, perché l'utilità non esegue la copia effettiva. LightIngest informa ADX sui BLOB che devono essere copiati e ADX copia i dati.

Se si sceglie LightIngest, esaminare questi suggerimenti e procedure consigliate.

  • Per velocizzare la migrazione e ridurre i costi, aumentare le dimensioni del cluster ADX per creare più nodi disponibili per l'inserimento. Ridurre le dimensioni al termine della migrazione.
  • Per query più efficienti dopo l'inserimento dei dati in ADX, assicurarsi che i dati copiati utilizzino il timestamp per gli eventi originali. I dati non devono usare il timestamp da quando i dati vengono copiati in ADX. Fornisci il timestamp a LightIngest nel percorso o nel nome del file come parte della proprietà CreationTime.
  • Se il percorso o i nomi di file non includono un timestamp, è comunque possibile indicare ad ADX di organizzare i dati usando un criterio di partizionamento.

Logstash

Logstash è una pipeline di elaborazione dati sul lato server open source che inserisce i dati da molte origini contemporaneamente, trasforma i dati e quindi invia i dati alla "stash" preferita. Scopri come acquisire dati da Logstash in Esplora dati di Azure. Logstash viene eseguito in computer Windows, Linux e macOS.

Per ottimizzare le prestazioni, configurare le dimensioni del livello Logstash in base agli eventi al secondo. È consigliabile usare LightIngest laddove possibile, perché LightIngest si basa sul cluster computing ADX per eseguire la copia.

Ingest data into Archiviazione BLOB di Azure

È possibile inserire i dati per Archiviazione BLOB di Azure in diversi modi.

Esaminare Azure Data Factory o Azure Synapse, che sono più adatti al caso d'uso della migrazione dei dati.

Usa Azure Data Factory o Azure Synapse per copiare i dati

Per usare l'attività Copy nelle pipeline di Azure Data Factory (ADF) o di Synapse:

  1. Creare e configurare un runtime di integrazione self-hosted. Questo componente è responsabile della copia dei dati dall'host locale.
  2. Creare servizi collegati per l'archivio dati di origine (file system e per l'archivio dati di destinazione archiviazione BLOB.
  3. Per copiare i dati, usare lo strumento Copia dati. In alternativa, è possibile usare metodi come PowerShell, portale di Azure, .NET SDK e così via.

Usa AzCopy per copiare i dati

AzCopy è una semplice utilità da riga di comando che copia i file da o verso gli account di archiviazione. AzCopy è disponibile per Windows, Linux e macOS. Informazioni su come copiare i dati locali nell'archivio BLOB Azure con AzCopy.

È anche possibile usare queste opzioni per copiare i dati:

Usare Azure Data Box per l'inserimento di dati su larga scala

In uno scenario in cui siem di origine non dispone di una buona connettività a Azure, l'inserimento dei dati tramite strumenti come AzCopy, LightIngest o Azure Data Factory potrebbe essere lento o persino impossibile. Per risolvere questo scenario, è possibile usare Azure Data Box per copiare i dati in locale dal data center del cliente in un'appliance e quindi spedire l'appliance a un data center Azure. Anche se Azure Data Box non sostituisce AzCopy o LightIngest, è possibile usare questo strumento per accelerare il trasferimento dei dati tra il data center del cliente e Azure.

Azure Data Box offre tre SKU diversi, a seconda della quantità di dati di cui eseguire la migrazione:

Dopo aver completato la migrazione, i dati sono disponibili in un account di archiviazione in una delle sottoscrizioni Azure. È quindi possibile usare AzCopy, LightIngest o Azure Data Factory per inserire dati dall'account di archiviazione.

Usare l'acceleratore di migrazione dei dati SIEM

Oltre a selezionare uno strumento di inserimento, il team deve investire tempo nella configurazione dell'ambiente di base. Per facilitare l'installazione dell'ambiente, puoi utilizzare l'acceleratore di migrazione dati SIEM, che automatizza i seguenti compiti:

  • Distribuisce una macchina virtuale Windows che verrà usata per spostare i log dall'origine alla piattaforma di destinazione
  • Scarica ed estrae gli strumenti seguenti nel desktop della macchina virtuale:
  • Distribuisce la piattaforma di destinazione che ospiterà i log cronologici:
    • Account di archiviazione di Azure (archiviazione BLOB di Azure)
    • Cluster e database di Esplora dati di Azure
    • Area di lavoro di Monitoraggio di Azure Logs (Log di base; abilitati con Microsoft Sentinel)

Per usare l'acceleratore di migrazione dei dati SIEM:

  1. Nella pagina dell'acceleratore di migrazione dei dati SIEM fare clic su Distribuisci per Azure nella parte inferiore della pagina e eseguire l'autenticazione.
  2. Selezionare Informazioni di base, selezionare il gruppo di risorse e il percorso e quindi selezionare Avanti.
  3. Selezionare VM di migrazione ed eseguire le operazioni seguenti:
    • Digitare il nome della macchina virtuale, il nome utente e la password.
    • Selezionare una rete virtuale esistente o creare una nuova rete virtuale per la connessione alla macchina virtuale.
    • Selezionare le dimensioni della macchina virtuale.
  4. Selezionare Piattaforma di destinazione ed eseguire una delle operazioni seguenti:
    • Ignorare questo passaggio.
    • Specificare il cluster ADX e il nome del database, lo SKU e il numero di nodi.
    • Per gli account di Archiviazione BLOB di Azure, selezionare un account esistente. Se non si dispone di un account, specificare un nuovo nome, tipo e ridondanza dell'account.
    • Per Azure Log di monitoraggio digitare il nome della nuova area di lavoro.

Passo successivo

Inserire i dati

  • Last updated on