Selecionar uma ferramenta de ingestão de dados

Depois de selecionar a plataforma-alvo para a sua migração, selecione uma ferramenta para transferir os seus dados históricos.

As seguintes ferramentas podem transferir dados históricos para Azure Monitor, Azure Data Explorer ou Armazenamento de Blobs do Azure. A tabela lista as ferramentas disponíveis para cada plataforma-alvo, juntamente com ferramentas gerais para o ajudar no processo de ingestão.

Lago de dados do Microsoft Sentinel

O lago de dados Microsoft Sentinel é a camada nativa de dados da plataforma Microsoft Sentinel. É o caminho mais simples para um histórico unificado e consultável dos seus dados de segurança dentro do Microsoft Sentinel e a plataforma recomendada para a retenção de dados a longo prazo.

Para saber mais, veja O que é o Microsoft Sentinel data lake? e Onboard to Microsoft Sentinel data lake.

ferramenta de ingestão de registos personalizada do Azure Monitor

A ferramenta de ingestão de registos personalizados do Azure Monitor no GitHub é um script do PowerShell que envia dados personalizados para uma área de trabalho do Azure Monitor Logs. Pode apontar o script para a pasta onde residem todos os ficheiros de registo e o script envia os ficheiros para essa pasta. O script aceita um formato CSV ou JSON para ficheiros de registo.

API direta

Com esta opção, importa os seus logs personalizados para o Azure Monitor Logs. Para mais informações, veja Tutorial: Enviar dados para Azure Monitor Logs com a API de ingestão de Logs. Ingere os registos com um script do PowerShell que utiliza uma API REST. Em alternativa, pode utilizar qualquer outra linguagem de programação para efetuar a ingestão e pode utilizar outros serviços Azure para abstrair a camada de computação, como Funções do Azure ou Azure Logic Apps.

Azure Data Explorer

Azure Data Explorer (ADX) suporta vários métodos de ingestão de dados. Para mais informações, consulte Descrição geral da ingestão de dados no Azure Data Explorer.

Os métodos de ingestão que o ADX aceita baseiam-se em diferentes componentes:

• SDKs para idiomas diferentes, como .NET, Go, Python, Java, NodeJS e APIs.
• Pipelines geridos, como o Event Grid ou o Event Hubs para blobs de armazenamento, e o Azure Data Factory.
• Conectores ou plug-ins, como Logstash, Kafka, Power Automate e Apache Spark.

Reveja LightIngest e Logstash, dois métodos mais adequados para o caso de utilização da migração de dados.

Use o LightIngest para a ingestão de dados

O ADX desenvolveu o utilitário LightIngest especificamente para o caso histórico de utilização da migração de dados. Pode utilizar o LightIngest para copiar dados de um sistema de ficheiros local ou Armazenamento de Blobs do Azure para o ADX.

Seguem-se algumas das principais vantagens e capacidades do LightIngest:

• Uma vez que não existe uma restrição de tempo na duração da ingestão, o LightIngest é mais útil quando quer ingerir grandes quantidades de dados.
• LightIngest é útil quando quer consultar registos de acordo com a hora em que foram criados e não a hora em que foram ingeridos.
• Não precisa de lidar com o dimensionamento complexo para LightIngest, porque o utilitário não efetua a cópia real. LightIngest informa o ADX sobre os blobs que precisam de ser copiados e o ADX copia os dados.

Se escolher LightIngest, reveja estas sugestões e melhores práticas.

• Para acelerar a migração e reduzir os custos, aumente o tamanho do cluster do ADX para criar mais nós disponíveis para ingestão. Diminua o tamanho assim que a migração terminar.
• Para consultas mais eficientes depois de ingerir os dados no ADX, certifique-se de que os dados copiados usam o carimbo temporal dos eventos originais. Os dados não devem usar a data e hora de quando são copiados para o ADX. Fornece o carimbo de data/hora ao LightIngest como caminho ou nome do ficheiro, como parte da propriedade CreationTime.
• Se o caminho ou os nomes de ficheiro não incluírem um carimbo de data/hora, ainda pode instruir o ADX a organizar os dados através de uma política de criação de partições.

Logstash

O Logstash é um pipeline de processamento de dados de código aberto, do lado do servidor, que recolhe dados de várias origens em simultâneo, transforma-os e, em seguida, envia-os para o seu "stash" favorito. Saiba como ingerir dados do Logstash para o Azure Data Explorer. O Logstash é executado em Computadores Windows, Linux e macOS.

Para otimizar o desempenho, configure o tamanho do escalão Logstash de acordo com os eventos por segundo. Recomendamos que utilize o LightIngest sempre que possível, uma vez que LightIngest depende da computação do cluster do ADX para efetuar a cópia.

Ingest data into Armazenamento de Blobs do Azure

Pode ingerir dados para Armazenamento de Blobs do Azure de várias formas.

• Azure Data Factory ou Azure Synapse
• AzCopy
• Explorador de Armazenamento do Azure
• Python
• SSIS

Veja o Azure Data Factory ou o Azure Synapse, que são melhor adaptados ao caso de uso da migração de dados.

Use Azure Data Factory ou Azure Synapse para copiar data

Para utilizar a atividade de Cópia nos pipelines do Azure Data Factory (ADF) ou do Synapse:

1. Criar e configurar um ambiente de execução de integração autoalojado. Este componente é responsável por copiar os dados do seu servidor local.
2. Crie serviços ligados para o armazenamento de dados de origem (sistema de ficheiros) e para o armazenamento de dados de destino (armazenamento de blobs).
3. Para copiar os dados, utilize a ferramenta Copiar dados. Em alternativa, pode utilizar um método como o PowerShell, portal do Azure, um SDK .NET, etc.

Use o AzCopy para copiar dados

O AzCopy é um utilitário de linha de comandos simples que copia ficheiros de ou para contas de armazenamento. O AzCopy está disponível para Windows, Linux e macOS. Saiba como copiar dados no local para o Armazenamento de Blobs do Azure com o AzCopy.

Também pode utilizar estas opções para copiar os dados:

• Aprenda a otimizar o desempenho do AzCopy.
• Consulte as definições de configuração do AzCopy.
• Veja a referência do comando AzCopy copy.

Use Azure Data Box para ingestão de dados em grande escala

Num cenário em que o SIEM de origem não tem boa conectividade ao Azure, ingerir os dados usando ferramentas como AzCopy, LightIngest ou Azure Data Factory pode ser lento ou até impossível. Para resolver este cenário, pode utilizar o Azure Data Box para copiar os dados localmente do datacenter do cliente para uma aplicação e, em seguida, enviá-lo para um datacenter Azure. Embora Azure Data Box não substitua o AzCopy ou o LightIngest, pode utilizar esta ferramenta para acelerar a transferência de dados entre o datacenter do cliente e Azure.

Azure Data Box oferece três SKUs diferentes, consoante a quantidade de dados a migrar:

• Data Box Disk
• Caixa de dados
• Caixa de Dados Pesada

Depois de concluir a migração, os dados estão disponíveis numa conta de armazenamento numa das suas subscrições Azure. Depois pode usar o AzCopy, LightIngest ou Azure Data Factory para ingerir dados da conta de armazenamento.

Use o acelerador de migração de dados SIEM

Além de selecionar uma ferramenta de ingestão, a sua equipa tem de investir tempo na configuração do ambiente de base. Para facilitar a configuração do ambiente, pode usar o acelerador de migração de dados SIEM, que automatiza as seguintes tarefas:

• Implementa uma máquina virtual do Windows que será utilizada para mover os registos da origem para a plataforma de destino
• Transfere e extrai as seguintes ferramentas para o ambiente de trabalho da máquina virtual:
  • LightIngest: utilizado para migrar dados para o ADX
  • ferramenta de ingestão de registos personalizada do Azure Monitor: utilizada para migrar dados para o Log Analytics
  • AzCopy: utilizado para migrar dados para Armazenamento de Blobs do Azure
• Implementa a plataforma de destino que irá alojar os registos históricos:
  • conta de armazenamento do Azure (Armazenamento de Blobs do Azure)
  • Azure Data Explorer cluster e base de dados
  • área de trabalho do Azure Monitor Logs (Registos Básicos; ativado com o Microsoft Sentinel)

Para utilizar o acelerador de migração de dados SIEM:

1. Na página acelerador de migração de dados SIEM, clique em Implementar para Azure na parte inferior da página e autentique-se.
2. Selecione Noções básicas, selecione o grupo de recursos e a localização e, em seguida, selecione Seguinte.
3. Selecione VM de Migração e faça o seguinte:
   • Escreva o nome da máquina virtual, o nome de utilizador e a palavra-passe.
   • Selecione uma vNet existente ou crie uma nova vNet para a ligação da máquina virtual.
   • Selecione o tamanho da máquina virtual.
4. Selecione Plataforma de destino e efetue um dos seguintes procedimentos:
   • Ignore este passo.
   • Indique o nome do cluster e da base de dados do ADX, o SKU e o número de nós.
   • Para contas de Armazenamento de Blobs do Azure, selecione uma conta existente. Se não tiver uma conta, forneça um novo nome de conta, tipo e redundância.
   • Para os Registos do Azure Monitor, introduza o nome do novo espaço de trabalho.

Passo seguinte