Transformar dados com filtros e divisões em Microsoft Sentinel

À medida que os volumes de dados de segurança continuam a crescer, as organizações enfrentam o desafio de equilibrar a retenção económica de telemetria utilizada para IA, conformidade e investigações, garantindo ao mesmo tempo que apenas os dados necessários são retidos em camadas de armazenamento de alto desempenho. Utilize transformações de filtros e dados divididos no Microsoft Sentinel para enfrentar este desafio ao modificar os dados no momento da ingestão para otimizar a sua estratégia de retenção de dados.

Este artigo descreve como configurar transformações de dados de filtro e divisão sem a necessidade de criar manualmente configurações de Regra de Recolha de Dados (DCR) personalizadas. Quando você personaliza a ingestão de dados usando filtros e transformações de dados divididas, é possível melhorar o desempenho e reduzir o ruído.

Ao utilizar transformações de dados, pode otimizar o pipeline de dados de segurança ao controlar os dados armazenados e em que camada. A utilização de transformações de filtros e divisões proporciona as seguintes vantagens:

• Otimização de custos: reduza os custos de armazenamento e processamento ao filtrar dados de baixo valor que não contribuem para a deteção de ameaças. Direcione os dados acessados com menos frequência para o armazenamento do Data Lake de menor custo, mantendo os dados de alta prioridade na camada de Analytics.

• Eficiência do SOC melhorada: concentre o centro de operações de segurança (SOC) em eventos acionáveis e de alto valor. Ao remover o ruído no tempo de ingestão, os analistas passam menos tempo a vasculhar registos irrelevantes e mais tempo a investigar ameaças reais.

• Desempenho de consulta mais rápido: conjuntos de dados menores na camada análise resultam em tempos de execução de consulta mais rápidos, tornando sua busca de ameaças, investigações de incidentes e regras de análise mais responsivas.

• Flexibilidade de conformidade e retenção: mantenha a retenção abrangente de dados para auditorias regulatórias e análises forenses na camada Data Lake, enquanto otimiza a camada Analytics para cargas de trabalho operacionais. Manter a retenção abrangente na camada data lake ao otimizar a camada de Análise atende aos requisitos de conformidade sem sacrificar o desempenho.

• Gestão de dados dimensionável: à medida que os volumes de dados da sua organização aumentam, as transformações ajudam-no a manter o controlo sobre os custos e o desempenho. Aplique políticas consistentes entre tabelas para garantir uma gestão de dados previsível.

As transformações de filtragem e divisão são os primeiros passos numa arquitetura de transformação maior que lhe permite desenvolver os seus dados de acordo com as suas necessidades. Para obter mais informações sobre os conceitos de transformação de dados, veja Ingestão e transformação de dados personalizados no Microsoft Sentinel.

Pré-requisitos

Antes de configurar regras de transformação de filtros ou divisões, verifique os seguintes requisitos:

• A área de trabalho Microsoft Sentinel tem de ser integrada no portal do Defender. Para obter mais informações, veja Ligar Microsoft Sentinel ao portal do Microsoft Defender.

• No portal do Microsoft Defender com o RBAC unificado, as permissões de gerenciamento de dados no grupo permissões de operações de dados.

• Para o espaço de trabalho Microsoft Sentinel, você precisa da função de Contribuidor Log Analytics, que oferece:

  • Microsoft.OperationalInsights/workspaces/write
  • Permissões Microsoft.OperationalInsights/workspaces/tables/write para o espaço de trabalho do Log Analytics.

• Para configurar uma transformação dividida:

  • Integrar o espaço de trabalho ao data lake do Microsoft Sentinel.
  • Certifique-se de que a tabela esteja atualmente na camada de Analytics.

Tabelas suportadas

Transformações de filtro e divisão têm requisitos diferentes de suporte a tabelas. As Regras de Coleta de Dados (DCRs) determinam como os dados são coletados e transformados durante a ingestão.

• Filtragem: Suportada em qualquer tabela que suporte DCRs.
• Divisão: compatível com qualquer tabela que dê suporte apenas à ingestão do Analytics, à ingestão somente do Data lake e às DCRs (Regras de Coleta de Dados).

Para verificar se as tabelas de um conector suportam DCRs, consulte Localizar o conector de dados Microsoft Sentinel.

Filtrar transformações

As transformações de filtro permitem-lhe reduzir o ruído ao eliminar dados durante a ingestão que não são úteis para investigações. Utilize uma regra de transformação de filtro para especificar uma condição KQL que determina os dados a filtrar, com os dados restantes enviados para a camada Análise.

Utilize transformações de filtro quando precisar de:

• Reduzir o ruído: concentre seu SOC em eventos acionáveis filtrando logs rotineiros e de baixa gravidade, como "permitir" eventos de logs de firewall.
• Otimizar os custos: reduza os custos de armazenamento e processamento ao eliminar dados que não contribuem para a deteção de ameaças.
• Melhorar o desempenho: acelere as consultas e simplifique a análise ao reduzir o volume de dados armazenados.

Considere o seguinte exemplo de uma transformação de filtro:

A sua empresa depende de registos de firewall para identificar anomalias. A maioria dos registros do firewall são eventos rotineiros de "permitir", com baixa severidade, que não contribuem para a detecção de ameaças. Para reter apenas eventos críticos, como tráfego bloqueado ou alta gravidade, e filtrar logs de baixo valor, crie uma regra de transformação de filtro com uma condição KQL para enviar apenas dados de gravidade média ou alta que não sejam eventos "permitidos" para a camada Analytics.

Transformações divididas

As transformações divididas permitem-lhe encaminhar dados entre a camada Análise e a camada data lake com base nas condições especificadas. Utilize uma regra de transformação dividida para definir uma expressão KQL que determina quais os dados que estão no Analytics. Os dados que não correspondem à expressão são encaminhados apenas para a camada data lake.

Utilize transformações divididas quando precisar de equilibrar o custo e o desempenho ao encaminhar os dados para a camada de armazenamento adequada:

• Otimizar os custos de armazenamento: encaminhe os registos acedidos mais antigos ou menos frequentemente para a camada data lake para armazenamento de longo prazo económico.
• Manter o desempenho: mantenha os registos recentes no escalão Análise para consultas mais rápidas durante a investigação de ameaças ativas.
• Cumprir os requisitos de conformidade: mantenha os registos históricos das auditorias regulamentares e da análise forense sem sacrificar a agilidade operacional.

Considere o seguinte exemplo de uma transformação dividida:

Sua empresa processa milhões de entradas de log de firewall diariamente para detecção de ameaças e conformidade. A sua equipa do SOC precisa de acesso em tempo real aos registos recentes para investigações ativas, mas também tem de manter registos históricos para auditorias regulamentares. Crie uma regra de transformação dividida para encaminhar dados em tempo real para a camada Análise e dados históricos para a camada data lake.

Configurar regras de transformação de filtros

Siga estes passos para criar uma regra de transformação de filtro:

1. No portal Microsoft Defender, aceda a Microsoft Sentinel>Configuração>tabelas.

2. Selecione uma tabela. No painel lateral, selecione Regra de filtro.

   

3. No painel lateral, introduza um Nome da regra.

4. No campo Condição , introduza uma expressão KQL que designe os dados a filtrar. A expressão KQL deve ser avaliada como verdadeira para os dados que não pretende ingerir.

5. Defina a chave de status da regra como Ativado para ativar o filtro.

   Importante

   Os filtros filtram os dados. Os dados que correspondem à condição de filtro são eliminados e não são ingeridos nas camadas Analytics ou Data Lake. Certifique-se de que a expressão KQL captura com precisão os dados que pretende excluir.

6. Para adicionar outra condição, selecione Adicionar condição e introduza uma nova expressão KQL para filtrar os dados. Várias condições são combinadas com um OR lógico, pelo que os dados que correspondem a qualquer uma das condições são filtrados.

7. Selecione Guardar para aplicar a regra.

8. Verifique se a regra de filtro é aplicada ao verificar a coluna Regras de Transformação da tabela. A coluna apresenta Filtrar quando uma regra de filtro está ativa.

   

Configurar uma regra de transformação dividida

Siga estes passos para criar uma regra de transformação dividida:

1. No portal do Defender, acesse Microsoft Sentinel>Configuração>Tabelas.

2. Selecione uma tabela e, em seguida, selecione Regra de divisão.

3. No painel lateral, introduza um Nome da regra.

4. No campo expressão KQL , introduza a expressão KQL que define os dados a ingerir na camada Análise. Os dados que não correspondem a esta expressão são ingeridos na camada data lake.

5. Selecione Guardar para aplicar a regra.

6. Verifique se a regra de divisão é aplicada ao verificar a coluna Regras de Transformação da tabela. A coluna apresenta Dividir quando uma regra de divisão está ativa.

Configurar a retenção para tabelas divididas

Depois de criar uma regra de divisão, configure as definições de retenção para cada camada:

1. Abaixo da tabela original, veja as tabelas divididas resultantes de Analytics e Data lake.

2. Para configurar a retenção, selecione a tabela Analytics ou Data lake.

3. Selecione Definições de retenção de dados.

4. Configure o período de retenção e guarde.

Em alternativa, selecione a tabela original e configure a retenção do Data Lake e do Analytics na caixa de diálogo Definições combinadas de retenção de dados .

Gerenciar regras

Para gerir regras existentes, selecione a tabela e, em seguida, selecione Regra de divisão ou Regra de filtro consoante o tipo de regra que pretende gerir.

• Para desativar uma regra, selecione o interruptor Status da regra para desativá-la e, em seguida, selecione Salvar.
• Para excluir uma regra, note que excluir uma regra de transformação imediatamente para o processamento de dados dessa regra e pode afetar a ingestão ativa. Para continuar, selecione Excluir.

Verifique as regras ao executar consultas KQL para confirmar que os dados são ingeridos corretamente e encaminhados para a camada correta.

Limitações conhecidas

Tenha em atenção as seguintes limitações ao utilizar transformações de filtro e divisão:

• Visibilidade da tabela XDR: as transformações de divisão e filtro aplicadas a tabelas XDR não aparecem na Investigação Avançada durante os primeiros 30 dias de dados. As transformações são aplicadas e, após os primeiros 30 dias, os dados se comportam normalmente na Busca Avançada. Os dados consultados a partir do Log Analytics ou Microsoft Sentinel refletem imediatamente a poupança de custos.

• Atraso na propagação: as transformações podem demorar até uma hora a entrar em vigor.

• Suporte de tabela: apenas as tabelas que suportam Regras de Recolha de Dados (DCRs) suportam transformações de divisão e filtro.

Conteúdo relacionado

• Ingestão e transformação de dados personalizados no Microsoft Sentinel
• Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel
• Regras de recolha de dados no Monitor do Azure
• Regras de recolha de dados de exemplo no Monitor do Azure
• Localizar o conector de dados Microsoft Sentinel