Agregar dados do Microsoft Sentinel com regras de sumarização

Use as regras de sumarização no Microsoft Sentinel para agrupar grandes volumes de dados em segundo plano e proporcionar uma experiência de operações de segurança mais fluida em todas as camadas de logs. Os dados de resumo são pré-compilados em tabelas de log personalizadas e fornecem desempenho de consulta rápido, incluindo consultas executadas em dados derivados de camadas de log de baixo custo. As regras de resumo podem ajudar a otimizar seus dados para:

• Análise e relatórios, especialmente em grandes conjuntos de dados e intervalos de tempo, conforme necessário para análise de segurança e incidentes, relatórios comerciais mensais ou anuais e assim por diante.
• Redução de custos com logs verbosos, que você pode reter pelo tempo mínimo ou máximo de que precisar em uma camada de logs mais econômica, e enviar apenas dados resumidos para uma tabela do Analytics para análise e relatórios.
• Segurança e privacidade de dados, removendo ou ofuscando detalhes de privacidade em dados compartilháveis resumidos e limitando o acesso a tabelas com dados brutos.

O Microsoft Sentinel armazena os resultados das regras de sumarização em tabelas personalizadas com o plano de dados Analytics. Para obter mais informações sobre planos de dados e custos de armazenamento, consulte Planos de tabela de log.

Este artigo explica como criar regras resumo, implantar modelos pré-construídos e revisar cenários de uso comum no Microsoft Sentinel.

Pré-requisitos

Para criar regras de resumo no Microsoft Sentinel:

• O Microsoft Sentinel deve estar habilitado em pelo menos um espaço de trabalho e consumir logs ativamente.

• Você deve ser capaz de acessar o Microsoft Sentinel com permissões de Colaborador do Microsoft Sentinel. Para obter mais informações, consulte Funções e permissões no Microsoft Sentinel.

• Para criar regras de resumo no portal do Microsoft Defender, você deve primeiro integrar seu espaço de trabalho ao portal do Defender. Para obter mais informações, confira Conectar o Microsoft Sentinel ao portal do Microsoft Defender.

Recomendamos que você experimente sua consulta de regra de resumo na página Hunts antes de criar sua regra. Verifique se a consulta não atinge ou se está perto das restrições e limitações das regras de resumo e verifique se a consulta produz o esquema pretendido e os resultados esperados. Se a consulta estiver próxima dos limites de consulta, considere usar um menor binSize para processar menos dados por compartimento. Você também pode modificar a consulta para retornar menos registros ou remover campos com maior volume.

Criar uma nova regra de resumo

Crie uma nova regra de resumo para agregar um grande conjunto de dados específico em uma tabela dinâmica. Configure a frequência de regras para determinar com que frequência seu conjunto de dados agregados é atualizado a partir dos dados brutos.

1. Abra o assistente de regra de resumo:

   • No portal do Defender, selecione Regras de Resumo de Configuração > do Microsoft Sentinel>.

   • No portal do Azure, no menu de navegação do Microsoft Sentinel, em Configuração, selecione Regras de resumo. Por exemplo:

     

2. Selecione + Criar e insira os seguintes detalhes:

   • Nome. Insira um nome significativo para sua regra.

   • Descrição. Insira uma descrição opcional.

   • Tabela de destino. Defina a tabela de log personalizada em que os dados são agregados:

     • Se você selecionar Tabela de logs personalizada existente, selecione a tabela que deseja usar.

     • Se você selecionar Nova tabela de log personalizada, insira um nome significativo para a tabela. O nome completo da tabela usa a seguinte sintaxe: <tableName>_CL.

3. Recomendamos que você ative as configurações de diagnóstico SummaryLogs no seu espaço de trabalho para ter visibilidade sobre runes históricas e falhas. Se as configurações de diagnóstico do SummaryLogs não estiverem habilitadas, você será solicitado a habilitá-las na área Configurações de diagnóstico .

   Se as configurações de diagnóstico SummaryLogs já estiverem habilitadas, mas você quiser modificá-las, selecione Definir configurações de diagnóstico avançadas. Quando você voltar à página Assistente de regra de resumo, certifique-se de selecionar Atualizar para atualizar os detalhes da sua configuração.

   Importante

   A configuração de diagnóstico SummaryLogs tem custos adicionais. Para obter mais informações, consulte Configurações de diagnóstico no Azure Monitor.

4. Selecione Avançar: Definir lógica de resumo > para continuar.

5. Na página Definir lógica de resumo , insira sua consulta de resumo. Por exemplo, para resumir os dados do Google Cloud Platform, você pode querer inserir:

   GCPAuditLogs
   | where ServiceName == 'pubsub.googleapis.com'
   | summarize count() by Severity
   

   Para obter mais informações, consulte Cenários de exemplo de regras de resumo e Linguagem de Consulta Kusto (KQL) no Azure Monitor.

6. Selecione Visualizar resultados para mostrar um exemplo dos dados que você coletaria com a consulta configurada.

7. Na área Agendamento de consultas , defina os seguintes detalhes:

   • Com que frequência você deseja que a regra seja executada
   • Se você deseja que a regra seja executada com algum tipo de atraso, em minutos
   • Quando você deseja que a regra comece a ser executada

   Os horários definidos no agendamento são baseados na coluna timegenerated nos seus dados

8. Selecione Avançar: Revisar + criar >>Salvar para concluir a regra de resumo.

As regras de resumo existentes são listadas na página Regras de resumo, onde você pode examinar o status da regra. Para cada regra, selecione o menu de opções no final da linha para executar qualquer uma das seguintes ações:

• Exiba os dados atuais da regra na página Logs , como se você fosse executar a consulta imediatamente
• Exibir o histórico de execução da regra selecionada
• Desative ou ative a regra.
• Editar a configuração da regra

Para excluir uma regra, selecione a linha da regra e, em seguida, selecione Excluir na barra de ferramentas na parte superior da página.

Implementar modelos predefinidos de regras de resumo

Os modelos de regra de resumo são regras de resumo pré-criadas que você pode implantar no estado em que se encontram ou personalizar de acordo com suas necessidades.

Para implantar um modelo de regra de resumo:

1. Abra o Hub de conteúdo e filtre Tipo de conteúdo por Regras de resumo para exibir os modelos de regra de resumo disponíveis.

   

2. Selecione um modelo de regra de resumo.

   Um painel com informações sobre o modelo de regra resumo é aberto, exibindo campos como descrição, consulta resumo e tabela de destino.

   

3. Selecione Instalar para instalar o modelo.

4. Selecione a guia Modelos na página Regras de resumo e selecione a regra de resumo que você instalou.

   

5. Selecione Criar para abrir o assistente da regra de resumo, onde todos os campos já vêm preenchidos.

6. Acesse o assistente de regra de resumo e selecione Salvar para implantar a regra de resumo.

   Para obter mais informações sobre o assistente de regra de resumo, consulte Criar uma nova regra de resumo.

Exemplos de cenários de regra de sumarização no Microsoft Sentinel

Esta seção analisa cenários comuns para a criação de regras de resumo no Microsoft Sentinel e nossas recomendações sobre como configurar cada regra. Para obter mais informações e exemplos, confira Resumir insights de dados brutos em uma tabela auxiliar para uma tabela de análise no Microsoft Sentinel e fontes de log a serem usadas para ingestão de logs auxiliares.

Encontre rapidamente um endereço IP mal-intencionado no tráfego da rede

Cenário: você é um caçador de ameaças e um dos objetivos da sua equipe é identificar todas as instâncias de quando um endereço IP mal-intencionado interagiu nos logs de tráfego de rede de um incidente ativo, nos últimos 90 dias.

Desafio: atualmente, o Microsoft Sentinel ingere vários terabytes de logs de rede por dia. Você precisa percorrê-los rapidamente para encontrar correspondências com o endereço IP malicioso.

Solução: É recomendável usar as regras de resumo para fazer o seguinte:

1. Crie um conjunto de dados resumido para cada endereço IP relacionado ao incidente, incluindo , DestinationIPSourceIP, MaliciousIP, RemoteIP, , cada um listando atributos importantes, como IPType, FirstTimeSeen, e LastTimeSeen.

   O conjunto de dados resumido permite pesquisar rapidamente um endereço IP específico e restringir o intervalo de tempo em que o endereço IP é encontrado. Você pode fazer isso mesmo quando os eventos pesquisados ocorreram há mais de 90 dias, o que está fora do período de retenção do seu espaço de trabalho.

   Neste exemplo, configure o resumo para ser executado diariamente, para que a consulta adicione novos registros de resumo todos os dias até que expire.

2. Crie uma regra de análise que seja executada por menos de dois minutos no conjunto de dados de resumo, analisando rapidamente o intervalo de tempo específico em que o endereço IP mal-intencionado interagiu com a rede da empresa.

   Certifique-se de configurar intervalos de execução de até cinco minutos, no mínimo, para acomodar diferentes tamanhos de conteúdo de resumo. Isso garante que não ocorra perda mesmo quando há um atraso na ingestão de um evento.

   Por exemplo:

   let csl_columnmatch=(column_name: string) {
   summarized_CommonSecurityLog
   | where isnotempty(column_name)
   | extend
       Date = format_datetime(TimeGenerated, "yyyy-MM-dd"),
       IPaddress = column_ifexists(column_name, ""),
       FieldName = column_name
   | extend IPType = iff(ipv4_is_private(IPaddress) == true, "Private", "Public")
   | where isnotempty(IPaddress)
   | project Date, TimeGenerated, IPaddress, FieldName, IPType, DeviceVendor
   | summarize count(), FirstTimeSeen = min(TimeGenerated), LastTimeSeen = min(TimeGenerated) by Date, IPaddress, FieldName, IPType, DeviceVendor
   };
   union csl_columnmatch("SourceIP")
       , csl_columnmatch("DestinationIP") 
       , csl_columnmatch("MaliciousIP")
       , csl_columnmatch("RemoteIP")
   // Further summarization can be done per IPaddress to remove duplicates per day on larger timeframe for the first run
   | summarize make_set(FieldName), make_set(DeviceVendor) by IPType, IPaddress
   

3. Execute uma pesquisa ou correlação subsequente com outros dados para concluir a história do ataque.

Gere alertas em correspondências de inteligência contra ameaças em relação aos dados de rede

Gere alertas para correspondências com inteligência de ameaças em dados de rede ruidosos, de alto volume e de baixo valor para a segurança.

Cenário: você precisa criar uma regra de análise para que os logs de firewall correspondam aos nomes de domínio no sistema que foram visitados em uma lista de nomes de domínio de inteligência contra ameaças.

A maioria das fontes de dados consiste em logs brutos, que são ruidosos e têm grande volume, mas oferecem menor valor para a segurança, incluindo endereços IP, tráfego do Firewall do Azure, tráfego do FortiGate e assim por diante. Há um volume total de cerca de 1 TB por dia.

Desafio: a criação de regras separadas requer vários aplicativos lógicos, exigindo sobrecarga e custos extras de configuração e manutenção.

Solução: É recomendável usar as regras de resumo para fazer o seguinte:

1. Crie uma regra de resumo:

   1. Estenda sua consulta para extrair campos-chave, como o endereço de origem, o endereço de destino e a porta de destino da tabela CommonSecurityLog_CL , que é o CommonSecurityLog com o plano auxiliar.

   2. Execute uma pesquisa interna nos Indicadores de Inteligência contra Ameaças ativos para identificar quaisquer correspondências com nosso endereço de origem. Isso permite que você faça uma referência cruzada de seus dados com ameaças conhecidas.

   3. Informações relevantes do projeto, incluindo o tempo gerado, o tipo de atividade e quaisquer IPs de origem mal-intencionados, juntamente com os detalhes de destino. Defina a frequência com que a consulta deve ser executada e a tabela de destino, como MaliciousIPDetection . Os resultados nesta tabela estão na camada analítica e são cobrados de acordo.

2. Criar um alerta:

   Criar uma regra de análise no Microsoft Sentinel que alerta com base nos resultados da tabela MaliciousIPDetection. A criação de uma regra de análise é crucial para a detecção proativa de ameaças e a resposta a incidentes.

Exemplo de regra resumo:

CommonSecurityLog_CL​
| extend sourceAddress = tostring(parse_json(Message).sourceAddress), destinationAddress = tostring(parse_json(Message).destinationAddress), destinationPort = tostring(parse_json(Message).destinationPort)​
| lookup kind=inner (ThreatIntelligenceIndicator | where Active == true ) on $left.sourceAddress == $right.NetworkIP​
| project TimeGenerated, Activity, Message, DeviceVendor, DeviceProduct, sourceMaliciousIP =sourceAddress, destinationAddress, destinationPort

Conteúdo relacionado

• Agregue dados no espaço de trabalho do Log Analytics com regras de resumo
• Planejar custos e entender os preços e cobranças do Microsoft Sentinel
• Fontes de log a serem usadas para ingestão de Logs Auxiliares
• Regras de resumo, restrições e limitações