Transformación de datos mediante filtro y división en Microsoft Sentinel

A medida que los volúmenes de datos de seguridad siguen creciendo, las organizaciones se enfrentan al desafío de equilibrar la retención rentable de telemetría usada para la inteligencia artificial, el cumplimiento y las investigaciones, al tiempo que garantizan que solo se conserven los datos necesarios en niveles de almacenamiento de alto rendimiento. Utiliza las transformaciones de datos de filtrado y división en Microsoft Sentinel para resolver este problema, modificando los datos en el momento de la ingesta con el fin de optimizar tu estrategia de retención de datos.

En este artículo se describe cómo configurar transformaciones de datos de filtro y división sin necesidad de crear manualmente configuraciones de regla de recopilación de datos (DCR) personalizadas. Cuando adaptas la ingestión de datos usando filtros y transformaciones de datos divididos, puedes mejorar el rendimiento y reducir el ruido.

Mediante el uso de transformaciones de datos, puede optimizar la canalización de datos de seguridad controlando qué datos se almacenan y en qué nivel. El uso de transformaciones de filtro y división proporciona las siguientes ventajas:

• Optimización de costos: reduzca los costos de almacenamiento y procesamiento filtrando datos de bajo valor que no contribuyen a la detección de amenazas. Dirija los datos a los que se accede con menor frecuencia al almacenamiento de Data Lake más rentable, mientras mantiene los datos de alta prioridad en el nivel Analytics.

• Eficiencia de SOC mejorada: céntrese en el centro de operaciones de seguridad (SOC) en eventos accionables de alto valor. Al eliminar el ruido en el tiempo de ingesta, los analistas dedican menos tiempo a examinar registros irrelevantes y más tiempo a investigar amenazas reales.

• Rendimiento más rápido de las consultas: los conjuntos de datos más pequeños en el nivel de análisis dan lugar a tiempos de ejecución de consultas más rápidos, lo que hace que la búsqueda de amenazas, las investigaciones de incidentes y las reglas de análisis tengan mayor capacidad de respuesta.

• Flexibilidad de cumplimiento y retención: mantenga una retención completa de datos para auditorías normativas y análisis forenses en el nivel data lake al tiempo que optimiza el nivel de Análisis para cargas de trabajo operativas. Mantener una retención completa en el nivel lago de datos al optimizar el nivel de análisis satisface los requisitos de cumplimiento sin sacrificar el rendimiento.

• Administración de datos escalables: a medida que aumentan los volúmenes de datos de la organización, las transformaciones le ayudan a mantener el control sobre los costos y el rendimiento. Aplique directivas coherentes entre tablas para garantizar una administración de datos predecible.

Las transformaciones de filtro y división son los primeros pasos de un marco de transformación mayor que le permite evolucionar los datos para satisfacer sus necesidades. Para obtener más información sobre los conceptos de transformación de datos, vea Ingesta y transformación de datos personalizados en Microsoft Sentinel.

Requisitos previos

Antes de configurar reglas de transformación de filtro o división, compruebe los siguientes requisitos:

• El área de trabajo de Microsoft Sentinel debe incorporarse al portal de Defender. Para obtener más información, consulte Conexión de Microsoft Sentinel al portal de Microsoft Defender.

• En el portal de Microsoft Defender con el control de acceso basado en roles unificado (RBAC), verifique los permisos Datos (administrar) en el grupo Operaciones de datos.

• Para el espacio de trabajo de Microsoft Sentinel, necesitas el rol de Colaborador de Log Analytics, que proporciona:

  • Microsoft.OperationalInsights/workspaces/write
  • Microsoft.OperationalInsights/workspaces/tables/write permisos en el área de trabajo de Log Analytics.

• Para configurar una transformación dividida:

  • Integrar el espacio de trabajo en el lago de datos Microsoft Sentinel.
  • Asegúrate de que la tabla esté actualmente en el nivel de Analítica.

Tablas compatibles

Las transformaciones de filtro y división tienen diferentes requisitos de soporte de tabla. Las Reglas de Recogida de Datos (DCRs) determinan cómo se recogen y transforman los datos durante la ingestión.

• Filtrado: Compatible con cualquier tabla que soporte DCRs.
• División: se admite en cualquier tabla donde se permita usar la ingesta solo de Analytics, la ingesta solo de lago de datos y las reglas de recopilación de datos (DCR).

Para comprobar si las tablas de un conector admiten DCR, consulte Buscar el conector de datos de Microsoft Sentinel.

Transformaciones de filtro

Las transformaciones de filtro permiten reducir el ruido descartando datos durante la ingesta que no son útiles para las investigaciones. Use una regla de transformación de filtro para especificar una condición KQL que determine qué datos se van a filtrar, con los datos restantes enviados al nivel de Análisis.

Use transformaciones de filtro cuando necesite:

• Reducir el ruido: centre su SOC en los eventos que requieren acción filtrando registros rutinarios de baja gravedad, como los eventos «allow» de los registros del firewall.
• Optimizar los costos: reduzca los costos de almacenamiento y procesamiento descartando los datos que no contribuyen a la detección de amenazas.
• Mejorar el rendimiento: acelere las consultas y optimice el análisis mediante la reducción del volumen de datos almacenados.

Tenga en cuenta el ejemplo siguiente de una transformación de filtro:

La empresa se basa en registros de firewall para identificar anomalías. La mayoría de los registros de firewall son eventos "allow" rutinarios con una gravedad baja que no contribuyen a la detección de amenazas. Para conservar solo los eventos críticos, como el tráfico bloqueado o la gravedad alta, y filtrar los registros de valor bajo, cree una regla de transformación de filtro con una condición KQL para enviar solo datos de gravedad media o alta que no sean eventos "permitidos" al nivel de Analytics.

Separar transformaciones

Las transformaciones divididas permiten enrutar los datos entre el nivel analytics y el nivel de Data lake en función de las condiciones especificadas. Use una regla de transformación dividida para definir una expresión KQL que determine qué datos llegan a Analytics. Los datos que no coinciden con la expresión se envían únicamente al nivel de lago de datos.

Use transformaciones divididas cuando necesite equilibrar el costo y el rendimiento mediante el enrutamiento de datos al nivel de almacenamiento adecuado:

• Optimizar los costos de almacenamiento: enrute los registros más antiguos o a los que se accede con menos frecuencia al nivel de Data lake para un almacenamiento rentable a largo plazo.
• Mantener el rendimiento: mantenga los registros recientes en el nivel De análisis para realizar consultas más rápidas durante la búsqueda activa de amenazas.
• Cumplir los requisitos de cumplimiento: conserve los registros históricos para las auditorías normativas y el análisis forense sin sacrificar la agilidad operativa.

Considere el siguiente ejemplo de una transformación dividida:

Su empresa procesa millones de registros del firewall a diario para la detección de amenazas y el cumplimiento normativo. El equipo de SOC necesita acceso en tiempo real a los registros recientes para las investigaciones activas, pero también debe conservar los registros históricos para las auditorías normativas. Cree una regla de transformación de división para dirigir los datos en tiempo real al nivel de análisis y los datos históricos al nivel de lago de datos.

Configuración de reglas de transformación de filtros

Siga estos pasos para crear una regla de transformación de filtro:

1. En el portal de Microsoft Defender, vaya a Microsoft Sentinel>Configuración>Tablas.

2. Seleccione una tabla. En el panel lateral, seleccione Regla de filtro.

   

3. En el panel lateral, escriba un nombre de regla.

4. En el campo Condición , escriba una expresión KQL que designe los datos que se van a filtrar. La expresión KQL debe evaluarse como true para los datos que no desea ingerir.

5. Establezca el interruptor de estado de la regla en Activado para habilitar el filtro.

   Importante

   Los filtros excluyen datos. Los datos que cumplen la condición del filtro se descartan y no se ingieren ni en el nivel Analytics ni en el nivel Data lake. Asegúrese de que la expresión KQL captura con precisión los datos que desea excluir.

6. Para agregar otra condición, seleccione Agregar condición y escriba una nueva expresión KQL para filtrar los datos. Se combinan varias condiciones con un OR lógico, por lo que los datos que coinciden con cualquiera de las condiciones se filtran.

7. Seleccione Guardar para aplicar la regla.

8. Compruebe que la regla de filtro se aplica comprobando la columna Reglas de transformación de la tabla. La columna muestra Filtrar cuando una regla de filtro está activa.

   

Configuración de una regla de transformación dividida

Siga estos pasos para crear una regla de transformación dividida:

1. En el portal de Defender, vaya a Microsoft Sentinel>Configuración>Tablas.

2. Seleccione una tabla y, a continuación, seleccione Dividir regla.

3. En el panel lateral, escriba un nombre de regla.

4. En el campo Expresión de KQL , escriba la expresión KQL que define qué datos se van a ingerir en el nivel de Análisis. Los datos que no coinciden con esta expresión se incorporan a la capa de lago de datos.

5. Seleccione Guardar para aplicar la regla.

6. Compruebe que la regla de división se aplica comprobando la columna Reglas de transformación de la tabla. La columna muestra Dividir cuando está activa una regla de división.

Configuración de la retención para tablas divididas

Después de crear una regla de división, configure las opciones de retención para cada nivel:

1. Debajo de la tabla original, vea las tablas divididas resultantes de Analytics y Data lake.

2. Para configurar la retención, seleccione la tabla Analytics o Data lake.

3. Seleccione Configuración de retención de datos.

4. Configura el período de retención y guarda los cambios.

Como alternativa, seleccione la tabla original y configure la retención de Analytics y Data Lake en el cuadro de diálogo de configuración de retención de datos combinado.

Administrar reglas

Para administrar las reglas existentes, seleccione la tabla y, a continuación, seleccione Dividir regla o Filtrar regla según el tipo de regla que quiera administrar.

• Para deshabilitar una regla, seleccione el modificador Estado de regla para desactivar la regla y, a continuación, seleccione Guardar.
• Para eliminar una regla, ten en cuenta que eliminar una regla de transformación detiene inmediatamente el procesamiento de datos para esa regla y puede afectar la ingestión activa. Para continuar, seleccione Eliminar.

Compruebe las reglas ejecutando consultas KQL para confirmar que los datos se ingieren correctamente y se dirigen a la capa correcta.

Limitaciones conocidas

Tenga en cuenta las siguientes limitaciones al usar transformaciones de filtro y división:

• Visibilidad de la tabla XDR: las transformaciones de división y filtro aplicadas a las tablas XDR no aparecen en Búsqueda avanzada durante los primeros 30 días de datos. Se aplican las transformaciones y, una vez que los datos envejecen más allá de los primeros 30 días, se comportan normalmente en la búsqueda avanzada. Los datos consultados desde Log Analytics o Microsoft Sentinel reflejan el ahorro de costos inmediatamente.

• Retraso de propagación: las transformaciones pueden tardar hasta una hora en surtir efecto.

• Compatibilidad con tablas: solo las tablas que admiten reglas de recopilación de datos (DCR) admiten transformaciones de división y filtro.

Contenido relacionado

• Ingesta y transformación de datos personalizados en Microsoft Sentinel
• Transformar o personalizar datos en el momento de la ingesta en Microsoft Sentinel
• Reglas de recopilación de datos en Azure Monitor
• Reglas de recopilación de datos de ejemplo en Azure Monitor
• Encuentre su conector de datos de Microsoft Sentinel