Normalización del tiempo de ingesta

Análisis en tiempo de consulta

Como se explica en la descripción general de ASIM, Microsoft Sentinel utiliza tanto la normalización en el momento de la consulta como la normalización en el momento de la ingesta para aprovechar las ventajas de cada método.

Para usar la normalización en tiempo de consulta, utilice los analizadores de unificación en tiempo de consulta, como _Im_Dns en sus consultas. La normalización mediante el análisis de tiempo de consulta tiene varias ventajas:

  • Conservación del formato original: la normalización del tiempo de consulta no requiere que se modifiquen los datos, conservando así el formato de datos original enviado por el origen.
  • Evitar un posible almacenamiento duplicado: dado que los datos normalizados son solo una vista de los datos originales, no es necesario almacenar los datos originales y normalizados.
  • Desarrollo más sencillo: dado que los analizadores de tiempo de consulta presentan una vista de los datos y no modifican los datos, son fáciles de desarrollar. El desarrollo, las pruebas y la corrección de un analizador se pueden realizar en los datos existentes. Además, los analizadores se pueden corregir cuando se detecta un problema y la corrección se aplica a los datos existentes.

Análisis en tiempo de ingesta

Aunque los analizadores de tiempo de consulta de ASIM están optimizados, el análisis del tiempo de consulta puede ralentizar las consultas, especialmente en conjuntos de datos grandes.

El análisis de tiempo de ingesta permite transformar eventos en un esquema normalizado a medida que se ingieren en Microsoft Sentinel y almacenarlos en un formato normalizado. El análisis de tiempo de ingesta es menos flexible y los analizadores son más difíciles de desarrollar, pero dado que los datos se almacenan en un formato normalizado, ofrece un mejor rendimiento.

Los datos normalizados se pueden almacenar en las tablas normalizadas nativas de Microsoft Sentinel o en una tabla personalizada que usa un esquema ASIM. Una tabla personalizada que tiene un esquema cercano, pero no idéntico, a un esquema ASIM, también proporciona las ventajas de rendimiento de la normalización del tiempo de ingesta.

Actualmente, ASIM admite las siguientes tablas normalizadas nativas como destino para la normalización del tiempo de ingesta:

La ventaja de las tablas normalizadas nativas es que se incluyen de forma predeterminada en los analizadores de unificación de ASIM. Las tablas normalizadas personalizadas se pueden incluir en los analizadores de unificación, como se describe en Administrar analizadores.

Combinación de normalización en tiempo de ingesta y en tiempo de consulta

Las consultas siempre deben usar los analizadores de unificación en tiempo de consulta, como _Im_Dns, para sacar partido de la normalización tanto en tiempo de consulta como en tiempo de ingesta. Las tablas normalizadas nativas se incluyen en los datos consultados mediante un analizador de código auxiliar.

El analizador de código auxiliar es un analizador en tiempo de consulta que usa como entrada la tabla normalizada. Dado que la tabla normalizada no requiere análisis, el analizador de código auxiliar es eficaz.

El analizador del código auxiliar muestra a la consulta de llamada una vista que se agrega a la tabla nativa de ASIM:

  • Alias: para no desperdiciar el almacenamiento en valores repetidos, los alias no se almacenan en tablas nativas de ASIM y los analizadores de código auxiliar los agregan en el momento de la consulta.
  • Valores constantes : al igual que los alias y por el mismo motivo, las tablas normalizadas de ASIM tampoco almacenan valores constantes como EventSchema. El analizador de stubs añade esos campos. Una tabla normalizada de ASIM se comparte entre muchos orígenes, y los analizadores en tiempo de ingesta pueden cambiar su versión de salida. Por lo tanto, campos como EventProduct, EventVendor y EventSchemaVersion no son constantes y el analizador de código auxiliar no los agrega.
  • Filtrado : el analizador de código auxiliar también implementa el filtrado. Aunque las tablas nativas de ASIM no necesitan analizadores de filtrado para lograr un mejor rendimiento, el filtrado es necesario para admitir la inclusión en el analizador de unificación.
  • Novedades y correcciones: el uso de un analizador de código auxiliar permite corregir los problemas con mayor rapidez. Por ejemplo, si los datos se ingieren incorrectamente, es posible que no se haya extraído una dirección IP del campo de mensaje durante la ingesta. La dirección IP se puede extraer mediante el analizador preliminar en el momento de la consulta.

Cuando use tablas normalizadas personalizadas, cree su propio analizador de código auxiliar para implementar esta funcionalidad y agréguelo a los analizadores de unificación, como se describe en Administración de analizadores. Use el analizador de código auxiliar para la tabla nativa, como el analizador de código auxiliar de tabla nativa de DNS y su homólogo de filtrado, como punto de partida. Si la tabla está semi normalizada, use el analizador de código auxiliar para realizar el análisis y la normalización adicionales necesarios.

Obtenga más información sobre cómo escribir analizadores en Desarrollo de analizadores de ASIM.

Implementación de la normalización del tiempo de ingesta

Para normalizar los datos durante la ingesta, debe usar una regla de recopilación de datos (DCR). El procedimiento para implementar la DCR depende del método utilizado para incorporar los datos. Para obtener más información, consulte el artículo Transformación o personalización de datos en el momento de la ingesta en Microsoft Sentinel.

Una consulta de transformación KQL es el núcleo de una DCR. La versión de KQL que se usa en los DCR es ligeramente diferente de la versión usada en otro lugar de Microsoft Sentinel para adaptarse a los requisitos del procesamiento de eventos de canalización. Por lo tanto, debe modificar cualquier analizador en tiempo de consulta para usarlo en una regla DCR. Para obtener más información sobre las diferencias y cómo convertir un analizador de tiempo de consulta en un analizador de tiempo de ingesta, lea sobre las limitaciones de DCR KQL.

Contenido relacionado

  • Last updated on