Crear trabajos de KQL en el lago de datos de Microsoft Sentinel

Los trabajos del Lenguaje de Consultas Kusto (KQL) son consultas KQL de un solo uso o programadas sobre datos en el lago de datos Microsoft Sentinel y tablas federadas. Las tablas federadas son fuentes de datos externas, como Microsoft Entra ID, Microsoft 365 y Microsoft Resource Graph, que puedes consultar junto con tablas data lake sin necesidad de ingerir los datos en tu espacio de trabajo. Use trabajos para escenarios analíticos y de investigación, como:

• Consultas únicas de ejecución prolongada para investigaciones de incidentes y respuesta a incidentes (IR)
• Tareas de agregación de datos que respaldan flujos de trabajo de enriquecimiento utilizando registros poco detallados
• Análisis de coincidencias históricos de inteligencia sobre amenazas (TI) para el análisis de retrospectiva
• Exámenes de detección de anomalías que identifican patrones inusuales en varias tablas

Los trabajos de KQL son especialmente eficaces cuando las consultas usan combinaciones o uniones entre conjuntos de datos diferentes. Antes de empezar, asegúrese de cumplir los requisitos previos, incluidos la incorporación de Data Lake y los permisos necesarios.

Utilice los trabajos para promover datos del nivel de lago de datos al nivel de análisis. Una vez en el nivel de análisis, use el editor KQL de búsqueda avanzada para consultar los datos. La promoción de datos al nivel de análisis tiene las siguientes ventajas:

• Combine datos actuales e históricos en el nivel de análisis o desde tablas federadas para ejecutar modelos avanzados de análisis y aprendizaje automático en los datos.
• Reduzca los costos de las consultas mediante la ejecución de consultas en el nivel de análisis.
• Combine datos de varias áreas de trabajo a un único área de trabajo en el nivel de análisis.
• Combine los datos de Microsoft Entra ID, Microsoft 365 y Microsoft Resource Graph en el nivel de análisis para ejecutar análisis avanzados entre orígenes de datos.

Puede promover los datos a una nueva tabla o anexar los resultados a una tabla existente en el nivel de análisis. Al crear una nueva tabla, el nombre de la tabla se sufijo con _KQL_CL para indicar que la tabla se creó mediante un trabajo de KQL.

Si lo prefiere, puede escribir los datos procesados de un trabajo de KQL en otra tabla dentro de la capa del lago de datos para acelerar la investigación o usar los datos enriquecidos para la búsqueda de amenazas. Al crear una nueva tabla, al nombre de la tabla se le añade el sufijo _KQL si escribe en el área de trabajo de tablas del sistema.

Requisitos previos

Para crear y administrar trabajos de KQL en el lago de datos de Microsoft Sentinel, debe contar con los siguientes requisitos previos.

Incorporación al lago de datos

Para crear y administrar trabajos de KQL en el lago de datos de Microsoft Sentinel, primero debe incorporarlos al lago de datos. Para obtener más información sobre la incorporación al lago de datos, consulte Incorporación al lago de datos Microsoft Sentinel.

Permisos

Microsoft Entra ID roles proporcionan un acceso amplio a todas las áreas de trabajo del lago de datos. Para leer tablas en todas las áreas de trabajo, escribir en el nivel de análisis y programar trabajos mediante consultas KQL, debe tener uno de los roles de Microsoft Entra ID admitidos. Para obtener más información sobre los roles y permisos, consulte roles y permisos del lago de datos de Microsoft Sentinel.

Para crear nuevas tablas personalizadas en el nivel de análisis, asigne el rol Colaborador de Log Analytics en el área de trabajo de Log Analytics a la identidad administrada de Data Lake.

Para asignar el rol, siga estos pasos:

1. En el Azure Portal, vaya al área de trabajo de Log Analytics a la que desea asignar el rol.
2. Seleccione Control de acceso (IAM) en el panel de navegación izquierdo.
3. Seleccione Agregar asignación de roles.
4. En la tabla Rol , seleccione *Colaborador de Log Analytics y, a continuación, seleccione Siguiente.
5. Seleccione Identidad administrada y seleccione Seleccionar miembros.
6. La identidad administrada de Data Lake es una identidad administrada asignada por el sistema denominada msg-resources-<guid>. Seleccione la identidad administrada y seleccione Seleccionar.
7. Seleccione Revisar y asignar.

Para obtener más información sobre cómo asignar roles a identidades administradas, consulte Asignación de roles Azure mediante el Azure Portal.

Creación de un trabajo

Puede crear trabajos que se ejecuten de forma programada o una sola vez. Cuando crea un trabajo, especifica el espacio de trabajo de destino y la tabla de resultados. Puede escribir los resultados en una tabla nueva o anexarlos a una tabla existente en el nivel de análisis o lago de datos. No puede escribir los resultados en tablas federadas. Puede crear un nuevo trabajo de KQL o crear un trabajo a partir de una plantilla que contenga la configuración de la consulta y del trabajo. Para obtener más información, consulte Creación de un trabajo de KQL a partir de una plantilla.

1. Inicie el proceso de creación de trabajos desde el editor de consultas de KQL o desde la página de administración de trabajos.

   1. Para crear un trabajo desde el editor de consultas de KQL, seleccione el botón Crear trabajo en la esquina superior derecha del editor de consultas.

   2. Para crear un trabajo desde la página de administración de trabajos, seleccione Microsoft Sentinel>Exploración del lago de datos>Trabajos y, a continuación, seleccione el botón Crear trabajo.

2. Escriba un nombre de trabajo. El nombre del trabajo debe ser único para el inquilino. Los nombres de trabajo pueden contener hasta 256 caracteres. No se puede usar # ni - en un nombre del trabajo.

3. Escriba una descripción del trabajo que proporcione el contexto y el propósito del trabajo.

4. En la lista desplegable Seleccionar área de trabajo , seleccione el área de trabajo de destino. Este área de trabajo puede ser tablas del sistema o un área de trabajo de Sentinel donde desea escribir los resultados de la consulta.

5. Seleccione la tabla de destino:

   1. Para anexar a una tabla existente, seleccione Agregar a una tabla existente y seleccione el nombre de la tabla en la lista desplegable. Al agregar a una tabla existente, los resultados de la consulta deben coincidir con el esquema de la tabla existente.

6. Seleccione Siguiente.

7. Revise o escriba la consulta en el panel Preparar la consulta . Compruebe que el selector de hora está establecido en el intervalo de tiempo necesario para el trabajo si el intervalo de fechas no se especifica en la consulta.

8. Seleccione las áreas de trabajo en las que se va a ejecutar la consulta en la lista desplegable Áreas de trabajo seleccionadas . Estas áreas de trabajo son las áreas de trabajo de origen cuyas tablas desea consultar. Las áreas de trabajo que seleccione determinan las tablas disponibles para realizar consultas. Las áreas de trabajo seleccionadas se aplican a todas las pestañas de consulta del editor de consultas. Cuando se usan varias áreas de trabajo, el union() operador se aplica de forma predeterminada a las tablas con el mismo nombre y esquema de diferentes áreas de trabajo. Use el workspace() operador para consultar una tabla desde un área de trabajo específica, por ejemplo workspace("MyWorkspace").AuditLogs.

   Nota:

   Si escribe en una tabla existente, la consulta debe devolver resultados con un esquema que coincida con el esquema de tabla de destino. Si la consulta no devuelve resultados con el esquema correcto, se produce un error en el trabajo cuando se ejecuta.

   La escritura de trabajos KQL en tablas del sistema se encuentra actualmente en versión preliminar.

9. Seleccione Siguiente.

   

   En la página Programar el trabajo de consulta , seleccione si desea ejecutar el trabajo una vez o según una programación. Si selecciona Una vez, el trabajo se ejecuta en cuanto se completa la definición del trabajo. Si selecciona Programar, puede especificar una fecha y hora para que se ejecute el trabajo o ejecutarlo según una programación periódica.

10. Seleccione Una vez o Trabajo programado.

    Nota:

    La edición de un trabajo único desencadena inmediatamente su ejecución.

11. Si seleccionó Programar, escriba los detalles siguientes:

    1. Seleccione la Frecuencia de repetición en el menú desplegable. Puede seleccionar Por minuto, Por hora, Diario, Semanal o Mensual.
    2. Establezca el valor Repetir cada para la frecuencia con la que desea que se ejecute el trabajo con respecto a la frecuencia seleccionada.
    3. En Establecer programación, seleccione desde fecha y escriba una hora. La hora de inicio del trabajo en el campo Desde debe ser de al menos 30 minutos después de la creación del trabajo. El trabajo se ejecutará a partir de esta fecha y hora según la frecuencia seleccionada en la lista desplegable Ejecutar cada.
    4. Seleccione la fecha Hasta e introduzca una hora para especificar cuándo finaliza la tarea programada. Si desea que la programación continúe indefinidamente, seleccione Establecer trabajo para que se ejecute indefinidamente.

    Las horas de inicio y fin de la tarea se establecen según la configuración regional del usuario.

    Nota:

    Si programa un trabajo para que se ejecute con una frecuencia alta, por ejemplo, cada 30 minutos, debe tener en cuenta el tiempo que tardan los datos en estar disponibles en el lago de datos. Normalmente, hay una latencia de hasta 15 minutos antes de que los datos recién ingeridos estén disponibles para realizar consultas.

12. Seleccione Siguiente para revisar los detalles del trabajo.

    

13. Revise los detalles del trabajo y seleccione Enviar para crear el trabajo. Si la tarea se ejecuta una sola vez, se ejecuta después de hacer clic en Enviar. Si el trabajo está programado, se agrega a la lista de trabajos en la página Trabajos y se ejecuta según los datos de inicio y la hora.

14. El trabajo está programado y se muestra la página siguiente. Para ver el trabajo, seleccione el vínculo.

Creación de un trabajo a partir de una plantilla

Puede crear un trabajo de KQL a partir de una plantilla de trabajo predefinida. Las plantillas de trabajo contienen la consulta de KQL y la configuración del trabajo, como el área de trabajo de destino y la tabla, la programación y la descripción. Puede crear sus propias plantillas de trabajo o usar plantillas integradas proporcionadas por Microsoft.

Para crear un trabajo a partir de una plantilla, siga estos pasos:

1. En la página Trabajos o en el editor de consultas de KQL, seleccione Crear trabajo y, a continuación, seleccione Crear a partir de la plantilla.

2. En la página Plantillas de trabajo , seleccione la plantilla que desea usar en la lista de plantillas disponibles.

3. Revise la descripción y la consulta KQL de la plantilla.

4. Seleccione Crear trabajo a partir de la plantilla.

   

5. El asistente para la creación de trabajos se abre en la página Crear un nuevo trabajo de KQL. Los detalles del trabajo se rellenan previamente desde la plantilla, excepto el área de trabajo de destino.

6. Seleccione el área de trabajo de destino en la lista desplegable Seleccionar área de trabajo .

7. Revise y modifique los detalles del trabajo según sea necesario y, a continuación, seleccione Siguiente para continuar con el Asistente para la creación de trabajos.

8. Los pasos restantes son los mismos que los de Creación de un trabajo. Los campos se rellenan previamente desde la plantilla y se pueden modificar según sea necesario.

Las siguientes plantillas están disponibles:

Consideraciones y limitaciones

Al crear trabajos en el lago de datos Microsoft Sentinel, tenga en cuenta las siguientes limitaciones y procedimientos recomendados:

Elija un nivel de datos para la salida de los trabajos de KQL

Los trabajos de KQL pueden escribir datos en la capa de análisis o del lago de datos, según la capa de la tabla de destino. Al crear una tabla mediante el Asistente para la creación de trabajos, puede seleccionar tablas del sistema como área de trabajo de destino para escribir datos directamente en el lago de datos. Las tablas creadas de esta manera se crean y almacenan directamente en el nivel de lago de datos y se sufijon automáticamente con _KQL.

Consideraciones sobre KQL para trabajos en lagos de datos

Las siguientes limitaciones de KQL se aplican a los trabajos de Data Lake:

• Se admiten todos los operadores y funciones de KQL, excepto los siguientes:

  • adx()
  • arg()
  • externaldata()
  • ingestion_time()

• Cuando use el stored_query_results comando, proporcione el intervalo de tiempo en la consulta KQL. El selector de tiempo situado encima del editor de consultas no funciona con este comando.

• No se admiten funciones definidas por el usuario.

Límites de nomenclatura y programación de trabajos

Las siguientes limitaciones de nomenclatura y programación se aplican a los trabajos de KQL:

• Los nombres de trabajo deben ser únicos para el inquilino.
• Los nombres de trabajo pueden tener hasta 256 caracteres.
• Los nombres de trabajo no pueden contener un # ni un -.
• La hora de inicio del trabajo debe ser de al menos 30 minutos después de la creación o edición del trabajo.

Eliminación de los espacios de trabajo de origen

Si se elimina un espacio de trabajo de código fuente referenciado por un trabajo KQL programado, el trabajo puede seguir ejecutándose y fallar en cada ejecución programada hasta que expire el calendario o se modifique el trabajo. Para evitar fallos repetidos y un consumo innecesario de recursos, los trabajos que hacen referencia a espacios de trabajo fuente eliminados se colocan automáticamente en estado Deshabilitado y requieren acción del usuario antes de poder reanudarse.

Latencia de ingesta de Data Lake

La capa de lago de datos almacena datos en almacenamiento en frío. A diferencia de los niveles de análisis frecuente o casi en tiempo real, el almacenamiento en frío está optimizado para la retención a largo plazo y la rentabilidad y no proporciona acceso inmediato a los datos recién ingeridos. Cuando se agregan nuevas filas a las tablas existentes en el lago de datos o en las tablas federadas, hay una latencia típica de hasta 15 minutos antes de que los datos estén disponibles para realizar consultas. Tenga en cuenta la latencia de ingesta al ejecutar consultas y programar trabajos de KQL, asegurándose de que las ventanas retrospectivas y la programación de los trabajos estén configuradas para evitar consultar datos que todavía no estén disponibles.

Para evitar consultar datos que aún no estén disponibles, incluya un parámetro delay en las consultas o trabajos de KQL. Por ejemplo, al programar trabajos automatizados, establezca la hora now() - delayde finalización de la consulta en , donde delay coincide con la latencia de preparación de datos típica de 15 minutos. Este enfoque garantiza que las consultas solo tienen como destino datos totalmente ingeridos y listos para su análisis.

La siguiente consulta KQL detecta eventos dentro de una ventana de revisión de 15 minutos teniendo en cuenta el retraso en la ingestión. La lookback variable controla el rango de tiempo de consulta, y la delay variable desplaza la ventana para asegurar que solo se consulten los datos completamente ingeridos.

let lookback = 15m;
let delay = 15m;
let endTime = now() - delay;
let startTime = endTime - lookback;
CommonSecurityLog
| where TimeGenerated between (startTime .. endTime)

Este enfoque es eficaz para trabajos con ventanas de reversión cortas o intervalos de ejecución frecuentes.

Considere la posibilidad de superponer el período de retrospectiva con la frecuencia de ejecución del trabajo para reducir el riesgo de pasar por alto datos que lleguen con retraso.

Para más información, consulte Control del retraso de ingesta en las reglas de análisis programadas.

Nombres de columna

Los nombres de columna deben comenzar con una letra.

Las siguientes columnas estándar no se admiten para la exportación. El proceso de ingesta sobrescribe estas columnas en el nivel de destino:

• Id. de inquilino

• _TimeReceived

• Tipo

• SourceSystem

• _ResourceId

• _SubscriptionId

• _ItemId

• _BilledSize

• _IsBillable

• _WorkspaceId

• TimeGenerated se sobrescribe si es anterior a dos días. Para conservar la hora del evento original, escriba la marca de tiempo de origen en una columna independiente.

Para consultar los límites de servicio, consulte límites de servicio de Microsoft Sentinel Data Lake.

Parámetros y límites de servicio para trabajos de KQL

En la tabla siguiente se enumeran los parámetros de servicio y los límites de los trabajos de KQL en el lago de datos Microsoft Sentinel.

Cuando se supera el límite de ejecución de trabajos simultáneos, la solicitud se rechaza y no se pone en cola. El contador se reduce tan pronto como finaliza un trabajo en ejecución.

Para obtener sugerencias de solución de problemas y mensajes de error, consulte Solución de problemas de consultas KQL para el lago de datos Microsoft Sentinel.

Contenido relacionado

• Administración de trabajos en el lago de datos de Microsoft Sentinel
• introducción al lago de datos de Microsoft Sentinel
• Consultas de KQL en el lago de datos Microsoft Sentinel
• Cuadernos de Jupyter y el lago de datos de Microsoft Sentinel