Exportación de datos históricos desde Splunk

Utiliza estos métodos para exportar datos históricos de Splunk en formato CSV antes de migrarlo a Azure. Después de exportar tus datos, puedes seleccionar una plataforma Azure objetivo para tus datos históricos exportados y luego seleccionar una herramienta de ingesta de datos para migrar datos históricos.

Diagrama que ilustra los pasos implicados en la exportación y la ingesta.

Puede exportar datos desde Splunk de varias maneras. La selección de un método de exportación depende de los volúmenes de datos implicados y del nivel de interactividad. Por ejemplo, la exportación de una única búsqueda a petición a través de Splunk Web podría ser adecuada para una exportación de bajo volumen. Como alternativa, si desea configurar una exportación programada de mayor volumen, las opciones de SDK y REST funcionan mejor.

En el caso de las exportaciones grandes, el método más estable para la recuperación de datos es dump o la interfaz de línea de comandos (CLI). Puede exportar los registros a una carpeta local en el servidor Splunk o a otro servidor accesible por Splunk.

Para exportar los datos históricos de Splunk, use uno de los métodos de exportación de Splunk. El formato de salida debe ser CSV.

Ejemplo de la CLI

En este ejemplo de la CLI se buscan eventos del _internal índice que se producen durante el período de tiempo especificado en el comando de búsqueda. A continuación, el ejemplo especifica que los eventos se exporten en formato CSV al archivo data.csv. Puede exportar un máximo de 100 eventos por defecto. Para aumentar este número, establezca el -maxout argumento . Por ejemplo, si establece -maxout en 0, puede exportar un número ilimitado de eventos.

Este comando de la CLI exporta los datos registrados entre las 23:59 y las 01:00 del 14 de septiembre de 2021 a un archivo CSV:

splunk search "index=_internal earliest=09/14/2021:23:59:00 latest=09/16/2021:01:00:00 " -output csv > c:/data.csv  

ejemplo de volcado de memoria

Este comando dump exporta todos los eventos del índice bigdata a la ubicación YYYYmmdd/HH/host dentro del directorio $SPLUNK_HOME/var/run/splunk/dispatch/<sid>/dump/ en un disco local. El comando usa MyExport como prefijo para exportar nombres de archivo y genera los resultados en un archivo CSV. El comando crea particiones de los datos exportados mediante la eval función antes del dump comando.

index=bigdata | eval _dstpath=strftime(_time, "%Y%m%d/%H") + "/" + host | dump basefilename=MyExport format=csv