Exportar dados históricos do Splunk

Use estes métodos para exportar dados históricos do Splunk em formato CSV antes de migrá-los para o Azure. Depois de exportar os seus dados, pode selecionar uma plataforma Azure alvo para os seus dados históricos exportados e depois selecionar uma ferramenta de ingestão de dados para migrar dados históricos.

Diagrama que ilustra os passos envolvidos na exportação e ingestão.

Pode exportar dados do Splunk de várias formas. A seleção de um método de exportação depende dos volumes de dados envolvidos e do seu nível de interatividade. Por exemplo, exportar uma única pesquisa a pedido através do Splunk Web pode ser adequado para uma exportação de baixo volume. Em alternativa, se quiser configurar uma exportação agendada de maior volume, as opções SDK e REST funcionam melhor.

Para exportações grandes, o método mais estável para a obtenção de dados é dump ou a Interface de Linha de Comandos (CLI). Pode exportar os registos para uma pasta local no servidor Splunk ou para outro servidor acessível pelo Splunk.

Para exportar os seus dados históricos do Splunk, utilize um dos métodos de exportação do Splunk. O formato de saída deve ser CSV.

Exemplo da CLI

Este exemplo de CLI procura eventos no _internal índice que ocorrem durante a janela de tempo especificada no comando de pesquisa. Em seguida, o exemplo especifica a saída dos eventos num formato CSV para o ficheiro data.csv . Pode exportar um máximo de 100 eventos por predefinição. Para aumentar este número, defina o -maxout argumento . Por exemplo, se definir -maxout como 0, pode exportar um número ilimitado de eventos.

Este comando da CLI exporta os dados registados entre as 23:59 e as 01:00 de 14 de setembro de 2021 para um ficheiro CSV:

splunk search "index=_internal earliest=09/14/2021:23:59:00 latest=09/16/2021:01:00:00 " -output csv > c:/data.csv  

exemplo de dump

Este comando dump exporta todos os eventos do índice bigdata para a localização YYYYmmdd/HH/host sob o diretório $SPLUNK_HOME/var/run/splunk/dispatch/<sid>/dump/ num disco local. O comando utiliza MyExport como prefixo para exportar nomes de ficheiro e produz os resultados para um ficheiro CSV. O comando particiona os dados exportados com a eval função antes do dump comando .

index=bigdata | eval _dstpath=strftime(_time, "%Y%m%d/%H") + "/" + host | dump basefilename=MyExport format=csv