Criar e gerir tarefas de blocos de notas do Jupyter

Você pode criar tarefas agendadas para serem executadas em horários ou intervalos específicos usando a extensão do Microsoft Sentinel para o Visual Studio Code. Os trabalhos permitem automatizar o processamento de dados para resumir, transformar ou analisar dados no data lake do Microsoft Sentinel e em tabelas federadas. Trabalhos também são usados para processar dados e gravar resultados em tabelas personalizadas na camada lake ou na camada de análise.

As seções a seguir explicam como criar, agendar, editar e gerenciar trabalhos de notebook, incluindo configurar agendamentos de trabalhos, visualizar detalhes e histórico de execução, e monitorar trabalhos no portal Microsoft Defender.

Permissões necessárias para trabalhos de notebook

As funções do Microsoft Entra ID fornecem amplo acesso a todos os espaços de trabalho em todo o data lake. Para criar e agendar trabalhos, ler tabelas em todos os workspaces, gravar nas camadas de análise e lago, você deve ter uma das funções de ID do Microsoft Entra com suporte. Para obter mais informações sobre funções e permissões, consulte Funções e permissões no Microsoft Sentinel.

Para criar novas tabelas personalizadas na camada de análise, a identidade gerida do data lake tem de ser atribuída à função Contribuidor do Log Analytics na área de trabalho do Log Analytics.

Para atribuir a função, siga os passos abaixo:

1. No portal do Azure, navegue para a área de trabalho do Log Analytics à qual pretende atribuir a função.
2. Selecione Controlo de acesso (IAM) no painel de navegação esquerdo.
3. Selecione Adicionar atribuição de função.
4. Na tabela Função , selecione Contribuidor do Log Analytics e, em seguida, selecione Seguinte
5. Selecione Identidade gerida e, em seguida, selecione Selecionar membros.
6. Sua identidade gerenciada do data lake é uma identidade gerenciada atribuída pelo sistema chamada msg-resources-<guid>. Selecione a identidade gerida e, em seguida, selecione Selecionar.
7. Selecione Revisar e atribuir.

Para obter mais informações sobre como atribuir funções a identidades geridas, veja Atribuir funções de Azure com o portal do Azure.

Criar e agendar uma tarefa

Antes de criar ou agendar um trabalho, certifique-se de ter uma das vagas suportadas pelo Microsoft Entra ID. Se o trabalho criar tabelas personalizadas no nível de analytics, atribua primeiro à identidade gerenciada do data lake o papel de Log Analytics Contributor. Para mais informações, veja Permissão Necessária para trabalhos de notebook.

Você pode criar um trabalho de uma destas três formas:

1. No editor de blocos de notas, selecione Criar agenda tarefa na barra de ferramentas.

2. No painel Explorer, clique com o botão direito do rato no ficheiro do bloco de notas e selecione Microsoft Sentinel e, em seguida, selecione Criar tarefa de agendamento.

   

3. Na lista de tarefas, selecione o + ícone para criar uma nova tarefa.

   

4. Selecione Utilizar bloco de notas existente para selecionar um ficheiro de bloco de notas existente ou selecione Criar novo bloco de notas para criar um novo ficheiro de bloco de notas para a tarefa.

   

5. Na página Configuração da tarefa , na secção Detalhes da tarefa, introduza um nome e uma descrição para a tarefa.

6. Selecione o tamanho do pool do Spark para executar o trabalho de acordo com as necessidades de computação dos seus trabalhos.

7. Para executar uma tarefa manualmente sem agenda, selecione A pedido na secção Agenda e, em seguida, selecione Submeter para guardar a configuração da tarefa e publicar a tarefa.

8. Para especificar uma agenda para a tarefa, selecione Agendada na secção Agenda .

   1. Selecione uma Frequência de repetição para a tarefa. Você pode escolher entre Por minuto, Por hora, Semanal, Diário ou Mensal.

   2. Opções de agendamento adicionais, como dia da semana, hora do dia ou dia do mês, são exibidas dependendo da frequência selecionada.

   3. Selecione um horário de Iniciar em para que o agendamento comece a ser executado.

   4. Selecione um horário de Terminar em para que o agendamento pare de ser executado. Se não quiser definir uma hora de fim para a agenda, selecione Definir tarefa para ser executada indefinidamente. As datas e horas estão no fuso horário do utilizador.

   5. Selecione Submeter para guardar a configuração da tarefa e publicar a tarefa.

   

9. Para visualizar seus empregos, selecione a captura de tela do Microsoft Sentinel na barra de ferramentas da esquerda. As tarefas são apresentadas no painel Tarefas .

10. Selecione uma tarefa para ver os detalhes da tarefa.

11. Pode executar a tarefa imediatamente ao selecionar Executar agora, desativar e ativar o agendamento da tarefa ou eliminar a tarefa.

    

12. Veja o histórico de trabalhos na guia Histórico de execuções.

    

13. Selecione uma atividade para ver mais detalhes.

    

Criar e gerenciar trabalhos de notebook parametrizados

Trabalhos de notebook podem usar parâmetros definidos no notebook. Os parâmetros ajudam você a reutilizar o mesmo trabalho de notebook com valores de entrada diferentes sem editar o código do bloco de anotações a cada vez. Por exemplo, você pode executar a mesma análise para diferentes usuários, entidades, intervalos de tempo ou outras entradas de investigação.

Os trabalhos de notebook parametrizados dão suporte a três níveis de valores:

• Valores do notebook: valores padrão de parâmetros definidos no notebook.
• Valores de configuração de trabalho: valores salvos com o trabalho do notebook e usados para execuções agendadas.
• Valores de runtime: valores fornecidos ao executar o trabalho manualmente. Os valores de runtime se aplicam somente a essa execução de trabalho.

Criar uma tarefa de notebook parametrizada

Quando você cria um trabalho de notebook com base em um notebook que contém parâmetros, a extensão Microsoft Sentinel lê os parâmetros do notebook e os exibe na configuração do trabalho.

Para criar um trabalho de notebook parametrizado:

1. No notebook, crie uma célula de código próximo ao início do notebook que contenha os valores padrão dos parâmetros. Abra o menu da célula e selecione Marcar Célula como Parâmetros.

   

2. Defina os parâmetros na célula. Por exemplo:

   # Parameters
   lookback_days = [7, 14, 30, 90]
   min_failed_attempts = [5, 10, 20]
   

3. No painel Explorer, clique com o botão direito do mouse no arquivo de notebook, selecione Microsoft Sentinel e, em seguida, selecione Criar Trabalho agendado.

   

4. No editor de trabalho, expanda parâmetros padrão e selecione Atualizar parâmetros para carregar as definições de parâmetro mais recentes do notebook.

   

5. Examine ou atualize os valores de parâmetro padrão e envie o trabalho.

Você pode manter os valores padrão do notebook ou alterar os valores antes de enviar o trabalho. Os valores alterados são salvos com a configuração do trabalho e usados para execuções agendadas futuras.

Se um valor de parâmetro não corresponder ao tipo esperado, a extensão mostrará um erro de validação embutida e impedirá que você envie o trabalho até que o erro seja corrigido.

Adicionar parâmetros a um trabalho de notebook existente

Para adicionar parâmetros a um trabalho de notebook existente, baixe o notebook mais recente, atualize o notebook localmente para definir os parâmetros e edite o trabalho. Quando você faz upload do notebook atualizado ou o atualiza na configuração da tarefa, os parâmetros ficam disponíveis para a tarefa.

Depois que os parâmetros estiverem disponíveis, você poderá atualizar seus valores e enviar o trabalho novamente. Os valores de parâmetro atualizados são salvos com a configuração do trabalho e usados para execuções agendadas futuras.

Atualizar parâmetros do notebook

Se o notebook for atualizado após a criação do trabalho, atualize os parâmetros de trabalho para sincronizar a configuração do trabalho com os parâmetros mais recentes do notebook.

Atualizando parâmetros:

• Adiciona novos parâmetros que foram adicionados ao notebook.
• Remove os parâmetros que foram removidos do notebook.
• Preserva os valores de configuração de trabalho existentes que você alterou.

Atualizar parâmetros não substitui valores de parâmetro que já foram editados na configuração do trabalho.

Redefinir valores de parâmetro

Você pode redefinir valores de parâmetro para os padrões definidos no notebook.

Use a redefinição de um parâmetro individual para restaurar apenas esse valor. Use Redefinir tudo para restaurar todos os valores de parâmetro para os padrões do notebook. Ao redefinir todos os valores dos parâmetros, confirme a redefinição antes que os valores sejam restaurados.

Executar com valores personalizados de parâmetros de tempo de execução

Quando você seleciona Executar agora para um trabalho de notebook parametrizado, a extensão Microsoft Sentinel abre uma caixa de diálogo de parâmetros de runtime. A caixa de diálogo é pré-preenchida com os valores de parâmetro salvos na configuração do trabalho.

Você pode manter os valores salvos ou alterá-los para a execução atual. As alterações de parâmetro de runtime se aplicam somente a essa execução de trabalho e não atualizam a configuração de trabalho salva ou as execuções agendadas futuras.

Use parâmetros de runtime quando quiser reutilizar o mesmo trabalho para entradas diferentes, como executar a mesma análise de risco para um usuário diferente.

Exibir o histórico de execução do trabalho

Depois de executar um trabalho de notebook parametrizado, exiba o status do trabalho e o histórico de execuções da mesma forma que você exibe outras execuções de trabalho de notebook. Na guia Histórico de execuções , selecione uma execução para ver mais detalhes.

Trabalhos sem parâmetros

Se o notebook selecionado não definir parâmetros, a configuração do trabalho mostrará um estado de parâmetro vazio. Para adicionar parâmetros, atualize o notebook para incluir definições de parâmetro, salve o notebook e carregue ou atualize a configuração do trabalho.

Editar uma tarefa submetida

Submeter uma tarefa cria uma definição de tarefa que inclui o ficheiro do bloco de notas, a configuração da tarefa e a agenda. A definição da tarefa é carregada a partir do editor do VS Code e armazenada no Microsoft Sentinel data lake. Depois de submetida, a tarefa já não está ligada ao ficheiro do bloco de notas no seu sistema de ficheiros local. Se quiser editar o código na tarefa do bloco de notas, tem de transferir a definição da tarefa, editar o ficheiro do bloco de notas e, em seguida, submeter novamente a tarefa.

Para editar uma tarefa submetida, siga os passos abaixo:

1. Na secção Tarefas , selecione a tarefa que pretende editar.

2. Selecione o ícone Transferir nuvem para transferir a definição da tarefa para o seu sistema de ficheiros local. No editor de detalhes das tarefas, pode ver a configuração da tarefa. Também pode selecionar Baixar o notebook mais recente.

   

3. Edite o arquivo de pasta de trabalho baixada ipynb para fazer suas alterações.

4. Regresse ao separador Detalhes da tarefa e selecione Editar tarefa.

5. Edite o nome da tarefa, a descrição, a configuração do cluster e a agenda. Alterar o nome da tarefa cria uma nova definição de tarefa ao submeter a tarefa.

6. Selecione Submeter para carregar o ficheiro de bloco de notas atualizado e a configuração da tarefa.

7. É apresentada uma confirmação quando a tarefa é submetida com êxito.

   

Ver tarefas no portal do Microsoft Defender

Além de ver tarefas no VS Code, também pode ver as tarefas do bloco de notas no portal do Defender. Para ver as suas tarefas no portal do Defender, selecione Microsoft Sentinel>Data lake exploration>Jobs .

A página de Empregos mostra uma lista de empregos e seus tipos. Selecione uma tarefa de bloco de notas para ver os respetivos detalhes. Pode ativar e desativar a agenda da tarefa, mas não pode editar uma tarefa de bloco de notas no portal do Defender.

1. Selecione uma tarefa para ver os detalhes da tarefa.

   

2. Selecione Ver histórico para ver o histórico de execuções de tarefas.

   

Parâmetros e limites de serviço

As seções a seguir resumem regras de nomeação de colunas e limites de serviço para trabalhos de notebooks no data lake Microsoft Sentinel.

Requisitos de nome de coluna para o método save_as

O save_as método grava a saída do notebook em uma tabela de destino no data lake do Microsoft Sentinel. As seguintes regras de nomeação de colunas se aplicam quando você usa esse método.

• Os nomes das colunas têm de começar com uma letra.

• As seguintes colunas padrão não são suportadas para exportação. O processo de ingestão substitui estas colunas na camada de destino:

  • TenantId
  • _TimeReceived
  • Tipo
  • SourceSystem
  • _ResourceId
  • _SubscriptionId
  • _ItemId
  • _BilledSize
  • _IsBillable
  • _WorkspaceId

• TimeGenerated será substituído se for mais antigo do que dois dias. Para preservar o horário original do evento, grave o timestamp de origem em uma coluna separada.

Para obter uma lista dos limites de serviço do data lake Microsoft Sentinel, veja Microsoft Sentinel data lake service limits (Limites do serviço data lake).

Solução de problemas

Para solucionar problemas de trabalhos de notebook e operações do data lake, consulte Solucionar problemas de notebooks no data lake Microsoft Sentinel.

Conteúdo relacionado

• Notebooks de exemplo para o Microsoft Sentinel Data Lake
• Referência da classe Provedor do Microsoft Sentinel
• descrição geral do data lake do Microsoft Sentinel
• Funções e permissões no Microsoft Sentinel