Criar e gerir tarefas de blocos de notas do Jupyter

Pode criar tarefas agendadas para serem executadas em momentos específicos ou em intervalos definidos, utilizando a extensão Microsoft Sentinel para o Visual Studio Code. Os trabalhos permitem automatizar o processamento de dados para resumir, transformar ou analisar os dados no lago de dados do Microsoft Sentinel e nas tabelas federadas. As tarefas também são utilizadas para processar dados e escrever resultados em tabelas personalizadas no escalão lake ou analítico.

As secções seguintes explicam como criar, agendar, editar e gerir trabalhos de cadernos, incluindo a configuração de agendamentos de tarefas, visualização de detalhes e histórico de execução, e monitorização de trabalhos no portal Microsoft Defender.

Permissões necessárias para trabalhos de notebook

As funções do Microsoft Entra ID concedem acesso abrangente a todas as áreas de trabalho no lago de dados. Para criar e agendar tarefas, ler tabelas em todas as áreas de trabalho, escrever nas camadas de análise e lake, tem de ter uma das funções de Microsoft Entra ID suportadas. Para obter mais informações sobre funções e permissões, consulte Funções e permissões no Microsoft Sentinel.

Para criar novas tabelas personalizadas na camada de análise, a identidade gerida do data lake tem de ser atribuída à função Contribuidor do Log Analytics na área de trabalho do Log Analytics.

Para atribuir a função, siga os passos abaixo:

1. No portal do Azure, navegue para a área de trabalho do Log Analytics à qual pretende atribuir a função.
2. Selecione Controlo de acesso (IAM) no painel de navegação esquerdo.
3. Selecione Adicionar atribuição de função.
4. Na tabela Função , selecione Contribuidor do Log Analytics e, em seguida, selecione Seguinte
5. Selecione Identidade gerida e, em seguida, selecione Selecionar membros.
6. A identidade gerida do data lake é uma identidade gerida atribuída pelo sistema denominada msg-resources-<guid>. Selecione a identidade gerida e, em seguida, selecione Selecionar.
7. Selecione Rever e atribuir.

Para obter mais informações sobre como atribuir funções a identidades geridas, veja Atribuir funções de Azure com o portal do Azure.

Criar e agendar uma tarefa

Antes de criar ou agendar um trabalho, certifica-te de que tens uma das funções suportadas pelo Microsoft Entra ID. Se o trabalho criar tabelas personalizadas no nível de analytics, atribua primeiro à identidade gerida do data lake o papel de Log Analytics Contributor. Para mais informações, consulte Permissões Obrigatórias para trabalhos em notebooks.

Pode criar um trabalho de uma destas três formas:

1. No editor de blocos de notas, selecione Criar agenda tarefa na barra de ferramentas.

2. No painel Explorador, clique com o botão direito do rato no ficheiro do bloco de notas e selecione Microsoft Sentinel e, em seguida, selecione Criar agenda tarefa.

   

3. Na lista de tarefas, selecione o + ícone para criar uma nova tarefa.

   

4. Selecione Utilizar bloco de notas existente para selecionar um ficheiro de bloco de notas existente ou selecione Criar novo bloco de notas para criar um novo ficheiro de bloco de notas para a tarefa.

   

5. Na página Configuração da tarefa , na secção Detalhes da tarefa, introduza um nome e uma descrição para a tarefa.

6. Selecione o tamanho do pool do Spark para executar o trabalho de acordo com as necessidades de computação dos seus trabalhos.

7. Para executar uma tarefa manualmente sem agenda, selecione A pedido na secção Agenda e, em seguida, selecione Submeter para guardar a configuração da tarefa e publicar a tarefa.

8. Para especificar uma agenda para a tarefa, selecione Agendada na secção Agenda .

   1. Selecione uma Frequência de repetição para a tarefa. Pode escolher entre Ao minuto, À hora, Semanalmente, Diariamente ou Mensalmente.

   2. Opções adicionais de horários, como dia da semana, hora do dia ou dia do mês, são apresentadas consoante a frequência selecionada.

   3. Selecione um Início a tempo para que a agenda comece a ser executada.

   4. Selecione uma hora de Terminar em para que o agendamento deixe de ser executado. Se não quiser definir uma hora de fim para a agenda, selecione Definir tarefa para ser executada indefinidamente. As datas e horas estão no fuso horário do utilizador.

   5. Selecione Submeter para guardar a configuração da tarefa e publicar a tarefa.

   

9. Para ver os seus empregos, selecione o ícone do Microsoft na barra de ferramentas da esquerda. As tarefas são apresentadas no painel Tarefas .

10. Selecione uma tarefa para ver os detalhes da tarefa.

11. Pode executar a tarefa imediatamente ao selecionar Executar agora, desativar e ativar o agendamento da tarefa ou eliminar a tarefa.

    

12. Consulte o histórico de tarefas no separador Histórico de execuções.

    

13. Selecione uma atividade para ver mais detalhes.

    

Criar e gerir trabalhos de notebook parametrizados

As tarefas de notebook podem usar parâmetros definidos no notebook. Os parâmetros ajudam-te a reutilizar o mesmo trabalho do notebook com valores de entrada diferentes sem editar o código do notebook de cada vez. Por exemplo, pode executar a mesma análise para diferentes utilizadores, entidades, intervalos de tempo ou outros inputs de investigação.

As tarefas de notebooks parametrizados suportam três níveis de valores:

• Valores do caderno: Valores de parâmetros padrão definidos no caderno.
• Valores de configuração do trabalho: Valores guardados com o trabalho do notebook e usados para execuções agendadas.
• Valores de execução: Valores fornecidos quando executa o trabalho manualmente. Os valores de execução aplicam-se apenas a essa execução da tarefa.

Criar uma tarefa de notebook parametrizada

Quando crias um trabalho de notebook a partir de um notebook que contém parâmetros, a extensão Microsoft Sentinel lê os parâmetros do notebook e mostra-os na configuração do job.

Para criar um trabalho de caderno parametrizado:

1. No caderno, cria uma célula de código perto do topo do caderno que contenha os parâmetros predefinidos. Abra o menu das células e selecione Marcar Célula como Parâmetros.

   

2. Defina os parâmetros na célula. Por exemplo:

   # Parameters
   lookback_days = [7, 14, 30, 90]
   min_failed_attempts = [5, 10, 20]
   

3. No painel do Explorador, clique com o botão direito no ficheiro do caderno, selecione Microsoft Sentinel e depois selecione Criar Trabalho Programado.

   

4. No editor de tarefas, expanda Parâmetros predefinidos e, em seguida, selecione Atualizar parâmetros para carregar as definições de parâmetros mais recentes no notebook.

   

5. Revise ou atualize os valores dos parâmetros padrão e depois submeta o trabalho.

Podes manter os valores padrão do caderno ou alterá-los antes de submeteres o trabalho. Os valores que alteras são guardados com a configuração do trabalho e usados em execuções agendadas futuras.

Se o valor de um parâmetro não corresponder ao tipo esperado, a extensão mostra um erro de validação em linha e impede-te de submeter o trabalho até que o erro seja corrigido.

Adicionar parâmetros a um trabalho de notebook existente

Para adicionar parâmetros a um trabalho de notebook existente, descarregue o notebook mais recente, atualize-o localmente para definir os parâmetros e depois edite o job. Quando carrega ou atualiza o caderno atualizado na configuração do trabalho, os parâmetros do trabalho estão disponíveis.

Depois de os parâmetros estarem disponíveis, podes atualizar os seus valores e submeter o trabalho novamente. Os valores atualizados dos parâmetros são guardados com a configuração do job e usados em execuções futuras agendadas.

Atualizar parâmetros do caderno

Se o caderno for atualizado após a criação do trabalho, atualize os parâmetros do trabalho para sincronizar a configuração do trabalho com os parâmetros mais recentes do caderno.

Parâmetros de atualização:

• Adiciona novos parâmetros que foram adicionados ao caderno.
• Remove parâmetros que foram removidos do caderno.
• Preserva os valores existentes da configuração do trabalho que alteraste.

Atualizar parâmetros não sobrescreve valores de parâmetros que já foram editados na configuração do trabalho.

Repor os valores dos parâmetros

Podes redefinir os valores dos parâmetros para os valores definidos no caderno.

Use o reset para um parâmetro individual para restaurar apenas esse valor. Use Reset all para restaurar todos os valores dos parâmetros aos valores predefinidos do notebook. Quando reiniciares todos os valores dos parâmetros, confirma o reset antes que os valores sejam restaurados.

Executar com valores personalizados de parâmetros de tempo de execução

Quando seleciona Executar agora para um trabalho de notebook parametrizado, a extensão Microsoft Sentinel abre uma caixa de diálogo de parâmetros de runtime. O diálogo é pré-preenchido com os valores dos parâmetros guardados na configuração do trabalho.

Podes manter os valores guardados ou alterá-los para a corrida atual. As alterações nos parâmetros de execução aplicam-se apenas a essa execução de trabalho e não atualizam a configuração do trabalho guardada nem execuções agendadas futuras.

Use parâmetros de execução quando quiser reutilizar o mesmo trabalho para diferentes entradas, como executar a mesma análise de risco para um utilizador diferente.

Ver histórico de trabalhos

Depois de executares uma tarefa de notebook parametrizada, vê o estado da tarefa e o histórico de execuções da mesma forma que consultas outras execuções de tarefas de notebook. No separador Histórico de Corridas , selecione uma corrida para ver mais detalhes.

Empregos sem parâmetros

Se o caderno selecionado não definir parâmetros, a configuração do trabalho mostra um estado de parâmetro vazio. Para adicionar parâmetros, atualize o caderno para incluir definições de parâmetros, guarde o caderno e carregue ou atualize a configuração do trabalho.

Editar uma tarefa submetida

Submeter uma tarefa cria uma definição de tarefa que inclui o ficheiro do bloco de notas, a configuração da tarefa e a agenda. A definição da tarefa é carregada a partir do editor do VS Code e armazenada no Microsoft Sentinel data lake. Depois de submetida, a tarefa já não está ligada ao ficheiro do bloco de notas no seu sistema de ficheiros local. Se quiser editar o código na tarefa do bloco de notas, tem de transferir a definição da tarefa, editar o ficheiro do bloco de notas e, em seguida, submeter novamente a tarefa.

Para editar uma tarefa submetida, siga os passos abaixo:

1. Na secção Tarefas , selecione a tarefa que pretende editar.

2. Selecione o ícone Transferir nuvem para transferir a definição da tarefa para o seu sistema de ficheiros local. No editor de detalhes das tarefas, pode ver a configuração da tarefa. Também pode selecionar Transferir o bloco de notas mais recente.

   

3. Edite o ficheiro do livro de cálculo transferido ipynb para fazer as alterações.

4. Regresse ao separador Detalhes da tarefa e selecione Editar tarefa.

5. Edite o nome da tarefa, a descrição, a configuração do cluster e a agenda. Alterar o nome da tarefa cria uma nova definição de tarefa ao submeter a tarefa.

6. Selecione Submeter para carregar o ficheiro de bloco de notas atualizado e a configuração da tarefa.

7. É apresentada uma confirmação quando a tarefa é submetida com êxito.

   

Ver tarefas no portal do Microsoft Defender

Além de ver tarefas no VS Code, também pode ver as tarefas do bloco de notas no portal do Defender. Para ver as suas tarefas no portal do Defender, selecione Microsoft Sentinel>Data lake exploration>Jobs .

A página de Empregos mostra uma lista de empregos e os seus tipos. Selecione uma tarefa de bloco de notas para ver os respetivos detalhes. Pode ativar e desativar a agenda da tarefa, mas não pode editar uma tarefa de bloco de notas no portal do Defender.

1. Selecione uma tarefa para ver os detalhes da tarefa.

   

2. Selecione Ver histórico para ver o histórico de execuções de tarefas.

   

Parâmetros de serviço e limites

As secções seguintes resumem as regras de nomeação das colunas e os limites de serviços para trabalhos de portáteis no data lake Microsoft Sentinel.

Requisitos do nome das colunas para o método save_as

O save_as método escreve a saída do caderno numa tabela de destino no data lake Microsoft Sentinel. As seguintes regras de nomeação de colunas aplicam-se quando utiliza este método.

• Os nomes das colunas têm de começar com uma letra.

• As seguintes colunas padrão não são suportadas para exportação. O processo de ingestão substitui estas colunas na camada de destino:

  • TenantId
  • _TimeReceived
  • Tipo
  • SourceSystem
  • _ResourceId
  • _SubscriptionId
  • _ItemId
  • _BilledSize
  • _IsBillable
  • _WorkspaceId

• TimeGenerated é substituído se tiver mais de dois dias. Para preservar a data e hora originais do evento, escreva o carimbo temporal original numa coluna separada.

Para obter uma lista dos limites de serviço do data lake Microsoft Sentinel, veja Microsoft Sentinel data lake service limits (Limites do serviço data lake).

Resolução de Problemas

Para resolver problemas de tarefas de notebook e operações no data lake, consulte Resolver problemas de notebooks no data lake do Microsoft Sentinel.

Conteúdos relacionados

• Notebooks de exemplo para o data lake do Microsoft Sentinel
• Referência da classe Microsoft Sentinel Provider
• descrição geral do data lake do Microsoft Sentinel
• Funções e permissões no Microsoft Sentinel