Detecção de anomalias no Real-Time Intelligence (versão prévia)

Este artigo explica como configurar a detecção de anomalias no Real-Time Intelligence para identificar automaticamente padrões e exceções incomuns em suas tabelas do Eventhouse. O sistema fornece modelos recomendados e permite que você configure o monitoramento contínuo com ações automatizadas.

As principais funcionalidades incluem:

• Recomendações de modelo: sugere os melhores algoritmos e parâmetros para seus dados.
• Exploração interativa de anomalias: visualize anomalias detectadas e ajuste a sensibilidade do modelo.
• Monitoramento contínuo: configurar a detecção de anomalias em tempo real com notificações automatizadas.
• Reanálise com novos dados: atualize seus modelos à medida que novos dados chegam para melhorar a precisão.

A detecção de anomalias é executada nativamente em tabelas eventhouse sem copiar dados, operando diretamente em conjuntos de dados dinâmicos para análise em tempo real. A análise e o monitoramento contínuo são executados no próprio Eventhouse, o que minimiza a movimentação de dados.

A detecção de anomalias também suporta tabelas de atalhos do Eventhouse, então você pode analisar dados sem precisar copiar ou mover para uma tabela dedicada ao Eventohouse. Você pode criar detectores de anomalias diretamente em tabelas de atalhos suportadas e usar as mesmas análises, recomendações de modelos e experiências de monitoramento contínuo disponíveis para fontes nativas de dados do Eventhouse. Esse suporte estende a detecção de anomalias para fontes de dados externas e federadas que já estão conectadas por atalhos do Eventhouse, para que você possa passar de conectar dados para detectar problemas com menos configuração e duplicação.

Pré-requisitos

• Um workspace com uma capacidade habilitada para Microsoft Fabric.

• Função de Administrador, Contribuidor ou Membrono espaço de trabalho.

• Um Eventhouse em seu espaço de trabalho com um banco de dados KQL.

• Um plug-in do Python habilitado no mesmo Eventhouse.

  1. Para ativar o plugin, vá até o seu Eventhouse.
  2. Na barra de ferramentas superior, selecione Plug-ins e habilite a extensão de linguagem Python.
  3. Selecione o plug-in de DL do Python 3.11.7 e selecione Concluído.

  

• Detecte anomalias no Real-Time Intelligence habilitado em seu espaço de trabalho.

  1. Para ativar a detecção de anomalias, vá até o seu espaço de trabalho.
  2. Faça um upgrade para um teste gratuito do Microsoft Fabric ou garanta que seu espaço de trabalho tenha uma licença do Microsoft Fabric.
  3. Ou entre em contato com seu administrador para ativar a opção de pré-visualização ou vá ao portal de Administrador e ative o Detectar anomalias em Real-Time Inteligência (Prévia).

Como configurar a detecção de anomalias

Como começar

Você pode iniciar a detecção de anomalias de três maneiras:

Veja configurações existentes de detecção de anomalias

Antes de criar um novo detector de anomalias, verifique se já existe uma configuração de detecção de anomalia para a fonte de dados que você selecionou. Essa visualização oferece uma visão rápida de como a detecção de anomalias está configurada para essa fonte de dados. Isso ajuda a evitar trabalhos duplicados e a entender melhor como os outros usam os dados.

1. Na sua lista de fontes de dados, selecione a elipse (...) para a fonte de dados que deseja analisar e, em seguida, selecione Detector de anomalias existente.

   

2. No Ver anomalias detectadas, você pode visualizar todas as configurações existentes de detecção de anomalias para a fonte de dados selecionada e explorar os detalhes de cada uma.

   1. No painel de navegação esquerdo, selecione uma configuração para explorar as anomalias detectadas ou selecione Abrir para visualizá-la em tela cheia.

   2. Se as configurações existentes não atenderem às suas necessidades, selecione Novo para criar uma nova configuração de detecção de anomalias.

   

Essa experiência ajuda você a avançar rapidamente da exploração para a ação, sem sair do contexto da sua fonte de dados.

Configurar colunas de entrada para análise

Especifique quais colunas analisar e como agrupar seus dados.

1. No painel de configuração, adicione a coluna Valor a observar que contém os dados numéricos que você deseja monitorar para anomalias.

   

   Observação

   Verifique se a coluna selecionada contém valores numéricos, pois somente dados numéricos têm suporte para detecção de anomalias.

2. Escolha o Grupo por coluna para especificar como seus dados devem ser particionados para análise. Essa coluna normalmente representa entidades como dispositivos, locais ou outros agrupamentos lógicos.

   

3. Selecione a coluna Timestamp que representa o momento em que cada ponto de dados foi registrado. Esta coluna é crucial para a detecção de anomalias de série temporal e garante uma análise precisa das tendências ao longo do tempo.

   

4. Selecione Executar análise para iniciar a avaliação automatizada do modelo.

Aguardar a conclusão da análise

O sistema analisa seus dados para encontrar os melhores modelos de detecção de anomalias.

Durante a análise, o sistema:

• Amostra os dados de sua tabela para processamento eficiente
• Testa vários algoritmos de detecção de anomalias
• Avalia configurações de parâmetros diferentes
• Identifica os modelos mais eficazes para seus padrões de dados específicos

Examinar modelos e anomalias recomendados

Após a conclusão da análise, examine os resultados e explore as anomalias detectadas.

1. Abra os resultados da detecção de anomalias selecionando a notificação recebida ou voltando para a tabela e selecionando Exibir resultados de anomalias.

2. A página de resultados fornece os seguintes insights:

   • Uma visualização de seus dados com anomalias claramente realçadas.
   • Uma lista de algoritmos recomendados, classificados por sua eficácia para seus dados.
   • Configurações de sensibilidade para ajustar os limites de detecção.
   • Uma tabela detalhada de anomalias detectadas dentro do intervalo de tempo selecionado.

3. Use o seletor de modelo para comparar o desempenho de algoritmos recomendados diferentes e escolher aquele que melhor atenda às suas necessidades.

4. Ajuste as configurações de sensibilidade para refinar os resultados da detecção de anomalias.

   • As opções incluem níveis de confiança baixos, médios e altos.
   • Experimente essas configurações para equilibrar entre detectar mais anomalias e reduzir falsos positivos.

5. Interaja com os visuais e tabelas para obter informações mais profundas sobre as anomalias detectadas e entender os padrões em seus dados. Você também pode abrir o contexto de análise de anomalias em um notebook do Fabric para explorar mais a fundo os dados e as anomalias detectadas usando KQL, SQL, Python ou Spark, possibilitando transformações avançadas e aprendizado de máquina na mesma base de dados.

6. Salve o detector de anomalias para preservar sua configuração e revisitá-la mais tarde.

7. Publique as anomalias detectadas no Hub de Tempo Real para habilitar o monitoramento contínuo dos dados ativos recebidos sob a governança do Fabric, sem duplicar o conjunto de dados. Você também pode configurar ações downstream, como enviar alertas para o Activator.

Ao examinar e ajustar os resultados, você pode garantir que sua configuração de detecção de anomalias seja otimizada para seu caso de uso específico.

Analisar novamente modelos de detecção de anomalias com novos dados

Mantenha seus modelos de detecção de anomalias atualizados à medida que novos dados estiverem disponíveis.

Siga estas etapas para analisar novamente o modelo com novos dados:

1. Vá para o item de detecção de anomalias.
2. No painel Editar , modifique qualquer um dos campos preenchidos anteriormente, conforme necessário.
3. Selecione Executar análise. Essa ação inicia uma nova análise com base em suas entradas atualizadas.

Explorar eventos de detecção de anomalias e definir alertas

Depois de publicar os resultados da detecção de anomalias, você pode explorar as anomalias detectadas no Hub Real-Time e configurar alertas para notificar você sobre anomalias futuras.

Eventos de anomalia também podem ser conectados aos agentes de dados do Fabric para permitir raciocínio automatizado e ações automatizadas em dados de eventos tanto em tempo real quanto históricos. Os agentes podem consumir eventos de anomalia e orquestrar fluxos de trabalho subsequentes, complementando alertas baseados no Activator.

Consultar resultados de anomalia com o endpoint SQL

O Eventhouse fornece um endpoint SQL gerenciado alinhado ao modelo de dados do Eventhouse e à governança do Fabric. Você pode consultar saídas do detector de anomalias e tabelas ou exibições relacionadas por meio do SQL para análises e integrações downstream. Para encontrar os detalhes da conexão do endpoint SQL, navegue até o item Eventhouse no workspace do Fabric.

Para obter mais informações, consulte:

• Explorar eventos de detecção de anomalias
• Definir alertas sobre eventos de detecção de anomalias

Limitações e considerações

Esteja ciente destas limitações:

• A detecção de anomalias será desabilitada se a tabela de entrada não corresponder ao esquema necessário (coluna de valor numérico, coluna datetime e coluna de cadeia de caracteres).
• Dados históricos suficientes melhoram as recomendações e a precisão do modelo.
• Cada detector de anomalias dá suporte apenas a uma única configuração de modelo.

Executando várias operações no detector de anomalias

Quando você interage com o detector de anomalias, o Eventhouse executa consultas python em segundo plano para dar suporte à análise em tempo real. Essas operações incluem:

• Executando detecção de anomalias ou outros tipos de análise.
• Alternar entre modelos recomendados.
• Alterando a janela de tempo ou os IDs que você está exibindo.
• Monitorando continuamente os dados de entrada para anomalias definindo alertas.

O Eventhouse dá suporte a até oito consultas simultâneas por Eventhouse. Se você exceder esse limite, o sistema repetirá as consultas, mas não colocará consultas extras na fila, e elas podem falhar silenciosamente. Mensagens de erro que fornecem mais clareza estão em desenvolvimento.

Para evitar problemas:

• Permitir que cada consulta seja concluída antes de iniciar uma nova.
• Se o desempenho parecer lento ou sem resposta, reduza o número de consultas simultâneas.

Para obter mais informações, consulte o Plug-in do Python.

Tempos de espera para habilitar o plugin Python

Quando você inicia a análise de dados, o detector de anomalias ativa automaticamente o plugin Python no seu Eventhouse. Habilitar o plug-in pode levar até uma hora. Uma vez habilitada, a análise é iniciada automaticamente.

Para obter mais informações, consulte Habilitar plug-in do Python no Real-Time Intelligence.

Próximas etapas

Depois de configurar a detecção de anomalias, você poderá:

• Explorar eventos de detecção de anomalias
• Definir alertas sobre eventos de detecção de anomalias
• Configurar o Ativador para respostas automatizadas
• Saiba mais sobre a detecção de anomalias multivariadas
• Criar alertas de um conjunto de consultas KQL

Conteúdo relacionado

• Referência de consulta KQL
• Documentação do Painel em Tempo Real
• Visão geral do ativador