Deteção de anomalias no Real-Time Intelligence (Preview)

Este artigo explica como configurar a deteção de anomalias no Real-Time Intelligence para identificar automaticamente padrões incomuns e discrepâncias em suas tabelas do Eventhouse. O sistema fornece modelos recomendados e permite configurar o monitoramento contínuo com ações automatizadas.

As capacidades-chave incluem:

• Recomendações de modelos: sugere os melhores algoritmos e parâmetros para os seus dados.
• Exploração interativa de anomalias: Visualize as anomalias detetadas e ajuste a sensibilidade do modelo.
• Monitoramento contínuo: configure a deteção de anomalias em tempo real com notificações automatizadas.
• Reanálise com novos dados: atualize seus modelos à medida que novos dados chegam para melhorar a precisão.

A deteção de anomalias corre nativamente em tabelas Eventhouse sem copiar dados, operando diretamente sobre conjuntos de dados em tempo real para análise em tempo real. A análise e monitorização contínua são implementadas no Eventhouse, o que minimiza a movimentação de dados.

A deteção de anomalias também suporta tabelas de atalho do Eventhouse, para que possa analisar dados sem primeiro os copiar ou mover para uma tabela dedicada do Eventhouse. Pode criar detetores de anomalias diretamente em tabelas de atalhos suportadas e usar as mesmas análises, recomendações de modelos e experiências de monitorização contínua disponíveis para fontes nativas de dados do Eventhouse. Este suporte estende a deteção de anomalias a fontes de dados externas e federadas que já estão ligadas através de atalhos Eventhouse, para que possa passar de ligar dados para detetar problemas com menos configuração e duplicação.

Pré-requisitos

• Um espaço de trabalho com uma capacidade ativada por Microsoft Fabric.

• Função de Administrador, Colaborador ou Membro no espaço de trabalho.

• Uma casa de eventos no seu espaço de trabalho com uma base de dados KQL.

• Um plugin Python ativado nesse mesmo Eventhouse.

  1. Para ativar o plugin, vai ao teu Eventhouse.
  2. Na barra de ferramentas superior, selecione Plugins e ative a extensão da linguagem Python.
  3. Selecione o plugin Python 3.11.7 DL e selecione Concluído.

  

• Detete anomalias com a Inteligência em Tempo Real ativada no seu espaço de trabalho.

  1. Para ativar a deteção de anomalias, vá ao seu espaço de trabalho.
  2. Atualize para um teste gratuito do Microsoft Fabric ou certifique-se de que o seu espaço de trabalho tem uma licença Microsoft Fabric.
  3. Ou contacte o seu administrador para ativar a opção de funcionalidade de pré-visualização ou aceda ao portal de administração e ative Detetar anomalias no Real-Time Intelligence (Pré-visualização).

Como configurar a deteção de anomalias

Como Começar

Pode iniciar a deteção de anomalias de três formas:

Ver configurações existentes de deteção de anomalias

Antes de criar um novo detetor de anomalias, verifique se já existe uma configuração de deteção de anomalias para a fonte de dados que selecionou. Esta vista dá-lhe uma visão rápida de como a deteção de anomalias está atualmente configurada para essa fonte de dados. Ajuda-te a evitar trabalhos duplicados e a perceber melhor como os outros usam os dados.

1. Na sua lista de fontes de dados, selecione a reticência (...) para a fonte de dados que pretende analisar e depois selecione Detetor de anomalias existente.

   

2. Em Ver anomalias detetadas, pode visualizar todas as configurações existentes de deteção de anomalias para a fonte de dados selecionada e explorar os detalhes de cada uma.

   1. No painel de navegação esquerdo, selecione uma configuração para explorar as anomalias detetadas, ou selecione Abrir para a visualizar em ecrã completo.

   2. Se as configurações existentes não corresponderem às suas necessidades, selecione Novo para criar uma nova configuração de deteção de anomalias.

   

Esta experiência ajuda-o a passar rapidamente da exploração para a ação, sem sair do contexto da sua fonte de dados.

Configurar colunas de entrada para análise

Especifique quais colunas analisar e como agrupar seus dados.

1. No painel de configuração, adicione a coluna Valor a observar que contém os dados numéricos que você deseja monitorar em busca de anomalias.

   

   Observação

   Verifique se a coluna selecionada contém valores numéricos, pois apenas dados numéricos são suportados para deteção de anomalias.

2. Escolha a coluna Agrupar por para especificar como seus dados devem ser particionados para análise. Esta coluna normalmente representa entidades como dispositivos, locais ou outros agrupamentos lógicos.

   

3. Selecione a coluna Carimbo de data/hora que representa a hora em que cada ponto de dados foi gravado. Esta coluna é crucial para a deteção de anomalias em séries cronológicas e garante uma análise precisa das tendências ao longo do tempo.

   

4. Selecione Executar análise para iniciar a avaliação automatizada do modelo.

Aguarde a conclusão da análise

O sistema analisa os seus dados para encontrar os melhores modelos de deteção de anomalias.

Durante a análise, o sistema:

• Amostras dos dados da sua tabela para um processamento eficiente
• Testa vários algoritmos de deteção de anomalias
• Avalia diferentes configurações de parâmetros
• Identifica os modelos mais eficazes para seus padrões de dados específicos

Rever modelos recomendados e anomalias

Após a conclusão da análise, reveja os resultados e explore as anomalias detetadas.

1. Abra os resultados da deteção de anomalias selecionando a notificação que recebeu ou voltando à tabela e selecionando Ver resultados da anomalia.

2. A página de resultados fornece os seguintes insights:

   • Uma visualização dos seus dados com anomalias claramente destacadas.
   • Uma lista de algoritmos recomendados, classificados pela sua eficácia para os seus dados.
   • Configurações de sensibilidade para ajustar os limites de deteção.
   • Uma tabela detalhada das anomalias detetadas dentro do intervalo de tempo selecionado.

3. Use o seletor de modelo para comparar o desempenho de diferentes algoritmos recomendados e escolha o que melhor se adapta às suas necessidades.

4. Ajuste as configurações de sensibilidade para refinar os resultados da deteção de anomalias:

   • As opções incluem níveis baixos, médios e elevados de confiança.
   • Experimente essas configurações para equilibrar entre a deteção de mais anomalias e a redução de falsos positivos.

5. Interaja com os visuais e tabelas para obter informações mais detalhadas sobre as anomalias detetadas e entender os padrões em seus dados. Também pode abrir o contexto de análise de anomalias num caderno Fabric para explorar mais a fundo dados e anomalias detetadas usando KQL, SQL, Python ou Spark, permitindo transformações avançadas e aprendizagem automática na mesma base de dados.

6. Salve o detetor de anomalias para preservar sua configuração e revisite-o mais tarde.

7. Publicar as anomalias detetadas no Real-Time Hub para permitir a monitorização contínua dos dados em direto recebidos sob a governação do Fabric, sem duplicar o conjunto de dados. Você também pode configurar ações downstream, como enviar alertas para o Activator.

Ao revisar e ajustar os resultados, você pode garantir que sua configuração de deteção de anomalias seja otimizada para seu caso de uso específico.

Reanalise modelos de deteção de anomalias com novos dados

Mantenha seus modelos de deteção de anomalias atualizados à medida que novos dados forem disponibilizados.

Siga estes passos para reanalisar o modelo com novos dados:

1. Vai ao teu item de deteção de anomalias.
2. No painel Editar , modifique qualquer um dos campos preenchidos anteriormente, conforme necessário.
3. Selecione Executar análise. Esta ação inicia uma nova análise baseada nos seus inputs atualizados.

Explorar eventos de deteção de anomalias e definir alertas

Depois de publicar os resultados da deteção de anomalias, pode explorar as anomalias detetadas no Real-Time Hub e configurar alertas para o notificar de futuras anomalias.

Eventos de anomalia também podem ser ligados a agentes de dados Fabric para permitir raciocínio e ações automatizadas tanto em dados de eventos em tempo real como históricos. Os agentes podem consumir eventos de anomalia e orquestrar fluxos de trabalho subsequentes, complementando alertas baseados em Activator.

Consultar os resultados das anomalias através do SQL Endpoint

A Eventhouse fornece um endpoint SQL gerido alinhado com o modelo de dados Eventhouse e a governação do Fabric. Pode consultar resultados de detetores de anomalias e tabelas ou vistas relacionadas via SQL para análises e integrações a jusante. Para encontrar os detalhes da ligação ao endpoint SQL, navegue até ao seu item Eventhouse no espaço de trabalho Fabric.

Para obter mais informações, consulte:

• Explorar eventos de deteção de anomalias
• Definir alertas sobre eventos de deteção de anomalias

Limitações e considerações

Esteja ciente destas limitações:

• A deteção de anomalias é desativada se a tabela de entrada não corresponder ao esquema requerido (coluna de valor numérico, coluna de data-hora e coluna de string).
• Dados históricos suficientes melhoram as recomendações e a precisão dos modelos.
• Cada detetor de anomalias suporta apenas uma configuração de modelo.

Execução de várias operações no detetor de anomalias

Quando você interage com o detetor de anomalias, o Eventhouse executa consultas Python em segundo plano para oferecer suporte à análise em tempo real. Estas operações incluem:

• Detetar anomalias ou realizar outros tipos de análise.
• Alternar entre os modelos recomendados.
• Alterar a janela temporal ou os IDs que está a ver.
• Monitoramento contínuo de dados recebidos em busca de anomalias definindo alertas.

O Eventhouse suporta até oito consultas simultâneas por Eventhouse. Se ultrapassar este limite, o sistema tenta novamente as consultas, mas não coloca consultas extra na fila e elas podem falhar silenciosamente. Mensagens de erro que fornecem mais clareza estão em desenvolvimento.

Para evitar problemas:

• Permita que cada consulta seja concluída antes de iniciar uma nova.
• Se o desempenho parecer lento ou não responder, reduza o número de consultas simultâneas.

Para obter mais informações, consulte Python Plugin.

Tempos de espera para ativar o plugin Python

Quando inicias a análise de dados, o detector de anomalias ativa automaticamente o plugin Python no teu Eventhouse. Ativar o plugin pode levar até uma hora. Uma vez ativada, a análise começa automaticamente.

Para obter mais informações, consulte Ativar plug-in Python no Real-Time Intelligence.

Próximos passos

Depois de configurar a deteção de anomalias, pode:

• Explorar eventos de deteção de anomalias
• Definir alertas sobre eventos de deteção de anomalias
• Configurar o Ativador para respostas automáticas
• Saiba mais sobre a deteção de anomalias multivariadas
• Criar alertas a partir de um conjunto de consultas KQL

Conteúdo relacionado

• Referência de consulta KQL
• Documentação do Real-Time Dashboard
• Visão geral do ativador