Deteção de anomalias no Real-Time Intelligence (Preview)

A deteção de anomalias no Real-Time Intelligence ajuda a detetar padrões invulgares e valores atípicos nas tabelas do Eventhouse, sem necessidade de copiar os dados. Use-o quando precisar de detetar comportamentos inesperados em dados de streaming ou históricos e responda antes que isso afete as operações a jusante.

Neste artigo, ativa as funcionalidades necessárias, inicia a deteção de anomalias a partir de um dos pontos de entrada suportados e configura as definições de análise. Depois revê modelos recomendados, publica monitorização contínua e configura alertas para anomalias futuras.

A deteção de anomalias também suporta tabelas de atalho do Eventhouse, para que possa analisar dados sem primeiro os copiar ou mover para uma tabela dedicada do Eventhouse. Pode criar detetores de anomalias diretamente em tabelas de atalhos suportadas e usar as mesmas análises, recomendações de modelos e experiências de monitorização contínua disponíveis para fontes nativas de dados do Eventhouse. Este suporte estende a deteção de anomalias a fontes de dados externas e federadas que já estão ligadas através de atalhos Eventhouse, para que possa passar de ligar dados para detetar problemas com menos configuração e duplicação.

Pré-requisitos

• Um espaço de trabalho com uma capacidade ativada por Microsoft Fabric.

• Função de Administrador, Colaborador ou Membro no espaço de trabalho.

• Uma casa de eventos no seu espaço de trabalho com uma base de dados KQL.

• Um plugin Python ativado nesse mesmo Eventhouse.

  1. Para ativar o plugin, vai ao teu Eventhouse.
  2. Na barra de ferramentas superior, selecione Plugins e ative a extensão da linguagem Python.
  3. Selecione o plugin Python 3.11.7 DL e selecione Concluído.

  

• Detete anomalias com a Inteligência em Tempo Real ativada no seu espaço de trabalho.

  1. Para ativar a deteção de anomalias, vá ao seu espaço de trabalho.
  2. Atualize para um teste gratuito do Microsoft Fabric ou certifique-se de que o seu espaço de trabalho tem uma licença Microsoft Fabric.
  3. Ou contacte o seu administrador para ativar a opção de funcionalidade de pré-visualização ou aceda ao portal de administração e ative Detetar anomalias no Real-Time Intelligence (Pré-visualização).

Como configurar a deteção de anomalias

Como Começar

Pode iniciar a deteção de anomalias de três formas:

Ver configurações existentes de deteção de anomalias

Antes de criar um novo detector de anomalias, verifique se já existe uma configuração para a fonte de dados que selecionou. Esta vista ajuda-o a evitar trabalhos duplicados e a perceber como os outros já monitorizam esses dados.

1. Na sua lista de fontes de dados, selecione a reticência (...) para a fonte de dados que pretende analisar e depois selecione Detetor de anomalias existente.

   

2. Em Ver anomalias detetadas, pode visualizar todas as configurações existentes de deteção de anomalias para a fonte de dados selecionada e explorar os detalhes de cada uma.

   1. No painel de navegação esquerdo, selecione uma configuração para explorar as anomalias detetadas, ou selecione Abrir para a visualizar em ecrã completo.

   2. Se as configurações existentes não corresponderem às suas necessidades, selecione Novo para criar uma nova configuração de deteção de anomalias.

   

Esta experiência ajuda-o a passar da exploração para a ação sem sair do contexto da sua fonte de dados.

Configurar colunas de entrada para análise

Especifique quais colunas analisar e como agrupar seus dados.

1. No painel de configuração, adicione a coluna Valor a observar que contém os dados numéricos que você deseja monitorar em busca de anomalias.

   

   Observação

   Verifique se a coluna selecionada contém valores numéricos, pois apenas dados numéricos são suportados para deteção de anomalias.

2. Escolha a coluna Agrupar por para especificar como seus dados devem ser particionados para análise. Esta coluna normalmente representa entidades como dispositivos, locais ou outros agrupamentos lógicos.

   

3. Selecione a coluna Carimbo de data/hora que representa a hora em que cada ponto de dados foi gravado. Esta coluna é crucial para a deteção de anomalias em séries cronológicas e garante uma análise precisa das tendências ao longo do tempo.

   

4. Selecione Executar análise para iniciar a avaliação automatizada do modelo.

Aguarde a conclusão da análise

O sistema analisa os seus dados para encontrar os melhores modelos de deteção de anomalias.

Durante a análise, o sistema:

• Amostras dos dados da sua tabela para um processamento eficiente
• Testa vários algoritmos de deteção de anomalias
• Avalia diferentes configurações de parâmetros
• Identifica os modelos mais eficazes para seus padrões de dados específicos

Rever modelos recomendados e anomalias

Após a conclusão da análise, selecione um modelo recomendado para visualizar as anomalias detetadas e explorar os resultados.

1. Abra os resultados da deteção de anomalias selecionando a notificação que recebeu ou voltando ao painel de configuração.

2. Selecione um modelo recomendado para rever o seu desempenho e, opcionalmente, ajustar as definições de confiança. Guarda a tua escolha.

   

3. A página de resultados fornece os seguintes insights:

   • Resultados do detector: Uma visualização dos seus dados com anomalias claramente destacadas.
   • Eventos de anomalia: Uma tabela detalhada das anomalias detetadas dentro do intervalo de tempo selecionado.

   

4. Utilize os visuais e tabelas para explorar anomalias detetadas e compreender padrões de dados. Também pode abrir o contexto de análise de anomalias num caderno Fabric para investigar resultados com KQL, endpoint de análise SQL, Python ou Spark.

5. Publique a sua configuração para iniciar monitorização contínua dos seus dados. Uma vez publicado, o detector de anomalias acompanha os eventos de deteção de anomalias para essa configuração de forma contínua, sem duplicar o conjunto de dados.

   

Depois de publicar, tem duas opções para lidar com eventos de anomalia:

• Defina um alerta diretamente nesta configuração. Na fita superior do item de deteção de anomalias, selecione a opção de alerta para ser notificado sempre que esta configuração específica detetar uma anomalia. Para mais informações, consulte Definir alertas sobre eventos de deteção de anomalias.
• Encaminhe eventos de anomalia para outro destino a jusante. Se quiseres enviar eventos de deteção de anomalias para um destino como um event stream ou um Activator, vai ao Real-Time hub e usa Fabric events para configurar esse encaminhamento. Para mais informações, consulte Explorar eventos de deteção de anomalias.

Revise e ajuste os resultados para que a sua configuração de deteção de anomalias corresponda ao seu caso de uso.

Reanalise modelos de deteção de anomalias com novos dados

Mantenha seus modelos de deteção de anomalias atualizados à medida que novos dados forem disponibilizados.

Siga estes passos para reanalisar o modelo com novos dados:

1. Vai ao teu item de deteção de anomalias.
2. No painel Editar , modifique qualquer um dos campos preenchidos anteriormente, conforme necessário.
3. Selecionar Re-analisar os meus dados. Esta ação inicia uma nova análise baseada nos seus inputs atualizados.

Explorar eventos de deteção de anomalias e definir alertas

Depois de publicar a sua configuração de deteção de anomalias, existem duas formas de agir sobre os eventos de anomalia que ela gera:

• Defina um alerta sobre a configuração. A partir do item de deteção de anomalias, defina um alerta diretamente na configuração que está a monitorizar para ser notificado quando detetar uma anomalia.
• Envia eventos de anomalia para outro destino a jusante. Vá para o Real-Time hub e utilize os eventos do Fabric para encaminhar eventos de deteção de anomalias para um destino, como um fluxo de eventos ou o Activator. Para mais informações, consulte Explorar eventos de deteção de anomalias.

Também pode ligar eventos de anomalia a agentes de dados Fabric para permitir raciocínio e ações automatizadas entre dados de eventos reais e históricos. Os agentes de dados podem consumir eventos de anomalia e orquestrar fluxos de trabalho posteriores que complementam alertas baseados no Activator.

Consultar resultados de anomalias com o endpoint de análise SQL

A Eventhouse fornece um endpoint de análise SQL gerido, alinhado com o modelo de dados Eventhouse e a governação do Fabric. Pode consultar resultados de detetores de anomalias e tabelas ou vistas relacionadas com SQL para análises e integrações a jusante. Para encontrar detalhes de ligação aos endpoints de análise SQL, aceda ao item Eventhouse no seu espaço de trabalho Fabric.

Para obter mais informações, consulte:

• Explorar eventos de deteção de anomalias
• Definir alertas em eventos de deteção de anomalias

Limitações e considerações

Esteja ciente destas limitações:

• A deteção de anomalias é desativada se a tabela de entrada não corresponder ao esquema requerido (coluna de valor numérico, coluna de data-hora e coluna de string).
• Dados históricos suficientes melhoram as recomendações e a precisão dos modelos.
• Cada detetor de anomalias suporta apenas uma configuração de modelo.

Execução de várias operações no detetor de anomalias

Quando você interage com o detetor de anomalias, o Eventhouse executa consultas Python em segundo plano para oferecer suporte à análise em tempo real. Estas operações incluem:

• Detetar anomalias ou realizar outros tipos de análise.
• Alternar entre os modelos recomendados.
• Alterar a janela temporal ou os IDs que está a ver.
• Monitoramento contínuo de dados recebidos em busca de anomalias definindo alertas.

O Eventhouse suporta até oito consultas simultâneas por Eventhouse. Se ultrapassar este limite, o sistema tenta novamente as consultas, mas não coloca consultas extra na fila e elas podem falhar silenciosamente. Mensagens de erro que fornecem mais clareza estão em desenvolvimento.

Para evitar problemas:

• Permita que cada consulta seja concluída antes de iniciar uma nova.
• Se o desempenho parecer lento ou não responder, reduza o número de consultas simultâneas.

Para obter mais informações, consulte Plug-in Python.

Tempos de espera para ativar o plugin Python

Se o plugin Python ainda não estiver ativado, o detector de anomalias tenta ativar automaticamente quando inicias a análise de dados. Nesse caso, ativar o plugin pode demorar até uma hora. Uma vez ativada, a análise começa automaticamente.

Para obter mais informações, consulte Ativar plug-in Python no Real-Time Intelligence.

Próximos passos

Depois de configurar a deteção de anomalias, pode:

• Explorar eventos de deteção de anomalias
• Definir alertas em eventos de deteção de anomalias
• Configurar o Ativador para respostas automáticas
• Saiba mais sobre a deteção de anomalias multivariadas
• Criar alertas a partir de um conjunto de consultas KQL

Conteúdo relacionado

• Referência de consulta KQL
• Documentação do dashboard Real-Time
• Visão geral do Activator