Detecção de anomalias no Real-Time Intelligence (versão prévia)

A detecção de anomalias no Real-Time Intelligence ajuda você a identificar padrões incomuns e valores atípicos em tabelas do eventhouse sem copiar os dados. Use-o quando precisar detectar comportamentos inesperados em dados de streaming ou históricos e responda antes que isso afete as operações a jusante.

Neste artigo, você habilita os recursos necessários, inicia a detecção de anomalias a partir de um dos pontos de entrada suportados e configura as configurações de análise. Você então revisa os modelos recomendados, publica monitoramento contínuo e configura alertas para futuras anomalias.

A detecção de anomalias também suporta tabelas de atalhos do Eventhouse, então você pode analisar dados sem precisar copiar ou mover para uma tabela dedicada ao Eventohouse. Você pode criar detectores de anomalias diretamente em tabelas de atalhos suportadas e usar as mesmas análises, recomendações de modelos e experiências de monitoramento contínuo disponíveis para fontes nativas de dados do Eventhouse. Esse suporte estende a detecção de anomalias para fontes de dados externas e federadas que já estão conectadas por atalhos do Eventhouse, para que você possa passar de conectar dados para detectar problemas com menos configuração e duplicação.

Pré-requisitos

• Um workspace com uma capacidade habilitada para Microsoft Fabric.

• Função de Administrador, Contribuidor ou Membrono espaço de trabalho.

• Um Eventhouse em seu espaço de trabalho com um banco de dados KQL.

• Um plug-in do Python habilitado no mesmo Eventhouse.

  1. Para ativar o plugin, vá até o seu Eventhouse.
  2. Na barra de ferramentas superior, selecione Plug-ins e habilite a extensão de linguagem Python.
  3. Selecione o plug-in de DL do Python 3.11.7 e selecione Concluído.

  

• Detecte anomalias no Real-Time Intelligence habilitado em seu espaço de trabalho.

  1. Para ativar a detecção de anomalias, vá até o seu espaço de trabalho.
  2. Faça um upgrade para um teste gratuito do Microsoft Fabric ou garanta que seu espaço de trabalho tenha uma licença do Microsoft Fabric.
  3. Ou entre em contato com seu administrador para ativar a opção de pré-visualização ou vá ao portal de Administrador e ative o Detectar anomalias em Real-Time Inteligência (Prévia).

Como configurar a detecção de anomalias

Como começar

Você pode iniciar a detecção de anomalias de três maneiras:

Veja configurações existentes de detecção de anomalias

Antes de criar um novo detector de anomalias, verifique se já existe uma configuração para a fonte de dados que você selecionou. Essa visualização ajuda a evitar trabalhos duplicados e a entender como outros já monitoram esses dados.

1. Na sua lista de fontes de dados, selecione a elipse (...) para a fonte de dados que deseja analisar e, em seguida, selecione Detector de anomalias existente.

   

2. No Ver anomalias detectadas, você pode visualizar todas as configurações existentes de detecção de anomalias para a fonte de dados selecionada e explorar os detalhes de cada uma.

   1. No painel de navegação esquerdo, selecione uma configuração para explorar as anomalias detectadas ou selecione Abrir para visualizá-la em tela cheia.

   2. Se as configurações existentes não atenderem às suas necessidades, selecione Novo para criar uma nova configuração de detecção de anomalias.

   

Essa experiência ajuda você a passar da exploração para a ação sem sair do contexto da sua fonte de dados.

Configurar colunas de entrada para análise

Especifique quais colunas analisar e como agrupar seus dados.

1. No painel de configuração, adicione a coluna Valor a observar que contém os dados numéricos que você deseja monitorar para anomalias.

   

   Observação

   Verifique se a coluna selecionada contém valores numéricos, pois somente dados numéricos têm suporte para detecção de anomalias.

2. Escolha o Grupo por coluna para especificar como seus dados devem ser particionados para análise. Essa coluna normalmente representa entidades como dispositivos, locais ou outros agrupamentos lógicos.

   

3. Selecione a coluna Timestamp que representa o momento em que cada ponto de dados foi registrado. Esta coluna é crucial para a detecção de anomalias de série temporal e garante uma análise precisa das tendências ao longo do tempo.

   

4. Selecione Executar análise para iniciar a avaliação automatizada do modelo.

Aguardar a conclusão da análise

O sistema analisa seus dados para encontrar os melhores modelos de detecção de anomalias.

Durante a análise, o sistema:

• Amostra os dados de sua tabela para processamento eficiente
• Testa vários algoritmos de detecção de anomalias
• Avalia configurações de parâmetros diferentes
• Identifica os modelos mais eficazes para seus padrões de dados específicos

Examinar modelos e anomalias recomendados

Após a análise concluir, selecione um modelo recomendado para visualizar as anomalias detectadas e explorar os resultados.

1. Abra os resultados da detecção de anomalias selecionando a notificação que recebeu ou voltando ao painel de configuração.

2. Selecione um modelo recomendado para revisar seu desempenho e, opcionalmente, ajuste as configurações de confiança. Salve sua seleção.

   

3. A página de resultados fornece os seguintes insights:

   • Resultados do detector: Uma visualização dos seus dados com anomalias claramente destacadas.
   • Eventos de anomalia: Uma tabela detalhada das anomalias detectadas dentro do intervalo de tempo selecionado.

   

4. Use os visuais e tabelas para explorar anomalias detectadas e entender padrões de dados. Você também pode abrir o contexto de análise de anomalias em um notebook Fabric para investigar resultados com KQL, endpoint de análise SQL, Python ou Spark.

5. Publique sua configuração para iniciar o monitoramento contínuo dos seus dados. Uma vez publicado, o detector de anomalias rastreia eventos de detecção de anomalias para essa configuração de forma contínua, sem duplicar o conjunto de dados.

   

Depois de publicar, você tem duas opções para agir em eventos de anomalia:

• Configure um alerta diretamente nessa configuração. Na fita superior do item de detecção de anomalia, selecione a opção de alerta para ser notificado sempre que essa configuração específica detectar uma anomalia. Para mais informações, veja Configurar alertas sobre eventos de detecção de anomalias.
• Direcione eventos de anomalia para um destino diferente a jusante. Se quiser enviar eventos de detecção de anomalias para um destino, como um fluxo de eventos ou Ativador, vá para Real-Time hub e use Fabric eventos para configurar esse roteamento. Para mais informações, veja Explorar eventos de detecção de anomalias.

Revise e ajuste os resultados para que seu setup de detecção de anomalias combine com seu caso de uso.

Analisar novamente modelos de detecção de anomalias com novos dados

Mantenha seus modelos de detecção de anomalias atualizados à medida que novos dados estiverem disponíveis.

Siga estas etapas para analisar novamente o modelo com novos dados:

1. Vá para o item de detecção de anomalias.
2. No painel Editar , modifique qualquer um dos campos preenchidos anteriormente, conforme necessário.
3. Selecione Re-analisar meus dados. Essa ação inicia uma nova análise com base em suas entradas atualizadas.

Explorar eventos de detecção de anomalias e definir alertas

Depois de publicar sua configuração de detecção de anomalia, existem duas maneiras de agir sobre os eventos de anomalia que ela gera:

• Defina um alerta na configuração. A partir do item de detecção de anomalia, configure um alerta diretamente na configuração que você está monitorando para ser notificado quando detectar uma anomalia.
• Envie eventos anômalos para outro destino downstream. Vá para Real-Time hub e use eventos Fabric para rotear eventos de detecção de anomalias para um destino, como um fluxo de eventos ou um Ativador. Para mais informações, veja Explorar eventos de detecção de anomalias.

Você também pode conectar eventos de anomalia a agentes de dados Fabric para permitir raciocínio e ações automatizadas entre dados de eventos ao vivo e históricos. Agentes de dados podem consumir eventos de anomalia e orquestrar fluxos de trabalho posteriores que complementam alertas baseados no Activator.

Consultar resultados de anomalias com endpoint de análise SQL

A Eventhouse oferece um endpoint gerenciado de análise SQL alinhado com o modelo de dados Eventhouse e a governança do Fabric. Você pode consultar resultados de detectores de anomalias e tabelas ou visualizações relacionadas com SQL para análises e integrações posteriores. Para encontrar detalhes de conexão de endpoints de SQL analytics, acesse seu item Eventhouse no seu espaço de trabalho Fabric.

Para obter mais informações, consulte:

• Explorar eventos de detecção de anomalias
• Defina alertas em eventos de detecção de anomalias

Limitações e considerações

Esteja ciente destas limitações:

• A detecção de anomalias será desabilitada se a tabela de entrada não corresponder ao esquema necessário (coluna de valor numérico, coluna datetime e coluna de cadeia de caracteres).
• Dados históricos suficientes melhoram as recomendações e a precisão do modelo.
• Cada detector de anomalias dá suporte apenas a uma única configuração de modelo.

Executando várias operações no detector de anomalias

Quando você interage com o detector de anomalias, o Eventhouse executa consultas python em segundo plano para dar suporte à análise em tempo real. Essas operações incluem:

• Executando detecção de anomalias ou outros tipos de análise.
• Alternar entre modelos recomendados.
• Alterando a janela de tempo ou os IDs que você está exibindo.
• Monitorando continuamente os dados de entrada para anomalias definindo alertas.

O Eventhouse dá suporte a até oito consultas simultâneas por Eventhouse. Se você exceder esse limite, o sistema repetirá as consultas, mas não colocará consultas extras na fila, e elas podem falhar silenciosamente. Mensagens de erro que fornecem mais clareza estão em desenvolvimento.

Para evitar problemas:

• Permitir que cada consulta seja concluída antes de iniciar uma nova.
• Se o desempenho parecer lento ou sem resposta, reduza o número de consultas simultâneas.

Para obter mais informações, confira Plug-in do Python.

Tempos de espera para habilitar o plugin Python

Se o plugin Python ainda não estiver ativado, o detector de anomalias tenta ativar automaticamente quando você inicia a análise de dados. Nesse caso, ativar o plugin pode levar até uma hora. Uma vez habilitada, a análise é iniciada automaticamente.

Para obter mais informações, consulte Habilitar plug-in do Python no Real-Time Intelligence.

Próximas etapas

Depois de configurar a detecção de anomalias, você poderá:

• Explorar eventos de detecção de anomalias
• Defina alertas em eventos de detecção de anomalias
• Configure o Activator para respostas automáticas
• Aprenda sobre detecção de anomalias multivariadas
• Crie alertas a partir de um queryset KQL

Conteúdo relacionado

• Referência de consulta KQL
• Documentação do Dashboard em Tempo Real
• Visão geral do ativador