Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
[Este artigo é uma documentação de pré-lançamento e está sujeito a alterações.]
A aba Monitor na experiência do novo agente oferece uma visão da atividade recente do seu agente e da eficácia geral ao longo das sessões. Métricas-chave incluem sessões de conversa (como seu agente lidou com as conversas), engajamento do usuário (contagem de mensagens e duração das sessões), estimativas de custo e economia, reações totais e qualidade da resposta.
Você pode filtrar a aba Monitor para mostrar eventos que ocorreram nos últimos 360 dias.
Note
Os recursos deste artigo são usados por agentes ou fluxos de trabalho alimentados pelo GitHub Copilot.
A cobrança por uso se aplica ao uso, criação, teste e avaliação de agentes. Essas ações podem consumir Créditos do Copilot. Saiba mais em Gerenciar os custos de agentes viabilizados pelo GitHub Copilot harness.
Note
A guia Monitor não estará disponível até que você publique seu agente. Para disponibilizá-la, selecione Publicar na guia Criar.
Visão geral
O painel de Visão Geral fornece métricas de alto nível de indicadores de desempenho (KPI) para seu agente e oferece uma visão agregada de sua eficácia geral. As principais métricas no painel de Visão Geral são:
- Sessões de conversa: O total inclui sessões engajadas e não engajadas.
- Reações totais: O número total de reações que os usuários deram às mensagens do agente.
- Usuários ativos diários médios: Usuários ativos diários médios durante o período selecionado.
- Duração média das runs: O tempo médio que o agente leva para completar uma run do início ao fim.
- Total de execuções: O número total de vezes que o agente foi acionado e executado durante o período selecionado.
- Taxa de sucesso: A porcentagem de corridas concluídas com sucesso sem erros durante o período selecionado.
Usuários ativos
Métricas ativas de usuário fornecem uma visão sobre o grau em que um agente conversacional está sendo adotado e como isso evolui ao longo do tempo. Um usuário ativo é um usuário exclusivo que interagiu com o agente de conversa pelo menos uma vez durante o período do relatório. A aba Copilot Studio Monitor exibe contagens de usuários ativos por dois períodos de tempo predefinidos: usuários ativos diários (DAU) e usuários ativos mensais (MAU). A contagem diária começa e termina de acordo com um dia completo de 24 horas no fuso horário UTC. A contagem mensal segue o mês do calendário, também iniciando e terminando nos primeiros e últimos dias de acordo com o fuso horário UTC.
Importante
O recurso de métricas de usuário ativo só é suportado se você configurar seu agente para exigir autenticação em Configurações>de Segurança & Autenticação de acesso>.
O DAU médio para o período selecionado, mais sua variação percentual em relação ao período anterior, aparece como um KPI (indicador de desempenho chave) na seção Visão geral .
Note
A fórmula para a métrica calculada média da DAU é: (sum of all full-day active user counts in the period) / (count of full days in the period).
Para ver mais detalhes sobre as contagens de usuários ativos diários e mensais ao longo do tempo, selecione o botão Ver usuários ativos no canto superior direito do painel de visão geral.
Faturamento
Na página Monitor do seu agente, o painel de Visão Geral mostra o total de Créditos Copilot faturados pelo seu agente para o período selecionado. Para exibir mais detalhes sobre as informações de cobrança, selecione Ver cobrança. Essa seleção abre um painel lateral do gráfico de tendências de Faturamento que mostra as mudanças nos Créditos Copilot faturados pelo seu agente ao longo do período selecionado. Passe o mouse sobre pontos no gráfico para ver o número de Créditos copilot.
Os dados de análise levam algumas horas para serem atualizados com novos Créditos copilot cobrados, portanto, talvez você não veja dados sobre atividades recentes.
Poupança
Use o painel de Poupança para estimar quanto tempo e dinheiro seu corretor economiza. Use a Calculadora de Poupança para estimar suas economias por execução ou calcular a economia de uma ou mais ferramentas que o seu agente utiliza. Se houver um painel de Poupança vazio sem métricas calculadas exibidas, selecione Calcular poupança.
Selecione Por execução ou Por ferramenta.
Para estimar a economia por execução, veja Estimar a economia por execução para um agente.
Para calcular o tempo ou custo economizado para cada uma das ferramentas do seu corretor, veja Calcular economia por ferramenta para seu corretor.
Reações
A seção Reações mostra os comentários do usuário coletados das reações às respostas do agente. O gráfico conta o número de vezes que os usuários selecionaram os botões de positivo (polegar para cima) ou negativo (polegar para baixo) disponíveis em cada resposta que receberam do seu agente.
Note
- Os agentes publicados no canal do Microsoft 365 Copilot não dão suporte a reações.
- Para exibir comentários, você deve ter a função de segurança Visualizador de Transcrições do Bot.
O recurso Reações está ativado por padrão. Você pode desligar se precisar. Você também pode adicionar ou editar um aviso de isenção de responsabilidade para usuários sobre como os comentários são usados:
Abra seu agente, selecione Configurações e depois selecione a aba Segurança e acesso .
Defina o feedback do usuário como Ativado ou Desativado.
Os usuários com o privilégio visualizador de transcrição de bot podem fazer uma busca detalhada nas respostas do agente para reações individuais e filtrar por comentários do usuário.
Para ver as tendências de reação ao longo do tempo, selecione Ver detalhes no bloco Reações para abrir o painel lateral Reações . O painel mostra como as reações positivas e negativas (de Polegares para cima e Polegares para baixo) evoluem ao longo do tempo.
Uso de ferramentas
A seção Uso de ferramentas mostra um gráfico e métricas que acompanham com que frequência suas ferramentas são iniciadas ao longo do tempo e com que frequência seu agente usou essas ferramentas com sucesso. Também mostra indicadores de tendência sobre a frequência com que seu agente usa cada ferramenta e a porcentagem de ferramentas chamadas usadas com sucesso.
O gráfico exibe as cinco principais ferramentas usadas durante o período de data definido na parte superior da página Análise .
Na legenda abaixo do gráfico, focalize qualquer uma das ferramentas para realçar essa ferramenta no gráfico.
Para abrir um painel lateral com uma lista de todas as ferramentas usadas no período especificado, junto com indicadores de tendência, selecione Ver detalhes no gráfico. No painel Uso de ferramentas, você pode exibir cálculos da porcentagem de perguntas usadas para cada ferramenta. Se seu agente tiver agentes filho, você pode escolher exibir os cálculos tanto para o agente principal quanto para os agentes filho (Todos), apenas para o Agente principal ou apenas para o Agente filho.