Execute e valide uma migração de modelo de IA para agentes do Copilot Studio

As secções seguintes aplicam-se a todas as alterações de modelo, seja uma atualização proativa ou uma resposta a uma reforma. Defina primeiro as portas, capture uma linha base do modelo atual e depois trabalhe pelas fases.

Defina portões de aceitação de migração

Defina critérios de aceitação antes de avaliar o modelo candidato, para que a avaliação do agente produza uma decisão em vez de apenas um conjunto de pontuações. Inclui:

  • Taxa mínima global de aprovação
  • Taxa de aprovação exigida para cenários críticos para o negócio
  • Falhas críticas que bloqueiam a migração independentemente da pontuação agregada
  • Latência permitida e variação de fiabilidade
  • Aprovação de segurança, conformidade e processamento regional
  • Consumo aceitável ou impacto no custo
  • Assinatura obrigatória do proprietário e do aprovador de liberação

Compare o modelo atual e o modelo candidato usando a mesma configuração do agente, dados de teste, conjunto de testes, perfis de utilizador e pressupostos do ambiente. Investigue regressões individuais em vez de depender apenas de uma pontuação média.

Os resultados dos modelos são probabilísticos. Execute cenários importantes mais do que uma vez quando a variabilidade possa afetar a decisão.

Estabelecer uma linha de base de avaliação reutilizável

Antes de mudar o modelo, crie um conjunto de testes que represente os cenários críticos para o negócio e de alta frequência do agente. Execute o conjunto de testes com o modelo de produção atual para estabelecer uma linha de base.

Use tanto o chat de teste como a avaliação de agentes:

Os métodos de teste disponíveis dependem do arnês do agente, por isso confirma-os antes de desenhar o conjunto de testes. Saiba mais em Confirmar quais os métodos de teste que o seu agente apoia.

Avalie o comportamento completo do agente

Não aprove um modelo de substituição só porque a sua taxa agregada de aprovação é semelhante à do modelo atual.

Cobrir as seguintes áreas. Cada um é um comportamento que normalmente muda quando o modelo muda, por isso um conjunto de teste que omite uma área não consegue detetar uma regressão nela.

Área de avaliação O que uma mudança de modelo pode quebrar Como verificar
Qualidade das respostas Relevância, completude, precisão, clareza e consistência nas perguntas que o agente recebe com mais frequência. Qualidade geral
Fundamento e conhecimento O modelo responde a partir de dados de treino em vez da fonte de conhecimento configurada, elimina citações ou lida com fontes incompletas ou contraditórias de forma diferente. Qualidade geral
Abstenção O modelo responde a uma pergunta fora do âmbito em vez de recusar ou escalar. Qualidade geral, ou Personalizado com rótulos de Respondido e Recusado
Instrução seguinte Instruções que o modelo seguiu de forma fiável são ignoradas, como regras de escalonamento, limites, comportamentos proibidos ou um aviso obrigatório. Correspondência de palavras-chave em frases obrigatórias, ou Personalizado com rótulos específicos para instruções
Valores fixos e formato de saída Um valor preciso, como um número de telefone, código ou ID, é parafraseado ou inventado, ou a forma de saída muda e quebra um parser a jusante ou integração de canal. Correspondência exata, ou correspondência por palavra-chave no formato exigido
Seleção e contenção da ferramenta O modelo seleciona uma ferramenta diferente, não chama nenhuma, ou chama uma ferramenta quando não é necessária nenhuma ferramenta. Utilização da ferramenta com as ferramentas ou tópicos esperados definidos, além de uma revisão do mapa de atividade
Entradas de ferramentas e sequenciação Os parâmetros são extraídos, formatados ou por defeito, ou os passos numa tarefa multitool são reordenados, fundidos ou eliminados. Uso da ferramenta com todas as ferramentas esperadas, além da qualidade geral
Confirmação e gestão de falhas O modelo deixa de pedir confirmação antes de uma ação consequente, ou um erro de ferramenta é apresentado de forma diferente em vez de reportado. Personalizado com etiquetas de confirmação, além de correspondência de palavras-chave na linguagem de erro esperada
Comportamento com múltiplas curvas O contexto dos turnos anteriores é perdido ou reinterpretado, ou esclarecimentos, mudanças de tema e recuperação são tratados de forma diferente. Qualidade geral num conjunto de testes de conversação
Entrada confusa e adversarial Tratamento mais fraco de erros tipográficos, fragmentos e intenções pouco claras, ou uma resposta diferente a tentativas de injeção rápida e sobreposição de papéis. Qualidade geral, mais Custom com rótulos Recusados e Cumpridos
Segurança e conformidade Gestão de conteúdos prejudiciais, acesso a dados, permissões, processamento regional e requisitos responsáveis de IA. Etiquetas personalizadas, juntamente com uma análise responsável por IA
Latência e fiabilidade Tempo de resposta, tempos de espera, variabilidade, chamadas falhadas e tentativas repetidas em condições representativas. Não foi reportado por avaliação. Mede no chat de teste e monitorização da produção.
Consumo e custo Copilot: Consumo de crédito ou outros custos relacionados com o modelo para cenários representativos. Não foi reportado por avaliação. Meça a capacidade e o relatórios de consumo.
Línguas e canais Qualidade e comportamento em línguas suportadas, perfis de utilizador e canais de implementação. Executa o conjunto de testes para cada língua, perfil de utilizador e canal que importem

Preste especial atenção ao acompanhamento das instruções e à latência. Um modelo candidato pode melhorar a qualidade das respostas, mas introduzir respostas mais lentas, diferentes comportamentos de seleção de ferramentas ou falhas em instruções que eram fiáveis com o modelo anterior.

Confirme quais os métodos de teste que o seu agente apoia

Os métodos de teste disponíveis para o seu agente dependem do seu aproveitamento.

Saiba mais em:

Construir e manter o conjunto de testes

  • Aborde primeiro caminhos positivos críticos para o negócio e pedidos de alto volume, depois casos difíceis: casos extremos, entradas adversariais, pedidos que devem ser recusados ou escalados, falhas de ferramentas, longas conversas e pedidos multilíngues.
  • Começa pelo trânsito real. Temas analíticos e conversas gravadas produzem casos de teste mais representativos do que os inventados.
  • Prefere a cobertura em vez de polir. Um conjunto maior de casos imperfeitos encontra mais regressões do que um pequeno conjunto de casos perfeitamente formulados.
  • Pontua primeiro o modelo atual, depois o candidato. A comparação, e não o número absoluto, diz-lhe se a migração é segura.
  • Mantém o conjunto com o agente no controlo de versões e repete-o sem alterações para cada alteração de modelo.
  • Divide o conjunto por área de risco. Um conjunto de testes alimentado pelo chicote padrão comporta até 100 casos de teste, pelo que utilize conjuntos separados para a precisão do conhecimento, comportamento da ferramenta e cenários sensíveis à segurança.
  • Exporte os resultados. Os resultados das avaliações são mantidos durante 89 dias, por isso exporte-os para CSV para manter um registo da pontuação de cada modelo no momento da migração.
  • Converter incidentes de produção e feedback dos utilizadores em novos testes de regressão.

Saiba mais sobre Design e operacionalização da avaliação de agentes.

Note

A avaliação do agente mede a correção e o desempenho, não a ética da IA ou problemas de segurança. Um agente pode passar em todos os casos de teste e ainda assim apresentar uma resposta inadequada. Use análises responsáveis por IA e filtros de segurança de conteúdos juntamente com a avaliação.

Automatizar avaliações recorrentes

O Copilot Studio suporta a execução de avaliações através da API Power Platform, para que possa integrar a validação do modelo nos fluxos de trabalho de lançamento e pipelines de integração contínua. Para um grande património de agentes, a automação é o que torna os testes repetidos de candidatos sustentáveis em vez de manuais. Saiba mais em Avaliações do Automate com a API da Power Platform.

Atualize os artefactos do agente que uma alteração do modelo afeta

Uma alteração de modelo raramente afeta apenas a configuração do modelo. Traduza as orientações aplicáveis do fornecedor nos artefactos do agente que controla e depois valide cada alteração com base de avaliação. Uma remediação que não é retestada é um palpite.

Artifact Mudança típica
Instruções do agente Tornar explícitas as expectativas implícitas, remover soluções alternativas escritas para o modelo anterior, restabelecer limites e regras de escalonamento e comportamentos proibidos de forma inequívoca, resolver instruções conflitantes e calibrar quanta ação independente o agente deve tomar.
Instruções para tópicos e nós Aplicar o mesmo tratamento ao nível do tópico e verificar se os nós de resposta generativa continuam a comportar-se como esperado.
Descrições de ferramentas e ações Reescreva para maior clareza. Esta descrição é o que o modelo lê para decidir se e quando chamar uma ferramenta, e descrições vagas causam tanto sobrechamadas como sub-chamadas.
Descrições dos parâmetros de entrada e saída Aperte o formato, as unidades, os exemplos e a semântica obrigatória ou opcional para que a geração de parâmetros se mantenha correta.
Configuração da fonte de conhecimento Verifique novamente as instruções de seleção da fonte, definição de âmbito e aterramento, e verifique o comportamento das citações.
Instruções de formatação de resposta Reafirme explicitamente a estrutura, comprimento, avisos e valores exatos exigidos, porque os modelos mais recentes alteram a verbosidade padrão.
Portões de confirmação e segurança Reafirmar requisitos explícitos de confirmação antes de ações consequentes.
Consumidores a jusante Atualize fluxos do Power Automate, placas adaptativas, integrações de canais e qualquer parser que leia a saída do agente.
O próprio conjunto de testes Adicione os novos padrões de falha descobertos durante a migração.

Fases de migração

As fases seguintes colocam as secções anteriores em ordem de execução. Use-os como plano de trabalho para a mudança de modelo de um único agente, quer a mudança seja proativa ou impulsionada por uma reforma.

Fase 0: Preparar-se

  1. Confirme que o modelo candidato é válido face aos pré-requisitos: disponível ou padrão, disponível na região, postura cross-geo aceitável, habilitado pelo administrador e a categoria de utilização correta para o propósito do agente.
  2. Leia as orientações de atualização do fornecedor do modelo e anote as instruções e alterações à ferramenta que isso implica.
  3. Identificar os agentes afetados no inventário, ambiente de registo, proprietários e criticidade.
  4. Confirme quais os métodos de teste de avaliação que o arnês do agente suporta.
  5. Defina e aprove os portões de aceitação da migração.

Fase 1: Referência do modelo atual

  1. Construa ou atualize o conjunto de testes de regressão para que cubra cenários críticos para o negócio e de alta frequência.
  2. Execute o conjunto de testes com o modelo de produção atual para estabelecer a linha base. Faz isto enquanto o modelo atual ainda está no lugar, porque depois de o modelo mudar a linha base não pode ser reconstruída.
  3. Registar a latência e o consumo do Copilot Credit separadamente. As avaliações não os reportam.
  4. Exporte os resultados para CSV para preservar o registo para além da janela de retenção.

Fase 2: Avaliar o candidato num ambiente sem produção

  1. Prepare uma cópia não produtiva do agente, seguindo as orientações do Copilot Studio para gestão do ciclo de vida da aplicação e testes do agente. Configure o ambiente para que represente a produção:

    • Use as mesmas instruções de agente, tópicos, configuração de conhecimento, ferramentas, fluxos, conectores, linguagens e pressupostos de segurança.
    • Usa identidades e ligações representativas de testes.
    • Aplicar as mesmas políticas de dados e os controlos administrativos relevantes.
    • Confirme a disponibilidade regional e se é necessário movimento de dados entre geográficos.
    • Regista quaisquer diferenças entre o teste e a produção que possam afetar o resultado.

  2. Muda o modelo. Vá à página de Visão Geral do agente e selecione o modelo principal candidato na secção de Modelos . Existem definições separadas para raciocínio profundo, respostas generativas e o criador de prompts, por isso verifica se o agente usa essas capacidades e se também precisam de mudar.

  3. Repete o mesmo conjunto de testes, inalterado, contra o modelo candidato.

  4. Compare as duas corridas com os portões de aceitação para identificar melhorias e regressões.

  5. Inspecione a orquestração qualitativamente no chat de teste, usando o mapa de atividades para confirmar quais as ferramentas selecionadas, em que ordem e com que parâmetros.

  6. Meça a latência e o consumo do candidato e compare-os com a linha de base.

Fase 3: Remediação

  1. Atualize os artefactos do agente afetados pela alteração do modelo, depois volte a executar o conjunto de testes contra o agente remediado. Saiba mais em Melhorar agentes utilizando triagem e remediação baseadas em avaliações.
  2. Iterar até que os limites de aceitação estejam cumpridos, ou concluir que o modelo candidato não é adequado e documentar o motivo. Decidir não atualizar é um resultado legítimo e baseado em evidências.

Fase 4: Aprovar e implementar

  1. Obtenha aprovação dos portões de aceitação pelo proprietário do agente e aprovador de liberação, incluindo aprovação de segurança e conformidade quando estão envolvidos modelos cross-geo ou externos.
  2. Implementar através do processo estabelecido de ALM, promovendo a solução do teste à produção. Não edites manualmente o agente de produção.
  3. Fasear o lançamento quando o canal permitir. Publique primeiro para uma audiência piloto ou para um único canal, observe o resultado e depois alarge.

Fase 5: Monitorizar e fechar

  1. Monitorizar o comportamento da produção em relação às portas de aceitação.
  2. Adicione padrões de falha recém-descobertos ao conjunto de testes de regressão.
  3. Só se fecha a migração depois de se cumprirem os critérios de aceitação na produção.
  4. Preservar as evidências de avaliação e o registo de decisão de migração para auditoria e para o próximo evento do ciclo de vida.

Importante

O caminho de rollback para uma alteração de modelo é a redistribuição da versão da solução previamente validada, que é mais lenta do que um toggle de configuração. Esta diferença torna a porta de avaliação na fase 2 tão importante. Detetar uma regressão antes da implementação é menos dispendioso do que reverter uma depois.

Monitorizar após a migração

O trabalho no ciclo de vida do modelo continua após a implementação. Monitorizar:

  • Resultados de avaliação do agente e taxas de aprovação em cenários críticos.
  • Análise de produção, transcrições, atividade, erros e feedback dos utilizadores.
  • Falhas no seguimento de instruções e na seleção de ferramentas.
  • Latência, timeouts e fiabilidade.
  • O consumo muda.
  • Questões de segurança, conformidade e processamento regional.

Quando a monitorização de produção identificar um novo padrão de falha, adicione um caso representativo ao conjunto de testes de regressão. Esta prática melhora a avaliação do modelo seguinte e transforma a aprendizagem em produção numa base de qualidade duradoura.

A telemetria ao nível do ambiente emite OpenTelemetry GenAI abrange até Application Insights, incluindo o modelo utilizado para cada invocação de agente. Use-o para confirmar em que modelo o tráfego de produção corre realmente e para comparar a seleção e fiabilidade das ferramentas antes e depois de uma migração.

  • Last updated on