Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Nota
O Pesquisa de IA do Azure está disponível através do portal Azure, APIs REST e SDKs do Azure. Também sustenta o Foundry IQ, a camada de conhecimento gerida que transforma conteúdos empresariais em bases de conhecimento reutilizáveis e conscientes de permissões para agentes no portal Microsoft Foundry.
Em Pesquisa de IA do Azure, semântic ranker é uma funcionalidade que melhora de forma mensurável a relevância nas pesquisas ao utilizar os modelos de compreensão linguística da Microsoft para reclassificar resultados de pesquisa. O ranker semântico também está incorporado na recuperação agêntica. Este artigo é uma introdução de alto nível para o ajudar a compreender os comportamentos e benefícios do ranker semântico.
O ranking semântico é uma funcionalidade premium que é cobrada por uso, mas podes usá-la gratuitamente, sujeito aos limites de serviço do nível gratuito. Recomendamos este artigo para contextualizar, mas se preferir começar, siga estes passos.
O que é a classificação semântica?
O ranqueador semântico é um conjunto de capacidades do lado da consulta que melhora a qualidade de um resultado de pesquisa inicialmente classificado como BM25 ou RRF para consultas baseadas em texto, a parte de texto das consultas vetoriais e consultas híbridas. A classificação semântica estende o pipeline de execução de consultas de três formas:
Primeiro, adiciona sempre o rankeamento secundário a um conjunto inicial de resultados que foi avaliado usando BM25 ou Fusão de Rankeamento Recíproco (RRF). Esta classificação secundária utiliza modelos multilíngues e de aprendizagem profunda adaptados do Microsoft Bing para promover os resultados semanticamente mais relevantes.
Em segundo lugar, devolve legendas e, opcionalmente, extrai respostas na resposta, que pode ser exibida numa página de pesquisa para melhorar a experiência de pesquisa do utilizador.
Em terceiro lugar, se ativares a reescrita de consultas, expande-se uma cadeia inicial de consulta em várias sequências semanticamente semelhantes.
A classificação secundária e as "respostas" aplicam-se à resposta da consulta. A reescrita da consulta faz parte do pedido de consulta.
O ranker semântico tem as seguintes capacidades:
| Capacidade | Descrição |
|---|---|
| Classificação L2 | Utiliza o contexto ou significado semântico de uma consulta para calcular uma nova pontuação de relevância sobre resultados pré-classificados. |
| Legendas semânticas e destaques | Extrai frases e expressões literalmente de campos que melhor resumem o conteúdo, com destaques sobre passagens-chave para facilitar a leitura. Legendas que resumem um resultado são úteis quando os campos de conteúdo individuais são demasiado densos para a página de resultados de pesquisa. O texto destacado eleva os termos e expressões mais relevantes para que os utilizadores possam rapidamente determinar porque é que uma correspondência foi considerada relevante. |
| Respostas semânticas | Uma subestrutura opcional e adicional retornada de uma consulta semântica. Fornece uma resposta direta a uma consulta que parece uma pergunta. Exige que um documento tenha texto com as características de uma resposta. |
| Reescrita de consultas | Usando consultas de texto ou a parte de texto de uma consulta vetorial, o ranker semântico cria até 10 variantes da consulta, talvez corrigindo erros ortográficos ou de digitação, ou reformulando uma consulta usando sinónimos gerados. A consulta reescrita corre no motor de busca. Os resultados são avaliados usando o método de pontuação BM25 ou RRF, e depois reclassificados por ranking semântico. |
Como funciona o ranker semântico
O classificador semântico recebe uma consulta e os resultados, enviando-os para modelos de compreensão de linguagem alojados pela Microsoft. Analisa para melhores correspondências.
A ilustração seguinte explica o conceito. Considere o termo "capital". Tem significados diferentes dependendo se o contexto é finanças, direito, geografia ou gramática. Através da compreensão da linguagem, o ranker semântico deteta o contexto e promove resultados que se ajustam à intenção da consulta.
O ranking semântico consome muitos recursos e tempo. Para terminar o processamento dentro da latência esperada de uma operação de consulta, o sistema consolida e reduz as entradas para o ranker semântico. Esta abordagem ajuda a completar o passo de reclassificação o mais rapidamente possível.
A classificação semântica tem três etapas:
- Recolher e resumir os inputs
- Avaliar resultados usando o ranqueador semântico
- Produzir resultados reavaliados, legendas e respostas
Como o sistema recolhe e resume os inputs
Na classificação semântica, o subsistema de consulta passa os resultados da pesquisa como entrada para modelos de sumarização e classificação. Como os modelos de classificação têm restrições de tamanho de entrada e são intensivos em processamento, os resultados de pesquisa têm de ser dimensionados e estruturados (resumidos) para um tratamento eficiente.
O ranker semântico começa com um resultado classificado BM25 de uma consulta de texto ou um resultado classificado RRF de uma consulta vetorial ou híbrida. O exercício de reclassificação utiliza apenas texto. Mesmo que os resultados incluam mais de 50 resultados, apenas os 50 melhores resultados avançam para a classificação semântica. Normalmente, a classificação semântica utiliza campos informativos e descritivos.
Para cada documento no resultado da pesquisa, o modelo de sumarização aceita até 2.000 tokens, sendo que um token tem aproximadamente 10 caracteres. O modelo reúne entradas dos campos "título", "palavras-chave" e "conteúdo" listados na configuração semântica.
O sistema corta cadeias excessivamente longas para garantir que o comprimento total cumpre os requisitos de entrada da etapa de sumarização. Este exercício de corte é a razão pela qual é importante adicionar campos à sua configuração semântica por ordem de prioridade. Se tiveres documentos muito grandes com campos cheios de texto, o sistema ignora tudo o que está depois do limite máximo.
Campo semântico Limite de tokens "título" 128 fichas "palavras-chave" 128 fichas "conteúdo" Tokens restantes O resultado da sumarização é uma cadeia de resumo para cada documento, composta pela informação mais relevante de cada campo. O sistema envia cadeias de resumo para o classificador para pontuação e para modelos de compreensão de leitura por máquina para legendas e respostas.
Em novembro de 2024, o comprimento máximo de cada cadeia de resumo gerada passada ao ranker semântico é de 2.048 tokens. Anteriormente, eram 256 tokens.
Como são avaliados os resultados
O sistema pontua os resultados obtidos com base na legenda e em qualquer outro conteúdo da cadeia de resumo que completa o limite de 2.048 tokens.
O sistema avalia as legendas quanto à relevância conceptual e semântica, em relação à consulta que fornece.
O sistema atribui um @search.rerankerScore a cada documento com base na relevância semântica do documento para a consulta dada. As pontuações variam de 4 a 0 (de alta a baixa), onde uma pontuação mais alta indica maior relevância.
Banda sonora Significado 4.0 O documento é altamente relevante e responde completamente à pergunta, embora a passagem possa conter texto extra não relacionado com a questão. 3.0 O documento é relevante, mas carece de detalhes que o tornem completo. 2.0 O documento é algo relevante; responde à pergunta parcialmente ou então apenas a alguns aspetos da pergunta. 1.0 O documento está relacionado com a questão e responde a uma pequena parte dela. 0.0 O documento é irrelevante. O sistema lista as correspondências por ordem decrescente de pontuação e inclui-as na carga útil de resposta da consulta. A carga útil inclui respostas, texto simples e legendas destacadas, e quaisquer campos que tenha marcado como recuperáveis ou especificados numa cláusula select.
Nota
Para qualquer consulta, as distribuições do @search.rerankerScore podem apresentar ligeiras variações devido às condições ao nível da infraestrutura. As atualizações do modelo de classificação também podem afetar a distribuição. Por estas razões, se estiveres a escrever código personalizado para limiares mínimos ou a definir a propriedade de limiar para consultas vetoriais e híbridas, não tornes os limites demasiado detalhados.
Saídas do ranker semântico
A partir de cada cadeia de resumo, os modelos de compreensão de leitura automática encontram passagens que são as mais representativas.
As saídas são:
Uma legenda semântica para o documento. Cada legenda está disponível em versão de texto simples e em versão de destaque, e frequentemente tem menos de 200 palavras por documento.
Uma resposta semântica opcional, assumindo que especificaste o
answersparâmetro, a consulta foi colocada como uma pergunta, e encontra-se uma passagem na cadeia longa que fornece uma resposta provável à pergunta.
Legendas e respostas são sempre texto literal do seu índice. Não existe nenhum modelo de IA generativa neste fluxo de trabalho que crie ou componha novo conteúdo.
Capacidades semânticas e limitações
O que o ranker semântico pode fazer:
Promova partidas que estejam semanticamente mais próximas da intenção da consulta original.
Encontra sequências para usar como legendas e respostas. A resposta devolve legendas e respostas, que pode apresentar numa página de resultados de pesquisa.
O que o ranker semântico não consegue fazer é reexecutar a consulta por todo o corpus para encontrar resultados semanticamente relevantes. A classificação semântica reclassifica o conjunto de resultados existente, consistindo nos 50 melhores resultados conforme pontuados pelo algoritmo de classificação padrão. Além disso, o classificador semântico não pode criar novas informações ou cadeias de caracteres. Os modelos de linguagem extraem legendas e respostas literalmente do seu conteúdo, por isso, se os resultados não incluírem texto que se assemelhe a respostas, não produzirão nenhum.
Embora a classificação semântica não seja benéfica em todos os cenários, certos conteúdos podem beneficiar significativamente das suas capacidades. Os modelos de linguagem no ranking semântico funcionam melhor em conteúdos pesquisáveis, ricos em informação e estruturados como prosa. Uma base de conhecimento, documentação online ou documentos que contenham conteúdo descritivo são aqueles que mais beneficiam das capacidades de classificadores semânticos.
A tecnologia subjacente é da Bing e da Microsoft Research, e integrada na infraestrutura do Pesquisa de IA do Azure como uma funcionalidade adicional. Para mais informações sobre a investigação e os investimentos em IA que apoiam o classificador semântico, veja Como a IA do Bing está a impulsionar a Pesquisa de IA do Azure (Microsoft Research Blog).
O vídeo seguinte apresenta uma visão geral das capacidades.
Como o ranker semântico usa os mapas de sinónimos
Se ativar o suporte para mapas de sinónimos associados a um campo no seu índice de pesquisa, e incluir esse campo na configuração do ranker semântico, o ranker semântico aplica automaticamente os sinónimos configurados durante o processo de reclassificação.
Disponibilidade e preços
O ranking semântico está disponível em regiões selecionadas. Pode ser utilizado como uma funcionalidade autónoma ou como um componente integrado da recuperação agentiva. Cada funcionalidade é faturada de forma independente.
O Semantic Ranker oferece um plano gratuito (por defeito) com uma quantidade mensal gratuita de pedidos e um plano padrão para pagamento conforme o uso após o consumo da franquia gratuita. Para mais informações, consulte Ativar ou desativar a faturação semântica do ranker.
Cobranças para ranker semântico ocorrem quando os pedidos de consulta incluem queryType=semantic e a cadeia de pesquisa não está vazia (por exemplo, search=pet friendly hotels in New York). Se a sua cadeia de pesquisa estiver vazia (search=*), não será cobrado, mesmo que o queryType esteja definido para semântico.
Como começar
(Opcional) Mude para o plano de faturação padrão para utilização além da quota mensal gratuita.
Configure consultas para devolver legendas semânticas e destaques.
(Opcional) Devolver respostas semânticas.