Funcionalidades do Pesquisa de IA do Azure

Nota

O Pesquisa de IA do Azure está disponível através do portal Azure, APIs REST e SDKs do Azure. Também sustenta o Foundry IQ, a camada de conhecimento gerida que transforma conteúdos empresariais em bases de conhecimento reutilizáveis e conscientes de permissões para agentes no portal Microsoft Foundry.

O Pesquisa de IA do Azure proporciona recuperação de informação e utiliza integração opcional com IA para extrair mais valor do texto e do conteúdo vetorial.

A tabela seguinte resume as características por categoria. Existe paridade de funcionalidades em todas as clouds públicas, privadas e soberanas do Azure, mas algumas funcionalidades não são suportadas em regiões específicas ou tiers específicos.

Recuperação agêntica

Categoria Características
Bases de conhecimento As bases de conhecimento orquestram o pipeline de recuperação agentica, ligando-se ao seu LLM e gerindo parâmetros de consulta. Uma base de conhecimento faz referência a uma ou mais fontes de conhecimento e define o comportamento de recuperação.
Fontes de conhecimento As fontes de conhecimento especificam o conteúdo utilizado para a recuperação agentiva. Crie fontes de conhecimento a partir de índices pesquisa, Armazenamento de Blobs do Azure, OneLake, SharePoint (indexado), SharePoint (remoto), ou web (Bing).
Planeamento de consultas O planeamento de consultas utiliza um LLM para analisar o contexto da conversa e decompor perguntas complexas em subconsultas focadas. Isto inclui processamento do histórico de chat, decomposição de consultas, expansão de sinónimos e correção ortográfica.
Execução paralela de consultas As subconsultas executam-se simultaneamente em todas as fontes de conhecimento. Cada subconsulta suporta pesquisa por palavra-chave, vetor e híbrida com reclassificação semântica automática.
Esforço de raciocínio para recuperação O esforço de raciocínio de recuperação (pré-visualização) controla o nível de processamento dos LLMs no pipeline. Defina para mínimo para otimizar a velocidade (sem LLM), baixo para processamento balanceado, ou médio para otimização máxima da relevância.
Síntese de resposta Os resultados são combinados numa resposta unificada com três partes: conteúdo fundido para dados de base, referências de origem para citações e detalhes de execução que mostram o plano de consulta.

Indexação e extração de dados

Categoria Características
Fontes de dados Os índices de pesquisa podem aceitar texto de qualquer fonte, desde que seja submetido como documento JSON.

Os indexadores são uma funcionalidade que automatiza a importação de dados de fontes suportadas para extrair conteúdos pesquisáveis em repositórios de dados primários. Os indexadores tratam da serialização JSON por si e a maioria suporta algum tipo de deteção de alterações e eliminações. Pode ligar-se a várias fontes de dados, incluindo Microsoft OneLake, Base de Dados SQL do Azure, Azure Cosmos DB ou Armazenamento de Blobs do Azure.

Os conectores Logic Apps dão-lhe acesso a uma gama mais ampla de fontes de dados, incluindo dados noutras plataformas cloud. Este pipeline de indexação e enriquecimento é criado no Pesquisa de IA do Azure mas gerido no Azure Logic Apps.

Fontes de conhecimento são uma característica da recuperação agentiva. São usados durante a indexação e no momento das consultas para suportar uma base de conhecimento.
Estruturas de dados hierárquicas e aninhadas Tipos e coleções complexos permitem-lhe modelar praticamente qualquer tipo de estrutura JSON dentro de um índice de pesquisa. A cardinalidade um-para-muitos e muitos-para-muitos pode ser expressa nativamente por meio de coleções, tipos compostos e coleções de tipos compostos.
Análise linguística Os analisadores são componentes da pesquisa clássica usados para processamento de texto durante operações de indexação e pesquisa. Por padrão, pode usar o analisador Standard Lucene de uso geral, ou substituir o valor padrão por um analisador de linguagem, um analisador personalizado que configure, ou outro analisador pré-definido que produza tokens no formato que necessita.

Analisadores de linguagem de Lucene ou Microsoft são usados para tratar de forma inteligente de características linguísticas específicas de cada língua, incluindo os tempos verbais, género, os substantivos plurais irregulares (por exemplo, 'rato' vs. 'ratos'), descomposição de palavras, quebra de palavras (para línguas sem espaços) e mais.

Analisadores lexicais personalizados são usados para formas complexas de consulta, como correspondência fonética e expressões regulares.

Modelo de chat e integração com agentes

Categoria Características
Modelos de conclusão de chat usados durante a indexação A habilidade de prompt GenAI é uma habilidade que chama um grande modelo de linguagem durante a indexação e fornece um prompt que determina a tarefa. Tu decides qual é a tarefa. Pode envolver descrever uma imagem, resumir ou manipular conteúdo, ou qualquer tarefa que o modelo possa realizar. A saída é adicionada como um novo campo num índice pesquisável.
Modelos de conclusão de chat usados no momento da consulta A recuperação agential utiliza um grande modelo de linguagem para planeamento de consultas, decomposição e parafraseação de consultas complexas para melhor cobertura de consultas sobre o seu índice. As respostas da recuperação por agentes são concebidas para fluxos de trabalho de agente para agente. Pode passar os resultados de pesquisa como uma string única e grande, simplificando a forma como o agente consome o seu conteúdo proprietário. A resposta inclui também citações e informações de execução de consultas.

A síntese de respostas (pré-visualização) utiliza o LLM para gerar respostas fundamentadas em citações a partir de resultados de pesquisa retornados por recuperação agentiva.

Os padrões RAG podem ser implementados usando as capacidades existentes. A capacidade de ajustar a relevância e construir consultas híbridas melhora a qualidade do conteúdo enviado aos chatbots para geração de respostas.

IA aplicada e conteúdos enriquecidos com IA

Categoria Características
Processamento de IA durante a indexação O enriquecimento de IA refere-se ao processamento de imagens e linguagem natural incorporado num pipeline de indexador que extrai texto e informação de conteúdos que, de outra forma, não podem ser indexados para pesquisa em texto completo. O processamento de IA é conseguido adicionando e combinando competências num conjunto de competências, que depois é associado a um indexador. A IA pode ser competências incorporadas de Microsoft, como tradução de texto ou Reconhecimento Ótico de Caracteres (OCR), ou competências personalizadas que fornece.

A segmentação integrada de dados e vetorização divide passagens maiores em blocos mais pequenos que podem ser vetorizados, com os vetores encaminhados para campos dedicados num índice para pesquisa vetorial e híbrida.
Processamento de IA durante a execução de consultas Os vetorizadores são usados para codificar cadeias de consultas do utilizador em vetores para pesquisa vetorial. Podes usar os mesmos modelos de embedding para consultas que usaste para indexação.

Armazenamento de conteúdo enriquecido para análise e consumo em cenários não relacionados com pesquisa Armazenamento de conhecimento é armazenamento persistente de conteúdo enriquecido ou gerado por IA, destinado a cenários não relacionados com pesquisa, como mineração de conhecimento e cargas de trabalho em ciência de dados. Um armazenamento de conhecimento é definido num conjunto de habilidades, mas criado no Armazenamento do Azure como objetos ou conjuntos de linhas tabulares.
Enriquecimentos em cache A cache de enriquecimento (pré-visualização) refere-se a enriquecimentos em cache que podem ser reutilizados durante a execução do conjunto de habilidades. O cache é valioso em competências que incluem OCR e análise de imagens, que são caras de processar.

Recuperação vetorial e híbrida

Categoria Características
Indexação vetorial Dentro de um índice de pesquisa, adicione campos vetoriais para suportar cenários de pesquisa vetorial . Campos vetoriais podem coexistir com campos não vetoriais no mesmo documento de pesquisa.
Consultas vetoriais Formule consultas vetoriais únicas e múltiplas.
Algoritmos de pesquisa vetorial Utilize o Hierarchical Navigable Small World (HNSW) ou os K-Nearest Neighbors (KNN) exaustivos para encontrar vetores semelhantes num índice de pesquisa.
Filtros vetoriais Aplique filtros antes ou depois da execução da consulta para maior precisão durante a recuperação de informação.
Recuperação híbrida de informação Pesquise conceitos e palavras-chave num único pedido de consulta híbrido.

A pesquisa híbrida consolida pesquisa vetorial e de texto, com classificação semântica opcional e ajuste de relevância para melhores resultados.
Fragmentação integrada de dados e vetorização Fragmentação nativa de dados através da competência Text Split. Vetorização nativa através de vetorizadores e competências de embedding como Azure OpenAI Embedding, Azure Vision multimodal e AML que podem usar para se ligar a endpoints no catálogo de modelos Microsoft Foundry.

A vetorização integrada proporciona um pipeline de indexação de ponta a ponta desde ficheiros fonte até consultas.
Compressão vetorial integrada e quantização Use quantização escalar e binária incorporada para reduzir o tamanho do índice vetorial na memória e no disco. Também podes abdicar do armazenamento de vetores que não precisas, ou atribuir tipos de dados restritos a campos vetoriais para reduzir os requisitos de armazenamento.

Texto completo clássico e outras formas de consulta

Categoria Características
Pesquisa de texto livre A pesquisa em texto completo é um caso de uso principal para a maioria das aplicações baseadas em pesquisa. As consultas podem ser formuladas usando uma sintaxe suportada.

A sintaxe simples de consulta fornece operadores lógicos, operadores de pesquisa de frases, operadores de sufixo, operadores de precedência.

A sintaxe completa de consulta Lucene inclui todas as operações em sintaxe simples, com extensões para pesquisa fuzzy, pesquisa por proximidade, aumento de termos e expressões regulares.
Relevância Pontuação simples é um benefício fundamental do Pesquisa de IA do Azure. Use perfis de pontuação para modelar a relevância em função dos próprios valores nos próprios documentos. Por exemplo, pode querer que produtos mais recentes ou produtos com desconto apareçam melhor nos resultados de pesquisa. Também pode construir perfis de pontuação usando etiquetas para pontuação personalizada com base nas preferências de pesquisa dos clientes que acompanha e guarda separadamente.

O ranking semântico é uma funcionalidade premium que reclassifica os resultados com base na relevância semântica para a consulta. Dependendo do seu conteúdo e cenário, pode melhorar significativamente a relevância da pesquisa com configuração ou esforço mínimos.
Pesquisa geoespacial As funções geoespaciais filtram e correspondem a coordenadas geográficas. Pode corresponder pela distância ou por inclusão numa forma de polígono.
Filtros e facetas A navegação facetada é ativada através de um único parâmetro de consulta. O Pesquisa de IA do Azure devolve uma estrutura de navegação facetada que pode usar como código por trás de uma lista de categorias, para filtragem autodirigida (por exemplo, para filtrar itens de catálogo por faixa de preço ou marca).

Filtros podem ser usados para incorporar navegação facetada na interface da sua aplicação, melhorar a formulação de consultas e filtrar com base em critérios especificados pelo utilizador ou programador. Crie filtros usando a sintaxe OData.
Experiência do utilizador O autopreenchimento pode ser ativado para consultas de digitação antecipada numa barra de pesquisa.

As sugestões de pesquisa também funcionam com entradas parciais de texto numa barra de pesquisa, mas os resultados são documentos reais no seu índice e não termos de consulta.

Sinónimos associam termos equivalentes que implicitamente expandem o âmbito de uma consulta, sem que o utilizador tenha de fornecer os termos alternativos.

O destaque aplica formatação de texto a uma palavra-chave correspondente nos resultados de pesquisa. Pode escolher quais os campos que devolvem excertos destacados.

Ordenação é oferecida para múltiplos campos através do esquema de índice e depois alternada no momento da consulta com um único parâmetro de pesquisa.

Paginação e regular os resultados de pesquisa é simples com o controlo preciso que o Pesquisa de IA do Azure oferece.

Características de segurança

Categoria Características
Segurança de rede As regras de IP para suporte a firewalls de entrada permitem configurar intervalos de IP sobre os quais o serviço de pesquisa aceita pedidos.

Criar um endpoint privado usando Azure Private Link para forçar todos os pedidos através de uma rede virtual.

Perímetro de Segurança de Rede permite-lhe ligar Pesquisa de IA do Azure a um perímetro de segurança de rede que inclui outros recursos de Azure para que possa gerir o acesso à rede de forma holística.
Encriptação de dados Microsoft-managed encryption-at-rest está incorporado na camada interna de armazenamento e é irrevogável.

Chaves de encriptação geridas pelo cliente (CMK) que cria e gere em Azure Key Vault podem ser usadas para encriptação suplementar de índices e mapas de sinónimos. Para serviços criados após 1 de agosto de 2020, a encriptação CMK estende-se a dados em discos temporários, para encriptação dupla completa de conteúdos indexados.
Acesso de entrada Controlo de acesso baseado em funções atribui funções aos utilizadores e grupos na Microsoft Entra ID para acesso controlado ao conteúdo e operações de pesquisa. Também podes usar autenticação baseada em chaves se não quiseres usar atribuições de funções.

O controlo de acesso ao nível do documento (pré-visualização) filtra os resultados de pesquisa que o utilizador não está autorizado a ver. Para várias fontes de dados, se a fonte fornecer um modelo de controlo de acesso, pode configurar um índice para herdar os metadados de permissão do utilizador.
Segurança de saída (indexadores) Ligações de dados através de endpoints privados permite que um indexador se ligue aos recursos do Azure que são protegidos através do Azure Private Link.

Ligações de dados através de identidades geridas autentica ligações a recursos do Azure usando uma identidade de segurança do Microsoft Entra, que elimina o armazenamento e a passagem de chaves API codificadas.

O acesso a dados usando uma identidade confiável significa que as cadeias de ligação para fontes de dados externas podem omitir nomes de utilizador e palavras-passe. Quando um indexador se liga à fonte de dados, o recurso permite a ligação se o serviço de pesquisa já estava previamente registado como serviço de confiança (aplica-se apenas ao Armazenamento do Azure).

Funcionalidades do portal

Categoria Características
Ferramentas para prototipagem e inspeção Add index é um designer de índices no portal Azure que pode usar para criar um esquema básico composto por campos atribuídos e algumas outras definições. Depois de guardar o índice, pode preenchê-lo usando um SDK ou a API REST para fornecer os dados.

Importar dados é um assistente que constrói um pipeline de indexação de ponta a ponta, incluindo um índice, indexador, conjunto de competências e definição de fonte de dados, para cenários de pesquisa por palavras-chave e RAG. Para o RAG, também trata da segmentação de dados e vetorização. Se os seus dados estiverem no Azure, este assistente pode poupar-lhe muito tempo e esforço, especialmente na investigação e exploração de conceitos preliminares.

O explorador de pesquisa é usado para testar consultas e refinar perfis de pontuação.

Create demo app é usado para gerar uma página HTML que pode ser usada para testar a experiência de pesquisa.

Debug Sessions é um editor visual que permite depurar um conjunto de competências de forma interativa. Mostra-te dependências, resultados e transformações.
Monitorização e diagnóstico Ativar funcionalidades de monitorização para ir além das métricas de visão rápida que estão sempre visíveis no portal do Azure. Métricas sobre consultas por segundo, latência e limitação são capturadas e reportadas em páginas do portal sem necessidade de configuração adicional.

Programabilidade

Categoria Características
REST A API REST do serviço destina-se a operações no plano de dados, incluindo todas as operações relacionadas com indexação, consultas, enriquecimento de IA e recuperação de agentes. Também pode usar esta biblioteca cliente para recuperar informações e estatísticas do sistema.

API REST de Gestão destina-se à criação e provisão de serviços através de Azure Resource Manager. Também pode usar esta API para gerir chaves e capacidade.
SDK do Azure para .NET Azure. Search.Documents destina-se a operações de plano de dados, incluindo todas as operações relacionadas com indexação, consultas e enriquecimento de IA. Também pode usar esta biblioteca cliente para recuperar informações e estatísticas do sistema.

Microsoft.Azure. Management.Search destina-se à criação e provisão de serviços através de Azure Resource Manager. Também pode usar esta API para gerir chaves e capacidade.
SDK do Azure para Java com.azure.search.documents destina-se a operações de plano de dados, incluindo todas as operações relacionadas com indexação, consultas e enriquecimento de IA. Também pode usar esta biblioteca cliente para recuperar informações e estatísticas do sistema.

com.microsoft.azure.management.search destina-se à criação e provisão de serviços através de Azure Resource Manager. Também pode usar esta API para gerir chaves e capacidade.
SDK do Azure para Python Azure-search-documents destina-se a operações no plano de dados, incluindo todas as operações relacionadas com indexação, consultas e enriquecimento de IA. Também pode usar esta biblioteca cliente para recuperar informações e estatísticas do sistema.

azure-mgmt-search destina-se à criação e provisão de serviços através de Azure Resource Manager. Também pode usar esta API para gerir chaves e capacidade.
SDK do Azure para JavaScript/TypeScript Azure/Search-documents destina-se a operações de plano de dados, incluindo todas as operações relacionadas com indexação, consultas e enriquecimento de IA. Também pode usar esta biblioteca cliente para recuperar informações e estatísticas do sistema.

azure/arm-search destina-se à criação e provisão de serviços através de Azure Resource Manager. Também pode usar esta API para gerir chaves e capacidade.
  • Last updated on