Busca de conteúdo por volumes do Catálogo Unity

A busca de conteúdo prepara e indexa os documentos em um volume do Catálogo Unity. Buscas e perguntas dos agentes então são executadas contra o índice, para que usuários e agentes recuperem as informações mais relevantes de forma mais rápida e precisa. Como o índice cobre o conteúdo de cada arquivo, um agente pode se basear em passagens específicas de vários arquivos em vez de recuperar alguns arquivos inteiros.

A busca por conteúdo é especialmente útil para volumes anexados a um Agente Genie. Consulte Análise de arquivos em volumes com o Genie Agent.

Importante

Esse recurso está em Beta. Para usá-lo, um administrador de workspace deve ativar Analisar Arquivos em Volumes com Agentes do Genie na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Requirements

Antes de ativar a busca de conteúdo para um volume do Catálogo Unity, confirme que você atende aos seguintes requisitos:

Disponibilidade regional

A busca por conteúdo está disponível nas regiões listadas nesta seção. Não está disponível em regiões que não estão listadas. Em algumas regiões, ele roda somente se um administrador de conta habilitar o processamento cross-Geo, o que permite que o Azure Databricks processe seus arquivos fora do seu espaço de trabalho Geo. Veja Habilitar o processamento entre áreas geográficas.

Regiões que não exigem processamento cruzado em geo

A busca de conteúdo é executada na sua região de workspace para as seguintes regiões:

  • EUA Central
  • Leste dos EUA
  • Leste dos EUA 2
  • França Central
  • Centro-oeste da Alemanha
  • Centro-Norte dos EUA
  • Centro-Sul dos EUA
  • Suécia Central
  • Norte da Suíça
  • Oeste dos EUA
  • Oeste dos EUA 2
  • Oeste dos EUA 3

Regiões que requerem processamento cruzado em geo

Para as seguintes regiões, um administrador de conta deve ativar o processamento cruzado antes de poder ativar a busca de conteúdo:

  • Austrália Central
  • Austrália Central 2
  • Leste da Austrália
  • Sudeste da Austrália
  • Sul do Brasil
  • Canadá Central
  • Leste do Canadá
  • Índia Central
  • Ásia Oriental
  • Leste do Japão
  • Oeste do Japão
  • Coreia Central
  • México Central
  • Europa Setentrional
  • Leste da Noruega
  • Catar Central
  • Norte da África do Sul
  • Sul da Índia
  • Sudeste Asiático
  • Oeste da Suíça
  • Norte dos EAU
  • Sul do Reino Unido
  • Oeste do Reino Unido
  • Centro-oeste dos EUA
  • Oeste da Europa
  • Índia Ocidental

Ativar a busca de conteúdo

Você habilita e desativa a busca de conteúdo a partir da página do volume no Explorador de Catálogo.

Para habilitar a busca de conteúdo:

  1. No workspace Azure Databricks, clique em Data icon.Catalog.
  2. Pesquise ou pesquise o volume que contém os arquivos que você deseja indexar e selecione-o.
  3. Na aba Visão Geral , encontre a seção de busca de conteúdo na barra lateral direita.
  4. Clique em Habilitar.

Depois que você ativa a busca de conteúdo, o Azure Databricks executa uma sincronização inicial para analisar e indexar os arquivos suportados no volume. A seção de busca de conteúdo na aba Visão Geral mostra o status da ingestão, o resultado da última sincronização e o tempo durante o qual o volume é indexado.

A busca de conteúdo não analisa e indexa automaticamente as alterações no seu volume, como arquivos recém-adicionados ou edições em arquivos existentes. Para atualizar a busca de conteúdo para que ela reflita suas alterações, clique em Sincronizar agora na seção de pesquisa por conteúdo . Você precisa CAN MANAGE digitar o volume para disparar a sincronização.

Para desativar a busca de conteúdo, clique em Desabilitar na seção de pesquisa de conteúdo . Desativar a busca de conteúdo exclui o índice gerado e o conteúdo processado. Se você ativar novamente, o Azure Databricks reindexa o volume do zero e você terá que incorrer novamente no custo de ingestão.

A Databricks recomenda ativar a busca de conteúdo para os volumes que você anexa a um Agente Genie. Consulte Análise de arquivos em volumes com o Genie Agent.

Como a busca de conteúdo é cobrada

A busca de conteúdo tem dois componentes de custo:

  • Ingestão: Quando você ativa a busca de conteúdo ou executa uma sincronização, o Azure Databricks usa a ai_parse_document função de IA para analisar os arquivos no volume antes de construir o índice. A Databricks cobra esse processamento sob a precificação das Funções de IA.
  • Serviço de consultas: O Lakebase armazena e serve os índices resultantes. O Databricks fatura computação e armazenamento com base nas unidades de computação (CUs) que o Lakebase fornece. O serviço de consulta escala de 2 a 12 CUs com base no tamanho do índice e na concorrência das consultas. Após três dias sem tráfego, o endpoint escala para zero e para de incorrer em custos de computação de atendimento de consultas. Para obter as taxas atuais, consulte a página de preços do Lakebase.

Quando um Agente Genie consulta um volume indexado, a consulta também pode gerar custos para o Agente Genie. Veja : Como esse recurso é faturado?.

Limitations

As seguintes limitações se aplicam à busca de conteúdo durante a Beta:

  • Apenas volumes gerenciados pelo Catálogo Unity suportam busca de conteúdo. Volumes externos, volumes Meus Arquivos e volumes em catálogos com encadernações de workspace não são suportados. Consulte Armazenar arquivos em Meus Arquivos.
  • Você ativa a busca de conteúdo para um volume inteiro. Você não pode indexar um subconjunto das pastas ou arquivos de um volume.
  • Cada espaço de trabalho pode ter até 100 volumes com a busca de conteúdo ativada.
  • Cada volume indexado pode conter até 10.000 arquivos.
  • A busca de conteúdo pula arquivos maiores que 50 MB.
  • A busca de conteúdo suporta arquivos PDF, JPG, JPEG, PNG, TIFF, TIF, DOC, DOCX, PPT ou PPTX. Ele pula todos os outros tipos de arquivo.
  • A busca de conteúdo não está disponível no AWS GovCloud, nas regiões do Azure Governamental ou em ambientes de trabalho com conformidade com FedRAMP.

Recursos adicionais

Consulte os seguintes recursos para obter informações relacionadas:

  • Last updated on