lakebase_text

A lakebase_text extensão adiciona pesquisa em texto completo BM25 ao Lakebase através do lakebase_bm25 tipo de índice. É compatível com os operadores padrão tsvector de tipo e consulta do PostgreSQL.

Install

Primeiro, ativa o Lakebase Search nas definições do teu projeto. Depois instala a extensão:

CREATE EXTENSION IF NOT EXISTS lakebase_text;

Atualizar a extensão e os índices

Uma nova versão do Lakebase Search pode adicionar funcionalidades, correções e melhorias de desempenho. Embora o Lakebase Search seja lançado como parte das atualizações do Lakebase, não atualiza tudo automaticamente. Em lakebase_text, duas coisas são atualizadas separadamente e têm números de versão que não estão relacionados entre si:

• A versão da extensão é a versão dos objetos SQL que CREATE EXTENSION lakebase_text cria, incluindo os seus tipos de dados, funções, operadores e o lakebase_bm25 método de acesso ao índice. Esta versão é reportada por SELECT installed_version FROM pg_available_extensions WHERE name = 'lakebase_text'. ALTER EXTENSION lakebase_text UPDATE Atualiza esta versão.
• O formato de armazenamento de índice é o layout em disco de um lakebase_bm25 índice. A extensão pode introduzir formatos de armazenamento de índice atualizados numa atualização, desbloqueando mais funcionalidades e oferecendo melhor desempenho. Todos os índices recém-criados usam automaticamente o formato de armazenamento mais recente, enquanto os índices existentes podem ser atualizados para o novo formato depois REINDEX INDEX CONCURRENTLY de um formato de armazenamento mais recente estar disponível.

A atualização não é urgente. A extensão é compatível com objetos SQL e formatos de armazenamento de índice de versões anteriores, mas manter-se atualizado mantém-no no caminho suportado e com melhor desempenho e evita uma migração maior mais tarde, por isso atualize quando for conveniente em vez de adiar indefinidamente.

Porquê lakebase_text em vez da pesquisa integral padrão do GIN

A pesquisa de texto integral incorporada no PostgreSQL utiliza índices GIN e ts_rank para pontuação de relevância. ts_rank não utiliza estatísticas globais de corpus, pelo que as pontuações degradam-se à medida que os dados crescem. lakebase_text melhora isto de duas formas:

• A classificação BM25 contabiliza simultaneamente a frequência de termos, o comprimento do documento e as estatísticas a nível de corpus, produzindo pontuações de relevância mais precisas do que a TF-IDF.
• Top-K pushdown usa Block-Max VARINHA para devolver apenas os K resultados mais relevantes do índice, sem marcar todas as correspondências do conjunto de resultados.

Início rápido

Constrói o lakebase_bm25 índice depois de inserir os dados. O BM25 calcula estatísticas a nível de corpo no momento da construção do índice, não de forma incremental, pelo que o índice deve ser criado numa tabela preenchida.

-- Create a table with a generated tsvector column
CREATE TABLE documents (
  id      SERIAL PRIMARY KEY,
  passage TEXT,
  vector  TSVECTOR GENERATED ALWAYS AS (to_tsvector('english', passage)) STORED
);

-- Insert data before building the BM25 index
INSERT INTO documents (passage) VALUES
  ('Postgres is a powerful open-source relational database.'),
  ('Vector search finds semantically similar results.'),
  ('BM25 ranking improves full-text search relevance scores.');

-- Create the BM25 index on the populated table
CREATE INDEX documents_passage_bm25 ON documents USING lakebase_bm25 (vector);

-- Query: lower score means more relevant
SELECT id, passage,
  vector <@> to_bm25query(to_tsvector('english', 'database'), 'documents_passage_bm25') AS score
FROM documents
ORDER BY score
LIMIT 5;

O <@> operador devolve uma pontuação BM25 negativa. Ordenar por pontuação crescente retorna primeiro os resultados mais relevantes.

Preencher a partir de tabelas sincronizadas

Se estiveres a carregar o texto fonte do Unity Catalog em vez de o inserires diretamente, as tabelas sincronizadas podem gerar uma tsvector coluna durante a sincronização, pronta para indexar assim lakebase_bm25 que a sincronização terminar. Veja Mapeamento de tipos personalizado para a Pesquisa Lakebase.

Mantenha o índice preciso

As estatísticas do BM25 são calculadas no momento da compilação do índice e atualizadas por VACUUM. Para a maioria das cargas de trabalho, o regular VACUUM mantém as pontuações precisas. Depois de carregar em massa uma grande quantidade de novos dados, execute VACUUM manualmente:

VACUUM documents;

Para manter o desempenho da consulta e atualização, VACUUM deve limpar o índice rapidamente. Para uma tabela dedicada à pesquisa de texto, o Databricks recomenda definir autovacuum_vacuum_insert_scale_factor para 0 que o limiar de autovácuo ativado por inserção não cresça com a tabela:

ALTER TABLE documents SET (
  autovacuum_vacuum_insert_scale_factor = 0
);

Com o fator de escala definido para 0, autovacuum_vacuum_insert_threshold determina o número fixo de tuplas inseridas que ativam o autovácuo. Ajusta esse limiar consoante a tua carga de trabalho.

Pesquisa de sintonia

GUCs ao nível da sessão

SET lakebase_bm25.default_limit TO 20;
SET lakebase_bm25.prefilter = on;

Os GUCs têm precedência sobre os parâmetros de armazenamento de índice quando ambos estão definidos.

Parâmetros de armazenamento indexados

Defina estas opções no momento da criação do índice ou com ALTER INDEX:

-- Set parameters at index creation (use a new name — the Quick start already created documents_passage_bm25)
CREATE INDEX documents_passage_bm25_tuned ON documents USING lakebase_bm25 (vector)
  WITH (default_limit = 20, k1 = 1.5);

-- Update parameters on an existing index
ALTER INDEX documents_passage_bm25_tuned SET (default_limit = 50);

Referência da API

Tipos

bm25query_tsvector: combina uma consulta tsvector com o identificador de índice alvo. Usado como o operando direito de <@>.

Operadores

Funções

Classes de operadores

Passos seguintes

• lakebase_vector
• Lakebase Search