lakebase_text

Rozszerzenie lakebase_text dodaje wyszukiwanie pełnotekstowe BM25 do usługi Lakebase za pomocą typu indeksu lakebase_bm25 . Jest on zgodny ze standardowym tsvector typem i operatorami zapytań bazy danych PostgreSQL.

Install

Najpierw włącz usługę Lakebase Search w ustawieniach projektu. Następnie zainstaluj rozszerzenie:

CREATE EXTENSION IF NOT EXISTS lakebase_text;

Aktualizacja rozszerzenia i indeksów

Nowa wersja Lakebase Search może dodać funkcje, poprawki i poprawę wydajności. Chociaż Lakebase Search jest udostępniany w ramach aktualizacji Lakebase, nie aktualizuje wszystkiego automatycznie. W lakebase_text, dwie rzeczy aktualizują się osobno i mają numery wersji, które nie są ze sobą powiązane:

• Wersja rozszerzenia to wersja obiektów SQL, która CREATE EXTENSION lakebase_text tworzy, w tym ich typy danych, funkcje, operatory oraz metodę lakebase_bm25 dostępu indeksowego. Ta wersja jest relacjonowana przez SELECT installed_version FROM pg_available_extensions WHERE name = 'lakebase_text'. ALTER EXTENSION lakebase_text UPDATE Aktualizuje tę wersję.
• Format pamięci indeksowej to układ indeksu lakebase_bm25 na dysku. Rozszerzenie może wprowadzić zaktualizowane formaty pamięci indeksowej w aktualizacji, odblokowując więcej funkcji i zapewniając lepszą wydajność. Wszystkie nowo utworzone indeksy automatycznie korzystają z najnowszego formatu pamięci, natomiast istniejące indeksy można zaktualizować do nowego formatu po REINDEX INDEX CONCURRENTLY udostępnieniu nowszego formatu pamięci.

Aktualizacja nie jest pilna. Rozszerzenie jest kompatybilne z obiektami SQL i formatami pamięci rejestracyjnej z starszych wersji, ale pozostawanie aktualnym pozostaje na wspieranej, najlepiej działającej ścieżce i unika większej migracji w przyszłości, więc aktualizuj ją wtedy, gdy jest wygodnie, zamiast odkładać ją w nieskończoność.

Dlaczego lakebase_text zamiast standardowego wyszukiwania pełnotekstowego GIN

Wbudowane wyszukiwanie pełnotekstowe postgreSQL używa indeksów GIN i ts_rank oceniania istotności. ts_rank nie używa globalnych statystyk corpus, więc wyniki obniżają wydajność w miarę wzrostu danych. lakebase_text w ten sposób można poprawić na dwa sposoby:

• Klasyfikacja BM25 odpowiada za częstotliwość terminów, długość dokumentu i statystyki całej korpusu jednocześnie, generując dokładniejsze wyniki istotności niż TF-IDF.
• Top-K wypychanie używa Block-Max WAND, aby zwrócić tylko K najbardziej odpowiednich wyników z indeksu, bez oceniania każdego dopasowania w zestawie wyników.

Szybki start

Skompiluj lakebase_bm25 indeks po wstawieniu danych. BM25 oblicza dane statystyczne dotyczące całego indeksu w czasie kompilacji indeksu, a nie przyrostowo, dlatego indeks musi zostać utworzony w wypełnionej tabeli.

-- Create a table with a generated tsvector column
CREATE TABLE documents (
  id      SERIAL PRIMARY KEY,
  passage TEXT,
  vector  TSVECTOR GENERATED ALWAYS AS (to_tsvector('english', passage)) STORED
);

-- Insert data before building the BM25 index
INSERT INTO documents (passage) VALUES
  ('Postgres is a powerful open-source relational database.'),
  ('Vector search finds semantically similar results.'),
  ('BM25 ranking improves full-text search relevance scores.');

-- Create the BM25 index on the populated table
CREATE INDEX documents_passage_bm25 ON documents USING lakebase_bm25 (vector);

-- Query: lower score means more relevant
SELECT id, passage,
  vector <@> to_bm25query(to_tsvector('english', 'database'), 'documents_passage_bm25') AS score
FROM documents
ORDER BY score
LIMIT 5;

Operator <@> zwraca ujemny wynik BM25. Kolejność według rosnącego wyniku zwraca najpierw najbardziej odpowiednie wyniki.

Wypełnianie z zsynchronizowanych tabel

Jeśli ładujesz tekst źródłowy z Unity Catalog zamiast wstawiać go bezpośrednio, synchronizowane tabele mogą wygenerować kolumnę tsvector podczas synchronizacji, gotową do indeksowania zaraz lakebase_bm25 po zakończeniu synchronizacji. Zobacz Mapowanie niestandardowych typów dla wyszukiwania bazy jeziora.

Zachowaj dokładność indeksu

Statystyki BM25 są obliczane w czasie kompilacji indeksu i aktualizowane przez VACUUMprogram . W przypadku większości obciążeń regularne wyniki VACUUM są dokładne. Po zbiorczym załadowaniu dużej ilości nowych danych uruchom VACUUM ręcznie:

VACUUM documents;

Aby utrzymać wydajność zapytań i aktualizacji, VACUUM należy szybko wyczyścić indeks. Dla tabeli dedykowanej wyszukiwaniu tekstowemu Databricks zaleca ustawienie autovacuum_vacuum_insert_scale_factor tak, 0 aby próg automatycznego próżnienia wyzwalany przez wstawkę nie rósł wraz z tabelą:

ALTER TABLE documents SET (
  autovacuum_vacuum_insert_scale_factor = 0
);

Przy współczynniku skalowania ustawionym na , 0autovacuum_vacuum_insert_threshold określa stałą liczbę wstawionych krotek, które wywołują autopkurzę. Dostosuj ten próg do swojego obciążenia.

Dostrajanie wyszukiwania

Karty GUCs na poziomie sesji

SET lakebase_bm25.default_limit TO 20;
SET lakebase_bm25.prefilter = on;

Interfejsy GUCs mają pierwszeństwo przed parametrami magazynu indeksu po ustawieniu obu tych parametrów.

Parametry magazynu indeksu

Ustaw te opcje w czasie tworzenia indeksu lub za pomocą polecenia ALTER INDEX:

-- Set parameters at index creation (use a new name — the Quick start already created documents_passage_bm25)
CREATE INDEX documents_passage_bm25_tuned ON documents USING lakebase_bm25 (vector)
  WITH (default_limit = 20, k1 = 1.5);

-- Update parameters on an existing index
ALTER INDEX documents_passage_bm25_tuned SET (default_limit = 50);

Odniesienie do API

Typy

bm25query_tsvector: łączy zapytanie tsvector z identyfikatorem indeksu docelowego. Używany jako prawy operand .<@>

Operatorów

Functions

Klasy operatorów

Następne kroki

• lakebase_vector
• Wyszukiwanie w usłudze Lakebase