lakebase_text

Die lakebase_text Erweiterung fügt die BM25-Volltextsuche über den lakebase_bm25 Indextyp zu Lakebase hinzu. Sie ist kompatibel mit den Standardtyp tsvector - und Abfrageoperatoren von PostgreSQL.

Install

Aktivieren Sie zunächst die Lakebase-Suche in Ihren Projekteinstellungen. Installieren Sie dann die Erweiterung:

CREATE EXTENSION IF NOT EXISTS lakebase_text;

Upgrade der Erweiterung und der Indizes

Eine neue Lakebase Search-Version kann Funktionen, Korrekturen und Leistungsverbesserungen hinzufügen. Obwohl Lakebase Search im Rahmen von Lakebase-Updates veröffentlicht wird, wird nicht alles automatisch aktualisiert. In lakebase_text, werden zwei Dinge separat aufgerüstet und tragen Versionsnummern, die nicht zueinander zusammenhängen:

• Die Erweiterungsversion ist die Version der SQL-Objekte, die CREATE EXTENSION lakebase_text erstellt werden, einschließlich ihrer Datentypen, Funktionen, Operatoren und der lakebase_bm25 Indexzugriffsmethode. Diese Version wird von SELECT installed_version FROM pg_available_extensions WHERE name = 'lakebase_text'berichtet. ALTER EXTENSION lakebase_text UPDATE Aktualisiert diese Version.
• Das Index-Speicherformat ist das Festplattenlayout eines lakebase_bm25 Indexes. Die Erweiterung könnte in einem Update aktualisierte Indexspeicherformate einführen, mehr Funktionen freischalten und eine bessere Leistung liefern. Alle neu erstellten Indizes verwenden automatisch das neueste Speicherformat, während bestehende Indizes auf das neue Format REINDEX INDEX CONCURRENTLY aufgerüstet werden können, nachdem ein neueres Speicherformat verfügbar ist.

Ein Upgrade ist nicht dringend. Die Erweiterung ist kompatibel mit SQL-Objekten und Indexspeicherformaten älterer Versionen, aber aktuell zu bleiben, hält Sie auf dem unterstützten, leistungsfähigsten Weg und vermeidet eine größere Migration später, daher sollten Sie bei Bequemlichkeit upgraden und nicht unbegrenzt verschieben.

Warum lakebase_text anstelle der standardmäßigen GIN-Volltextsuche

Die integrierte Volltextsuche von PostgreSQL verwendet GIN-Indizes und ts_rank für die Relevanzbewertung. ts_rank verwendet keine globalen Korpusstatistiken, sodass die Bewertungen beeinträchtigt werden, wenn daten wachsen. lakebase_text verbessert dies auf zwei Arten:

• DIE BM25-Rangfolge führt gleichzeitig zu Begriffshäufigkeits-, Dokumentlängen- und korpusweiten Statistiken und erzeugt genauere Relevanzbewertungen als TF-IDF.
• Top-K Pushdown verwendet Block-Max WAND, um nur die wichtigsten K-Ergebnisse aus dem Index zurückzugeben, ohne jede Übereinstimmung im Resultset zu bewerten.

Schnellstart

Erstellen Sie den Index nach dem lakebase_bm25 Einfügen von Daten. BM25 berechnet korpusweite Statistiken zur Indexerstellungszeit und nicht inkrementell, sodass der Index in einer aufgefüllten Tabelle erstellt werden muss.

-- Create a table with a generated tsvector column
CREATE TABLE documents (
  id      SERIAL PRIMARY KEY,
  passage TEXT,
  vector  TSVECTOR GENERATED ALWAYS AS (to_tsvector('english', passage)) STORED
);

-- Insert data before building the BM25 index
INSERT INTO documents (passage) VALUES
  ('Postgres is a powerful open-source relational database.'),
  ('Vector search finds semantically similar results.'),
  ('BM25 ranking improves full-text search relevance scores.');

-- Create the BM25 index on the populated table
CREATE INDEX documents_passage_bm25 ON documents USING lakebase_bm25 (vector);

-- Query: lower score means more relevant
SELECT id, passage,
  vector <@> to_bm25query(to_tsvector('english', 'database'), 'documents_passage_bm25') AS score
FROM documents
ORDER BY score
LIMIT 5;

Der <@> Operator gibt einen negativen BM25-Wert zurück. Die Sortierung nach aufsteigender Bewertung gibt zuerst die relevantesten Ergebnisse zurück.

Aus synchronisierten Tabellen befüllen

Wenn du Quelltext aus Unity Catalog lädst, anstatt ihn direkt einzufügen, können synchronisierte Tabellen während der Synchronisation eine tsvector Spalte generieren, die sofort nach Abschluss der Synchronisation indexiert lakebase_bm25 werden kann. Siehe Benutzerdefinierte Typzuordnung für Lakebase Search.

Den Index genau halten

BM25-Statistiken werden zur Indexbuildzeit berechnet und von VACUUM. Bei den meisten Arbeitslasten werden die Ergebnisse regelmäßig VACUUM genau beibehalten. Führen Sie VACUUM nach dem Massenladen einer großen Menge neuer Daten manuell aus:

VACUUM documents;

Um die Abfrage- und Aktualisierungsleistung aufrechtzuerhalten, VACUUM muss der Index umgehend bereinigt werden. Für eine Tabelle, die der Textsuche gewidmet ist, empfiehlt Databricks, so einzustellen autovacuum_vacuum_insert_scale_factor0 , dass die vom Einfügen ausgelöste Autovakuum-Schwelle nicht mit der Tabelle wächst:

ALTER TABLE documents SET (
  autovacuum_vacuum_insert_scale_factor = 0
);

Mit dem auf gesetzten 0Skalierungsfaktor bestimmt die autovacuum_vacuum_insert_threshold feste Anzahl der eingefügten Tupel, die Autovacuum auslöst. Passe diese Schwelle je nach Arbeitsbelastung an.

Optimieren der Suche

GUCs auf Sitzungsebene

SET lakebase_bm25.default_limit TO 20;
SET lakebase_bm25.prefilter = on;

GUCs haben Vorrang vor Indexspeicherparametern, wenn beide festgelegt sind.

Indexspeicherparameter

Legen Sie diese Optionen zur Indexerstellungszeit oder mit ALTER INDEX:

-- Set parameters at index creation (use a new name — the Quick start already created documents_passage_bm25)
CREATE INDEX documents_passage_bm25_tuned ON documents USING lakebase_bm25 (vector)
  WITH (default_limit = 20, k1 = 1.5);

-- Update parameters on an existing index
ALTER INDEX documents_passage_bm25_tuned SET (default_limit = 50);

API-Referenz

Typen

bm25query_tsvector: kombiniert eine Abfrage tsvector mit dem Zielindexbezeichner. Wird als der rechte Operand von <@>.

Betriebspersonal

Functions

Operatorklassen

Nächste Schritte

• lakebase_vector
• Seebasissuche