Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Important
Ta funkcja jest dostępna w wersji beta.
Wyszukiwanie sztucznej inteligencji zapewnia wbudowaną ocenę jakości pobierania, która mierzy i porównuje istotność różnych strategii wyszukiwania na danych. Zapytania ewaluacyjne można automatycznie generować na podstawie dokumentów, uruchamiać wiele strategii pobierania i generować szczegółowy raport.
Requirements
Zarządzany indeks wyszukiwania AI Delta Sync. Zobacz Tworzenie punktów końcowych i indeksów wyszukiwania sztucznej inteligencji.
Permissions
Zadanie oceny i panel wyników dziedziczą uprawnienia Unity Catalog z indeksu AI Search. Każdy użytkownik z dostępem zapytań do indeksu może rozpocząć przebieg oceny i wyświetlić pulpit nawigacyjny wyników. Użytkownik, który uruchamia przebieg oceny, jest właścicielem zadania, a nie właścicielem indeksu.
Jak działa ocena jakości wyszukiwania w AI Search
Ocena przeprowadza czteroetapowy proces na twoich danych:
- Generowanie zapytań: system przykładuje dokumenty z tabeli źródłowej i używa programu LLM do generowania realistycznych zapytań wyszukiwania. Generuje kombinację zapytań języka naturalnego i zapytań słów kluczowych.
- Wyszukiwanie między strategiami: Każde wygenerowane zapytanie jest uruchamiane względem indeksu przy użyciu wielu strategii wyszukiwania, w tym ANN, hybrydowej i pełnotekstowej. Każda strategia jest również oceniana z i bez reranker. To podejście porównuje strategie obok siebie w tym samym zestawie zapytań. Aby uzyskać więcej informacji na temat każdej strategii pobierania, zobacz Algorytmy pobierania.
- Ocena istotności: sędzia LLM ocenia każdą parę zapytania i pobranego dokumentu na 4-punktowej skali istotności.
- Metryki obliczeniowe i analizowanie: system oblicza metryki jakości pobierania z interwałami ufności. Wyniki są utrwalane, aby można je było wyświetlić później lub porównać między przebiegami oceny.
Rozpocznij proces oceny jakości wyszukiwania
Aby rozpocząć proces, kliknij pozycję Oceń jakość wyszukiwania na stronie indeksu wyszukiwania sztucznej inteligencji. Nie jest wymagana żadna konfiguracja, ponieważ wartości domyślne są wstępnie wypełniane na podstawie metadanych indeksu.
Po zakończeniu przebiegu kliknij pozycję Wyświetl wyniki , aby wyświetlić pulpit nawigacyjny wyników. Aby zapoznać się z omówieniem pulpitu nawigacyjnego, zobacz Pulpit nawigacyjny wyników.
Aby zainicjować nową ocenę w dowolnym momencie, kliknij przycisk Rozpocznij nową ocenę.
Panel wyników
Pulpit nawigacyjny przedstawia wyniki przebiegów oceny. Użyj menu rozwijanego Wybierz przebieg, aby wybrać przebieg, który ma być wyświetlony.
W górnej części pulpitu nawigacyjnego znajdują się 3 wskaźniki podsumowania: najlepszy wynik DCG@10 dla wszystkich typów zapytań, zalecany typ zapytania, który go osiągnął, oraz liczba ocenianych zapytań.
Zobacz Dlaczego Databricks zaleca DCG@10.
Poniżej wskaźników podsumowania na pulpicie nawigacyjnym jest wyświetlany wykres słupkowy, który porównuje wyniki DCG@10 dla każdego typu zapytania, z i bez użycia rerankera. Obok wykresu słupkowego znajdują się dwie tabele przedstawiające DCG@10 i średnią istotność dla każdego typu zapytania, z i bez użycia ponownego rankera.
Poniżej znajduje się wykres liniowy pokazujący, jak średnia istotność zmienia się między pozycjami wyników dla każdego typu zapytania.
Panel kontrolny prezentuje również zapytania o najwyższy i najniższy średni wynik istotności, tabelę porównującą wydajność podstawową i wydajność rererankera dla każdego typu zapytania, tabelę nieudanych zapytań (zapytania, w których najlepszy wynik został oceniony na 0 (nieistotne)) oraz wykres liniowy przedstawiający wybraną metrykę w kolejnych przebiegach oceny w czasie, według metryki zapytania.
Ocenianie istotności
Ocena jakości wyszukiwania wykorzystuje LLM jako sędziego, aby oceniać każdą parę zapytań i pobranych dokumentów na 4-stopniowej skali istotności.
| Score | Label | Description | Example |
|---|---|---|---|
| 3 | Bardzo istotne | Dokument bezpośrednio odpowiada na zapytanie lub zawiera dokładnie poszukiwane informacje | Zapytanie: "Jak obliczyć obszar prostokąta?" Dokument wyjaśnia formułę długości × szerokości |
| 2 | Istotny | Dokument jest powiązany i zawiera przydatne informacje, ale nie może w pełni odpowiedzieć na zapytanie | Zapytanie: "Gdzie na czeku znajduje się numer routingu?" Dokument zawiera tekst "wydrukowany na dole czeku" (częściowo ukończony) |
| 1 | Częściowo istotne | Dokument zawiera wzmiankę o temacie, ale nie udostępnia przydatnych informacji dla zapytania | Zapytanie: "jak obliczyć obszar prostokąta?" Dokument omawia tylko obszar prostokątów w kategoriach ogólnych |
| 0 | Nie dotyczy | Dokument nie jest związany z zapytaniem lub język dokumentów nie jest zgodny z językiem zapytań | Zapytanie w języku angielskim Odpowiedzi w dokumencie są poprawne, lecz w języku francuskim. |
W porównaniu z binarną odpowiednią/nieistotną skalą skala klasyfikowana przechwytuje ważne różnice. Na przykład dokument, który bezpośrednio odpowiada na pytanie (wynik 3) różni się znacząco od tego, który jedynie dotyka tematu (wynik 1). Ten stopień szczegółowości przepływa do metryk, szczególnie DCG, co zwiększa wagę wyników o wyższej jakości.
Wszystkie metryki obejmują 95% interwały ufności obliczane dla wartości poszczególnych zapytań, dzięki czemu można ocenić, czy różnice między strategiami są statystycznie znaczące.
Metryki wyszukiwania
W dolnej części pulpitu nawigacyjnego możesz wyświetlić wybraną metrykę w czasie. Wybierz metryka, która ma być wyświetlana z menu rozwijanego Wybierz metryki .
W tej sekcji opisano dostępne metryki.
DCG@k: Zysk skumulowany z rabatem
DCG@10 przechwytuje zarówno, jak istotne są wyniki, jak i gdzie pojawiają się w rankingu, przy użyciu pełnej skali istotności 0–3. Usługa Databricks zaleca używanie DCG@10 jako podstawowej metryki do oceny ogólnej jakości pobierania.
- To, co mierzy: łączna użyteczność wyników top-10, ważona według pozycji. Wyniki o wyższych pozycjach przyczyniają się bardziej niż te o niższych pozycjach.
-
Jak to działa: Każdy wynik wnosi wkład równy
2^relevance - 1, ważony logarytmicznym współczynnikiem dyskontującym zależnym od jego pozycji. Użycie2^relevance - 1(zamiast nieprzetworzonego wyniku istotności) podkreśla bardzo istotne wyniki: wynik score-3 przyczynia się do 7, a wynik score-1 przyczynia się do 1. Pierwszy wynik przyczynia się do pełnego zysku, podczas gdy wyniki niższej rangi przyczyniają się stopniowo mniej. - Zakres: od 0 do teoretycznej wartości maksymalnej pokazanej w poniższej tabeli. Wyższe jest lepsze.
Teoretycznie maksymalne wartości DCG, gdy każdy wynik otrzymuje ocenę 3:
| k | Teoretyczna maksymalna wartość DCG |
|---|---|
| 1 | 7.00 |
| 3 | 14.92 |
| 5 | 20,64 |
| 10 | 31,80 |
| 20 | 49.28 |
Dla lepszego zobrazowania tych liczb: jeśli wszystkie 10 wyników ma ocenę trafności 2 (w skali 0–3), DCG@10 wynosi 13,63. W tym scenariuszu 1-punktowy zysk DCG@10 jest znaczącym (+7% względnym) ulepszeniem. Można to traktować jako mniej więcej jeden wynik na stronie, który zauważalnie się poprawia i jest ważony w kierunku górnej części.
NDCG@k: znormalizowany zdyskontowany skumulowany zysk
- Co mierzy: Jak dobrze są uporządkowane wyniki w stosunku do najlepszego możliwego porządku. NDCG normalizuje DCG, dzieląc go przez idealny DCG, czyli DCG, gdy wyniki są posortowane według malejącej istotności.
- Zakres: od 0 do 1. Wynik 1,0 oznacza, że wyniki są w idealnej kolejności.
- Kiedy należy użyć: Gdy chcesz wiedzieć, czy system prawidłowo ocenia wyniki, niezależnie od całkowitej liczby dostępnych, istotnych dokumentów. Aby uzyskać szczegółowe porównanie, zobacz Dlaczego DCG@10 jest zalecaną podstawową metryką .
Recall@k
- Co mierzy: odsetek znanych istotnych dokumentów, które pojawiają się w wynikach top-k.
- Zakres: od 0 do 1. Wynik 1,0 oznacza, że pobrano wszystkie znane istotne dokumenty.
- Kiedy należy używać: Jeśli istotna jest kompletność, na przykład w aplikacjach RAG, brak odpowiedniego dokumentu może prowadzić do tego, że LLM wygeneruje niekompletną odpowiedź.
Precision@k
- Co mierzy: Procent wyników top-k, które są istotne (wynik >istotności = 2).
- Zakres: od 0 do 1. Wynik 1,0 oznacza, że każdy wynik w górnej k jest istotny.
- Kiedy należy używać: jeśli jakość wyników ma znaczenie więcej niż kompletność, na przykład w interfejsach wyszukiwania, w których nieistotne wyniki mogą negatywnie wpłynąć na zaufanie użytkowników.
Średni wynik istotności
- To, co mierzy: średnia ocena istotności usługi LLM we wszystkich parach zapytań i wyników.
- Zakres: od 0 do 3. Wyższe jest lepsze.
- Kiedy należy używać: jako migawka szybkiej jakości.
Rozkład istotności
-
Co mierzy: procent wyników w każdej kategorii istotności:
- Bardzo istotny procent: wyniki z oceną 3 (odpowiedzi bezpośrednie).
- Istotne+ %: Wyniki z oceną 2 lub wyższą (przydatne).
- Nieistotne %: wyniki oceniania 0 lub 1 (nie są przydatne).
- Kiedy należy użyć: aby zrozumieć kształt rozkładu jakości. Dwie strategie mogą mieć taki sam średni wynik, ale bardzo różne rozkłady. Na przykład dystrybucja dwumodalna (wiele 3 i wiele 0s) może sugerować, że wzorzec zapytania nie jest prawidłowo pobierany i wymaga uwagi.
MRR: średnia ranga odwrotna
- To, co mierzy: Jak szybko użytkownicy znajdą pierwszy odpowiedni wynik. MrR to średnia 1/ranga w zapytaniach, gdzie pozycja jest pozycją pierwszego odpowiedniego wyniku (wynik >= 2).
- Zakres: od 0 do 1. Wynik 1,0 oznacza, że pierwszy wynik jest zawsze istotny.
- Kiedy należy użyć: kiedy najlepszy wynik ma największe znaczenie, na przykład w systemach odpowiedzi na pytania.
MAP@k: Średnia precyzja
- Co mierzy: jakość rankingu we wszystkich odpowiednich wynikach, a nie tylko pierwszego. MAP oblicza precyzję dla każdej pozycji istotnego wyniku, a następnie ją uśrednia.
- Zakres: od 0 do 1. Wyższe wartości wskazują, że odpowiednie dokumenty są stale klasyfikowane w górnej części.
- Kiedy należy używać: jeśli potrzebujesz pojedynczej liczby, która przechwytuje ogólną jakość klasyfikacji we wszystkich odpowiednich dokumentach.
Dlaczego DCG@10 to zalecana podstawowa metryka
DCG@10 zapewnia najbardziej kompletny obraz jakości pobierania dla większości aplikacji:
- Ocena istotności przechwytuje niuanse: Metryki binarne, takie jak precyzja, traktują wszystkie odpowiednie dokumenty w równym stopniu. Dokument, który doskonale odpowiada na zapytanie (wynik 3) liczy to samo, co dokument, który niejasno wspomina temat (wynik 1). DCG używa pełnej skali relewancji 0–3, więc wynik oceniany 3 wnosi znacznie większy wkład niż wynik 1.
- Pozycja ma znaczenie: Użytkownicy najpierw patrzą na najlepsze wyniki. DCG stosuje rabat logarytmiczny, dzięki czemu wyniki na pozycji 1 liczą się znacznie więcej niż wyniki na pozycji 10. Pierwszy wynik przyczynia się do pełnego wyniku istotności, podczas gdy wkład 10. wyniku jest podzielony przez log₂(11) ≈ 3,46.
- Użyteczność bezwzględna ujawnia, czego nie uwzględniają znormalizowane metryki: weźmy pod uwagę przykład w poniższej tabeli. Oba zestawy wyników osiągną doskonały NDCG 1,00, ponieważ każdy z nich ma wyniki w idealnej kolejności malejącej. Jednak zestaw wyników B dostarcza prawie dwa razy większą wartość (DCG 8.02 vs 4.26), ponieważ każdy wynik jest przydatny. NDCG nie może odróżnić "idealnego rankingu 2 dobrych wyników wśród 3 nieistotnych" i "doskonały ranking 5 dobrych wyników." DcG odpowiada na pytanie: "Ile przydatnych informacji użytkownik rzeczywiście dostał?"
Aby uzyskać więcej informacji na temat DCG i NDCG, zobacz Dyskontowany skumulowany zysk.
| Results | Położenie 1 | Położenie 2 | Położenie 3 | Położenie 4 | Położenie 5 | NDCG@5 | DCG@5 |
|---|---|---|---|---|---|---|---|
| Zestaw wyników A | 3 | 2 | 0 | 0 | 0 | 1.00 | 4.26 |
| Zestaw wyników B | 3 | 3 | 3 | 2 | 2 | 1.00 | 8.02 |
Żadna pojedyncza metryka nie opowiada całej historii. Użyj pełnego zestawu metryk, aby uzyskać pełny obraz, i wybierz metrykę najlepiej zgodną z wymaganiami dotyczącymi jakości aplikacji.
Typowe scenariusze
W poniższej tabeli opisano typowe wzorce wyników oceny, ich znaczenie i sposób ich rozwiązywania:
| Wzorzec | Co to znaczy | Sugerowana akcja |
|---|---|---|
| Rozwiązanie hybrydowe znacznie lepsze niż ANN | Zapytania korzystają z dopasowywania słów kluczowych. | Użyj wyszukiwania hybrydowego w środowisku produkcyjnym. |
| ANN w przybliżeniu równa hybrydzie | Słowa kluczowe nie dodają wartości dla danych. | Każda strategia działa. AnN jest prostsza. |
| Tekst pełnotekstowy znacznie lepszy niż ANN | Wektory osadzeń mogą nie odzwierciedlać dobrze twojej domeny. | Rozważ dostosowanie modelu osadzania lub użycie wyszukiwania pełnotekstowego. |
| Reranker znacznie poprawia metryki | Cross-encoder zapewnia znaczący wzrost jakości. | Włącz funkcję reranker, jeśli pozwala na to budżet opóźnienia. |
| Szerokie interwały ufności | Za mało zapytań do niezawodnego porównania. | Zwiększ liczbę zapytań ewaluacyjnych. |
| Wszystkie strategie są nisko oceniane | Problemy dotyczące jakości lub istotności danych. | Zobacz przewodnik po jakości pobierania w usłudze AI Search, aby krok po kroku poprawić jakość pobierania. |