Tutorial: Utwórz i wdróż zadanie dostrajania modelu bazowego (EoL)

Warning

Dostrajanie modelu bazowego osiągnęło kres eksploatacji (EoL) i nie jest już obsługiwane. Pakiet databricks_genai oraz interfejs Foundation Model Fine-tuning UI nie są już dostępne.

Do trenowania i dopracowywania modeli podstawowych Databricks zaleca AI Runtime, który zapewnia środowisko bezserwerowe, oparte na GPU.

Ważne

Ta funkcja jest dostępna w publicznej wersji zapoznawczej w następujących regionach: centralus, , eastuseastus2, northcentralusi westus.

W tym artykule opisano, jak utworzyć i skonfigurować zadanie przy użyciu interfejsu API Foundation Model Fine-tuning (obecnie części Databricks Model Training), a następnie przejrzeć wyniki i wdrożyć model przy użyciu interfejsu użytkownika Databricks oraz Model Serving.

Wymagania

Krok 1. Przygotowanie danych do szkolenia

Zobacz Przygotowanie danych do dostrajania modelu bazowego (EoL).

Krok 2. Instalowanie zestawu databricks_genai SDK

Użyj poniższej instrukcji, aby zainstalować zestaw databricks_genai SDK.

%pip install databricks_genai

Następnie zaimportuj bibliotekę foundation_model :

dbutils.library.restartPython()
from databricks.model_training import foundation_model as fm

Krok 3. Utwórz sesję treningową

Utwórz sesję treningową przy użyciu funkcji dostrajania create() modelu podstawowego. Wymagane są następujące parametry:

  • model: model, który chcesz wytrenować.
  • train_data_path: miejsce, w którym znajduje się zestaw danych do trenowania.
  • register_to: katalog i schemat Unity Catalog, w którym mają być zapisane punkty kontrolne.

Na przykład:

run = fm.create(model='meta-llama/Meta-Llama-3.1-8B-Instruct',
                train_data_path='dbfs:/Volumes/main/my-directory/ift/train.jsonl', # UC Volume with JSONL formatted data
                register_to='main.my-directory',
                training_duration='1ep')

run

Krok 4. Wyświetlanie stanu przebiegu

Czas potrzebny na ukończenie przebiegu trenowania zależy od liczby tokenów, modelu i dostępności procesora GPU. W celu szybszego trenowania usługa Databricks zaleca korzystanie z zarezerwowanych zasobów obliczeniowych. Skontaktuj się ze swoim zespołem kont usługi Databricks, aby uzyskać szczegółowe informacje.

Po uruchomieniu przebiegu możesz monitorować jego stan za pomocą get_events().

run.get_events()

Krok 5. Wyświetlanie metryk i danych wyjściowych

Wykonaj następujące kroki, aby wyświetlić wyniki w interfejsie użytkownika usługi Databricks:

  1. W obszarze roboczym usługi Databricks kliknij pozycję Eksperymenty na lewym pasku nawigacyjnym.
  2. Wybierz eksperyment z listy.
  3. Przejrzyj wykresy metryk na karcie Wykresy . Metryki trenowania są generowane dla każdego przebiegu trenowania, a metryki oceny są generowane tylko w przypadku podania ścieżki danych oceny.
    1. Podstawowa metryka trenowania przedstawiająca postęp jest stratą. Utrata oceny może służyć do sprawdzenia, czy model jest nadmiernie dopasowany do danych treningowych. Nie należy jednak polegać na całkowitej utracie, ponieważ w zadaniach szkoleniowych instrukcji utrata oceny może wydawać się nadmierna, podczas gdy model nadal się poprawia.
    2. Im większa dokładność, tym lepszy model, ale pamiętaj, że dokładność zbliżona do 100% może wykazać nadmierne dopasowanie.
    3. Po uruchomieniu w narzędziu MLflow są wyświetlane następujące metryki:
      • LanguageCrossEntropy oblicza krzyżową entropię w danych wyjściowych modelowania języka. Niższy wynik jest lepszy.
      • LanguagePerplexity mierzy, jak dobrze model językowy przewiduje następny wyraz lub znak w bloku tekstu na podstawie poprzednich słów lub znaków. Niższy wynik jest lepszy.
      • TokenAccuracy oblicza dokładność na poziomie tokenu na potrzeby modelowania języka. Wyższy wynik jest lepszy.
    4. Na tej karcie możesz również wyświetlić dane wyjściowe zapytań oceny, jeśli je określiłeś.

Krok 6: Oceń wiele dostosowanych modeli przy użyciu Oceny Agenta przed wdrożeniem

Zobacz Ocena i poprawa.

Krok 7. Wdrażanie modelu

Proces szkoleniowy automatycznie rejestruje model w Unity Catalog po jego zakończeniu. Model jest rejestrowany na podstawie tego, co zostało określone w register_to polu w metodzie run create() .

Aby wdrożyć model do obsługi, wykonaj następujące kroki:

  1. Przejdź do modelu w katalogu Unity.
  2. Kliknij Uruchom ten model.
  3. Kliknij pozycję Utwórz obsługujący punkt końcowy.
  4. W polu Nazwa podaj nazwę punktu końcowego.
  5. Kliknij pozycję Utwórz.

Dodatkowe zasoby

  • Last updated on