Praca z tabelami funkcji w sklepie funkcji obszaru roboczego (wersja legacy)

Uwaga

Ta dokumentacja obejmuje Workspace Feature Store. Databricks zaleca korzystanie z inżynierii funkcji w Unity Catalog. Magazyn funkcji obszaru roboczego w przyszłości będzie zlikwidowany.

Aby uzyskać informacje na temat pracy z tabelami cech w Unity Catalog, zobacz Tabele cech w Unity Catalog.

Na tej stronie opisano sposób tworzenia tabel cech i pracy z nimi w magazynie funkcji obszaru roboczego.

Uwaga

Jeśli obszar roboczy jest włączony dla Unity Catalogu, każda tabela zarządzana przez Unity Catalog, która ma klucz podstawowy, jest automatycznie feature table, której można użyć do trenowania i wnioskowania modelu. Wszystkie możliwości Unity Catalog, takie jak zabezpieczenia, rodowód, tagowanie i dostęp między obszarami roboczymi, są automatycznie dostępne dla tabeli cech. Aby uzyskać informacje o pracy z tabelami cech w obszarze roboczym z włączonym Unity Catalog, zobacz Tabele cech w Unity Catalog.

Aby uzyskać informacje na temat śledzenia pochodzenia cech oraz ich świeżości, zobacz Eksplorowanie cech i pochodzenia (starsza wersja).

Uwaga

Nazwy tabel baz danych i funkcji mogą zawierać tylko znaki alfanumeryczne i podkreślenia (_).

Tworzenie bazy danych dla tabel funkcji

Przed utworzeniem tabel funkcji należy utworzyć bazę danych, aby je przechowywać.

%sql CREATE DATABASE IF NOT EXISTS <database-name>

Tabele funkcji są przechowywane jako tabele delty. Podczas tworzenia tabeli funkcji z create_table programem (klient magazynu funkcji w wersji 0.3.6 lub nowszej) lub create_feature_table (w wersji 0.3.5 lub starszej) należy określić nazwę bazy danych. Na przykład ten argument tworzy tabelę delty o nazwie customer_features w bazie danych recommender_system.

name='recommender_system.customer_features'

Podczas publikowania tabeli funkcji w sklepie online domyślna nazwa tabeli i bazy danych to te określone podczas tworzenia tabeli; Można określić różne nazwy przy użyciu publish_table metody .

Interfejs użytkownika magazynu funkcji usługi Databricks zawiera nazwę tabeli i bazy danych w magazynie online wraz z innymi metadanymi.

Tworzenie tabeli feature w Databricks Feature Store

Uwaga

Możesz również zarejestrować istniejącą tabelę delty jako tabelę funkcji. Zobacz Rejestrowanie istniejącej tabeli Delta jako tabeli funkcji.

Podstawowe kroki tworzenia tabeli funkcji to:

  1. Napisz funkcje języka Python, aby obliczyć funkcje. Dane wyjściowe każdej funkcji powinny być ramką danych platformy Apache Spark z unikatowym kluczem podstawowym. Klucz podstawowy może składać się z co najmniej jednej kolumny.
  2. Utwórz tabelę funkcji, tworząc wystąpienie elementu FeatureStoreClient i przy użyciu create_table (w wersji 0.3.6 lub nowszej) lub create_feature_table (w wersji 0.3.5 lub starszej).
  3. Wypełnij tabelę funkcji przy użyciu polecenia write_table.

Aby uzyskać szczegółowe informacje na temat poleceń i parametrów używanych w poniższych przykładach, zobacz Feature Store Python API reference.

Wersja 0.3.6 lub nowsze

from databricks.feature_store import feature_table

def compute_customer_features(data):
  ''' Feature computation code returns a DataFrame with 'customer_id' as primary key'''
  pass

# create feature table keyed by customer_id
# take schema from DataFrame output by compute_customer_features
from databricks.feature_store import FeatureStoreClient

customer_features_df = compute_customer_features(df)

fs = FeatureStoreClient()

customer_feature_table = fs.create_table(
  name='recommender_system.customer_features',
  primary_keys='customer_id',
  schema=customer_features_df.schema,
  description='Customer features'
)

# An alternative is to use `create_table` and specify the `df` argument.
# This code automatically saves the features to the underlying Delta table.

# customer_feature_table = fs.create_table(
#  ...
#  df=customer_features_df,
#  ...
# )

# To use a composite key, pass all keys in the create_table call

# customer_feature_table = fs.create_table(
#   ...
#   primary_keys=['customer_id', 'date'],
#   ...
# )

# Use write_table to write data to the feature table
# Overwrite mode does a full refresh of the feature table

fs.write_table(
  name='recommender_system.customer_features',
  df = customer_features_df,
  mode = 'overwrite'
)

Wersja 0.3.5 i niższe

from databricks.feature_store import feature_table

def compute_customer_features(data):
  ''' Feature computation code returns a DataFrame with 'customer_id' as primary key'''
  pass

# create feature table keyed by customer_id
# take schema from DataFrame output by compute_customer_features
from databricks.feature_store import FeatureStoreClient

customer_features_df = compute_customer_features(df)

fs = FeatureStoreClient()

customer_feature_table = fs.create_feature_table(
  name='recommender_system.customer_features',
  keys='customer_id',
  schema=customer_features_df.schema,
  description='Customer features'
)

# An alternative is to use `create_feature_table` and specify the `features_df` argument.
# This code automatically saves the features to the underlying Delta table.

# customer_feature_table = fs.create_feature_table(
#  ...
#  features_df=customer_features_df,
#  ...
# )

# To use a composite key, pass all keys in the create_feature_table call

# customer_feature_table = fs.create_feature_table(
#   ...
#   keys=['customer_id', 'date'],
#   ...
# )

# Use write_table to write data to the feature table
# Overwrite mode does a full refresh of the feature table

fs.write_table(
  name='recommender_system.customer_features',
  df = customer_features_df,
  mode = 'overwrite'
)

Rejestrowanie istniejącej tabeli delty jako tabeli funkcji

W wersji 0.3.8 lub nowszej można zarejestrować istniejącą tabelę delty jako tabelę funkcji. Tabela Delta musi istnieć w magazynie metadanych.

Uwaga

Aby zaktualizować zarejestrowaną tabelę cech, należy użyć magazynu funkcji języka Python API.

fs.register_table(
  delta_table='recommender.customer_features',
  primary_keys='customer_id',
  description='Customer features'
)

Kontrolowanie dostępu do tabel funkcji

Zobacz Kontrola dostępu (starsza wersja).

Aktualizowanie tabeli funkcji

Tabelę funkcji można zaktualizować, dodając nowe funkcje lub modyfikując określone wiersze na podstawie klucza podstawowego.

Nie można zaktualizować następujących metadanych tabeli funkcji:

  • Klucz podstawowy
  • Klucz partycji
  • Nazwa lub typ istniejącej funkcji

Dodawanie nowych funkcji do istniejącej tabeli funkcji

Nowe funkcje można dodać do istniejącej tabeli funkcji na jeden z dwóch sposobów:

  • Zaktualizuj istniejącą funkcję obliczania cech i uruchom write_table ze zwróconą ramką danych. Spowoduje to zaktualizowanie schematu tabeli funkcji i scalanie nowych wartości funkcji na podstawie klucza podstawowego.
  • Utwórz nową funkcję obliczeniową funkcji, aby obliczyć nowe wartości funkcji. Ramka danych zwracana przez tę nową funkcję obliczeniową musi zawierać klucze podstawowe tabel funkcji i klucze partycji (jeśli zdefiniowano). Uruchom write_table z DataFrame, aby zapisać nowe cechy w istniejącej tabeli cech przy użyciu tego samego klucza podstawowego.

Aktualizowanie tylko określonych wierszy w tabeli funkcji

Użyj mode = "merge" w write_table. Wiersze, których klucz podstawowy nie istnieje w ramce danych przesłanej w wywołaniu write_table, pozostają niezmienione.

fs.write_table(
  name='recommender.customer_features',
  df = customer_features_df,
  mode = 'merge'
)

Planowanie zadania w celu zaktualizowania tabeli funkcji

Aby zapewnić, że funkcje w tabelach funkcji zawsze mają najnowsze wartości, usługa Databricks zaleca utworzenie zadania, które regularnie, na przykład codziennie, uruchamia notatnik w celu aktualizowania tabeli funkcji. Jeśli masz już utworzone nieplanowane zadanie, możesz przekonwertować je na zaplanowane zadanie, aby upewnić się, że wartości funkcji są zawsze aktualne. Zobacz Zadania lakeflow.

Kod aktualizowania tabeli funkcji używa metody mode='merge', jak pokazano w poniższym przykładzie.

fs = FeatureStoreClient()

customer_features_df = compute_customer_features(data)

fs.write_table(
  df=customer_features_df,
  name='recommender_system.customer_features',
  mode='merge'
)

Przechowywanie poprzednich wartości codziennych funkcji

Zdefiniuj tabelę funkcji przy użyciu złożonego klucza podstawowego. Uwzględnij datę w kluczu podstawowym. Na przykład w przypadku tabeli store_purchases funkcji można użyć złożonego klucza podstawowego (date, user_id) i klucza date partycji do wydajnego odczytu.

fs.create_table(
  name='recommender_system.customer_features',
  primary_keys=['date', 'customer_id'],
  partition_columns=['date'],
  schema=customer_features_df.schema,
  description='Customer features'
)

Następnie możesz utworzyć kod do odczytu z tabeli cech filtrowanej do okresu zainteresowania.

Tabelę funkcji szeregów czasowych można również utworzyć, określając date kolumnę jako klucz znacznika czasu przy użyciu argumentu timestamp_keys .

fs.create_table(
  name='recommender_system.customer_features',
  primary_keys=['date', 'customer_id'],
  timestamp_keys=['date'],
  schema=customer_features_df.schema,
  description='Customer time series features'
)

Umożliwia to wyszukiwanie punktowe w czasie podczas używania create_training_set lub score_batch. System wykonuje sprzężenie z wykorzystaniem znacznika czasu przy użyciu określonego elementu timestamp_lookup_key.

Aby zachować aktualność tabeli funkcji, skonfiguruj regularnie zaplanowane zadanie pisania funkcji lub przesyłaj strumieniowo nowe wartości funkcji do tabeli funkcji.

Tworzenie potoku obliczeń funkcji przesyłania strumieniowego w celu zaktualizowania funkcji

Aby utworzyć potok obliczeniowy dla funkcjonalności przesyłania strumieniowego, przekaż strumieniowanie DataFrame jako argument do elementu write_table. Ta metoda zwraca StreamingQuery obiekt.

def compute_additional_customer_features(data):
  ''' Returns Streaming DataFrame
  '''
  pass  # not shown

customer_transactions = spark.readStream.load("dbfs:/events/customer_transactions")
stream_df = compute_additional_customer_features(customer_transactions)

fs.write_table(
  df=stream_df,
  name='recommender_system.customer_features',
  mode='merge'
)

Odczytywanie z tabeli funkcji

Użyj read_table do odczytania wartości funkcji.

fs = feature_store.FeatureStoreClient()
customer_features_df = fs.read_table(
  name='recommender.customer_features',
)

Wyszukiwanie i przeglądanie tabel funkcji

Użyj interfejsu użytkownika repozytorium cech, aby wyszukać lub przeglądać tabele cech.

  1. Na pasku bocznym w obszarze Sztuczna inteligencja/uczenie maszynowe kliknij pozycję Funkcje , aby wyświetlić interfejs użytkownika magazynu funkcji.

  2. W polu wyszukiwania wprowadź całą lub część nazwy tabeli funkcji, funkcji lub źródła danych używanego do obliczeń funkcji. Możesz również wprowadzić wszystkie lub część klucza lub wartości tagu. Tekst wyszukiwania jest niewrażliwy na wielkość liter.

    Przykład wyszukiwania funkcji

Uzyskaj metadane tabeli funkcji

Interfejs API do pobierania metadanych tabeli funkcji zależy od używanej wersji środowiska uruchomieniowego usługi Databricks. W przypadku wersji 0.3.6 lub nowszej użyj polecenia get_table. W przypadku wersji 0.3.5 lub starszej użyj polecenia get_feature_table.

# this example works with v0.3.6 and above
# for v0.3.5, use `get_feature_table`
from databricks.feature_store import FeatureStoreClient
fs = FeatureStoreClient()
fs.get_table("feature_store_example.user_feature_table")

Praca z tagami tabeli funkcji

Tagi to pary klucz-wartość, które można utworzyć i użyć do wyszukiwania tabel funkcji. Tagi można tworzyć, edytować i usuwać za pomocą interfejsu użytkownika Feature Store lub Feature Store Python API.

Praca z tagami tabeli funkcji w interfejsie użytkownika

Użyj interfejsu użytkownika repozytorium cech, aby wyszukać lub przeglądać tabele cech. Aby uzyskać dostęp do interfejsu użytkownika, na pasku bocznym w obszarze AI/ML kliknij pozycję Funkcje.

Dodaj tag przy użyciu interfejsu użytkownika Feature Store

  1. Kliknij ikonę tagu, jeśli nie jest już otwarta. Zostanie wyświetlona tabela tagów.

    tabela tagów

  2. Kliknij pola Nazwa i Wartość, a następnie wprowadź klucz i wartość tagu.

  3. Kliknij przycisk Dodaj.

Edytuj lub usuń tag, korzystając z interfejsu użytkownika Feature Store

Aby edytować lub usunąć istniejący tag, użyj ikon w kolumnie Akcje .

akcje tagu

Obsługa tagów tabeli funkcji przy użyciu interfejsu API Python Feature Store

Na klastrach działających w wersji 0.4.1 lub nowszej można tworzyć, edytować i usuwać tagi przy użyciu API języka Python Feature Store.

Wymagania

Klient Feature Store w wersji 0.4.1 lub nowszej

Tworzenie tabeli cech z tagiem przy użyciu interfejsu API magazynu cech w języku Python

from databricks.feature_store import FeatureStoreClient
fs = FeatureStoreClient()

customer_feature_table = fs.create_table(
  ...
  tags={"tag_key_1": "tag_value_1", "tag_key_2": "tag_value_2", ...},
  ...
)

Dodawanie, aktualizowanie i usuwanie tagów przy użyciu Python API Feature Store

from databricks.feature_store import FeatureStoreClient
fs = FeatureStoreClient()

# Upsert a tag
fs.set_feature_table_tag(table_name="my_table", key="quality", value="gold")

# Delete a tag
fs.delete_feature_table_tag(table_name="my_table", key="quality")

Aktualizowanie źródeł danych dla tabeli funkcji

Magazyn funkcji automatycznie śledzi źródła danych używane do obliczania funkcji. Możesz również ręcznie zaktualizować źródła danych, korzystając z interfejsu API języka Python Feature Store.

Wymagania

Klient Feature Store w wersji 0.5.0 lub nowszej

Dodaj źródła danych przy użyciu interfejsu API Python Feature Store

Poniżej przedstawiono kilka przykładowych poleceń. Aby uzyskać szczegółowe informacje, zobacz dokumentację interfejsu API.

from databricks.feature_store import FeatureStoreClient
fs = FeatureStoreClient()

# Use `source_type="table"` to add a table in the metastore as data source.
fs.add_data_sources(feature_table_name="clicks", data_sources="user_info.clicks", source_type="table")

# Use `source_type="path"` to add a data source in path format.
fs.add_data_sources(feature_table_name="user_metrics", data_sources="dbfs:/FileStore/user_metrics.json", source_type="path")

# Use `source_type="custom"` if the source is not a table or a path.
fs.add_data_sources(feature_table_name="user_metrics", data_sources="user_metrics.txt", source_type="custom")

Usuwanie źródeł danych za pomocą Python API Feature Store

Aby uzyskać szczegółowe informacje, zobacz dokumentację interfejsu API.

Uwaga

Następujące polecenie usuwa źródła danych wszystkich typów ("table", "path" i "custom"), które są zgodne z nazwami źródłowymi.

from databricks.feature_store import FeatureStoreClient
fs = FeatureStoreClient()
fs.delete_data_sources(feature_table_name="clicks", sources_names="user_info.clicks")

Usuwanie tabeli funkcji

Tabelę funkcji można usunąć za pomocą interfejsu użytkownika Feature Store lub interfejsu API języka Python Feature Store.

Uwaga

  • Usunięcie tabeli funkcji może prowadzić do nieoczekiwanych błędów u producentów nadrzędnych i odbiorców podrzędnych (modeli, punktów końcowych i zaplanowanych zadań). Musisz usunąć opublikowane sklepy online u dostawcy usług w chmurze.
  • Gdy usuniesz tabelę funkcji przy użyciu interfejsu API, bazowa tabela Delta również zostaje usunięta. Po usunięciu tabeli funkcji z interfejsu użytkownika należy oddzielnie usunąć podstawową tabelę delty.

Usuwanie tabeli funkcji przy użyciu interfejsu użytkownika

  1. Na stronie tabeli funkcji kliknij Przycisk strzałki w dół po prawej stronie nazwy tabeli funkcji i wybierz pozycję Usuń. Jeśli nie masz uprawnień CAN MANAGE dla tabeli funkcji, ta opcja nie będzie widoczna.

    Wybierz pozycję Usuń z menu rozwijanego

  2. W oknie dialogowym Usuwanie tabeli funkcji kliknij przycisk Usuń , aby potwierdzić.

  3. Jeśli chcesz również usunąć podstawową tabelę Delta, uruchom następujące polecenie w notebooku.

    %sql DROP TABLE IF EXISTS <feature-table-name>;
    

Usuwanie tabeli cech za pomocą interfejsu API Pythona magazynu funkcji

W przypadku klienta Feature Store w wersji 0.4.1 lub nowszej można użyć polecenia drop_table, aby usunąć tabelę funkcji. Usunięcie tabeli z tabelą drop_tablepowoduje również usunięcie bazowej tabeli delty.

fs.drop_table(
  name='recommender_system.customer_features'
)