Transformacja danych niestrukturalnych za pomocą funkcji AI

Funkcje AI to wbudowane funkcje, które można wykorzystać do zastosowania LLM-ów lub nowoczesnych technik badawczych na danych przechowywanych w Azure Databricks do transformacji i analizy danych. Można je uruchamiać z Databricks SQL, notatników, potoków Lakeflow i Workflows.

Funkcje sztucznej inteligencji są proste w użyciu, szybkie i skalowalne. Analitycy mogą ich używać do stosowania analizy danych do własnych danych, podczas gdy inżynierowie danych, analitycy danych i inżynierowie uczenia maszynowego mogą ich używać do tworzenia potoków wsadowych klasy produkcyjnej.

Gdy wywołujesz funkcję AI, Twoje zapytanie jest uruchamiane w zasobach obliczeniowych, z których je wysyłasz, takich jak hurtownia SQL, notatnik, klaster lub potok danych. W zależności od funkcji wnioskowanie przez model może być uruchamiane na oddzielnej infrastrukturze zarządzanej przez Databricks, która jest rozliczana dodatkowo względem tego zasobu obliczeniowego. Zobacz koszty obciążeń funkcji AI.

Requirements

• Funkcje AI nie są dostępne w magazynach Classic SQL.
• Wymagany jest Databricks Runtime 15.4 LTS lub nowszy. Zaleca się wersję Databricks Runtime 18.2 lub nowszą dla najlepszej wydajności i dostępu do najnowszych funkcji.

Zadanie specyficzne i ogólnego przeznaczenia

Funkcje sztucznej inteligencji mają funkcje specyficzne dla zadań i ogólnego przeznaczenia:

• Funkcje sztucznej inteligencji specyficzne dla zadań — wbudowane funkcje przeznaczone do określonego zadania, takie jak analizowanie dokumentów, wyodrębnianie jednostek, klasyfikacja i analiza tonacji. Te funkcje są obsługiwane przez systemy zarządzane przez Azure Databricks, wspierane wynikami badań. Niektóre funkcje obejmują interakcje z interfejsem użytkownika. Zobacz Funkcje sztucznej inteligencji specyficzne dla zadań , aby zapoznać się z obsługiwanymi funkcjami i modelami.
• ai_query — Funkcja ogólnego przeznaczenia na potrzeby zadań i elastyczności modelu. Podaj zapytanie i wybierz dowolny obsługiwany interfejs API modelu bazowego. Zobacz Użycie ai_query.

Aby ograniczyć, do których funkcji AI dla określonych zadań Twoja organizacja ma dostęp, zobacz uprawnienia Unity Catalog dla AI Functions.

funkcje sztucznej inteligencji specyficzne dla zadań

Funkcje specyficzne dla zadania są ograniczone do określonego zadania, dzięki czemu można zautomatyzować rutynowe przekształcenia, takie jak wyodrębnianie jednostek, tłumaczenie i klasyfikacja. Usługa Databricks zaleca te funkcje do rozpoczęcia pracy, ponieważ wywołują najnowocześniejsze techniki badawcze obsługiwane przez usługę Databricks i nie wymagają żadnych dostosowań.

Zobacz Analizowanie recenzji klientów za pomocą funkcji sztucznej inteligencji, aby zapoznać się z przykładem.

Następujące funkcje są pogrupowane według zadania. Użyj kolumn SQL i REST API, aby otworzyć referencję dla każdego interfejsu. Kreska w kolumnie REST API oznacza, że nie ma dedykowanego odniesienia REST API.

Inteligentne przetwarzanie dokumentów:

Przekształć tekst:

Analizuj tekst nieustrukturyzowany:

Generowanie zawartości. Aby uzyskać monity niestandardowe lub określony model, zobacz sekcję Use ai_query:

Przewiduj wyniki:

Seria czasowa prognozy:

Analizowanie zmian metryk:

Wyszukiwanie za pomocą osadzania wyszukiwania sztucznej inteligencji:

Korzystanie z funkcji sztucznej inteligencji w przepływach pracy produkcyjnych

W przypadku inferencji wsadowej na dużą skalę można zintegrować funkcje AI przeznaczone do konkretnych zadań lub funkcję ogólnego przeznaczenia ai_query z produkcyjnymi przepływami pracy, takimi jak potoki Lakeflow, przepływy pracy Databricks i Structured Streaming. Umożliwia to przetwarzanie klasy produkcyjnej na dużą skalę.

Najlepsze rozwiązania dotyczące funkcji sztucznej inteligencji w środowisku produkcyjnym:

Pozwól usłudze AI Functions obsługiwać obciążenie na dużą skalę: Funkcje sztucznej inteligencji automatycznie zarządzają przetwarzaniem równoległym, ponawianiem prób i skalowaniem. Zaleca się przesłanie pełnego zestawu danych w jednym zapytaniu, a nie ręczne podzielenie go na małe partie. Wydajność może nie być skalowana liniowo z bardzo małych obciążeń do obciążeń na dużą skalę.

Korzystanie z modeli bazowych hostowanych w usłudze Databricks: W przypadku korzystania z funkcji AI ai_query, należy używać modeli bazowych hostowanych w usłudze Databricks (poprzedzonych prefiksem databricks-), a nie przepływności zapewnionej. Te punkty końcowe bez aprowizacji są w pełni zarządzane i działają najlepiej w przypadku przetwarzania wsadowego.

Zobacz Wdrażanie potoków wnioskowania wsadowego, aby uzyskać przykłady i szczegóły.

Monitorowanie postępu funkcji sztucznej inteligencji

Aby dowiedzieć się, ile wniosków zostało ukończonych lub zakończonych niepowodzeniem i rozwiązać problemy z wydajnością, możesz monitorować postęp funkcji sztucznej inteligencji przy użyciu funkcji profilu zapytania.

W środowisku Databricks Runtime 16.1 ML lub nowszym w oknie zapytania edytora SQL w obszarze roboczym:

1. Wybierz link Running--- w dolnej części okna Raw results. Po prawej stronie zostanie wyświetlone okno wydajności .
2. Kliknij pozycję Zobacz profil zapytania , aby wyświetlić szczegóły wydajności.
3. Kliknij Zapytanie AI, aby wyświetlić metryki dla tego konkretnego zapytania, w tym liczbę ukończonych i nieudanych wnioskowań oraz całkowity czas realizacji żądania.

Wyświetlanie kosztów obciążeń funkcji sztucznej inteligencji

Zasoby obliczeniowe, na których uruchamiane jest Twoje zapytanie, są zawsze rozliczane, na przykład hurtownia SQL lub klaster zadań. To, czy istnieje dodatkowy koszt wnioskowania modelu, zależy od funkcji:

• Funkcje specyficzne dla konkretnych zadań (na przykład ai_classify, ai_summarize, ai_translate) wykonują wnioskowanie w bezserwerowej infrastrukturze GPU zarządzanej przez Databricks za pośrednictwem Model Serving. Nie wdrażasz tej infrastruktury, ale jej koszt jest naliczany dodatkowo do mocy obliczeniowej na potrzeby zapytań.
• ai_query jest rozliczany za określony przez Ciebie punkt końcowy obsługi modelu. Punkty końcowe modelu bazowego hostowane w Databricks są rozliczane podobnie jak funkcje specyficzne dla zadań; niestandardowe modele i punkty docelowe przepustowości działają na własnym, dedykowanym obliczeniu obsługującym i są odpowiednio rozliczane.
• ai_forecast, ai_detect_anomalies, ai_predict_class, ai_predict_value i ai_top_drivers działają całkowicie na mocy obliczeniowej, z której je uruchamiasz, bez oddzielnych kosztów inferencji.
• vector_search wysyła zapytania do twojego indeksu AI Search za pośrednictwem usługi AI Search zarządzanej przez Databricks.

Koszty wnioskowania funkcji AI są zapisywane w system.billing.usage tabeli pod jednym z dwóch produktów:

• ai_similarity, ai_fix_grammar, ai_mask, MODEL_SERVING, BATCH_INFERENCE oraz ai_translate są rejestrowane dla produktu ai_summarize o typie oferty ai_analyze_sentiment.
• Inne specyficzne dla zadań funkcje AI, które generują osobne koszty wnioskowania, są rejestrowane pod produktem AI_FUNCTIONS , w tym ai_classify, ai_extract, ai_parse_document, oraz ai_search.

Wyświetlanie kosztów zadań wnioskowania wsadowego

Poniższe przykłady pokazują, jak filtrować rekordy MODEL_SERVING według typu oferty BATCH_INFERENCE na podstawie zadania, compute, hurtowni SQL oraz potoków Lakeflow. Te rekordy obejmują ai_query obciążenia oraz funkcje specyficzne dla zadań, które są rejestrowane w MODEL_SERVING

Zobacz Monitorowanie kosztów serwowania modelu w celu zapoznania się z ogólnymi przykładami wyświetlania kosztów zadań wnioskowania wsadowego wykorzystujących funkcje sztucznej inteligencji.

Jobs

Poniższe zapytanie pokazuje, które zadania są używane do wnioskowania wsadowego przy użyciu tabeli systemów system.workflow.jobs. Zobacz Monitorowanie kosztów zadań i wydajności przy użyciu tabel systemowych.

SELECT *
FROM system.billing.usage u
  JOIN system.workflow.jobs x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.job_id = x.job_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Compute

Poniżej pokazano, które klastry są używane do wnioskowania wsadowego przy użyciu tabeli system.compute.clusters systems.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Potoki deklaratywne platformy Spark w usłudze Lakeflow

Poniżej pokazano, które potoki Lakeflow są używane do inferencji wsadowej przy użyciu tabeli systemowej system.lakeflow.pipelines.

SELECT *
FROM system.billing.usage u
  JOIN system.lakeflow.pipelines x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.dlt_pipeline_id = x.pipeline_id
  WHERE u.usage_metadata.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

SQL Warehouse

Poniżej przedstawiono, które magazyny SQL są używane na potrzeby wnioskowania wsadowego za pomocą tabeli systems system.compute.warehouses.

SELECT *
FROM system.billing.usage u
  JOIN system.compute.clusters x
    ON u.workspace_id = x.workspace_id
    AND u.usage_metadata.cluster_id = x.cluster_id
  WHERE u.workspace_id = <workspace_id>
    AND u.billing_origin_product = "MODEL_SERVING"
    AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Zobacz koszty wpisane dla produktu AI_FUNCTIONS

Poniższy przykład pokazuje, jak wykonać zapytanie dotyczące kosztów zapisanych pod produktem AI_FUNCTIONS. Aby przefiltrować konkretną funkcję, użyj pola product_features.ai_functions.ai_function. Na przykład, aby zobaczyć tylko koszty ai_parse_document, dodaj AND u.product_features.ai_functions.ai_function = "AI_PARSE_DOCUMENT".

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "AI_FUNCTIONS";

Zobacz całkowity koszt funkcji AI według użytkownika

Aby obliczyć całkowity koszt wnioskowania funkcji AI, uwzględnij zużycie obu produktów. Następujące zapytanie zwraca miesięczny koszt cennikowy według użytkownika za bieżący miesiąc i poprzednie 12 miesięcy:

SELECT
  DATE_TRUNC('MONTH', u.usage_date)::DATE AS usage_month,
  COALESCE(
    u.identity_metadata.run_as,
    u.identity_metadata.run_by,
    'UNATTRIBUTED'
  ) AS principal,
  ROUND(
    SUM(u.usage_quantity * p.pricing.effective_list.default),
    2
  ) AS list_cost_usd
FROM system.billing.usage u
JOIN system.billing.list_prices p
  ON u.cloud = p.cloud
  AND u.sku_name = p.sku_name
  AND u.usage_unit = p.usage_unit
  AND u.usage_end_time >= p.price_start_time
  AND (p.price_end_time IS NULL OR u.usage_end_time < p.price_end_time)
WHERE p.currency_code = 'USD'
  AND u.usage_date >= ADD_MONTHS(DATE_TRUNC('MONTH', CURRENT_DATE()), -12)
  AND (
    (
      u.billing_origin_product = 'MODEL_SERVING'
      AND u.product_features.model_serving.offering_type = 'BATCH_INFERENCE'
    )
    OR u.billing_origin_product = 'AI_FUNCTIONS'
  )
GROUP BY 1, 2
ORDER BY 1 DESC, 3 DESC;