Używanie danych wejściowych wielomodalnych z usługą AI Functions (wersja zapoznawcza)

Ważna

Ta funkcja jest dostępna w wersji zapoznawczej.

Funkcje AI domyślnie stosują jednowierszowe przekształcenia wykorzystujące modele LLM na dużych ramkach danych pandas lub PySpark, z wysokim poziomem współbieżności. Za pomocą danych wejściowych wielomodalnych można również przetwarzać obrazy, pliki PDF i pliki tekstowe, aby klasyfikować dokumenty, podsumowywać pliki PDF, wyodrębniać informacje z obrazów i nie tylko.

Użyj tej tabeli, aby przejść do przykładów wielomodalnych i szczegółowej dokumentacji.

Function Opis Szczegółowa dokumentacja
ai.analyze_sentiment Wykrywaj sentyment w plikach. Przykład. pandas, PySpark
ai.classify Klasyfikowanie plików przy użyciu etykiet. Przykład. pandas, PySpark
ai.extract Wyodrębnij pola z plików. Przykład. pandas, PySpark
ai.fix_grammar Poprawność pisowni, gramatyki i interpunkcji w plikach. Przykład. pandas, PySpark
ai.generate_response Generuj odpowiedzi uziemione w zawartości pliku. Przykład. pandas, PySpark
ai.summarize Podsumowywanie zawartości pliku. Przykład. pandas, PySpark
ai.translate Tłumaczenie zawartości pliku. Przykład. pandas, PySpark
aifunc.load Załaduj pliki z folderu do tabeli ustrukturyzowanej. Przykład. Składnia i parametry
aifunc.list_file_paths Pobierz ścieżki plików z folderu. Przykład. Składnia i parametry
ai.infer_schema Wywnioskuj schemat ekstrakcji na podstawie zawartości pliku. Przykład. Składnia i parametry

Typy obsługiwanych plików

Funkcje wielomodalnej sztucznej inteligencji obsługują następujące typy plików:

  • Obrazy: jpg, jpeg, png, statyczny gif, webp
  • Dokumenty: pdf
  • Pliki tekstowe: md, txt, csv, tsv, json, xml, py i inne pliki tekstowe

Uwaga / Notatka

  • Wywołania wielomodalne z danymi wejściowymi w postaci ścieżki pliku działają z interfejsem responses, który jest domyślny. Nie ustawiaj api_type na chat_completions dla pól wejściowych ścieżki pliku.
  • Formaty plików pakietu Office (takie jak .docx, .pptxi .xlsx) nie są obecnie obsługiwane.
  • Pliki .docx i .pptx można przekonwertować na pliki PDF i .xlsx do pliku CSV przed użyciem funkcji wielomodalnych sztucznej inteligencji.
  • Każdy plik wejściowy jest ograniczony do rozmiaru 50 MB.

Obsługiwane protokoły adresów URL

Dane wejściowe wielomodalne to ciągi, które używają jednego z następujących protokołów URL:

  • lokalne ścieżki plików
  • http(s)
  • wasbs
  • abfs(s)

Wymagania wstępne

Funkcje wielomodalnej sztucznej inteligencji mają takie same wymagania wstępne jak funkcje sztucznej inteligencji oparte na tekście. Aby uzyskać pełną listę, zobacz Wymagania wstępne.

Konfigurowanie plików

Organizowanie plików w folderze, do którego można odwoływać się za pomocą ścieżki lub ciągu w stylu globu.

Wskazówka

Użyj notatników startowych AI Functions do tworzenia kompleksowych przykładów AI Functions od początku do końca, obejmujących wszystkie funkcje AI Functions. Notesy startowe zawierają jeden notes dla pandas i jeden notes dla PySpark.

Przykład

Pliki można przechowywać w usłudze Lakehouse dołączonej do notesu.

folder_path = "/lakehouse/default/Files"

Ładowanie plików

Aby użyć funkcji sztucznej inteligencji z danymi wejściowymi wielomodalnymi, możesz załadować zawartość pliku do tabeli ustrukturyzowanej lub odwołać się do ścieżek plików bezpośrednio w ramce danych. W poniższych przykładach przedstawiono oba podejścia.

Ładowanie plików do tabeli

Użyj funkcji aifunc.load do odczytywania plików z folderu i generowania ustrukturyzowanej tabeli. Funkcja może samodzielnie wywnioskować strukturę tabeli lub wyświetlić monit o przeprowadzenie wyodrębniania lub schemat dla spójnej struktury. Takie podejście jest przydatne, gdy chcesz, aby sztuczna inteligencja wyodrębniła określone informacje z plików i prezentowała je w formacie ustrukturyzowanym.

df, schema = aifunc.load(folder_path)
# or
df, schema = aifunc.load(folder_path, prompt="Give me candidate's name and the most recent company they worked for.")
display(df)

Ładowanie ścieżek plików do kolumny

Alternatywnie możesz użyć aifunc.list_file_paths polecenia , aby uzyskać listę ścieżek plików z folderu i załadować je do kolumny Ramki danych. Takie podejście jest przydatne, gdy chcesz uruchamiać funkcje sztucznej inteligencji w każdym pliku.

Uwaga / Notatka

Większość funkcji multimodalnych obsługuje ścieżki plików z column_type="path" w bibliotece pandas lub input_col_type/col_types="path" w PySpark.

file_path_series = aifunc.list_file_paths(folder_path)
df = pd.DataFrame({"file_path": file_path_series}).reset_index(drop=True)
display(df)

Ważna

Gdy ścieżki plików są przechowywane jako ciągi znaków reprezentujące adresy URL w kolumnie DataFrame, należy wyraźnie zaznaczyć funkcji sztucznej inteligencji, aby traktować wartości jako ścieżki plików, a nie zwykły tekst.

W przypadku funkcji AI na poziomie serii (działających na pojedynczej kolumnie) ustaw parametr column_type:

df["result"] = df["file_path"].ai.analyze_sentiment(column_type="path")

W przypadku funkcji sztucznej inteligencji na poziomie ramki danych (działających na wielu kolumnach) użyj parametru column_type_dict :

df["result"] = df.ai.generate_response(
    prompt="Describe the content.",
    column_type_dict={"file_path": "path"},
)

Uwaga / Notatka

Jeśli użyjesz aifunc.list_file_paths() do utworzenia kolumny ścieżki pliku, zwracane yarl.URL obiekty są automatycznie wykrywane jako ścieżki plików. Musisz określić column_type="path" tylko wtedy, gdy kolumna zawiera zwykłe adresy URL jako ciągi znaków.

Nowe funkcje wielomodalne

aifunc.load: ładowanie plików do tabeli

Funkcja aifunc.load odczytuje wszystkie pliki ze ścieżki folderu i generuje ustrukturyzowaną tabelę na podstawie ich zawartości. Opcjonalnie możesz podać podpowiedź do wyodrębniania lub schemat dla spójnej struktury.

Składnia

df, schema = aifunc.load(folder_path, prompt=None, schema=None)

Parametry

Nazwa Opis
folder_path (wymagane) Ścieżka ciągu do folderu lub plików pasujących do wzorca w stylu globu.
prompt (opcjonalnie) Ciąg prowadzący proces generowania tabeli. Służy do określania pól, które mają być wyodrębnione z plików.
schema (opcjonalnie) Obiekt schematu (zwracany przez poprzednie load wywołanie), który definiuje strukturę tabeli. Jeśli zostanie podana, funkcja używa tego schematu bezpośrednio.

Zwroty

Krotka (DataFrame, schema). Ramka danych zawiera dane ustrukturyzowane wyodrębnione z plików. Schemat można użyć ponownie w kolejnych load wywołaniach w celu uzyskania spójnych wyników.

Przykład

# This code uses AI. Always review output for mistakes.

# Basic load – let the AI infer the table structure
df, schema = aifunc.load(folder_path)
display(df)
# This code uses AI. Always review output for mistakes.

# Guided load – provide a prompt to specify what to extract
guided_df, guided_schema = aifunc.load(
    folder_path,
    prompt="Give me candidate's name and the most recent company they worked for.",
)
display(guided_df)

aifunc.list_file_paths: Wyświetl listę plików

Funkcja aifunc.list_file_paths pobiera wszystkie prawidłowe ścieżki plików z określonego folderu. Zwrócone ścieżki plików można użyć jako danych wejściowych do dowolnej funkcji wielomodalnej sztucznej inteligencji. Funkcja obsługuje również wzorce w stylu globu.

Składnia

file_path_series = aifunc.list_file_paths(folder_path)

Parametry

Nazwa Opis
folder_path (wymagane) Ścieżka ciągu do folderu lub plików pasujących do wzorca w stylu globu.

Zwroty

Seria pandas obiektów, indeksowana według ich reprezentacji ciągów znaków. Te yarl.URL obiekty są automatycznie traktowane jako ścieżki plików przez funkcje sztucznej inteligencji, więc nie trzeba określać column_type="path".

Przykład

# This code uses AI. Always review output for mistakes.

file_path_series = aifunc.list_file_paths(folder_path)
custom_df = pd.DataFrame({"file_path": file_path_series}).reset_index(drop=True)
display(custom_df)

ai.infer_schema: wnioskowanie schematu z plików

Funkcja ai.infer_schema wywnioskuje wspólny schemat z zawartości pliku. Wywnioskowany schemat jest reprezentowany jako lista aifunc.ExtractLabel obiektów, które można przekazać bezpośrednio do ai.extract wyodrębniania danych strukturalnych.

Składnia

schema = df["file_path"].ai.infer_schema(column_type="path")

Parametry

Nazwa Opis
prompt (opcjonalnie) Ciąg znaków służący do kierowania wnioskowaniem schematu. Jeśli nie zostanie podana, funkcja wywnioskuje schemat z samej zawartości pliku.
n_samples (opcjonalnie) Liczba całkowita określająca liczbę elementów do próbkowania na potrzeby wnioskowania. Wartość domyślna to 3.
column_type (opcjonalnie) Ustaw wartość "path", aby traktować wartości kolumn jako ścieżki plików.

Zwroty

Lista aifunc.ExtractLabel obiektów opisujących wywnioskowany schemat. Można przekazać tę listę do ai.extract, aby wyodrębnić ustrukturyzowane dane z plików.

Przykład

# This code uses AI. Always review output for mistakes.

# Infer a schema from file contents
schema = df["file_path"].ai.infer_schema(column_type="path")
for label in schema:
    print(label)

# Use the inferred schema with ai.extract
extracted_df = df["file_path"].ai.extract(*schema, column_type="path")
display(extracted_df)

Używaj wejścia multimodalnego z istniejącymi Funkcjami AI

W poniższych przykładach pokazano, jak używać danych wejściowych wielomodalnych z każdą z obsługiwanych funkcji sztucznej inteligencji.

ai.analyze_sentiment: Wykrywanie sentymentu z plików

Aby uzyskać pełne parametry, zobacz pandas lub PySpark.

# This code uses AI. Always review output for mistakes.

animal_urls = [
    "<image-url-golden-retriever>",  # Replace with URL to an image of a golden retriever
    "<image-url-giant-panda>",  # Replace with URL to an image of a giant panda
    "<image-url-bald-eagle>",  # Replace with URL to an image of a bald eagle
]
animal_df = pd.DataFrame({"file_path": animal_urls})

animal_df["sentiment"] = animal_df["file_path"].ai.analyze_sentiment(column_type="path")
display(animal_df)

ai.classify: Klasyfikowanie plików

Aby uzyskać pełne parametry, zobacz pandas lub PySpark.

# This code uses AI. Always review output for mistakes.

custom_df["highest_degree"] = custom_df["file_path"].ai.classify(
    "Master", "PhD", "Bachelor", "Other",
    column_type="path",
)
display(custom_df)

ai.extract: wyodrębnianie jednostek z plików

Aby uzyskać pełne parametry, zobacz pandas lub PySpark.

# This code uses AI. Always review output for mistakes.

extracted = custom_df["file_path"].ai.extract(
    aifunc.ExtractLabel(
        "name",
        description="The full name of the candidate, first letter capitalized.",
        max_items=1,
    ),
    "companies_worked_for",
    aifunc.ExtractLabel(
        "year_of_experience",
        description="The total years of professional work experience the candidate has, excluding internships.",
        type="integer",
        max_items=1,
    ),
    column_type="path",
)
display(extracted)

ai.fix_grammar: naprawianie gramatyki w plikach

Aby uzyskać pełne parametry, zobacz pandas lub PySpark.

# This code uses AI. Always review output for mistakes.

custom_df["corrections"] = custom_df["file_path"].ai.fix_grammar(column_type="path")
display(custom_df)

ai.generate_response: Stosowanie niestandardowych monitów do plików

Aby uzyskać pełne parametry, zobacz pandas lub PySpark.

# This code uses AI. Always review output for mistakes.

# Series-level: generate a response from each file
animal_df["animal_name"] = animal_df["file_path"].ai.generate_response(
    prompt="What type of animal is in this image? Give me only the animal's common name.",
    column_type="path",
)
display(animal_df)
# This code uses AI. Always review output for mistakes.

# DataFrame-level: use all columns as context
animal_df["description"] = animal_df.ai.generate_response(
    prompt="Describe this animal's natural habitat and one interesting fact about it.",
    column_type_dict={"file_path": "path"},
)
display(animal_df)

ai.summarize: Podsumowywanie plików

Aby uzyskać pełne parametry, zobacz pandas lub PySpark.

# This code uses AI. Always review output for mistakes.

# Summarize file content from a single column
custom_df["summary"] = custom_df["file_path"].ai.summarize(
    instructions="Summarize this file in one sentence for a support analyst.",
    column_type="path",
)
display(custom_df)

Możesz podsumować wartości we wszystkich kolumnach w obiekcie DataFrame, pomijając kolumnę wejściową i określając kolumny ścieżki pliku za pomocą column_type_dict (pandas) lub col_types (PySpark):

# This code uses AI. Always review output for mistakes.

custom_df["summary"] = custom_df.ai.summarize(
    column_type_dict={"file_path": "path"},
)
display(custom_df)

ai.translate: Tłumaczenie plików

Aby uzyskać pełne parametry, zobacz pandas lub PySpark.

# This code uses AI. Always review output for mistakes.

custom_df["chinese_version"] = custom_df["file_path"].ai.translate(
    "Chinese",
    column_type="path",
)
display(custom_df)

Ocena jakości danych wyjściowych

Używaj AI Functions Eval Notebooks do tworzenia uporządkowanych przepływów pracy, które wykorzystują LLM-as-a-Judge do oceny wyników multimodalnych oraz obliczania metryk, takich jak dokładność, precyzja, czułość, F1, koherencja, spójność i trafność. Za pomocą tych przepływów pracy można zweryfikować jakość klasyfikacji, wyodrębniania, podsumowania i innych wyników funkcji sztucznej inteligencji przed przejściem do środowiska produkcyjnego.

Monitorowanie użycia kosztów i pojemności

Skorzystaj z Rozliczeń funkcji AI, aby zrozumieć koszty, wykorzystanie środowiska wykonawczego i monitorowanie pojemności.