Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ważna
Ta funkcja jest dostępna w wersji zapoznawczej.
Funkcje AI domyślnie stosują jednowierszowe przekształcenia wykorzystujące modele LLM na dużych ramkach danych pandas lub PySpark, z wysokim poziomem współbieżności. Za pomocą danych wejściowych wielomodalnych można również przetwarzać obrazy, pliki PDF i pliki tekstowe, aby klasyfikować dokumenty, podsumowywać pliki PDF, wyodrębniać informacje z obrazów i nie tylko.
Użyj tej tabeli, aby przejść do przykładów wielomodalnych i szczegółowej dokumentacji.
| Function | Opis | Szczegółowa dokumentacja |
|---|---|---|
ai.analyze_sentiment |
Wykrywaj sentyment w plikach. Przykład. | pandas, PySpark |
ai.classify |
Klasyfikowanie plików przy użyciu etykiet. Przykład. | pandas, PySpark |
ai.extract |
Wyodrębnij pola z plików. Przykład. | pandas, PySpark |
ai.fix_grammar |
Poprawność pisowni, gramatyki i interpunkcji w plikach. Przykład. | pandas, PySpark |
ai.generate_response |
Generuj odpowiedzi uziemione w zawartości pliku. Przykład. | pandas, PySpark |
ai.summarize |
Podsumowywanie zawartości pliku. Przykład. | pandas, PySpark |
ai.translate |
Tłumaczenie zawartości pliku. Przykład. | pandas, PySpark |
aifunc.load |
Załaduj pliki z folderu do tabeli ustrukturyzowanej. Przykład. | Składnia i parametry |
aifunc.list_file_paths |
Pobierz ścieżki plików z folderu. Przykład. | Składnia i parametry |
ai.infer_schema |
Wywnioskuj schemat ekstrakcji na podstawie zawartości pliku. Przykład. | Składnia i parametry |
Typy obsługiwanych plików
Funkcje wielomodalnej sztucznej inteligencji obsługują następujące typy plików:
- Obrazy: jpg, jpeg, png, statyczny gif, webp
- Dokumenty: pdf
- Pliki tekstowe: md, txt, csv, tsv, json, xml, py i inne pliki tekstowe
Uwaga / Notatka
- Wywołania wielomodalne z danymi wejściowymi w postaci ścieżki pliku działają z interfejsem
responses, który jest domyślny. Nie ustawiajapi_typenachat_completionsdla pól wejściowych ścieżki pliku. - Formaty plików pakietu Office (takie jak .docx, .pptxi .xlsx) nie są obecnie obsługiwane.
- Pliki .docx i .pptx można przekonwertować na pliki PDF i .xlsx do pliku CSV przed użyciem funkcji wielomodalnych sztucznej inteligencji.
- Każdy plik wejściowy jest ograniczony do rozmiaru 50 MB.
Obsługiwane protokoły adresów URL
Dane wejściowe wielomodalne to ciągi, które używają jednego z następujących protokołów URL:
- lokalne ścieżki plików
- http(s)
- wasbs
- abfs(s)
Wymagania wstępne
Funkcje wielomodalnej sztucznej inteligencji mają takie same wymagania wstępne jak funkcje sztucznej inteligencji oparte na tekście. Aby uzyskać pełną listę, zobacz Wymagania wstępne.
Konfigurowanie plików
Organizowanie plików w folderze, do którego można odwoływać się za pomocą ścieżki lub ciągu w stylu globu.
Wskazówka
Użyj notatników startowych AI Functions do tworzenia kompleksowych przykładów AI Functions od początku do końca, obejmujących wszystkie funkcje AI Functions. Notesy startowe zawierają jeden notes dla pandas i jeden notes dla PySpark.
Przykład
Pliki można przechowywać w usłudze Lakehouse dołączonej do notesu.
Ładowanie plików
Aby użyć funkcji sztucznej inteligencji z danymi wejściowymi wielomodalnymi, możesz załadować zawartość pliku do tabeli ustrukturyzowanej lub odwołać się do ścieżek plików bezpośrednio w ramce danych. W poniższych przykładach przedstawiono oba podejścia.
Ładowanie plików do tabeli
Użyj funkcji aifunc.load do odczytywania plików z folderu i generowania ustrukturyzowanej tabeli. Funkcja może samodzielnie wywnioskować strukturę tabeli lub wyświetlić monit o przeprowadzenie wyodrębniania lub schemat dla spójnej struktury. Takie podejście jest przydatne, gdy chcesz, aby sztuczna inteligencja wyodrębniła określone informacje z plików i prezentowała je w formacie ustrukturyzowanym.
df, schema = aifunc.load(folder_path)
# or
df, schema = aifunc.load(folder_path, prompt="Give me candidate's name and the most recent company they worked for.")
display(df)
Ładowanie ścieżek plików do kolumny
Alternatywnie możesz użyć aifunc.list_file_paths polecenia , aby uzyskać listę ścieżek plików z folderu i załadować je do kolumny Ramki danych. Takie podejście jest przydatne, gdy chcesz uruchamiać funkcje sztucznej inteligencji w każdym pliku.
Uwaga / Notatka
Większość funkcji multimodalnych obsługuje ścieżki plików z column_type="path" w bibliotece pandas lub input_col_type/col_types="path" w PySpark.
file_path_series = aifunc.list_file_paths(folder_path)
df = pd.DataFrame({"file_path": file_path_series}).reset_index(drop=True)
display(df)
Ważna
Gdy ścieżki plików są przechowywane jako ciągi znaków reprezentujące adresy URL w kolumnie DataFrame, należy wyraźnie zaznaczyć funkcji sztucznej inteligencji, aby traktować wartości jako ścieżki plików, a nie zwykły tekst.
W przypadku funkcji AI na poziomie serii (działających na pojedynczej kolumnie) ustaw parametr column_type:
df["result"] = df["file_path"].ai.analyze_sentiment(column_type="path")
W przypadku funkcji sztucznej inteligencji na poziomie ramki danych (działających na wielu kolumnach) użyj parametru column_type_dict :
df["result"] = df.ai.generate_response(
prompt="Describe the content.",
column_type_dict={"file_path": "path"},
)
Uwaga / Notatka
Jeśli użyjesz aifunc.list_file_paths() do utworzenia kolumny ścieżki pliku, zwracane yarl.URL obiekty są automatycznie wykrywane jako ścieżki plików. Musisz określić column_type="path" tylko wtedy, gdy kolumna zawiera zwykłe adresy URL jako ciągi znaków.
Nowe funkcje wielomodalne
aifunc.load: ładowanie plików do tabeli
Funkcja aifunc.load odczytuje wszystkie pliki ze ścieżki folderu i generuje ustrukturyzowaną tabelę na podstawie ich zawartości. Opcjonalnie możesz podać podpowiedź do wyodrębniania lub schemat dla spójnej struktury.
Składnia
Parametry
| Nazwa | Opis |
|---|---|
folder_path (wymagane) |
Ścieżka ciągu do folderu lub plików pasujących do wzorca w stylu globu. |
prompt (opcjonalnie) |
Ciąg prowadzący proces generowania tabeli. Służy do określania pól, które mają być wyodrębnione z plików. |
schema (opcjonalnie) |
Obiekt schematu (zwracany przez poprzednie load wywołanie), który definiuje strukturę tabeli. Jeśli zostanie podana, funkcja używa tego schematu bezpośrednio. |
Zwroty
Krotka (DataFrame, schema). Ramka danych zawiera dane ustrukturyzowane wyodrębnione z plików. Schemat można użyć ponownie w kolejnych load wywołaniach w celu uzyskania spójnych wyników.
Przykład
# This code uses AI. Always review output for mistakes.
# Basic load – let the AI infer the table structure
df, schema = aifunc.load(folder_path)
display(df)
# This code uses AI. Always review output for mistakes.
# Guided load – provide a prompt to specify what to extract
guided_df, guided_schema = aifunc.load(
folder_path,
prompt="Give me candidate's name and the most recent company they worked for.",
)
display(guided_df)
aifunc.list_file_paths: Wyświetl listę plików
Funkcja aifunc.list_file_paths pobiera wszystkie prawidłowe ścieżki plików z określonego folderu. Zwrócone ścieżki plików można użyć jako danych wejściowych do dowolnej funkcji wielomodalnej sztucznej inteligencji. Funkcja obsługuje również wzorce w stylu globu.
Składnia
Parametry
| Nazwa | Opis |
|---|---|
folder_path (wymagane) |
Ścieżka ciągu do folderu lub plików pasujących do wzorca w stylu globu. |
Zwroty
Seria pandas obiektów, indeksowana według ich reprezentacji ciągów znaków. Te yarl.URL obiekty są automatycznie traktowane jako ścieżki plików przez funkcje sztucznej inteligencji, więc nie trzeba określać column_type="path".
Przykład
# This code uses AI. Always review output for mistakes.
file_path_series = aifunc.list_file_paths(folder_path)
custom_df = pd.DataFrame({"file_path": file_path_series}).reset_index(drop=True)
display(custom_df)
ai.infer_schema: wnioskowanie schematu z plików
Funkcja ai.infer_schema wywnioskuje wspólny schemat z zawartości pliku. Wywnioskowany schemat jest reprezentowany jako lista aifunc.ExtractLabel obiektów, które można przekazać bezpośrednio do ai.extract wyodrębniania danych strukturalnych.
Składnia
Parametry
| Nazwa | Opis |
|---|---|
prompt (opcjonalnie) |
Ciąg znaków służący do kierowania wnioskowaniem schematu. Jeśli nie zostanie podana, funkcja wywnioskuje schemat z samej zawartości pliku. |
n_samples (opcjonalnie) |
Liczba całkowita określająca liczbę elementów do próbkowania na potrzeby wnioskowania. Wartość domyślna to 3. |
column_type (opcjonalnie) |
Ustaw wartość "path", aby traktować wartości kolumn jako ścieżki plików. |
Zwroty
Lista aifunc.ExtractLabel obiektów opisujących wywnioskowany schemat. Można przekazać tę listę do ai.extract, aby wyodrębnić ustrukturyzowane dane z plików.
Przykład
# This code uses AI. Always review output for mistakes.
# Infer a schema from file contents
schema = df["file_path"].ai.infer_schema(column_type="path")
for label in schema:
print(label)
# Use the inferred schema with ai.extract
extracted_df = df["file_path"].ai.extract(*schema, column_type="path")
display(extracted_df)
Używaj wejścia multimodalnego z istniejącymi Funkcjami AI
W poniższych przykładach pokazano, jak używać danych wejściowych wielomodalnych z każdą z obsługiwanych funkcji sztucznej inteligencji.
ai.analyze_sentiment: Wykrywanie sentymentu z plików
Aby uzyskać pełne parametry, zobacz pandas lub PySpark.
# This code uses AI. Always review output for mistakes.
animal_urls = [
"<image-url-golden-retriever>", # Replace with URL to an image of a golden retriever
"<image-url-giant-panda>", # Replace with URL to an image of a giant panda
"<image-url-bald-eagle>", # Replace with URL to an image of a bald eagle
]
animal_df = pd.DataFrame({"file_path": animal_urls})
animal_df["sentiment"] = animal_df["file_path"].ai.analyze_sentiment(column_type="path")
display(animal_df)
ai.classify: Klasyfikowanie plików
Aby uzyskać pełne parametry, zobacz pandas lub PySpark.
# This code uses AI. Always review output for mistakes.
custom_df["highest_degree"] = custom_df["file_path"].ai.classify(
"Master", "PhD", "Bachelor", "Other",
column_type="path",
)
display(custom_df)
ai.extract: wyodrębnianie jednostek z plików
Aby uzyskać pełne parametry, zobacz pandas lub PySpark.
# This code uses AI. Always review output for mistakes.
extracted = custom_df["file_path"].ai.extract(
aifunc.ExtractLabel(
"name",
description="The full name of the candidate, first letter capitalized.",
max_items=1,
),
"companies_worked_for",
aifunc.ExtractLabel(
"year_of_experience",
description="The total years of professional work experience the candidate has, excluding internships.",
type="integer",
max_items=1,
),
column_type="path",
)
display(extracted)
ai.fix_grammar: naprawianie gramatyki w plikach
Aby uzyskać pełne parametry, zobacz pandas lub PySpark.
# This code uses AI. Always review output for mistakes.
custom_df["corrections"] = custom_df["file_path"].ai.fix_grammar(column_type="path")
display(custom_df)
ai.generate_response: Stosowanie niestandardowych monitów do plików
Aby uzyskać pełne parametry, zobacz pandas lub PySpark.
# This code uses AI. Always review output for mistakes.
# Series-level: generate a response from each file
animal_df["animal_name"] = animal_df["file_path"].ai.generate_response(
prompt="What type of animal is in this image? Give me only the animal's common name.",
column_type="path",
)
display(animal_df)
# This code uses AI. Always review output for mistakes.
# DataFrame-level: use all columns as context
animal_df["description"] = animal_df.ai.generate_response(
prompt="Describe this animal's natural habitat and one interesting fact about it.",
column_type_dict={"file_path": "path"},
)
display(animal_df)
ai.summarize: Podsumowywanie plików
Aby uzyskać pełne parametry, zobacz pandas lub PySpark.
# This code uses AI. Always review output for mistakes.
# Summarize file content from a single column
custom_df["summary"] = custom_df["file_path"].ai.summarize(
instructions="Summarize this file in one sentence for a support analyst.",
column_type="path",
)
display(custom_df)
Możesz podsumować wartości we wszystkich kolumnach w obiekcie DataFrame, pomijając kolumnę wejściową i określając kolumny ścieżki pliku za pomocą column_type_dict (pandas) lub col_types (PySpark):
# This code uses AI. Always review output for mistakes.
custom_df["summary"] = custom_df.ai.summarize(
column_type_dict={"file_path": "path"},
)
display(custom_df)
ai.translate: Tłumaczenie plików
Aby uzyskać pełne parametry, zobacz pandas lub PySpark.
# This code uses AI. Always review output for mistakes.
custom_df["chinese_version"] = custom_df["file_path"].ai.translate(
"Chinese",
column_type="path",
)
display(custom_df)
Ocena jakości danych wyjściowych
Używaj AI Functions Eval Notebooks do tworzenia uporządkowanych przepływów pracy, które wykorzystują LLM-as-a-Judge do oceny wyników multimodalnych oraz obliczania metryk, takich jak dokładność, precyzja, czułość, F1, koherencja, spójność i trafność. Za pomocą tych przepływów pracy można zweryfikować jakość klasyfikacji, wyodrębniania, podsumowania i innych wyników funkcji sztucznej inteligencji przed przejściem do środowiska produkcyjnego.
Monitorowanie użycia kosztów i pojemności
Skorzystaj z Rozliczeń funkcji AI, aby zrozumieć koszty, wykorzystanie środowiska wykonawczego i monitorowanie pojemności.
Treści powiązane
- Dowiedz się więcej o funkcjach sztucznej inteligencji.
- Wypróbuj notesy początkowe funkcji sztucznej inteligencji.
- Ocena jakości danych wyjściowych za pomocą notesów Eval funkcji sztucznej inteligencji.
- Dostosuj funkcje AI za pomocą pandas lub PySpark.
- Omówienie rozliczeń dla funkcji sztucznej inteligencji.