Merk
Tilgang til denne siden krever autorisasjon. Du kan prøve å logge på eller endre kataloger.
Tilgang til denne siden krever autorisasjon. Du kan prøve å endre kataloger.
Funksjonen ai.embed konverterer tekst til vektorinnleggelser som representerer mening. Bruk embeddings for å søke, gruppere og sammenligne innhold etter mening i stedet for eksakt formulering.
Note
- Denne artikkelen handler
ai.embedom PySpark. For pandaer, se Bruk ai.embed med pandaer. - For alle AI-funksjoner og forutsetninger, se oversikt over AI-funksjoner.
- Endre standardkonfigurasjonen for AI-funksjoner med PySpark.
Oversikt
Funksjonen ai.embed er tilgjengelig for Spark DataFrames. Du må angi navnet på en eksisterende inndatakolonne som parameter.
Funksjonen returnerer en ny DataFrame som inkluderer innbeddinger for hver rad med inndatatekst, i en utdatakolonne.
Syntaks
df.ai.embed(input_col="col1", output_col="embed")
Parametere
| Navn | Beskrivelse |
|---|---|
input_col Kreves |
En streng som inneholder navnet på en eksisterende kolonne med inndata-tekstverdier som brukes til beregning av embeddinger. |
output_col Valgfritt |
En streng som inneholder navnet på en ny kolonne for å lagre kalkulerte embeddinger for hver inndatatekstrad. Hvis du ikke angir denne parameteren, genereres et standardnavn for utdatakolonnen. |
error_col Valgfritt |
En streng som inneholder navnet på en ny kolonne som lagrer eventuelle OpenAI-feil som skyldes behandling av hver inndatatekstrad. Hvis du ikke angir denne parameteren, genereres et standardnavn for feilkolonnen. Hvis en inndatarad ikke har noen feil, har denne kolonnen en null verdi. |
Returnerer
Funksjonen returnerer en Spark DataFrame med en ny kolonne som inneholder genererte embeddings for hver inndatarad. Embeddinger er pyspark.ml.linalg.DenseVector verdier. Vektorstørrelsen avhenger av dimensjonene til innbyggingsmodellen, som kan konfigureres i AI-funksjoner.
Eksempel
# This code uses AI. Always review output for mistakes.
# Read terms: https://azure.microsoft.com/support/legal/preview-supplemental-terms/.
df = spark.createDataFrame([
("This duvet, lovingly hand-crafted from all-natural fabric, is perfect for a good night's sleep.",),
("Tired of friends judging your baking? With these handy-dandy measuring cups, you'll create culinary delights.",),
("Enjoy this *BRAND NEW CAR!* A compact SUV perfect for the professional commuter!",)
], ["descriptions"])
embed = df.ai.embed(input_col="descriptions", output_col="embed")
display(embed)
Output:
Beslektet innhold
- Bruk ai.embed med pandas.
- Lær mer om AI-funksjoner.
- Endre standardkonfigurasjonen for AI-funksjoner med PySpark.
- Forstå fakturering for AI-funksjoner.