parquet (DataFrameWriter)

Zapisuje zawartość DataFrame formatu Parquet w określonej ścieżce.

Składnia

parquet(path, mode=None, partitionBy=None, compression=None)

Parametry

Parameter Typ Opis
path str Ścieżka w dowolnym systemie plików obsługiwanym przez platformę Hadoop.
mode str, opcjonalnie Zachowanie, gdy dane już istnieją. Zaakceptowane wartości to 'append', , 'overwrite''ignore'i 'error' lub 'errorifexists' (wartość domyślna).
partitionBy str lub list, opcjonalnie Nazwy kolumn partycjonowania.
compression str, opcjonalnie Koder koder-dekoder kompresji do użycia.

Zwroty

Żadne

Examples

Zapisz ramkę danych w pliku Parquet i odczytaj go z powrotem.

import tempfile
with tempfile.TemporaryDirectory(prefix="parquet") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).write.parquet(d, mode="overwrite")

    spark.read.format("parquet").load(d).show()
    # +---+------------+
    # |age|        name|
    # +---+------------+
    # |100|Alice|
    # +---+------------+
  • Last updated on