Tietojen lukeminen ja kirjoittaminen Pandasin avulla Microsoft Fabricissa

Microsoft Fabric -muistikirjat tukevat saumatonta vuorovaikutusta Lakehouse-tietojen kanssa käyttämällä Pandasia, joka on suosituin Python-kirjasto tietojen tutkimiseen ja käsittelyyn. Muistikirjassa voit nopeasti lukea tietoja Lakehouse-resursseista ja kirjoittaa tietoja takaisin niihin eri tiedostomuodoissa. Tämä opas tarjoaa koodinäytteitä, joiden avulla pääset alkuun omassa muistikirjassasi.

Edellytykset

• Hanki Microsoft Fabric -tilaus. Voit myös rekisteröityä ilmaiseen Microsoft Fabric -kokeiluversioon.

• Kirjaudu sisään Microsoft Fabriciin.

• Vaihda Fabric-tilaan käyttämällä etusivun vasemmassa alakulmassa olevaa kokemuskytkintä.

  

• Suorita vaiheet kohdassa Järjestelmän valmisteleminen datatieteen opetusohjelmia varten , jotta voit luoda uuden muistikirjan ja liittää siihen Lakehousen. Luo tässä artikkelissa uusi muistikirja aiemmin luodun muistikirjan tuomisen sijaan.

Käytä tätä työnkulkua valitaksesi oikean mallin:

• Yksittäisille tiedostoille Lakehousessa lue tai kirjoita ne Pandasilla polkua käyttäen .Files
• Taulumaisiin tietoihin Lakehousessa käytä Spark- ja Delta-taulukoita, ja muunna Pandasiksi vasta, kun tulos mahtuu muistikirjan muistiin.
• Jos data on suurta, pidä se Sparkissa suodatusta, aggregointia ja muuntamista varten ennen kuin muunnat sen Pandas DataFrameksi.

Lakehouse-tietojen lataaminen muistikirjaan

Kun liität Lakehousen Microsoft Fabric -muistikirjaasi, voit tutkia tallennettuja tietoja poistumatta sivulta ja kopioida tarvitsemasi tiedostopolun muistikirjan koodia varten. Lakehouse Explorerissa voit joko käyttää generoitua muistikirjan pätkää lataaaksesi tiedoston Spark- tai Pandas-dataframeen tai kopioida tiedoston koko ABFS-polun. Muistikirjaan liitetyssä oletusLakehousessa tyypillinen tiedostopolku näyttää tältä./lakehouse/default/Files/... Muita järvitaloja varten käytä ABFS-polkua Lakehouse Explorerilta.

Tiedoston valitseminen Lakehouse-selaimessa voi tuottaa koodia, joka lataa tiedoston muistikirjasi DataFrameen.

Spark DataFramen muuntaminen Pandas DataFrameksi

Tässä komennossa kerrotaan, miten voit muuntaa Spark DataFramen Pandas DataFrame -kehykseksi:

# Replace "spark_df" with the name of your own Spark DataFrame
pandas_df = spark_df.toPandas()

Erilaisten tiedostomuotojen lukeminen ja kirjoittaminen

Nämä koodiesimerkit osoittavat Pandasin toimintoja eri tiedostomuotojen lukemiseen ja kirjoittamiseen. Näitä näytteitä ei ole tarkoitettu suoritettavaksi peräkkäin, kuten opetusohjelmassa, vaan ne on kopioitava ja liitettävä omaan muistikirjaasi tarpeen mukaan.

Tietojen lukeminen CSV-tiedostosta

import pandas as pd

# Read a CSV file from your Lakehouse into a Pandas DataFrame
# For the default Lakehouse attached to the notebook, use the following path pattern:
df = pd.read_csv("/lakehouse/default/Files/FILENAME.csv")

# Verify that the file loaded successfully before continuing
print(df.head())
print(df.shape)
display(df)

Tietojen kirjoittaminen CSV-tiedostona

import pandas as pd

# Write a Pandas DataFrame into a CSV file in your Lakehouse
# Replace FILENAME with your own value
df.to_csv("/lakehouse/default/Files/FILENAME.csv", index=False)

Tietojen lukeminen Parquet-tiedostosta

import pandas as pd

# Read a Parquet file from your Lakehouse into a Pandas DataFrame
df = pd.read_parquet("/lakehouse/default/Files/FILENAME.parquet")
display(df)

Kirjoita tiedot Parquet-tiedostona

import pandas as pd

# Write a Pandas DataFrame into a Parquet file in your Lakehouse
df.to_parquet("/lakehouse/default/Files/FILENAME.parquet")

Tietojen lukeminen Excel-tiedostosta

import pandas as pd

# Read an Excel file from your Lakehouse into a Pandas DataFrame
# If the file is in a subfolder, add the appropriate folder after Files/
df = pd.read_excel("/lakehouse/default/Files/FILENAME.xlsx")
display(df)

Tietojen kirjoittaminen Excel-tiedostona

import pandas as pd

# Write a Pandas DataFrame into an Excel file in your Lakehouse
df.to_excel("/lakehouse/default/Files/FILENAME.xlsx", index=False)

Tietojen lukeminen JSON-tiedostosta

import pandas as pd

# Read a JSON file from your Lakehouse into a Pandas DataFrame
df = pd.read_json("/lakehouse/default/Files/FILENAME.json")
display(df)

Tietojen kirjoittaminen JSON-tiedostona

import pandas as pd

# Write a Pandas DataFrame into a JSON file in your Lakehouse
df.to_json("/lakehouse/default/Files/FILENAME.json")

Delta-taulukoiden käyttäminen

Delta-taulukot ovat Microsoft Fabricin oletustaulukkomuoto, ja ne tallennetaan Lakehousen Taulukot-osaan . Tiedostot ja taulut ovat eri tallennuspaikkoja Fabric-ohjelmassa, ja ne käyttävät erilaisia käyttömalleja. Delta-taulukoiden kanssa työskennelläksesi Pandasissa, lue ensin taulukko Spark DataFrameen ja muunna suodatettu tulos Pandas DataFrameksi vain, kun se mahtuu ajurin muistiin.

Delta-testitaulukon luominen

Jotta voit noudattaa tämän osion ohjeita, tarvitset Delta-taulukon Lakehousessasi. Lisää churn.csv tiedosto Lakehouseen noudattamalla kohdan Lataa tietojoukko ja lataa lakehouseen ohjeita ja luo sitten testitaulukko churn.csv tiedostosta suorittamalla tämä koodi muistikirjassasi:

import pandas as pd
# Create a test Delta table from the churn.csv file

df = pd.read_csv("/lakehouse/default/Files/churn/raw/churn.csv")
spark_df = spark.createDataFrame(df)
spark_df.write.format("delta").mode("overwrite").saveAsTable("churn_table")

Tämä vaihe luo Delta-taulukon nimeltä churn_table , jota voit käyttää seuraavien esimerkkien testaamiseen.

Tietojen lukeminen Delta-taulukosta

# Read a Delta table from your Lakehouse into a pandas DataFrame
# This example uses the churn_table created above
spark_df = spark.read.table("churn_table")
pandas_df = spark_df.toPandas()
display(pandas_df)

Voit myös lukea Delta-taulukoita Spark SQL -syntaksin avulla:

# Alternative method using Spark SQL
spark_df = spark.sql("SELECT * FROM churn_table")
pandas_df = spark_df.toPandas()
display(pandas_df)

Pandas DataFramen kirjoittaminen Delta-taulukkoon

# Convert pandas DataFrame to Spark DataFrame, then save as Delta table
# Replace TABLE_NAME with your desired table name
spark_df = spark.createDataFrame(pandas_df)
spark_df.write.format("delta").mode("overwrite").saveAsTable("TABLE_NAME")

Voit myös tallentaa tietylle polulle Taulukot-osiossa:

# Save to a specific path in the Tables section
spark_df = spark.createDataFrame(pandas_df)
spark_df.write.format("delta").mode("overwrite").save("Tables/TABLE_NAME")

Delta-taulukoiden kirjoitustilat

Kun kirjoitat Delta-taulukoihin, voit määrittää erilaisia tiloja:

# Overwrite the entire table
spark_df.write.format("delta").mode("overwrite").saveAsTable("TABLE_NAME")

# Append new data to existing table
spark_df.write.format("delta").mode("append").saveAsTable("TABLE_NAME")

Liittyvä sisältö

• Tietojen puhdistaminen ja valmisteleminen Data Wrangler -toiminnolla
• Koneoppimismallien harjoittamisen aloittaminen