Muistiinpano
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää kirjautua sisään tai vaihtaa hakemistoa.
Tämän sivun käyttö edellyttää valtuutusta. Voit yrittää vaihtaa hakemistoa.
Tämä opetusohjelma esittelee kokonaisvaltaisen esimerkin Data Science -työnkulusta Microsoft Fabric -ohjelmassa. Se käyttää sekä nycflights13-tietolähdettä että R:ää ennustaakseen, saapuuko kone yli 30 minuuttia myöhässä. Sen jälkeen se käyttää ennustetuloksia vuorovaikutteisen Power BI -koontinäytön luomiseen.
Tässä opetusohjelmassa opit
Käytä siistejä paketteja
- Reseptit
- palsternakka
- rsample
- työnkulut tietojen käsittelyyn ja koneoppimismallin harjoittamiseen
Kirjoita tulostiedot Lakehouse-järjestelmään delta-taulukkona
Luo Power BI -visualisointiraportti, jotta voit käyttää suoraan kyseisen lakehousen tietoja
Edellytykset
Hanki Microsoft Fabric -tilaus. Voit myös rekisteröityä microsoft fabric -kokeiluversion maksuttomaan .
Vaihda Fabric-tilaan käyttämällä etusivun vasemmassa alakulmassa olevaa kokemuskytkintä.
Avaa muistikirja tai luo se. Katso ohjeet artikkelista Microsoft Fabric -muistikirjojen käyttäminen.
Määritä kieliasetukseksi SparkR (R) - ensisijaisen kielen muuttamiseksi.
Liitä muistikirjasi Lakehouseen. Valitse vasemmalla puolella Lisää lisätäksesi olemassa olevan lakehousen tai luodaksesi lakehousen.
Pakettien asentaminen
Asenna nycflights13-paketti, jotta voit käyttää koodia tässä opetusohjelmassa.
install.packages("nycflights13")
# Load the packages
library(tidymodels) # For tidymodels packages
library(nycflights13) # For flight data
Tietojen tutkiminen
Data nycflights13 sisältää tietoa 325 819 lennosta, jotka saapuivat lähelle New Yorkia vuonna 2013. Tutki ensin lentojen viivästysten jakautumista. Seuraava koodisolu generoi graafin, joka osoittaa, että saapumisen viivejakauma on oikealle vinoutunut:
ggplot(flights, aes(arr_delay)) + geom_histogram(color="blue", bins = 300)
Sillä on pitkä hännän korkeissa arvoissa, kuten seuraavassa kuvassa esitetään:
Lataa tiedot ja tee muuttujiin muutamia muutoksia:
set.seed(123)
flight_data <-
flights %>%
mutate(
# Convert the arrival delay to a factor
arr_delay = ifelse(arr_delay >= 30, "late", "on_time"),
arr_delay = factor(arr_delay),
# You'll use the date (not date-time) for the recipe that you'll create
date = lubridate::as_date(time_hour)
) %>%
# Include weather data
inner_join(weather, by = c("origin", "time_hour")) %>%
# Retain only the specific columns that you'll use
select(dep_time, flight, origin, dest, air_time, distance,
carrier, date, arr_delay, time_hour) %>%
# Exclude missing data
na.omit() %>%
# For creating models, it's better to have qualitative columns
# encoded as factors (instead of character strings)
mutate_if(is.character, as.factor)
Ennen mallin rakentamista ota huomioon muutama tarkka muuttuja, jotka ovat tärkeitä sekä esikäsittelyssä että mallinnuksessa.
Muuttuja arr_delay on kerroinmuuttuja. Logistisen regressiomallin koulutuksessa tulosmuuttujan on oltava tekijämuuttuja.
glimpse(flight_data)
Noin 16% tämän aineiston lennoista saapuu yli 30 minuuttia myöhässä:
flight_data %>%
count(arr_delay) %>%
mutate(prop = n/sum(n))
Ominaisuudella dest on 104 lentokohdetta:
unique(flight_data$dest)
Erillisiä liikenteenharjoittajia on 16:
unique(flight_data$carrier)
Tietojen jakaminen
Jaa yksittäinen tietojoukko kahdeksi joukoksi: harjoittamisen joukko ja testaus joukko. Säilytä suurin osa alkuperäisen tietojoukon riveistä (satunnaisesti valittuna alijoukkona) harjoitustietojoukossa. Harjoitustietojoukon avulla voit sopia malliin ja mitata mallin suorituskykyä testitietojoukon avulla.
rsample-paketin avulla voit luoda objektin, joka sisältää tietoja tietojen jakamisesta. Luo sitten harjoitus- ja testausjoukoille DataFrame-kehys kahden muun rsample funktion avulla:
set.seed(123)
# Keep most of the data in the training set
data_split <- initial_split(flight_data, prop = 0.75)
# Create DataFrames for the two sets:
train_data <- training(data_split)
test_data <- testing(data_split)
Reseptin ja roolien luominen
Luo resepti yksinkertaiselle logistiselle regressiomallille. Ennen mallin harjoittamista käytä reseptiä uusien ennusteiden luomiseen ja mallin edellyttämän esikäsittelyn suorittamiseen.
Käytä funktiota update_role() mukautetulla roolilla nimeltä ID, jotta reseptit tietävät sen flight ja time_hour ovat muuttujia. Roolilla voi olla mikä tahansa merkkiarvo. Kaava sisältää kaikki harjoitusjoukon muuttujat ennusteina lukuun ottamatta arr_delay. Resepti säilyttää nämä kaksi id-muuttujaa, mutta ei käytä niitä joko tuloksina tai ennustajina:
flights_rec <-
recipe(arr_delay ~ ., data = train_data) %>%
update_role(flight, time_hour, new_role = "ID")
Voit tarkastella nykyisiä muuttujia ja rooleja käyttämällä summary() funktiota:
summary(flights_rec)
Ominaisuuksien luominen
Ominaisuuksien suunnittelu voi parantaa malliasi. Lennon päivämäärällä voi olla kohtuullinen vaikutus myöhäisen saapumisen todennäköisyyteen:
flight_data %>%
distinct(date) %>%
mutate(numeric_date = as.numeric(date))
Se voi auttaa lisäämään mallitermit, jotka on johdettu päivämäärästä ja jotka voivat olla tärkeitä mallille. Johdettu seuraavat merkitykselliset ominaisuudet yksittäisestä päivämäärämuuttujasta:
- Viikon päivä
- Kuukausi
- Vastaako päivämäärä lomaa vai ei
Lisää kolme vaihetta reseptiin:
flights_rec <-
recipe(arr_delay ~ ., data = train_data) %>%
update_role(flight, time_hour, new_role = "ID") %>%
step_date(date, features = c("dow", "month")) %>%
step_holiday(date,
holidays = timeDate::listHolidays("US"),
keep_original_cols = FALSE) %>%
step_dummy(all_nominal_predictors()) %>%
step_zv(all_predictors())
Sovita malli reseptin avulla
Käytä logistista regressiota lentotietojen mallintamiseen. Luo ensin mallimääritys parsnip-paketilla:
lr_mod <-
logistic_reg() %>%
set_engine("glm")
Niputa workflows-mallisi (parsnip) reseptin (lr_mod) kanssa käyttämällä flights_rec -pakettia ):
flights_wflow <-
workflow() %>%
add_model(lr_mod) %>%
add_recipe(flights_rec)
flights_wflow
Harjoita mallia
Tämä funktio voi valmistella reseptin ja harjoittaa mallin tuloksena olevista ennusteista:
flights_fit <-
flights_wflow %>%
fit(data = train_data)
Poimi malli- tai reseptiobjektit työnkulusta xtract_fit_parsnip() ja extract_recipe() apufunktioiden avulla. Tässä esimerkissä nouda asennettu malliobjekti ja käytä sitten broom::tidy() funktiota saadaksesi siistin pyövelin mallikertoimista:
flights_fit %>%
extract_fit_parsnip() %>%
tidy()
Tulosten ennustaminen
Yksi predict() kutsu käyttää harjoitetulla työnkululla (flights_fit) ennusteiden tekemiseen näkymättömillä testitiedoilla.
predict()-menetelmä soveltaa reseptiä uusiin tietoihin ja välittää sitten tulokset varustettuun malliin.
predict(flights_fit, test_data)
Hae tulos predict(), jotta voit palauttaa ennustetun luokan: late verrattuna on_time. Kuitenkin kunkin lennon ennustetuille luokan todennäköisyyksille käytetään augment() mallin kanssa yhdessä testitietojen kanssa niiden tallentamiseksi yhteen:
flights_aug <-
augment(flights_fit, test_data)
Tarkista tiedot:
glimpse(flights_aug)
Mallin arvioiminen
Nyt sinulla on tipu, jossa on ennustetut luokkatodennäköisyydet. Ensimmäisillä riveillä malli ennusti oikein viisi lentoa ajallaan (.pred_on_time arvot ovat p > 0.50). Kuitenkin tarvitset ennusteita yhteensä 81 455 rivistä.
Tarvitset mittarin, joka kertoo, kuinka hyvin malli ennusti myöhäisiä saapujia verrattuna tulosmuuttujan todelliseen tilaan arr_delay .
Käytä mittayksikkönä käyrän vastaanottimen käyttöominaisuus (AUC-ROC) alapuolella olevaa aluetta. Laske se roc_curve()-paketin roc_auc() ja yardstick:
flights_aug %>%
roc_curve(truth = arr_delay, .pred_late) %>%
autoplot()
Luo Power BI -raportti
Mallin tulos näyttää hyvältä. Luo vuorovaikutteinen Power BI -koontinäyttö lennon viiveen ennustetulosten avulla. Koontinäytössä näkyy lentojen määrä lentoyhtiön mukaan ja lentojen määrä kohteen mukaan. Koontinäyttö voi suodattaa viivettä ennustetulosten mukaan.
Sisällytä kantajan nimi ja lentokentän nimi ennustetulostietojoukkoon:
flights_clean <- flights_aug %>%
# Include the airline data
left_join(airlines, c("carrier"="carrier"))%>%
rename("carrier_name"="name") %>%
# Include the airport data for origin
left_join(airports, c("origin"="faa")) %>%
rename("origin_name"="name") %>%
# Include the airport data for destination
left_join(airports, c("dest"="faa")) %>%
rename("dest_name"="name") %>%
# Retain only the specific columns you'll use
select(flight, origin, origin_name, dest,dest_name, air_time,distance, carrier, carrier_name, date, arr_delay, time_hour, .pred_class, .pred_late, .pred_on_time)
Tarkista tiedot:
glimpse(flights_clean)
Muunna tiedot Spark DataFrame -kehykseksi:
sparkdf <- as.DataFrame(flights_clean)
display(sparkdf)
Kirjoita tiedot Lakehousessasi delta-taulukkoon:
# Write data into a delta table
temp_delta<-"Tables/nycflight13"
write.df(sparkdf, temp_delta ,source="delta", mode = "overwrite", header = "true")
Voit luoda semanttisen mallin deltataulukon avulla.
Valitse vasemmassa siirtymisruudussa työtilasi ja kirjoita sitten oikean yläkulman tekstiruutuun muistikirjaasi liitetyn lakehousen nimi. Seuraava kuvakaappaus näyttää, että valitsit Työtilani:
Kirjoita sen lakehousen nimi, jonka kiinnitit muistikirjaasi. Syötä test_lakehouse1, kuten seuraavassa kuvakaappauksessa näkyy:
Valitse suodatetun tuloksen alueella Lakehouse seuraavassa näyttökuvassa esitetyllä tavalla:
Valitse uusi semanttinen malli seuraavassa näyttökuvassa esitetyllä tavalla:
Uuden semanttisen mallin paneelissa syötä uuden semanttisen mallin nimi, valitse työtila ja valitse taulukot, joita käytetään uudelle mallille, ja valitse sitten Vahvista, kuten seuraavassa kuvakaappauksessa näkyy:
Jos haluat luoda uuden raportin, valitse Luo uusi raportti seuraavassa näyttökuvassa esitetyllä tavalla:
Luo raportti valitsemalla tai vetämällä kentät Tieto- ja Visualisoinnit -ruudut raporttipohjaan
Voit luoda tämän osion alussa näkyvän raportin käyttämällä näitä visualisointeja ja tietoja:
-
pinottu palkkikaavio, jossa on: - Y-akseli: carrier_name
- X-akseli: flight. Valitse koosteelle Määrä
- Selite: origin_name
-
pinottu palkkikaavio, jossa on: - Y-akseli: dest_name
- X-akseli: flight. Valitse koosteelle Määrä
- Selite: origin_name
-
osittajaa käyttäen: - Kenttä: _pred_class
-
osittajaa käyttäen: - Kenttä: _pred_late