Opetusohjelma: Lennon viiveen ennustaminen R:n avulla

Tämä opetusohjelma esittelee kokonaisvaltaisen esimerkin Data Science -työnkulusta Microsoft Fabric -ohjelmassa. Se käyttää sekä nycflights13-tietolähdettä että R:ää ennustaakseen, saapuuko kone yli 30 minuuttia myöhässä. Sen jälkeen se käyttää ennustetuloksia vuorovaikutteisen Power BI -koontinäytön luomiseen.

Tässä opetusohjelmassa opit

  • Käytä siistejä paketteja

  • Kirjoita tulostiedot Lakehouse-järjestelmään delta-taulukkona

  • Luo Power BI -visualisointiraportti, jotta voit käyttää suoraan kyseisen lakehousen tietoja

Edellytykset

  • Hanki Microsoft Fabric -tilaus. Voit myös rekisteröityä microsoft fabric -kokeiluversion maksuttomaan .

  • Kirjaudu sisään Microsoft Fabric .

  • Vaihda Fabric-tilaan käyttämällä etusivun vasemmassa alakulmassa olevaa kokemuskytkintä.

    Kuvakaappaus, joka näyttää kankaan valinnan kokemusvaihtovalikossa.

  • Avaa muistikirja tai luo se. Katso ohjeet artikkelista Microsoft Fabric -muistikirjojen käyttäminen.

  • Määritä kieliasetukseksi SparkR (R) - ensisijaisen kielen muuttamiseksi.

  • Liitä muistikirjasi Lakehouseen. Valitse vasemmalla puolella Lisää lisätäksesi olemassa olevan lakehousen tai luodaksesi lakehousen.

Pakettien asentaminen

Asenna nycflights13-paketti, jotta voit käyttää koodia tässä opetusohjelmassa.

install.packages("nycflights13")
# Load the packages
library(tidymodels)      # For tidymodels packages
library(nycflights13)    # For flight data

Tietojen tutkiminen

Data nycflights13 sisältää tietoa 325 819 lennosta, jotka saapuivat lähelle New Yorkia vuonna 2013. Tutki ensin lentojen viivästysten jakautumista. Seuraava koodisolu generoi graafin, joka osoittaa, että saapumisen viivejakauma on oikealle vinoutunut:

ggplot(flights, aes(arr_delay)) + geom_histogram(color="blue", bins = 300)

Sillä on pitkä hännän korkeissa arvoissa, kuten seuraavassa kuvassa esitetään:

Näyttökuva, joka näyttää lennon viivästymisten kaavion.

Lataa tiedot ja tee muuttujiin muutamia muutoksia:

set.seed(123)

flight_data <- 
  flights %>% 
  mutate(
    # Convert the arrival delay to a factor
    arr_delay = ifelse(arr_delay >= 30, "late", "on_time"),
    arr_delay = factor(arr_delay),
    # You'll use the date (not date-time) for the recipe that you'll create
    date = lubridate::as_date(time_hour)
  ) %>% 
  # Include weather data
  inner_join(weather, by = c("origin", "time_hour")) %>% 
  # Retain only the specific columns that you'll use
  select(dep_time, flight, origin, dest, air_time, distance, 
         carrier, date, arr_delay, time_hour) %>% 
  # Exclude missing data
  na.omit() %>% 
  # For creating models, it's better to have qualitative columns
  # encoded as factors (instead of character strings)
  mutate_if(is.character, as.factor)

Ennen mallin rakentamista ota huomioon muutama tarkka muuttuja, jotka ovat tärkeitä sekä esikäsittelyssä että mallinnuksessa.

Muuttuja arr_delay on kerroinmuuttuja. Logistisen regressiomallin koulutuksessa tulosmuuttujan on oltava tekijämuuttuja.

glimpse(flight_data)

Noin 16% tämän aineiston lennoista saapuu yli 30 minuuttia myöhässä:

flight_data %>% 
  count(arr_delay) %>% 
  mutate(prop = n/sum(n))

Ominaisuudella dest on 104 lentokohdetta:

unique(flight_data$dest)

Erillisiä liikenteenharjoittajia on 16:

unique(flight_data$carrier)

Tietojen jakaminen

Jaa yksittäinen tietojoukko kahdeksi joukoksi: harjoittamisen joukko ja testaus joukko. Säilytä suurin osa alkuperäisen tietojoukon riveistä (satunnaisesti valittuna alijoukkona) harjoitustietojoukossa. Harjoitustietojoukon avulla voit sopia malliin ja mitata mallin suorituskykyä testitietojoukon avulla.

rsample-paketin avulla voit luoda objektin, joka sisältää tietoja tietojen jakamisesta. Luo sitten harjoitus- ja testausjoukoille DataFrame-kehys kahden muun rsample funktion avulla:

set.seed(123)
# Keep most of the data in the training set 
data_split <- initial_split(flight_data, prop = 0.75)

# Create DataFrames for the two sets:
train_data <- training(data_split)
test_data  <- testing(data_split)

Reseptin ja roolien luominen

Luo resepti yksinkertaiselle logistiselle regressiomallille. Ennen mallin harjoittamista käytä reseptiä uusien ennusteiden luomiseen ja mallin edellyttämän esikäsittelyn suorittamiseen.

Käytä funktiota update_role() mukautetulla roolilla nimeltä ID, jotta reseptit tietävät sen flight ja time_hour ovat muuttujia. Roolilla voi olla mikä tahansa merkkiarvo. Kaava sisältää kaikki harjoitusjoukon muuttujat ennusteina lukuun ottamatta arr_delay. Resepti säilyttää nämä kaksi id-muuttujaa, mutta ei käytä niitä joko tuloksina tai ennustajina:

flights_rec <- 
  recipe(arr_delay ~ ., data = train_data) %>% 
  update_role(flight, time_hour, new_role = "ID") 

Voit tarkastella nykyisiä muuttujia ja rooleja käyttämällä summary() funktiota:

summary(flights_rec)

Ominaisuuksien luominen

Ominaisuuksien suunnittelu voi parantaa malliasi. Lennon päivämäärällä voi olla kohtuullinen vaikutus myöhäisen saapumisen todennäköisyyteen:

flight_data %>% 
  distinct(date) %>% 
  mutate(numeric_date = as.numeric(date)) 

Se voi auttaa lisäämään mallitermit, jotka on johdettu päivämäärästä ja jotka voivat olla tärkeitä mallille. Johdettu seuraavat merkitykselliset ominaisuudet yksittäisestä päivämäärämuuttujasta:

  • Viikon päivä
  • Kuukausi
  • Vastaako päivämäärä lomaa vai ei

Lisää kolme vaihetta reseptiin:

flights_rec <- 
  recipe(arr_delay ~ ., data = train_data) %>% 
  update_role(flight, time_hour, new_role = "ID") %>% 
  step_date(date, features = c("dow", "month")) %>%               
  step_holiday(date, 
               holidays = timeDate::listHolidays("US"), 
               keep_original_cols = FALSE) %>% 
  step_dummy(all_nominal_predictors()) %>% 
  step_zv(all_predictors())

Sovita malli reseptin avulla

Käytä logistista regressiota lentotietojen mallintamiseen. Luo ensin mallimääritys parsnip-paketilla:

lr_mod <- 
  logistic_reg() %>% 
  set_engine("glm")

Niputa workflows-mallisi (parsnip) reseptin (lr_mod) kanssa käyttämällä flights_rec -pakettia ):

flights_wflow <- 
  workflow() %>% 
  add_model(lr_mod) %>% 
  add_recipe(flights_rec)

flights_wflow

Harjoita mallia

Tämä funktio voi valmistella reseptin ja harjoittaa mallin tuloksena olevista ennusteista:

flights_fit <- 
  flights_wflow %>% 
  fit(data = train_data)

Poimi malli- tai reseptiobjektit työnkulusta xtract_fit_parsnip() ja extract_recipe() apufunktioiden avulla. Tässä esimerkissä nouda asennettu malliobjekti ja käytä sitten broom::tidy() funktiota saadaksesi siistin pyövelin mallikertoimista:

flights_fit %>% 
  extract_fit_parsnip() %>% 
  tidy()

Tulosten ennustaminen

Yksi predict() kutsu käyttää harjoitetulla työnkululla (flights_fit) ennusteiden tekemiseen näkymättömillä testitiedoilla. predict()-menetelmä soveltaa reseptiä uusiin tietoihin ja välittää sitten tulokset varustettuun malliin.

predict(flights_fit, test_data)

Hae tulos predict(), jotta voit palauttaa ennustetun luokan: late verrattuna on_time. Kuitenkin kunkin lennon ennustetuille luokan todennäköisyyksille käytetään augment() mallin kanssa yhdessä testitietojen kanssa niiden tallentamiseksi yhteen:

flights_aug <- 
  augment(flights_fit, test_data)

Tarkista tiedot:

glimpse(flights_aug)

Mallin arvioiminen

Nyt sinulla on tipu, jossa on ennustetut luokkatodennäköisyydet. Ensimmäisillä riveillä malli ennusti oikein viisi lentoa ajallaan (.pred_on_time arvot ovat p > 0.50). Kuitenkin tarvitset ennusteita yhteensä 81 455 rivistä.

Tarvitset mittarin, joka kertoo, kuinka hyvin malli ennusti myöhäisiä saapujia verrattuna tulosmuuttujan todelliseen tilaan arr_delay .

Käytä mittayksikkönä käyrän vastaanottimen käyttöominaisuus (AUC-ROC) alapuolella olevaa aluetta. Laske se roc_curve()-paketin roc_auc() ja yardstick:

flights_aug %>% 
  roc_curve(truth = arr_delay, .pred_late) %>% 
  autoplot()

Luo Power BI -raportti

Mallin tulos näyttää hyvältä. Luo vuorovaikutteinen Power BI -koontinäyttö lennon viiveen ennustetulosten avulla. Koontinäytössä näkyy lentojen määrä lentoyhtiön mukaan ja lentojen määrä kohteen mukaan. Koontinäyttö voi suodattaa viivettä ennustetulosten mukaan.

Näyttökuvassa näkyy palkkikaaviot lentojen määrästä lentoyhtiön mukaan ja lentojen määrästä kohteen mukaan Power BI -raportissa.

Sisällytä kantajan nimi ja lentokentän nimi ennustetulostietojoukkoon:

  flights_clean <- flights_aug %>% 
  # Include the airline data
  left_join(airlines, c("carrier"="carrier"))%>% 
  rename("carrier_name"="name") %>%
  # Include the airport data for origin
  left_join(airports, c("origin"="faa")) %>%
  rename("origin_name"="name") %>%
  # Include the airport data for destination
  left_join(airports, c("dest"="faa")) %>%
  rename("dest_name"="name") %>%
  # Retain only the specific columns you'll use
  select(flight, origin, origin_name, dest,dest_name, air_time,distance, carrier, carrier_name, date, arr_delay, time_hour, .pred_class, .pred_late, .pred_on_time)

Tarkista tiedot:

glimpse(flights_clean)

Muunna tiedot Spark DataFrame -kehykseksi:

sparkdf <- as.DataFrame(flights_clean)
display(sparkdf)

Kirjoita tiedot Lakehousessasi delta-taulukkoon:

# Write data into a delta table
temp_delta<-"Tables/nycflight13"
write.df(sparkdf, temp_delta ,source="delta", mode = "overwrite", header = "true")

Voit luoda semanttisen mallin deltataulukon avulla.

  1. Valitse vasemmassa siirtymisruudussa työtilasi ja kirjoita sitten oikean yläkulman tekstiruutuun muistikirjaasi liitetyn lakehousen nimi. Seuraava kuvakaappaus näyttää, että valitsit Työtilani:

    Näyttökuvassa näkyvät ensimmäiset Lakehouse-valintavaiheet.

  2. Kirjoita sen lakehousen nimi, jonka kiinnitit muistikirjaasi. Syötä test_lakehouse1, kuten seuraavassa kuvakaappauksessa näkyy:

    Näyttökuvassa näkyy tietyn lakehousen valinta.

  3. Valitse suodatetun tuloksen alueella Lakehouse seuraavassa näyttökuvassa esitetyllä tavalla:

    Näyttökuvassa näkyy valittu Lakehouse.

  4. Valitse uusi semanttinen malli seuraavassa näyttökuvassa esitetyllä tavalla:

    Näyttökuvassa näkyy uuden semanttisen mallin luominen.

  5. Uuden semanttisen mallin paneelissa syötä uuden semanttisen mallin nimi, valitse työtila ja valitse taulukot, joita käytetään uudelle mallille, ja valitse sitten Vahvista, kuten seuraavassa kuvakaappauksessa näkyy:

    Näyttökuvassa näkyvät uuden semanttisen mallin parametrit.

  6. Jos haluat luoda uuden raportin, valitse Luo uusi raportti seuraavassa näyttökuvassa esitetyllä tavalla:

    Näyttökuvassa näkyy uuden raportin luominen.

  7. Luo raportti valitsemalla tai vetämällä kentät Tieto- ja Visualisoinnit -ruudut raporttipohjaan

    Näyttökuva, joka näyttää raportin tiedot ja visualisoinnin tiedot.

Voit luoda tämän osion alussa näkyvän raportin käyttämällä näitä visualisointeja ja tietoja:

  1. pinottu palkkikaavio, jossa on:
    1. Y-akseli: carrier_name
    2. X-akseli: flight. Valitse koosteelle Määrä
    3. Selite: origin_name
  2. pinottu palkkikaavio, jossa on:
    1. Y-akseli: dest_name
    2. X-akseli: flight. Valitse koosteelle Määrä
    3. Selite: origin_name
  3. osittajaa käyttäen:
    1. Kenttä: _pred_class
  4. osittajaa käyttäen:
    1. Kenttä: _pred_late