sparklyr

Usługa Azure Databricks obsługuje sparklyr w notesnikach, zadaniach i programie RStudio Desktop. W tym artykule opisano sposób używania interfejsu sparklyr i przedstawiono przykładowe skrypty, które można uruchomić. Aby uzyskać więcej informacji, zobacz Interfejs języka R na platformie Apache Spark .

Wymagania

Usługa Azure Databricks udostępnia najnowszą stabilną wersję sparklyr wraz z każdą kolejną wersją Databricks Runtime. Możesz użyć interfejsu sparklyr w notesach języka R usługi Azure Databricks lub w programie RStudio Server hostowanym w usłudze Azure Databricks, importując zainstalowaną wersję interfejsu sparklyr.

W programie RStudio Desktop usługa Databricks Connect umożliwia łączenie interfejsu sparklyr z komputera lokalnego z klastrami usługi Azure Databricks i uruchamianie kodu platformy Apache Spark. Zobacz Use sparklyr and RStudio Desktop with Databricks Connect (Używanie interfejsu sparklyr i programu RStudio Desktop z usługą Databricks Connect).

Połączyć sparklyr z klastrami usługi Azure Databricks

Aby ustanowić połączenie sparklyr, można użyć "databricks" jako metody połączenia w pliku spark_connect(). Nie są potrzebne żadne dodatkowe parametry spark_connect(), ani nie ma potrzeby wywoływania spark_install(), ponieważ platforma Spark jest już zainstalowana w klastrze usługi Azure Databricks.

# Calling spark_connect() requires the sparklyr package to be loaded first.
library(sparklyr)

# Create a sparklyr connection.
sc <- spark_connect(method = "databricks")

Paski postępu i Spark UI w sparklyr

Jeśli przypiszesz obiekt połączenia sparklyr do zmiennej o nazwie sc, jak w powyższym przykładzie, po każdym poleceniu uruchamiającym zadania Spark zobaczysz w notatniku paski postępu Spark. Ponadto możesz kliknąć link obok paska postępu, aby wyświetlić interfejs użytkownika platformy Spark skojarzony z danym zadaniem platformy Spark.

Użyj sparklyr

Po zainstalowaniu interfejsu sparklyr i nawiązaniu połączenia wszystkie inne interfejsy API sparklyr działają normalnie. Zobacz przykładowy notatnik, aby zobaczyć kilka przykładów.

sparklyr jest zwykle używany wraz z innymi pakietami tidyverse, takimi jak dplyr. Większość tych pakietów jest wstępnie zainstalowanych w środowisku Databricks dla wygody użytkownika. Możesz je po prostu zaimportować i rozpocząć korzystanie z interfejsu API.

Używaj sparklyr i SparkR razem

SparkR i sparklyr można używać razem w jednym notebooku lub zadaniu. Możesz zaimportować pakiet SparkR wraz z pakietem sparklyr i korzystać z funkcji SparkR. W notesach usługi Azure Databricks połączenie SparkR jest wstępnie skonfigurowane.

Niektóre funkcje w pakiecie SparkR maskują pewne funkcje w pakiecie dplyr:

> library(SparkR)
The following objects are masked from 'package:dplyr':

arrange, between, coalesce, collect, contains, count, cume_dist,
dense_rank, desc, distinct, explain, filter, first, group_by,
intersect, lag, last, lead, mutate, n, n_distinct, ntile,
percent_rank, rename, row_number, sample_frac, select, sql,
summarize, union

Jeśli zaimportujesz usługę SparkR po zaimportowaniu programu dplyr, możesz odwołać się do funkcji w programie dplyr przy użyciu w pełni kwalifikowanych nazw, na przykład dplyr::arrange(). Podobnie, jeśli zaimportujesz pakiet dplyr po pakiecie SparkR, funkcje pakietu SparkR zostaną przesłonięte przez dplyr.

Alternatywnie można selektywnie odłączyć jeden z dwóch pakietów, gdy nie jest potrzebny.

detach("package:dplyr")

Zobacz też Porównanie platform SparkR i sparklyr.

Używanie pakietu sparklyr w zadaniach spark-submit

Skrypty używające pakietu sparklyr można uruchamiać w usłudze Azure Databricks jako zadania spark-submit po wprowadzeniu niewielkich zmian w kodzie. Niektóre z powyższych instrukcji nie mają zastosowania do korzystania z pakietu sparklyr w zadaniach spark-submit w usłudze Azure Databricks. W szczególności należy podać adres URL Spark Master do spark_connect. Na przykład:

library(sparklyr)

sc <- spark_connect(method = "databricks", spark_home = "<spark-home-path>")
...

Nieobsługiwane funkcje

Usługa Azure Databricks nie obsługuje metod sparklyr, takich jak spark_web() i spark_log() , które wymagają przeglądarki lokalnej. Jednak ponieważ interfejs użytkownika platformy Spark jest wbudowany w usłudze Azure Databricks, możesz łatwo sprawdzać zadania i dzienniki platformy Spark. Zobacz Dzienniki sterownika obliczeń i procesów roboczych.

Przykładowy notatnik: demonstracja sparklyr

Notatnik Sparklyr

Pobierz laptopa

Aby uzyskać dodatkowe przykłady, zobacz Praca z ramkami danych i tabelami w języku R.