Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Skonfiguruj obliczenia bezserwerowe lub klasyczne dla zadań w zadaniu lakeflow i wybierz odpowiedni typ dla każdego zadania.
Ważne
Ograniczenia dotyczące przetwarzania bezserwerowego dla zadań obejmują następujące elementy:
-
Ciagłe harmonogramowanie jest obsługiwane tylko w przypadku ograniczonych wyzwalaczy Structured Streaming, takich jak
Trigger.AvailableNow. Zobacz Uruchamianie zadań w sposób ciągły. - Brak obsługi domyślnych lub opartych na czasie wyzwalaczy interwałów w Strumieniowaniu Strukturalnym.
Aby uzyskać więcej ograniczeń, zobacz Ograniczenia obliczeń bezserwerowych.
Każda praca może mieć jedno lub więcej zadań. Należy zdefiniować zasoby obliczeniowe dla każdego zadania. Wiele zadań zdefiniowanych dla tego samego zadania może używać tego samego zasobu obliczeniowego.
Zalecane obliczenia dla każdego zadania
W poniższej tabeli przedstawiono zalecane i obsługiwane typy obliczeń dla każdego typu zadania.
Uwaga
Bezserwerowe obliczenia dla zadań mają ograniczenia i nie obsługują wszystkich obciążeń. Zobacz Ograniczenia obliczeń bezserwerowych.
| Zadanie | Zalecane obliczenia | Obsługiwane zasoby obliczeniowe |
|---|---|---|
| Notebooks | Zadania bezserwerowe | Zadania bezserwerowe, zadania klasyczne, klasyczne zadania ogólnego przeznaczenia |
| Skrypt języka Python | Zadania bezserwerowe | Zadania bezserwerowe, zadania klasyczne, klasyczne zadania ogólnego przeznaczenia |
| Koło języka Python | Zadania bezserwerowe | Zadania bezserwerowe, zadania klasyczne, klasyczne zadania ogólnego przeznaczenia |
| SQL | Bezserwerowa usługa SQL Warehouse | Bezserwerowy Magazyn SQL, zaawansowany Magazyn SQL |
| Potoki danych Lakeflow | Potok bezserwerowy | Potok bezserwerowy, potok klasyczny |
| dbt | Bezserwerowa usługa SQL Warehouse | Bezserwerowy Magazyn SQL, zaawansowany Magazyn SQL |
| Polecenia interfejsu wiersza polecenia dbt | Zadania bezserwerowe | Zadania bezserwerowe, zadania klasyczne, klasyczne zadania ogólnego przeznaczenia |
| JAR | Zadania klasyczne | Klasyczne prace, uniwersalne klasyki |
| Przesyłanie zadań Spark | Zadania klasyczne | Zadania klasyczne |
Cennik zadań Lakeflow jest powiązany z mocą obliczeniową używaną do uruchamiania zadań. Aby uzyskać więcej informacji, zobacz Cennik usługi Databricks.
Konfigurowanie obliczeń dla zadań
Obliczenia zadań klasycznych są konfigurowane bezpośrednio z interfejsu użytkownika zadań lakeflow, a te konfiguracje są częścią definicji zadania. Wszystkie inne dostępne typy obliczeniowe przechowują swoje konfiguracje z innymi aktywami obszaru roboczego. Poniższa tabela zawiera więcej szczegółów:
| Typ środowiska obliczeniowego | Szczegóły |
|---|---|
| Obliczenia dotyczące klasycznych zadań | Obliczenia dla zadań klasycznych można skonfigurować przy użyciu tego samego interfejsu użytkownika i ustawień dostępnych dla obliczeń wszystkich celów. Zobacz Informacje o konfiguracji obliczeniowej. |
| Bezserwerowe obliczenia dla zadań | Bezserwerowe obliczenia dla zadań są domyślne dla wszystkich zadań, które je obsługują. Usługa Databricks zarządza ustawieniami obliczeniowymi dla bezserwerowych obliczeń. Zobacz Run your Lakeflow Jobs with serverless compute for workflows (Uruchamianie zadań lakeflow z bezserwerowymi obliczeniami dla przepływów pracy). |
| Magazyny SQL | Bezserwerowe i profesjonalne magazyny danych SQL są konfigurowane przez administratorów obszaru roboczego lub użytkowników z uprawnieniami do nieograniczonego tworzenia klastrów. Konfigurujesz zadania do uruchamiania względem istniejących hurtowni SQL. Zobacz Nawiązywanie połączenia z usługą SQL Warehouse. |
| Obliczenia dla potoków Lakeflow | Podczas konfigurowania potoków Lakeflow konfigurujesz ustawienia zasobów obliczeniowych. Zobacz Konfigurowanie klasycznych obliczeń dla potoków. Azure Databricks zarządza zasobami obliczeniowymi dla bezserwerowych potoków Lakeflow. Zobacz Jak skonfigurować potok bezserwerowy. |
| Obliczenia ogólnego przeznaczenia | Opcjonalnie można skonfigurować zadania przy użyciu klasycznych obliczeń ogólnego przeznaczenia. Usługa Databricks nie zaleca tej konfiguracji dla zadań produkcyjnych. Zobacz Informacje o konfiguracji obliczeniowej i Ograniczone wyjątki. |
W przypadku obsługiwanych zadań uruchamianych w klasycznym zasobie obliczeniowym, w którym używany jest tryb zależności Environments, zarządzaj zależnościami za pomocą specyfikacji środowiska zadania zamiast ustawienia zadania Dependent libraries. Zobacz Używanie środowisk w zadaniu.
Udostępnianie zasobów obliczeniowych między zadaniami
Skonfiguruj zadania tak, aby używały tych samych zasobów obliczeniowych w celu optymalizacji wykorzystania zasobów przy pomocą zadań, które zarządzają wieloma zadaniami. Udostępnianie zasobów obliczeniowych między zadaniami może zmniejszyć opóźnienie związane z czasem uruchamiania.
Za pomocą pojedynczego zasobu obliczeniowego zadania można uruchamiać wszystkie zadania, które są częścią zadania lub wiele zasobów zadań zoptymalizowanych pod kątem określonych obciążeń. Wszystkie obliczenia zadań skonfigurowane jako część zadania są dostępne dla wszystkich innych zadań w zadaniu.
W poniższej tabeli przedstawiono różnice między obliczeniami zadań skonfigurowanymi dla pojedynczego zadania i obliczeniami zadań współużytkowanych między zadaniami:
| Jedno zadanie | Współużytkowany między zadaniami | |
|---|---|---|
| Rozpocznij | Po rozpoczęciu uruchamiania zadania. | Kiedy rozpoczyna się pierwsze uruchomienie zadania skonfigurowanego do korzystania z zasobu obliczeniowego. |
| Zakończ | Po uruchomieniu zadania. | Po zakończeniu wykonywania zadania skonfigurowanego do korzystania z zasobów obliczeniowych. |
| Bezczynne obliczenia | Nie dotyczy. | Funkcjonalność obliczeniowa pozostaje włączona i w stanie bezczynności, gdy zadania, które nie korzystają z zasobów obliczeniowych, są uruchamiane. |
Wspólny klaster zadań jest ograniczony do jednego uruchomienia zadania i nie może być używany przez inne zadania lub uruchomienia tego samego zadania.
Nie można zadeklarować bibliotek w konfiguracji współdzielonego klastra zadań. Dodaj zależności do ustawienia zadań bibliotek zależnych dla obliczeń korzystających z trybu bibliotek klastrowych lub do specyfikacji środowiska zadaniowego dla klasycznego zasobu obliczeniowego korzystającego z trybu zależności środowisk .
Stan współdzielonego sterownika między zadaniami
Gdy wiele zadań współużytkuje zasób obliczeniowy zadań, zadania są uruchamiane na tym samym sterowniku JVM. Stan klasy i singletony są utrwalane w zadaniach przez czas trwania uruchomienia zadania. W przypadku większości obciążeń jest to przezroczyste, ale należy pamiętać o następujących konsekwencjach:
- Singletony i obiekty towarzyszące języka Scala są współużytkowane pomiędzy zadaniami. Stan zmienny w obiekcie towarzyszącym Scala jest zachowywany między zadaniami uruchamianymi na tym samym współdzielonym klastrze. Jeśli zadania równoległe odczytują lub zapisują do tej samej zmiennej obiektu towarzyszącego, wartość jednego zadania może nadpisać wartość innego. Aby zapoznać się z działającym przykładem, zobacz artykuł w Bazie Wiedzy Wielozadaniowe przepływy pracy przy użyciu nieprawidłowych wartości parametrów.
- Biblioteki ładowane przez jedno zadanie pozostają dostępne dla kolejnych zadań przez czas trwania uruchomienia zadania.
Jeśli kod wymaga izolacji na poziomie zadania, użyj jednego z następujących metod:
- Skonfiguruj każde zadanie tak, aby korzystało z oddzielnego zasobu obliczeniowego dla zadań.
- Dodaj jawne zależności zadań, aby zadania działały sekwencyjnie, a nie równolegle.
- Refaktoryzuj kod, aby uniknąć polegania na pojedynczym lub udostępnionym stanie modyfikowalnym. Na przykład jawne przekazywanie parametrów do każdej funkcji zamiast odczytywania ich z obiektu towarzyszącego.
Przeglądanie, konfigurowanie i zamiana zadań obliczeniowych
Sekcja Obliczenia w okienku Szczegóły zadania zawiera listę wszystkich zasobów obliczeniowych skonfigurowanych dla zadań w bieżącym zadaniu.
Zadania skonfigurowane do używania zasobu obliczeniowego są wyróżnione na wykresie zadań po umieszczeniu wskaźnika myszy na specyfikacji obliczeniowej.
Użyj przycisku Zamień, aby zmienić obliczenia dla wszystkich zadań skojarzonych z zasobem obliczeniowym.
Zasoby obliczeniowe zadań klasycznych mają opcję Konfiguruj . Inne zasoby obliczeniowe udostępniają opcje wyświetlania i modyfikowania szczegółów konfiguracji obliczeniowej.
Dodatkowe zasoby
Aby uzyskać dodatkowe informacje na temat konfigurowania zadań klasycznych Azure Databricks, zobacz Configure classic compute for Lakeflow Jobs (Konfigurowanie klasycznych obliczeń dla zadań lakeflow).