Wprowadzenie

Każde obciążenie usługi Azure Databricks działa na zasobach obliczeniowych, ale wybranie niewłaściwego typu obliczeniowego lub konfiguracji prowadzi do niepotrzebnych kosztów, niskiej wydajności lub zablokowanych funkcji. Bezserwerowe obliczenia rozpoczynają działanie w ciągu kilku sekund, ale nie obsługują interfejsów API RDD. Klasyczne zasoby obliczeniowe oferują pełną elastyczność, ale wymagają większego nakładu pracy związanego z zarządzaniem. Magazyny SQL doskonale radzą sobie z zapytaniami analitycznymi, podczas gdy klastry zadań są zoptymalizowane do zautomatyzowanych przepływów pracy. Zrozumienie tych różnic pomaga dopasować obliczenia do wymagań dotyczących obciążenia.

Oprócz wyboru typu obliczeniowego decyzje konfiguracyjne kształtują sposób, w jaki działa obciążenie. Typy węzłów określają pojemność przetwarzania i dostępność pamięci. Autoskalowanie równoważy koszt i czas odpowiedzi. Kontrola uprawnień dostępu , kto może korzystać z zasobów obliczeniowych, podczas gdy instalacje bibliotek zapewniają zależności wymagane przez kod. Każdy wybór konfiguracji ma wpływ na wiele wymiarów — wydajność, koszty, zabezpieczenia i złożoność operacyjna.

Uzyskiwanie odpowiedniej konfiguracji obliczeniowej ma znaczenie w całym cyklu projektowania. Podczas eksploracji potrzebne są szybkie cykle iteracyjne i minimalny nakład pracy przy konfiguracji. W środowisku produkcyjnym priorytetem jest stabilność i efektywność kosztowa. Przyspieszenie Photon może podwoić wydajność zapytań w przypadku obciążeń SQL. Pule instancji skracają czas uruchamiania, ale wymagają płacenia za niewykorzystaną pojemność. Tryby dedykowanego dostępu umożliwiają bezpieczną współpracę grup podczas wymuszania granic uprawnień.

W tym module dowiesz się, jak systematycznie oceniać opcje obliczeniowe i konfigurować zasoby zgodne z charakterystyką obciążenia. Odkrywasz, kiedy przetwarzanie bezserwerowe zapewnia najlepsze środowisko, sposób dostosowywania ustawień wydajności dla różnych scenariuszy oraz najlepsze rozwiązania dotyczące zarządzania dostępem i zależnościami w całej organizacji.