Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Połącz zasoby lokalne z Azure Databricks bez otwierania dostępu do zapory dla ruchu przychodzącego. Host tunelu lokalnego otwiera wychodzące połączenie SSH z maszynami wirtualnymi serwera proxy (VM) w Azure, umożliwiając Azure Databricks klasycznym i bezserwerowym zasobom obliczeniowym dotarcie do zasobów lokalnych.
Jak to działa
Tunel zwrotny SSH umożliwia hostowi tunelu lokalnego otwieranie wychodzących połączeń SSH z maszynami wirtualnymi serwera proxy w chmurze w Azure. Azure Databricks łączy się z maszynami wirtualnymi proxy za pośrednictwem równoważnika obciążenia, a ruch jest kierowany z powrotem przez tunel do zasobu lokalnego. Sieć lokalna wymaga tylko wychodzącego protokołu SSH (port 22) do Azure, więc żadne porty przychodzące nie są wymagane.
W tunelu odwrotnym host znajdujący się na miejscu inicjuje połączenie wychodzące (lokalnie do chmury), aby uniknąć naruszenia ograniczeń zapory, a ruch powrotny (chmura do lokalnego) przebiega przez ustanowioną ścieżkę.
Klasyczne usługi obliczeniowe łączą się z maszynami wirtualnymi serwera proxy za pośrednictwem peeringu. Przetwarzanie bezserwerowe dociera do nich za pośrednictwem prywatnego połączenia punktu końcowego przy użyciu prywatnej usługi łączności dostawcy usług w chmurze.
Uwaga / Notatka
Jest to rozwiązanie zarządzane samodzielnie. Konfigurujesz i utrzymujesz maszyny wirtualne serwera proxy oraz hosta tunelu na miejscu.
Wymagane i opcjonalne składniki
Uwaga / Notatka
Ta konfiguracja wymaga dedykowanego obwodu sieciowego między środowiskiem chmury a siecią lokalną. Ten obwód umożliwia hostowi tunelu lokalnego inicjowanie wychodzącego protokołu SSH do prywatnych adresów IP maszyn wirtualnych serwera proxy. Typowe opcje obejmują usługę ExpressRoute lub tunel VPN.
Wymagane (minimalna konfiguracja robocza):
- Host tunelu na miejscu, działający
autosshw celu ustanowienia wychodzącego połączenia SSH. - Jedna maszyna wirtualna pełniąca rolę serwera proxy w chmurze uruchomiona
socatw celu przyjęcia tunelu i udostępnienia portu zasobu na swoim interfejsie sieciowym. - Ścieżka sieciowa z Azure Databricks do maszyny wirtualnej proxy.
- Classic compute: komunikacja równorzędna między siecią wirtualną Azure Databricks a siecią wirtualną koncentratora proxy.
- Komputery bezserwerowe: połączenie z prywatnym punktem końcowym wykorzystującym prywatną usługę łączności Twojego dostawcy chmury oraz konfigurację łączności sieciowej (NCC) z regułą prywatnego punktu końcowego.
- Oba typy obliczeń: skonfiguruj obie ścieżki.
Pojedyncza maszyna wirtualna serwera proxy bez modułu równoważenia obciążenia jest wystarczająca do programowania i testowania.
Opcjonalnie (dodaje wysoką dostępność i niezawodność produkcyjną):
- Dodatkowe maszyny wirtualne serwera proxy dla redundantności.
- Moduł równoważenia obciążenia przed maszynami wirtualnymi proxy. Zapewnia stabilny punkt końcowy i automatyczne przejście w tryb failover w przypadku niepowodzenia tunelu.
- Usługa sprawdzania kondycji HTTP na każdej maszynie wirtualnej proxy. Dzięki temu moduł równoważenia obciążenia może wykrywać błędy na poziomie tunelu, a nie tylko dostępność maszyny wirtualnej lub portu.
Azure Databricks zaleca tę konfigurację, ale dostosuj ją do wymagań dotyczących środowiska i zabezpieczeń.
Koncentrator tunelowego serwera proxy
Centrum proxy składa się z następujących składników.
-
Maszyny wirtualne serwera proxy (co najmniej dwa w celu zapewnienia wysokiej dostępności). Każda maszyna wirtualna serwera proxy uruchamia trzy usługi:
-
sshd: demon SSH akceptuje przychodzące tunele odwrotne z hosta tunelu lokalnego i umieszcza odbiornik tunelu na
localhost(na przykładlocalhost:13306w przypadku programu MySQL). -
socat: łączy interfejs sieciowy maszyny wirtualnej z odbiornikiem tunelu (na przykład
NIC:3306 → localhost:13306), aby ruch z Azure Databricks mógł dotrzeć do punktu końcowego tunelu. - Usługa sprawdzania kondycji HTTP: zwraca błąd HTTP 200, gdy tunel jest aktywny i HTTP 503, gdy nie jest. Zwykła sonda TCP wykrywa tylko, czy socat nasłuchuje; sonda HTTP na poziomie aplikacji wykrywa martwy tunel nawet wtedy, gdy serwer socat jest nadal uruchomiony.
-
sshd: demon SSH akceptuje przychodzące tunele odwrotne z hosta tunelu lokalnego i umieszcza odbiornik tunelu na
-
Moduł równoważenia obciążenia:
- Frontend: Prywatny adres IP w podsieci proxy.
- Pula zaplecza: wszystkie maszyny wirtualne serwera proxy.
- Reguła równoważenia obciążenia: tcp na porcie zasobu (na przykład port 3306 dla programu MySQL).
- Sonda kondycji: http GET względem punktu końcowego sprawdzania kondycji na każdej maszynie wirtualnej serwera proxy. Zalecanym punktem wyjścia jest 5-sekundowy interwał po 2 kolejnych niepowodzeniach oznaczających złą kondycję maszyny wirtualnej — dostosuj do swojej tolerancji odzyskiwania.
- Prywatna usługa łączności (wymagana dla przetwarzania bezserwerowego): dołączona do frontu modułu równoważenia obciążenia z dedykowaną podsiecią NAT. Azure używa usługi Private Link Service (PLS).
-
Host tunelu lokalnego: uruchamia jeden proces na maszynę wirtualną
autosshserwera proxy. Jednoautosshpołączenie obsługuje wiele-Rprzekierowań portów (jedno połączenie SSH, wiele tuneli) dla ustawień z wieloma zasobami. Użyj usług systemd z programemRestart=always. Tunele interakcyjne kończą się logowaniem i nie są odpowiednie dla środowiska produkcyjnego.
Konfigurowanie usługi Azure Databricks
Utwórz połączenie z lokalnym zasobem za pomocą adresu IP frontonu modułu Load Balancer. Wybierz zakładkę dla swojego typu obliczeniowego.
Uwaga / Notatka
W poniższych przykładach użyto bazy danych MySQL. W przypadku innych baz danych zastąp typ połączenia, port i współrzędną Maven sterownika JDBC.
Obliczenia klasyczne
Przed nawiązaniem połączenia upewnij się, że peering między siecią wirtualną centrum proxy a siecią wirtualną obszaru roboczego Azure Databricks jest aktywny. Następnie użyj prywatnego adresu IP interfejsu równoważnika obciążenia w konfiguracji połączenia.
CREATE CONNECTION mysql_onprem TYPE mysql
OPTIONS (
host '<lb-frontend-ip>',
port '3306',
user '<db-user>',
password '<db-password>'
);
CREATE FOREIGN CATALOG onprem_catalog
USING CONNECTION mysql_onprem
OPTIONS (database '<db-name>');
Zapytania kończą się niepowodzeniem w trybie dostępu współdzielonego, ponieważ izolacja modułu ładującego klasy uniemożliwia wykonawcom uzyskiwanie dostępu do sterowników JDBC opartych na narzędziu Maven. Użyj trybu dostępu pojedynczego użytkownika, aby sprawdzić, czy sterownik jest dostępny w całym klastrze. Przed utworzeniem połączenia dodaj współrzędne Maven sterownika JDBC (mysql:mysql-connector-java:8.0.33) do listy dozwolonych artefaktów w Unity Catalog za pomocą narzędzia Catalog Explorer lub interfejsu API REST list dozwolonych artefaktów. Zobacz Dodawanie współrzędnych narzędzia Maven do listy dozwolonych.
Bezserwerowe obliczenia
Jako administrator konta przejdź do konsoli konta.
Na pasku bocznym kliknij pozycję Zabezpieczenia.
Kliknij pozycję Konfiguracje łączności sieciowej i utwórz kontroler sieci dla regionu obszaru roboczego.
Dodaj regułę prywatnego punktu końcowego w NCC i wprowadź identyfikator zasobu usługi.
Dołącz NCC do przestrzeni roboczej i poczekaj 10–15 minut na propagację.
Zatwierdź połączenie prywatnego punktu końcowego w prywatnej usłudze łączności:
az network private-link-service connection update \ --service-name <pls-name> \ --resource-group <rg> \ --name "<connection-name>" \ --connection-status ApprovedUtwórz połączenie przy użyciu domeny prywatnego punktu końcowego:
CREATE CONNECTION mysql_onprem_serverless TYPE mysql OPTIONS ( host '<pe-domain>', port '3306', user '<db-user>', password '<db-password>' );
Przycisk Test Connection w interfejsie użytkownika Azure Databricks nie działa w przypadku połączeń prywatnych punktów końcowych. Pomiń go i utwórz połączenie bezpośrednio.
Lakeflow Connect CDC
Brama usługi Lakeflow Connect działa na klasycznym środowisku obliczeniowym w sieci wirtualnej obszaru roboczego i dociera do maszyn wirtualnych serwera proxy za pośrednictwem komunikacji równorzędnej. Użyj prywatnego adresu IP interfejsu modułu równoważenia obciążenia jako hosta połączenia, zamiast adresu IP pojedynczej maszyny wirtualnej serwera proxy. Zobacz Wysoka dostępność i odporność przepływu.
Przed utworzeniem potoku CDC wykonaj następujące kroki dla silnika bazy danych:
Włącz rejestrowanie zmian: skonfiguruj bazę danych, aby rejestrować zmiany na poziomie wiersza (na przykład rejestrowanie binarne w programie MySQL, replikacja logiczna w usłudze PostgreSQL lub dodatkowe rejestrowanie w programie Oracle).
Udziel uprawnień replikacji: podaj użytkownikowi potoku uprawnienia wymagane do odczytu dzienników zmian i wykonywania migawek. Zapoznaj się z dokumentacją łącznika dotyczącą określonej bazy danych.
Ustaw przechowywanie dzienników: skonfiguruj przechowywanie dzienników na co najmniej siedem dni. Jeśli brama CDC jest w trybie offline, kiedy dzienniki wygasną, potok musi wykonać ponowne przechwytywanie migawki wszystkich tabel źródłowych.
Aby uzyskać informacje o konfiguracji specyficznej dla aparatu, zobacz dokumentację łącznika Lakeflow Connect.
Wysoka dostępność i odporność potoku
W przypadku co najmniej dwóch maszyn wirtualnych serwera proxy w puli zapleczowej, awaria tunelu w jednej instancji nie przerywa działania usługi. Jeśli tunel zakończy się niepowodzeniem, usługa sprawdzania kondycji zwróci błąd HTTP 503. Następnie moduł równoważenia obciążenia zatrzymuje routing nowych połączeń z maszyną wirtualną w ciągu około 10 sekund.
Uwaga / Notatka
Użyj adresu IP frontonu modułu równoważenia obciążenia w parametry połączenia, a nie adresu IP pojedynczej maszyny wirtualnej serwera proxy. Jeśli tunel przestaje działać, moduł równoważenia obciążenia automatycznie przekierowuje ruch bez ręcznej interwencji lub przestoju w działaniu.
| Scenariusz awarii | Bez sprawdzania kondycji aplikacji | Sprawdzanie kondycji aplikacji |
|---|---|---|
| Maszyna wirtualna serwera proxy przestaje odpowiadać | Moduł równoważenia obciążenia wykrywa → przełączenie awaryjne | Moduł równoważenia obciążenia wykrywa → przełączenie awaryjne |
| Przekierowywanie portów zatrzymane | Moduł równoważenia obciążenia wykrywa → przełączenie awaryjne | Moduł równoważenia obciążenia wykrywa → przełączenie awaryjne |
| Tunel SSH kończy się niepowodzeniem, uruchomiono usługę przesyłania dalej portów | Moduł równoważenia obciążenia nie może wykryć → sporadycznych błędów | Moduł równoważenia obciążenia wykrywa tryb failover (HTTP 503) → |
W przypadku pipeline'ów CDC w Lakeflow Connect ustaw przechowywanie logów binarnych na co najmniej 7 dni. Jeśli brama CDC jest offline w momencie wygaśnięcia dzienników binarnych, potok musi wykonać ponowne pełne przechwycenie wszystkich tabel źródłowych.
Znane ograniczenia
To rozwiązanie ma następujące ograniczenia.
- Każdy zasób lokalny wymaga odrębnego mapowania portów na każdej maszynie wirtualnej serwera proxy. W przypadku wielu zasobów tego samego typu na tym samym porcie domyślnym użyj różnych portów w interfejsie sieciowym maszyny wirtualnej serwera proxy (na przykład 3306, 3307 lub 3308) lub użyj oddzielnych maszyn wirtualnych serwera proxy.
- Należy konfigurować i obsługiwać maszyny wirtualne dla serwera proxy oraz hosta tunelu lokalnego.
- Moduł równoważenia obciążenia blokuje domyślną wychodzącą łączność internetową dla maszyn wirtualnych w puli zaplecza. Zainstaluj wymagane pakiety przed dodaniem maszyn wirtualnych do puli.
- Przycisk Test Connection w interfejsie użytkownika Azure Databricks nie działa w przypadku połączeń prywatnych punktów końcowych.
- W trybie współdzielonego dostępu biblioteki JDBC Maven są dostępne tylko na węźle sterującym. Użyj trybu dostępu pojedynczego użytkownika dla obciążeń JDBC.