Zalecenia dotyczące sieci dla usługi Lakehouse Federation

Lakehouse Federation wymaga ścieżki sieciowej między klastrami Azure Databricks lub magazynami SQL a zewnętrznym systemem baz danych, do którego się łączysz. Ta strona wyjaśnia, jak skonfigurować to połączenie, gdy którakolwiek ze stron ma ograniczenia dostępu do sieci lub korzysta z niestandardowego serwera DNS.

Podczas konfigurowania łączności sieciowej dla usługi Lakehouse Federation należy wziąć pod uwagę następujące kwestie:

• Cały ruch sieciowy dla zapytań federacyjnych odbywa się bezpośrednio między klastrami Azure Databricks (lub magazynami SQL) a zewnętrznym systemem bazy danych. Ani Unity Catalog, ani warstwa sterowania Azure Databricks nie znajdują się na ścieżce ruchu sieciowego.
• Połączenia korzystające z protokołu OAuth mają dodatkowe wymaganie. Po uwierzytelnieniu połączenia za pomocą protokołu OAuth wymiana tokenów OAuth odbywa się z płaszczyzny sterowania Azure Databricks, a nie z płaszczyzny obliczeniowej. Warstwa sterowania musi mieć możliwość dostępu do punktu końcowego OAuth systemu zewnętrznego. Dodanie do listy dozwolonych tylko warstwy obliczeniowej nie jest wystarczające dla tych połączeń. Wymagania specyficzne dla konektorów znajdziesz w Wymaganiach OAuth dotyczących punktów końcowych w ograniczeniach federacji zapytań Snowflake oraz Utwórz połączenie SQL Server.
• Zasoby obliczeniowe usługi Azure Databricks (czyli klastry i magazyny SQL) są zawsze wdrażane w chmurze, ale zewnętrzny system baz danych może być lokalnie lub hostowany u dowolnego dostawcy chmury, o ile istnieje realna ścieżka sieciowa między obliczeniami usługi Azure Databricks a zewnętrzną bazą danych.
• Jeśli masz ograniczenia dotyczące ruchu przychodzącego lub wychodzącego sieci obliczeniowej usługi Azure Databricks lub zewnętrznego systemu bazy danych, zapoznaj się z poniższymi sekcjami, aby uzyskać ogólne wskazówki ułatwiające utworzenie realnej ścieżki sieciowej.

Aby uzyskać więcej informacji na temat sieci w obszarach roboczych usługi Azure Databricks, zobacz Sieć.

System baz danych i Azure Databricks są dostępne z Internetu.

Połączenie powinno działać bez żadnej konfiguracji.

System bazy danych ma ograniczenia dostępu do sieci

Jeśli zewnętrzny system bazy danych ma ograniczenia dostępu do sieci przychodzącej lub wychodzącej, a klaster usługi Azure Databricks lub usługa SQL Warehouse jest dostępna z Internetu, skonfiguruj jedno z następujących rozwiązań sieciowych w celu nawiązania połączenia z klasycznych zasobów obliczeniowych:

• Stabilny adres IP wychodzącego ruchu w ramach obliczeń usługi Azure Databricks.

  Z klasycznego środowiska obliczeniowego skonfiguruj stabilny adres IP z modułem równoważenia obciążenia, bramą NAT, bramą internetową lub innym równoważnym urządzeniem, i połącz go z podsiecią, w której środowisko obliczeniowe usługi Azure Databricks jest wdrażane. Dzięki temu zasób obliczeniowy może współdzielić stabilny publiczny adres IP, który można umieścić na liście dozwolonych po stronie zewnętrznej bazy danych.

• Usługa Private Link (tylko wtedy, gdy zewnętrzna baza danych znajduje się w tej samej chmurze co obliczenia usługi Azure Databricks)

  Z klasycznej płaszczyzny obliczeniowej skonfiguruj połączenie usługi Private Link między siecią, w której jest wdrażana baza danych, a siecią, w której jest wdrażane środowisko obliczeniowe usługi Azure Databricks.

Z poziomu bezserwerowej płaszczyzny obliczeniowej jest obsługiwany łącznik Azure Private Link dla łącznika programu SQL Server. Zobacz Tworzenie reguł dla prywatnego punktu końcowego.

Środowisko obliczeniowe usługi Azure Databricks ma ograniczenia dostępu do sieci

Jeśli zewnętrzny system bazy danych jest dostępny z Internetu, a środowisko obliczeniowe usługi Azure Databricks ma ograniczenia dostępu do sieci przychodzącej lub wychodzącej (co jest możliwe tylko w przypadku korzystania z sieci zarządzanej przez klienta), wykonaj jedną z następujących konfiguracji:

• Zezwól na nazwę hosta zewnętrznej bazy danych w regułach zapory sieciowej podsieci, w której wdrażana jest usługa Azure Databricks.

  Jeśli zdecydujesz się umieścić na liście dozwolonych zewnętrzny adres IP bazy danych zamiast nazwy hosta, upewnij się, że zewnętrzna baza danych ma stabilny adres IP.

• Usługa Private Link (tylko wtedy, gdy zewnętrzna baza danych znajduje się w tej samej chmurze co środowisko obliczeniowe usługi Azure Databricks)

  Skonfiguruj połączenie usługi Private Link między siecią, w której jest wdrażana baza danych, a siecią, w której jest wdrażane środowisko obliczeniowe usługi Azure Databricks.

Usługa obliczeniowa Azure Databricks posiada niestandardowy serwer DNS

Jeśli zewnętrzny system baz danych jest dostępny z Internetu, a mechanizm obliczeniowy Azure Databricks ma niestandardowy serwer DNS (co jest możliwe tylko przy korzystaniu z sieci zarządzanej przez klienta), dodaj nazwę hosta systemu bazy danych do niestandardowego serwera DNS, aby możliwe było jego rozwiązanie.

Sieci dla konkretnych łączników

Niektóre złącza mają wymagania sieciowe wykraczające poza ogólne wytyczne na tej stronie, takie jak wymagane punkty końcowe, kontrole łączności czy opcje prywatnej łączności. Szczegóły znajdziesz w sekcji sieciowej na odpowiedniej stronie połączenia:

• Google BigQuery
• Snowflake