Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Program Lakeflow Connect udostępnia wzorce i techniki optymalizacji zarządzanych potoków pozyskiwania. Użyj tych wzorców, aby kontrolować, które dane są pozyskiwane, zarządzać aktualizacjami potoków i konfigurować zaawansowane zachowania.
Nie wszystkie łączniki obsługują typowe wzorce w tej sekcji.
| Temat | Description |
|---|---|
| wybór kolumny | Wybierz lub wyklucz określone kolumny przy pozyskiwaniu danych, aby zmniejszyć ilość danych i zwiększyć wydajność. |
| Tryb ciągły | Uruchom zintegrowany potok CDC jako stale działający strumień do pozyskiwania danych z niskimi opóźnieniami. |
| Właściwości tabeli delty | Ustaw właściwości tabel Delta Lake, takie jak poszerzanie typów, dla tabel docelowych za pośrednictwem specyfikacji potoku. |
| Pełne odświeżanie | Wymuś pełne ponowne ładowanie danych z systemu źródłowego. |
| Klastrowanie cieczy | Włącz płynne klastrowanie w tabelach docelowych, aby zoptymalizować układ danych i zwiększyć wydajność zapytań. |
| Śledzenie historii | Śledź historyczne zmiany w swoich danych, stosując Slowly Changing Dimension (SCD) typu 2. |
| Monitorowanie kosztów | Użyj tabel systemowych, aby śledzić koszty potoków i monitorować wzorce użycia. |
| Potoki z wieloma miejscami docelowymi | Pobieranie danych z jednego źródła do wielu tabel docelowych lub katalogów. |
| Konserwacja potoku | Zarządzanie aktualizacjami pipeline'ów, pauzami i rozwiązywaniem problemów z przepływami pracy. |
| Tagowanie potoku | Stosowanie tagów potoku dla organizacji zasobów, śledzenia własności i przypisywania kosztów. |
| Filtrowanie wierszy | Filtrowanie wierszy podczas ingestii przy użyciu warunków podobnych do SQL. |
| Inteligentne zamknięcie | Dowiedz się, jak aktualizacja zintegrowanego potoku CDC uruchomiona wyzwalaczem zatrzymuje się automatycznie po dogonieniu źródła, co obniża koszty i ogranicza czas działania aktualizacji. |
| Konfigurowanie tożsamości Uruchom jako | Skonfiguruj uprawnienia tożsamości używane podczas uruchamiania potoku. |
| Pochodzenie danych źródłowych | Śledź pochodzenie tabel źródłowych dla pozyskanych danych, aby tabele źródłowe pojawiały się w całościowych widokach pochodzenia w Unity Catalog. |
| Nazwij tabele docelowe | Nazwij tabele docelowe. Domyślnie tabela docelowa ma nazwę odpowiedniej tabeli źródłowej. Jednak nazewnictwo tabeli docelowej jest przydatne w przypadku dwukrotnego pozyskiwania tego samego obiektu źródłowego w tym samym schemacie. Łączniki zarządzane nie obsługują zduplikowanych nazw tabel w tym samym schemacie docelowym. Nazewnictwo tabeli docelowej może również dopasowywać tabele do konwencji nazewnictwa organizacji. |
| Walidacja certyfikatu serwera TLS | Skonfiguruj walidację certyfikatu TLS dla potoków łącznika bazy danych, aby zweryfikować tożsamość źródłowego serwera bazy danych i zapobiec atakom typu person-in-the-middle (PITM). |