Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Użyj funkcji strumieni zdarzeń w usłudze Microsoft Fabric Real-Time Intelligence, aby wprowadzać zdarzenia w czasie rzeczywistym do platformy Fabric, przekształcać je, a następnie wysyłać do różnych miejsc docelowych bez pisania kodu. Utworzysz strumień zdarzeń, dodasz źródła danych zdarzeń do strumienia, opcjonalnie dodasz przekształcenia, aby przekształcić dane zdarzenia, a następnie wyślesz dane do obsługiwanych miejsc docelowych.
Ponadto w przypadku punktów końcowych platformy Apache Kafka dostępnych dla strumieni zdarzeń można wysyłać zdarzenia w czasie rzeczywistym lub korzystać z nich przy użyciu protokołu Kafka.
Dwa sposoby na zbudowanie strumienia zdarzeń
Tworząc nowy stream wydarzeń, możesz wybrać między dwoma doświadczeniami:
- Istniejące doświadczenie z eventstreamem. Obecnie dostępne funkcje usługi Eventstream nadal działają tak jak wcześniej. Zobacz Utworzenie strumienia zdarzeń w Microsoft Fabric.
- Strumień zdarzeń obsługujący schematy (Wersja zapoznawcza). Doświadczenie z możliwością przyjmowania, zrozumienia i przetwarzania schematyzowanych i nieschematycznych zdarzeń. Obejmuje ulepszony podgląd danych, przepływ pracy klasyfikatora, integrację z zestawem schematów zdarzeń oraz obsługę mieszanego przetwarzania zdarzeń objętych schematem, sklasyfikowanych i nietypowanych. Zobacz Tworzenie eventstreamu uwzględniającego schemat (wersja zapoznawcza).
Aby porównać możliwości i zdecydować, czy włączyć tę funkcję, zobacz Omówienie funkcji Eventstreams uwzględniających schemat (wersja zapoznawcza). Dalsza część tego artykułu opisuje obecny sposób działania strumienia zdarzeń.
Wprowadzanie zdarzeń do Fabric
Strumienie zdarzeń dostarczają złącza źródłowe do pobierania danych zdarzeń z różnych źródeł.
| Źródło | opis |
|---|---|
| Azure Data Explorer (preview) | Jeśli masz bazę danych usługi Azure Data Explorer i tabelę, możesz pozyskiwać dane z tabeli do usługi Microsoft Fabric przy użyciu strumieni zdarzeń. |
| Azure Event Hubs | Jeśli masz Azure Event Hub, możesz przetwarzać dane z centrów zdarzeń w Fabric przy użyciu strumieni zdarzeń. |
| Azure Event Grid | Jeśli masz przestrzeń nazw w Azure Event Grid, możesz wprowadzać dane z Message Queuing Telemetry Transport (MQTT) lub dane zdarzeń inne niż MQTT do Fabric za pomocą strumieni zdarzeń. |
| Azure Service Bus | Dane można pozyskiwać z kolejki usługi Azure Service Bus lub subskrypcji tematu do sieci Szkieletowej przy użyciu strumieni zdarzeń. |
| Azure IoT Hub | Jeśli masz centrum IoT Azure, możesz pozyskiwać dane IoT do platformy Fabric przy użyciu strumieni zdarzeń. |
| Zdarzenia wykrywania anomalii (podgląd) | Można pozyskiwać dane z detektora anomalii do Fabric przy użyciu strumieni zdarzeń. |
| Niestandardowy endpoint (czyli niestandardowa aplikacja w standardowej funkcjonalności) | Funkcja niestandardowego punktu końcowego umożliwia aplikacjom lub klientom platformy Kafka łączenie się z strumieniami zdarzeń przy użyciu parametrów połączenia. To połączenie umożliwia płynne integrowanie danych strumieniowych do strumieni zdarzeń. |
| Operacje Azure IoT | Skonfiguruj operacje usługi Azure IoT, aby wysyłać dane w czasie rzeczywistym bezpośrednio do usługi Fabric Real-Time Intelligence przy użyciu niestandardowego punktu końcowego strumienia zdarzeń. Ta funkcja obsługuje uwierzytelnianie Microsoft Entra ID lub Simple Authentication and Security Layer (SASL). |
| Przykładowe dane | Możesz wybrać |
| Pogoda w czasie rzeczywistym | Źródło pogody w czasie rzeczywistym można dodać do strumienia zdarzeń, aby przesyłać strumieniowo dane o pogodzie w czasie rzeczywistym z różnych lokalizacji. |
| Azure SQL Database Change Data Capture (CDC) | Aby przechwycić migawkę bieżących danych w bazie danych Azure SQL, możesz użyć źródłowego łącznika CDC dla usługi Azure SQL Database. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. Za pomocą funkcji DeltaFlow (wersja zapoznawcza) można przekształcać nieprzetworzone zdarzenia CDC na strumienie gotowe do analizy. |
| Oracle Database CDC (podgląd) | Za pomocą łącznika źródłowego usługi Oracle Database CDC można przechwycić migawkę bieżących danych w bazie danych Oracle. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. |
| PostgreSQL Database CDC | Za pomocą łącznika źródłowego usługi PostgreSQL CDC można przechwycić migawkę bieżących danych w bazie danych PostgreSQL. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. Za pomocą funkcji DeltaFlow (wersja zapoznawcza) można przekształcać nieprzetworzone zdarzenia CDC na strumienie gotowe do analizy. |
| HTTP (wersja zapoznawcza) | Łącznik HTTP umożliwia przesyłanie strumieniowe danych z platform zewnętrznych do strumienia zdarzeń, korzystając ze standardowych żądań HTTP. Oferuje również wstępnie zdefiniowane publiczne źródła danych z automatycznie wypełnionymi nagłówkami i parametrami, dzięki czemu można szybko rozpocząć bez złożonej konfiguracji. |
| MongoDB CDC | Łącznik źródłowy CDC bazy danych MongoDB dla Fabric EventStreams przechwytuje początkową migawkę danych z bazy danych MongoDB. Można określić kolekcje do monitorowania, a strumień zdarzeń śledzi i rejestruje zmiany w czasie rzeczywistym w dokumentach w wybranych bazach danych i kolekcjach. |
| MySQL Database CDC | Aby przechwycić migawkę bieżących danych w bazie danych Azure Database for MySQL, możesz użyć łącznika źródłowego MySQL Database CDC. Możesz określić tabele do monitorowania, a strumień zdarzeń rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tabelach. |
| Azure Cosmos DB CDC | Aby przechwycić migawkę bieżących danych w bazie danych Azure Cosmos DB, możesz użyć źródłowego łącznika CDC usługi Azure Cosmos DB dla strumieni zdarzeń Fabric. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. |
| Baza danych SQL Server na maszynie wirtualnej (VM) CDC | Aby przechwycić migawkę bieżących danych w bazie danych programu SQL Server na maszynie wirtualnej, możesz użyć łącznika źródła CDC SQL Server na VM DB dla zdarzeń Fabric. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w danych. Za pomocą funkcji DeltaFlow (wersja zapoznawcza) można przekształcać nieprzetworzone zdarzenia CDC na strumienie gotowe do analizy. |
| Azure SQL Managed Instance CDC | Aby przechwycić migawkę bieżących danych w bazie danych Azure SQL Managed Instance, można użyć łącznika źródłowego CDC dla strumieni zdarzeń Fabric. Następnie łącznik monitoruje i rejestruje wszelkie przyszłe zmiany na poziomie wiersza w tych danych. Za pomocą funkcji DeltaFlow (wersja zapoznawcza) można przekształcać nieprzetworzone zdarzenia CDC na strumienie gotowe do analizy. |
| Mirrored Database Change Feed (wersja zapoznawcza) | Możesz użyć łącznika źródłowego Mirrored Database (Change Feed) dla usługi Fabric Eventstreams do pozyskiwania zdarzeń zmian w czasie rzeczywistym z bazy danych Fabric Mirrored Database. Łącznik przechwytuje operacje wstawiania, aktualizacji i usuwania w miarę ich występowania w zdublowanej bazie danych i przesyła je do strumienia zdarzeń do przetwarzania i analizy w czasie rzeczywistym. |
| Zdarzenia związane z elementami w przestrzeni roboczej Fabric | Zdarzenia elementów obszaru roboczego Fabric to odrębne zdarzenia Fabric, które występują, gdy dokonuje się zmian w Twoim obszarze roboczym Fabric. Te zmiany obejmują tworzenie, aktualizowanie lub usuwanie elementu Fabric. Za pomocą strumieni zdarzeń Fabric można przechwytywać te zdarzenia w przestrzeni roboczej Fabric, przekształcać je i kierować do różnych miejsc docelowych w Fabric w celu dalszej analizy. |
| Wydarzenia Fabric OneLake | Zdarzenia OneLake umożliwiają subskrybowanie zmian w plikach i folderach w usłudze OneLake, a następnie reagowanie na te zmiany w czasie rzeczywistym. Za pomocą strumieni zdarzeń Fabric można przechwytywać te zdarzenia OneLake, przekształcać je i kierować do różnych miejsc docelowych w Fabric w celu dalszej analizy. Płynna integracja zdarzeń OneLake w strumieniach zdarzeń Fabric zapewnia większą elastyczność monitorowania i analizowania aktywności w usłudze OneLake. |
| Zdarzenia zadań Fabric | Zdarzenia zadań umożliwiają subskrybowanie zmian generowanych, gdy Fabric uruchamia zadanie. Na przykład, można reagować na zmiany podczas odświeżania modelu semantycznego, uruchamiania zaplanowanego procesu lub uruchamiania notebooka. Każde z tych działań może wygenerować odpowiednie zadanie, a to z kolei generuje zestaw odpowiednich zdarzeń zadania. Dzięki strumieniom zdarzeń Fabric można przechwytywać te zdarzenia zadań, przekształcać je i kierować do różnych miejsc docelowych w Fabric w celu dalszej analizy. Ta bezproblemowa integracja zdarzeń związanych z zadaniami w obrębie strumieni zdarzeń Fabric zapewnia większą elastyczność monitorowania i analizowania działań w zadaniu. |
| Zdarzenia przeglądu pojemności Fabric | Wydarzenia dotyczące przeglądu pojemności sieci oferują podsumowanie pojemności. Za pomocą tych zdarzeń można tworzyć alerty związane z kondycją wydajności za pośrednictwem Fabric Activator. Te zdarzenia można również przechowywać w systemie eventhouse na potrzeby szczegółowej lub historycznej analizy. |
| Zdarzenia operacyjne pojemności Fabric (podgląd) | Zdarzenia dotyczące operacji w pojemności usługi Fabric dostarczają szczegółowych informacji dla każdej operacji o aktywności obciążenia roboczego, która zużywa jednostki pojemności w pojemności usługi Fabric. Możesz używać tych zdarzeń do tworzenia alertów dotyczących konkretnych operacji za pomocą Fabric Activator. Możesz także przechowywać te zdarzenia w eventhouse do szczegółowej analizy zużycia CU według przestrzeni roboczej, przedmiotu lub obciążenia. |
| Azure Blob Storage events | Zdarzenia usługi Azure Blob Storage są wyzwalane, gdy klient tworzy, zastępuje lub usuwa obiekt blob. Łącznik umożliwia łączenie zdarzeń usługi Blob Storage z zdarzeniami Fabric w centrum przetwarzania zdarzeń w czasie rzeczywistym. Można przekształcić te zdarzenia na ciągłe strumienie danych i przekształcić je przed skierowaniem do różnych miejsc docelowych w Fabric. |
| Google Cloud Pub/Sub | Google Pub/Sub to usługa obsługi komunikatów, która umożliwia publikowanie i subskrybowanie strumieni zdarzeń. Możesz dodać usługę Google Pub/Sub jako źródło do Eventstream w celu przechwytywania, przekształcania i kierowania zdarzeń w czasie rzeczywistym do różnych miejsc docelowych w Fabric. |
| Amazon Kinesis Data Streams | Strumienie danych Amazon Kinesis to wysoce skalowalna, wysoce trwała usługa pozyskiwania i przetwarzania danych zoptymalizowana pod kątem danych przesyłanych strumieniowo. Integrując strumienie danych Amazon Kinesis jako źródło w strumieniu zdarzeń, można bezproblemowo przetwarzać strumienie danych w czasie rzeczywistym przed kierowaniem ich do wielu miejsc docelowych w ramach Fabric. |
| Confluent Cloud dla Apache Kafka | Confluent Cloud for Apache Kafka to platforma przesyłania strumieniowego, która oferuje zaawansowane funkcje przesyłania strumieniowego i przetwarzania danych przy użyciu platformy Apache Kafka. Integrując platformę Confluent Cloud for Apache Kafka jako źródło w strumieniu zdarzeń, można bezproblemowo przetwarzać strumienie danych w czasie rzeczywistym przed kierowaniem ich do wielu miejsc docelowych w sieci szkieletowej. |
| Apache Kafka | Apache Kafka to rozproszona platforma typu open source do tworzenia skalowalnych systemów danych w czasie rzeczywistym. Dzięki zintegrowaniu platformy Apache Kafka jako źródła w strumieniu zdarzeń można bezproblemowo dostarczać zdarzenia w czasie rzeczywistym z platformy Apache Kafka i przetwarzać je przed kierowaniem ich do wielu miejsc docelowych w sieci szkieletowej. |
| Amazon Managed Streaming for Apache Kafka (MSK) | Amazon MSK Kafka to w pełni zarządzana usługa platformy Kafka, która upraszcza konfigurowanie, skalowanie i zarządzanie. Integrując platformę Amazon MSK Kafka jako źródło w strumieniu zdarzeń, można bezproblemowo przenieść zdarzenia w czasie rzeczywistym z platformy MSK Kafka i przetworzyć je przed routingiem do wielu miejsc docelowych w usłudze Fabric. |
| MQTT (wersja zapoznawcza) | Strumienie zdarzeń Fabric pozwalają na podłączenie się do brokera MQTT. Komunikaty w brokerze MQTT mogą być pozyskiwane do strumieni zdarzeń Fabric i kierowane do różnych miejsc docelowych w ramach Fabric. |
| Cribl | Możesz połączyć Cribl ze strumieniem zdarzeń i kierować dane do różnych miejsc docelowych w platformie Fabric. |
| SAP Datasphere | Możesz użyć przepływu replikacji SAP Datasphere, aby wysyłać dane do dedykowanego źródła SAP Datasphere za pośrednictwem strumienia zdarzeń. |
| Solace PubSub+ | Możesz używać Fabric eventstreams do łączenia z Solace PubSub+. Komunikaty z usługi Solace PubSub+ mogą być pozyskiwane do strumieni zdarzeń Fabric i kierowane do różnych miejsc docelowych w Fabric. |
Jeśli wbudowany konektor nie jest dostępny dla Twojego źródła, użyj niestandardowego złącza strumieniowego (podgląd), aby przesłać wtyczkę źródłową Kafka Connect. Prześlij pakiet z centrum Real-Time lub niestandardowego elementu łącznika strumienia w swoim obszarze roboczym, a następnie skonfiguruj łącznik i dodaj go do strumienia zdarzeń. Więcej informacji można znaleźć w artykule Dodaj niestandardowy łącznik strumienia do strumienia zdarzeń.
Zdarzenia procesu
Kompleksowy diagram przepływu danych w strumieniu zdarzeń umożliwia kompleksowe zrozumienie przepływu danych i organizacji.
Edytor procesora zdarzeń to interfejs oparty na przeciąganiu i upuszczaniu. Jest to intuicyjny sposób tworzenia procesu przetwarzania, przekształcania i trasowania danych dotyczących zdarzeń bez konieczności pisania kodu.
| Przekształcenie | opis |
|---|---|
| Filtr | Ta transformacja służy do filtrowania zdarzeń na podstawie wartości pola w danych wejściowych. W zależności od typu danych (liczby lub tekstu) przekształcenie zachowuje wartości zgodne z wybranym warunkiem, takimi jak is null lub is not null. |
| Zarządzaj polami | Użyj tej transformacji, aby dodać, usunąć, zmienić (typ danych) lub zmienić nazwy pól przychodzących z danych wejściowych lub innej transformacji. |
| Agregacja | Użyj tej transformacji, aby obliczyć agregację (sumę, minimum, maksimum lub średnią) za każdym razem, gdy nowe zdarzenie występuje w danym okresie. Ta operacja umożliwia również zmianę nazw tych kolumn obliczeniowych wraz z filtrowaniem lub fragmentowaniem agregacji na podstawie innych wymiarów w danych. W tej samej transformacji można mieć co najmniej jedną agregację. |
| Grupuj według | Użyj tej transformacji, aby obliczyć agregacje we wszystkich zdarzeniach w określonym przedziale czasu. Można grupować według wartości w co najmniej jednym polu. Jest to podobne do przekształcenia Agregacja w tym, że umożliwia zmianę nazw kolumn, ale zapewnia więcej opcji agregacji i zawiera bardziej złożone opcje dla okien czasowych. Podobnie jak agregacja, można dodać więcej niż jedną agregację na transformację. |
| Union | Użyj tej transformacji, aby połączyć co najmniej dwa węzły i dodać zdarzenia z polami udostępnionymi (o tej samej nazwie i typie danych) do jednej tabeli. Pola, które nie są zgodne, są porzucane i nie są uwzględniane w danych wyjściowych. |
| Rozwiń | Użyj tej transformacji, aby utworzyć nowy wiersz dla każdej wartości w tablicy. |
| Join | Użyj tej transformacji, aby połączyć dane z dwóch strumieni na podstawie zgodnego warunku między nimi. |
Oprócz przekształceń bez kodu strumienie zdarzeń obsługują operator SQL (wersja zapoznawcza) na potrzeby przetwarzania strumienia pierwszego kodu. Użyj operatora SQL, aby zdefiniować niestandardową logikę przekształcania przy użyciu wyrażeń SQL, w tym okien, sprzężeń i agregacji. Możesz wybrać między przekształceniami bez kodu i tworzeniem opartym na języku SQL w ramach strumienia zdarzeń w celu utworzenia złożonej logiki przesyłania strumieniowego.
Podczas tworzenia strumienia zdarzeń operacje transformacji są obsługiwane dla wszystkich lokalizacji docelowych. Strumień pochodny działa jako pośredni pomost dla niektórych miejsc docelowych, takich jak niestandardowy punkt końcowy lub Fabric Activator.
Przekierowywanie zdarzeń do miejsc docelowych
Funkcja Fabric strumienie zdarzeń obsługuje wysyłanie danych do następujących obsługiwanych miejsc docelowych.
| Miejsce docelowe | opis |
|---|---|
| Niestandardowy punkt końcowy (niestandardowa aplikacja w standardowej funkcji) | Użyj tego miejsca docelowego, aby skierować zdarzenia w czasie rzeczywistym do niestandardowego punktu końcowego. Możesz połączyć własne aplikacje z strumieniem zdarzeń i korzystać z danych zdarzenia w czasie rzeczywistym. To miejsce docelowe jest przydatne, gdy chcesz wysyłać dane w czasie rzeczywistym do systemu spoza usługi Microsoft Fabric. |
| Eventhouse | To miejsce docelowe umożliwia pozyskiwanie danych zdarzeń w czasie rzeczywistym do magazynu zdarzeń, w którym można użyć zaawansowanego języka Kusto Query Language (KQL) do wykonywania zapytań i analizowania danych. Dzięki danym w eventhousie możesz uzyskać bardziej szczegółowy wgląd w dane zdarzeń i tworzyć rozbudowane raporty i pulpity nawigacyjne. Można wybrać między dwoma trybami przetwarzania: przetwarzaniem bezpośrednim i przetwarzaniem zdarzeń przed przetwarzaniem. |
| Lakehouse | To miejsce docelowe zapewnia możliwość przekształcania zdarzeń w czasie rzeczywistym przed ich ładowaniem do lakehouse. Zdarzenia w czasie rzeczywistym są konwertowane na format Delta Lake, a następnie przechowywane w wyznaczonych tabelach lakehouse. To miejsce docelowe obsługuje scenariusze magazynowania danych. |
| Spark Notebook (Preview) | Dodaj miejsce docelowe dla notatnika platformy Spark, aby załadować istniejący notatnik w obszarze roboczym i przetwarzać zdarzenia w domyślnych lub pochodnych strumieniach, używając zadania Spark Structured Streaming. Ta funkcja jest obecnie dostępna w wersji zapoznawczej. |
| Strumień pochodny | Ten wyspecjalizowany typ miejsca docelowego można utworzyć po dodaniu operacji strumienia, takich jak filtrowanie lub zarządzanie polami, do strumienia zdarzeń. Strumień pochodny reprezentuje przekształcony strumień domyślny po przetworzeniu strumienia. Strumień pochodny można kierować do wielu miejsc docelowych w systemie Fabric i wyświetlać go w centrum koncentracyjnym czasu rzeczywistego. |
| Activator | To miejsce docelowe umożliwia bezpośrednie połączenie danych zdarzeń w czasie rzeczywistym z usługą Fabric Activator. Aktywacja to typ inteligentnego agenta, który zawiera wszystkie informacje niezbędne do nawiązania połączenia z danymi, monitorowania warunków i działania. Gdy dane osiągną określone progi lub pasują do innych wzorców, aktywator automatycznie podejmuje odpowiednie działania, takie jak zgłaszanie alertów użytkownikom lub uruchamianie przepływów pracy usługi Power Automate. |
Możesz dołączyć wiele miejsc docelowych w strumieniu zdarzeń, aby jednocześnie odbierać dane z strumieni zdarzeń bez zakłócania ze sobą strumieni zdarzeń.
Zarządzanie schematami
Strumienie zdarzeń zapewniają możliwości zarządzania schematami, które ułatwiają zarządzanie i weryfikowanie struktury danych przesyłanych strumieniowo:
- Strumienie zdarzeń świadome schematów (Podgląd): Doświadczenie z możliwością opt-in, które przetwarza zdarzenia schematyczne i nieschematyczne w jednym potoku. Obejmuje przepływ pracy klasyfikatora, integrację z zestawem schematów zdarzeń, ulepszony podgląd danych oraz mieszane przetwarzanie zdarzeń objętych schematem, sklasyfikowanych i nietypowanych. Więcej informacji można znaleźć w artykule Omówienie Schema-aware Eventstreams (wersja zapoznawcza).
- Rejestr schematów: Rejestruj, importuj, wersuj i porównuj schematy centralnie, korzystając z powszechnie dostępnych zbiorów schematów zdarzeń. Aby uzyskać więcej informacji, zobacz Omówienie rejestru schematów.
- Wnioskowanie z wieloma schematami (podgląd): W istniejącym środowisku Eventstream można wnioskować i pracować z wieloma schematami w ramach jednego Eventstream. Projektuj ścieżki transformacji poprzez wybór wnioskowanego schematu dla każdej ścieżki. Aby uzyskać więcej informacji, zobacz Ulepszanie przetwarzania zdarzeń przy użyciu wnioskowania wielu schematów. W przypadku zdarzeń nieschematyzowanych o różnych strukturach w strumieniu zdarzeń ze świadomością schematu zobacz Klasyfikowanie zdarzeń nieschematyzowanych (wersja zapoznawcza).
- Deserializacja oparta na Confluent Schema Registry (podgląd): Gdy pobierasz dane z Confluent Cloud dla Apache Kafka, strumienie zdarzeń mogą używać Confluent Schema Registry do deserializacji wiadomości kodowanych przez schemat, poprawiając interoperacyjność z ekosystemami streamingowymi opartymi na Confluent.
Te funkcje zwiększają zarządzanie schematem i interoperacyjność, przy konsumpcji różnych strumieni w ramach strumieni zdarzeń.
DeltaFlow: strumienie CDC gotowe do analizy (wersja zapoznawcza)
DeltaFlow to funkcja w ramach Fabric Eventstreams, która przekształca nieprzetworzone zdarzenia Zmiany Przechwytywania Danych (CDC) z operacyjnych baz danych w dane przesyłane strumieniowo, które są gotowe do analizy.
Kluczowe możliwości usługi DeltaFlow:
- Kształt zdarzenia gotowy do analityki: Zdarzenia CDC są przekształcane w format tabelarkowy odzwierciedlający strukturę tabeli źródłowej. Następnie można pisać proste zapytania analityczne przy użyciu narzędzi takich jak Język zapytań Kusto (KQL) bez uprzedniego analizowania zagnieżdżonych ładunków JSON Debezium.
- Automatyczna rejestracja schematów: DeltaFlow automatycznie odkrywa schematy tabel źródłowych i rejestruje je w usłudze Fabric Schema Registry.
- Automatyczne zarządzanie tabelami docelowymi: Gdy kierujesz strumienie z DeltaFlow do obsługiwanego miejsca, takiego jak eventhouse, tabele docelowe są automatycznie tworzone i zarządzane tak, aby odpowiadały schematowi tabeli źródłowej.
- Obsługa ewolucji schematu: Gdy zmieniają się tabele bazy źródłowej (np. dodane są nowe kolumny lub tworzone nowe tabele), DeltaFlow automatycznie wykrywa zmiany, aktualizuje zarejestrowane schematy i odpowiednio dostosowuje tabele docelowe.
Usługa DeltaFlow (wersja demonstracyjna) jest dostępna za pomocą następujących łączników źródłowych CDC:
- Azure SQL Database CDC
- Azure SQL Managed Instance CDC
- SQL Server na maszynie wirtualnej (VM) CDC
- PostgreSQL Database CDC
Aby użyć funkcji DeltaFlow, wybierz pozycję Zdarzenia gotowe do analizy i automatycznie zaktualizowany schemat podczas kroku obsługi schematu podczas konfigurowania łącznika CDC jako źródła strumienia zdarzeń. Aby dowiedzieć się, jak usługa DeltaFlow przekształca nieprzetworzone zdarzenia CDC na dane wyjściowe gotowe do analizy, zobacz Przekształcanie danych wyjściowych usługi DeltaFlow.
Uwaga
Skorzystaj z funkcji Fabric eventstreams z co najmniej czterema jednostkami o pojemności: F4.
Apache Kafka na strumieniach zdarzeń Fabric (Strumienie zdarzeń Apache Kafka w sieci Fabric)
Funkcja Fabric eventstreams oferuje punkt końcowy platformy Apache Kafka, dzięki czemu można się łączyć i korzystać ze zdarzeń przesyłania strumieniowego za pośrednictwem protokołu Kafka. Jeśli Twoja aplikacja już używa protokołu Apache Kafka do wysyłania lub odbierania zdarzeń przesyłania strumieniowego dotyczących określonej tematyki, możesz łatwo połączyć ją ze strumieniem zdarzeń. Wystarczy zaktualizować ustawienia połączenia, aby użyć punktu końcowego Kafka podanego w strumieniu zdarzeń.
Funkcja eventstreams platformy Fabric jest skojarzona z usługą Azure Event Hubs, całkowicie zarządzaną natywną usługą chmurową. Podczas tworzenia strumienia zdarzeń, automatycznie tworzony jest namespace centrum zdarzeń. Centrum zdarzeń jest przydzielane do domyślnego strumienia bez konieczności konfigurowania obsługi administracyjnej. Aby dowiedzieć się więcej na temat funkcji zgodnych z platformą Kafka w usłudze Azure Event Hubs, zobacz Co to jest usługa Azure Event Hubs dla platformy Apache Kafka?.
Aby dowiedzieć się więcej o sposobie uzyskiwania szczegółów punktu końcowego platformy Kafka do wysyłania zdarzeń do strumienia zdarzeń, zobacz Dodawanie niestandardowego punktu końcowego lub niestandardowego źródła aplikacji do strumienia zdarzeń. Aby uzyskać informacje o używaniu zdarzeń ze strumienia zdarzeń, zobacz Dodawanie niestandardowego punktu końcowego lub niestandardowego miejsca docelowego aplikacji do strumienia zdarzeń.
Możliwości operacyjne i zabezpieczeń
Strumienie zdarzeń zapewniają mechanizmy kontroli zarządzania operacyjnego i bezpiecznej łączności:
- Kontrole pauzy i wznowienia: Pochodne strumienie zdarzeń obsługują kontrolki pauzy i wznowienia, dzięki czemu możesz tymczasowo zatrzymać przetwarzanie bez wpływu na inne wejścia lub wyjścia w strumieniu zdarzeń, a następnie wznowić to później. Aby uzyskać więcej informacji, zobacz Wstrzymywanie i wznawianie strumieni danych.
- Workspace Private Link (podgląd): Wybrane źródła i miejsca docelowe obsługują Workspace Private Link do dostępu do sieci prywatnej, co pomaga zabezpieczyć połączenia przychodzące do Twoich strumieni zdarzeń. Aby uzyskać więcej informacji, zobacz Zabezpiecz przychodzące połączenia za pomocą prywatnych łączy dzierżaw i obszarów roboczych.
Ograniczenia
Strumienie zdarzeń w systemach Fabric mają następujące ogólne ograniczenia. Przed rozpoczęciem pracy z strumieniami zdarzeń zapoznaj się z tymi ograniczeniami, aby upewnić się, że są one zgodne z wymaganiami.
| Ograniczenie | Wartość |
|---|---|
| Maksymalny rozmiar komunikatu | 1 MB |
| Maksymalny okres przechowywania danych zdarzenia | 90 dni |
| Gwarancje przekazywania zdarzeń | Co najmniej raz |