Konfigurowanie plików dziennika dla lokalnej bramy danych

Brama danych instalowana lokalnie obejmuje trzy kategorie dzienników usługi: informacyjne, błędów i sieciowe. Ta kategoryzacja umożliwia skupienie procesu rozwiązywania problemów na określonym obszarze wystąpienia błędu lub problemu.

Aby sprawdzić konfiguracje rejestrowania, wykonaj następujące kroki:

  1. Otwórz plik konfiguracji bramy Microsoft.PowerBI.EnterpriseGateway.exe.config. Domyślnie ten plik można znaleźć w obszarze \Program Files\On-premises data gateway.
  2. Utwórz kopię tego pliku na wypadek potrzeby przywrócenia go później.
  3. Znajdź odbiornik ApplicationFileTraceListener, który znajduje się w obszarze system.diagnostics.

Poniższe sekcje zawierają szczegóły konfiguracji w zależności od typu przechowywania, który jest zależny od wersji twojej bramy.

Przechowywanie na podstawie wieku

Od lutego 2023 r. brama wprowadza nową koncepcję retencji danych opartą na wieku. Ta koncepcja jest domyślnym typem retencji dla nowych instalacji bramy.

W przypadku tego typu przechowywania należy wziąć pod uwagę dwa główne aspekty (w kolejności pierwszeństwa):

  • Maksymalna przestrzeń dyskowa na dzienniki bramy (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log); wartość domyślna to 5 GB.
  • Okres przechowywania w dniach z wartością domyślną 30 dni.

W tej nowej wersji logiki brama sieciowa zapewnia, że każdego nowego dnia tworzony jest nowy plik dziennika. Ta aprowizacja zapewnia, że informacje dotyczące danego dnia są obecne w plikach dziennika, w których nazwa pliku jest zgodna z datami wprowadzania dziennika. Ponadto brama wykonuje partycjonowanie plików w ciągu dnia, jeśli zostanie osiągnięty maksymalny rozmiar pojedynczego pliku (domyślnie 100 MB).

  <system.diagnostics>
    <trace autoflush="true" indentsize="4">
      <listeners>
        <remove name="Default" />
        <add name="ApplicationFileTraceListener" type="Microsoft.PowerBI.DataMovement.Pipeline.Common.Diagnostics.AgeBasedRetentionRotatableFilesManagerTraceListener, Microsoft.PowerBI.DataMovement.Pipeline.Common" initializeData="%LOCALAPPDATA%\Microsoft\On-premises data gateway\,30,5120,100" />
      </listeners>
    </trace>
  </system.diagnostics>

Aby zmienić domyślne wartości parametrów przechowywania, dostosuj initializeData wartość. Poniższa lista zawiera opis każdego parametru:

  • Okres przechowywania w dniach (wartość z zakresu od 1 do 365 dni).
  • Maksymalny całkowity rozmiar w MB używany przez trzy typy plików dziennika.
  • Maksymalny rozmiar w MB, który każdy plik dziennika może mieć indywidualnie. Za każdym razem, gdy limit zostanie osiągnięty, brama tworzy nowy plik z dołączonym numerem sekwencyjnym.

Uwaga / Notatka

Dzienniki bramy używają sygnatur czasowych UTC, a codzienna rotacja plików dziennika odbywa się o 00:00 UTC.

Przechowywanie na podstawie liczby plików

Strategia ta była domyślną logiką przechowywania dzienników w bramie dla wersji z grudnia 2022 r. i wcześniejszych. Ta logika ma dwa główne pojęcia:

  • Liczba plików do zachowania według typu dziennika (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log).
  • Maksymalna ilość miejsca na dysku do użycia na typ dziennika (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log).

Pliki są partycjonowane zgodnie z tymi kryteriami. W związku z tym za każdym razem, gdy osiągniesz maksymalną liczbę plików, zwykle osiągniesz maksymalną ilość miejsca na dysku.

Poniższy fragment pliku konfiguracji bramy Microsoft.PowerBI.EnterpriseGateway.exe.config zawiera trzy kategorie: GatewayInfo.log, GatewayErrors.log i GatewayNetwork.log.

  <system.diagnostics>
    <trace autoflush="true" indentsize="4">
      <listeners>
        <remove name="Default" />
        <add name="ApplicationFileTraceListener"
             type="Microsoft.PowerBI.DataMovement.Pipeline.Common.Diagnostics.RotatableFilesManagerTraceListener, Microsoft.PowerBI.DataMovement.Pipeline.Common"
             initializeData="%LOCALAPPDATA%\Microsoft\On-premises data gateway\,GatewayInfo.log,GatewayErrors.log,GatewayNetwork.log,20,50" />
      </listeners>
    </trace>
  </system.diagnostics>

Domyślnie plik konfiguracji bramy znajduje się w katalogu \Program Files\On-premises data gateway. Aby ustawić liczbę plików dziennika do zachowania, zmień pierwszą liczbę w wartości pliku initializeData . Aby skonfigurować rozmiar każdego pliku dziennika, zmień drugą liczbę.

W poniższym przykładzie określono, że są zachowywane 20 plików dziennika, a suma wszystkich plików w każdej kategorii nie przekracza 50 MB rozmiaru: GatewayInfo.log,GatewayErrors.log,GatewayNetwork.log,20,50

Czy logika przechowywania danych oparta na wieku jest domyślnie stosowana do mojej istniejącej bramki danych lokalnych?

Nie. Ta logika przechowywania danych ma obecnie zastosowanie tylko do nowych instalacji bramy. Istniejące bramy, które zostaną zaktualizowane do wersji z lutego 2023 r. lub nowszej, zachowają bieżącą logikę przechowywania dzienników (retencję opartą na liczbie plików).

Zgoda administratora na diagnostykę bramy jest funkcją używaną przez administratorów do jawnego kontrolowania, czy dane diagnostyczne z lokalnych bram danych są zbierane i wysyłane do chmury.

Funkcja diagnostyczna bramy wprowadza model oparty na zgodzie, aby zapewnić, że potencjalnie poufne dane, takie jak dzienniki Mashup, są przesyłane dopiero po uzyskaniu zgody administratora. Umożliwia również przyszłe funkcje monitorowania i diagnostyki. Na razie ta funkcja ma zastosowanie tylko do artefaktów usługi Dataflows Gen2. Aby uzyskać więcej informacji, zobacz Pobierz szczegółowe dzienniki odświeżania.

Uwaga / Notatka

Diagnostyka bramy jest włączona w środowisku Zarządzanie połączeniami i bramami w Microsoft Fabric. W lokalnej aplikacji bramy danych nie ma ustawienia umożliwiającego włączenie tej funkcji.

Jak to działa

Administratorzy bramy mogą włączyć diagnostykę bramy w ustawieniach bramy. Po włączeniu tego ustawienia brama rozpoczyna zbieranie i wysyłanie danych diagnostycznych do chmury.

Zrzut ekranu przedstawiający zgodę administratora bramy na diagnostykę.

Administratorzy dzierżawy zapewniają dodatkowy poziom nadzoru, kontrolując zgodę na diagnostykę obowiązującą w całej organizacji. Domyślnie administratorzy bramy mogą włączać diagnostykę bez konieczności zatwierdzania na poziomie dzierżawy. Jednak administratorzy dzierżawy mogą w dowolnym momencie odwołać zgodę, aby zatrzymać gromadzenie danych diagnostycznych na wszystkich bramach w organizacji.

Jeśli zgoda na poziomie dzierżawy zostanie odwołana, wszystkie bramy natychmiast przestaną wysyłać dane diagnostyczne i wszystkie trwające transfery danych zakończą się.

Zrzut ekranu przedstawiający opcję zgody diagnostycznej administratora dzierżawy.

Zrzut ekranu przedstawiający przełącznik włączania/wyłączania zgody administratora najemcy.

W celu natychmiastowego wymuszania ponowne uruchomienie lokalnej bramy danych kończy wszelkie trwające przekazywanie danych diagnostycznych.

Usługa przechowuje dane diagnostyczne bramy przez 24 godziny w usłudze Azure Data Lake Storage zarządzanej przez usługę. Po 24 godzinach dane nie są już dostępne do pobrania.

Wskazówka

Obecnie funkcja diagnostyki bramy ma zastosowanie wyłącznie do artefaktów Dataflow Gen2.

Zachowanie przesyłania

Po włączeniu diagnostyki bramy brama przesyła pliki diagnostyczne okresowo, partiami. Przesyłanie nie jest ciągłym strumieniowaniem i nie odbywa się w czasie rzeczywistym. Brama sprawdza, czy są dostępne pliki diagnostyczne gotowe do przekazania, mniej więcej co 60 sekund, więc zwykle występuje opóźnienie o około 1–2 minuty między wygenerowaniem śladu a jego dostępnością w magazynie zarządzanym przez firmę Microsoft.

Każde przesłanie jest krótkotrwałym żądaniem HTTPS wysyłanym z komputera bramy. Po pomyślnym przesłaniu pliku diagnostycznego brama natychmiast usuwa lokalną kopię tymczasową.

Wymagania dotyczące sieci

Dodaj następujący wiersz do tabeli wymagań sieciowych:

Punkt końcowy Port Kierunek Purpose
*.dfs.core.windows.net 443 Wychodzący Wymagane do przekazywania danych diagnostycznych bramy do usługi Azure Data Lake Storage zarządzanej przez firmę Microsoft.

Konto magazynu używane do przekazywania danych diagnostycznych jest zarządzane przez firmę Microsoft i może się różnić w zależności od regionu. Ponieważ nazwa konta jest zależna od regionu, zezwól na wychodzący ruch HTTPS do *.dfs.core.windows.net lub użyj tagu usługi Azure Storage.

Jeśli w środowisku jest używany serwer proxy przechwytujący ruch TLS, upewnij się, że serwer proxy zachowuje pełny adres URL żądania, w tym ciąg zapytania SAS. Token SAS jest wymagany do przesyłania plików diagnostycznych przez bramę.

Włącz diagnostykę bramy

Diagnostykę bramy można włączyć tylko w chmurze w sekcji Manage connections and gateways w usłudze Power BI lub w Microsoft Fabric. Aplikacja lokalnej bramy danych nie ma ustawienia umożliwiającego włączenie tej funkcji.

Przed włączeniem diagnostyki bramy sprawdź następujące wymagania wstępne:

  • Brama działa w trybie standardowym. Bramy trybu osobistego nie są obsługiwane.
  • Śledzenie ETW jest włączone w bramie.
  • W przypadku klastrów bram każdy członek klastra niezależnie przesyła dane diagnostyczne. Upewnij się, że na każdym węźle bramy w klastrze skonfigurowano reguły zapory dla ruchu wychodzącego oraz reguły serwera proxy.

Miejsce na dysku i zużycie miejsca do magazynowania

Dane przejściowe diagnostyki bramy są zapisywane w ścieżce LOCALAPPDATA konta usługi bramy, a nie w katalogu instalacyjnym bramy. Podfolder MSessions zawiera lokalne pliki tymczasowe używane do przekazywania danych diagnostycznych.

W stanie stałym przechowywanie lokalne zwykle trwa od jednej do dwóch minut, ponieważ pliki są usuwane natychmiast po pomyślnym przekazaniu. W scenariuszach awarii lub ponawiania prób lokalne dane przejściowe mogą pozostać przez maksymalnie około jedną godzinę.

Ta zajętość magazynu jest niezależna od opisanego dla dzienników bramy limitu 5 GB na lokalne przechowywanie dzienników i stanowi wartość do niego dodawaną. Jako punkt wyjścia zaplanuj około 5 do 10 GB dodatkowego wolnego miejsca na dysku na każdej maszynie bramy, a następnie monitoruj rzeczywiste użycie w danym środowisku i dostosuj je zgodnie z potrzebami.

Stan zabezpieczeń przekazywania danych diagnostycznych

Przekazywanie danych diagnostycznych bramy wykorzystuje krótkotrwały token SAS ograniczony do katalogu przez protokół HTTPS. Token SAS jest ważny przez ograniczony czas, obecnie maksymalnie do dziewięciu godzin, i przyznaje tylko uprawnienia związane z zapisem, takie jak Add, Write i Create.

Brama może przekazywać pliki diagnostyczne, ale nie może odczytywać, wyświetlać ani wyliczać przekazanych danych diagnostycznych.

Często zadawane pytania dotyczące diagnostyki lokalnych bram danych w usłudze Fabric

Ustawienia diagnostyczne lokalnych bram danych pomagają zbierać szczegółowe dzienniki diagnostyczne podczas rozwiązywania problemów z operacjami odświeżania przepływu danych Fabric Gen2. Ta sekcja zawiera odpowiedzi na często zadawane pytania dotyczące miejsca przechowywania przekazanych dzienników, zbieranych informacji, osób, którzy mogą uzyskiwać dostęp do dzienników oraz tego, czy magazyn ma dodatkowe koszty.

Czy do diagnostyki bramy jest wymagane dodatkowe rejestrowanie?

Diagnostyka bramy i dodatkowe rejestrowanie są oddzielnymi funkcjami. Dodatkowe rejestrowanie zdarzeń nie jest wymagane do przesyłania danych diagnostycznych.

Obie funkcje zapisują dane w różnych lokalizacjach docelowych: dodatkowe rejestrowanie zapisuje bardziej szczegółowe dzienniki lokalne, podczas gdy diagnostyka bramy lokalnie zapisuje dane diagnostyczne i przesyła je do magazynu zarządzanego przez firmę Microsoft po wyrażeniu zgody przez dzierżawcę i włączeniu tej funkcji na poziomie bramy.

Jaka jest relacja między lokalnymi bramami danych ustawieniami diagnostyki i przepływami danych?

Ustawienia diagnostyczne bram danych lokalnych obecnie dotyczą tylko usługi Fabric Dataflow Gen2. Po uruchomieniu odświeżania elementu Dataflow Gen2:

  • Brama zbiera informacje diagnostyczne wymagane do rozwiązywania problemów.
  • System przesyła odpowiednie dzienniki mashupu do pamięci masowej zarządzanej przez firmę Microsoft.
  • Dzienniki są kojarzone z wykonywaniem odświeżania.
  • Użytkownicy mogą pobrać szczegółowe informacje diagnostyczne w widoku historii odświeżania przepływu danych Gen2.

Ta funkcja może również obsługiwać przyszłe scenariusze diagnostyczne.

Jakie dzienniki są zbierane i przesyłane?

Obecnie ustawienia diagnostyczne lokalnych bram danych przede wszystkim przesyłają dzienniki aparatu Mashup Engine powiązane z operacjami odświeżania usługi Fabric Dataflow Gen2.

Przykłady zebranych informacji to:

  • Szczegóły wykonywania odświeżania przepływu danych Gen2.

  • Diagnostyka silnika mashup.

  • Przetwarzanie zapytań i ślady wykonania.

Gdzie są przechowywane przesłane dzienniki?

Region rejestracji dzierżawy usługi Power BI lub Fabric określa lokalizację przechowywania danych. Magazyn zarządzany przez firmę Microsoft w odpowiednim regionie dzierżawy przechowuje przesłane dzienniki.

Które regiony Azure obsługują tę funkcję?

Wszystkie regiony obsługiwane przez usługę Fabric, które oferują obsługę zarządzanej infrastruktury magazynowania, obsługują ustawienia diagnostyczne lokalnych bram danych. Ta funkcja nie jest dostępna w regionie Kataru.

Czy przekazane dane zawierają poufne informacje?

Yes. Przesłane dane diagnostyczne mogą zawierać informacje, które klienci uważają za poufne. Funkcjonalność jest wyłączona domyślnie. Przed wybraniem ustawień diagnostyki lokalnych bram danych przejrzyj zasady obsługi danych i pomocy technicznej organizacji.

Jak długo są przechowywane dzienniki?

System przechowuje dane diagnostyczne przez 24 godziny. Dane z uruchomień Fabric Dataflow Gen2 można pobrać w ciągu tego 24-godzinnego okresu.

Kto ma dostęp do przesłanych logów?

Dostęp jest ściśle kontrolowany. Pracownicy firmy Microsoft nie mają regularnego dostępu do przesłanych dzienników. Dostęp jest domyślnie ograniczony i udzielany tylko wtedy, gdy jest to konieczne w ramach zatwierdzonych procedur operacyjnych.

Czy istnieją dodatkowe koszty przechowywania tych dzienników?

Nie. Obecnie ustawienia diagnostyczne lokalnych bram danych są dostępne bez dodatkowych opłat.

Troubleshooting

Diagnostyka jest włączona, ale nie są wyświetlane żadne dzienniki

Jeśli diagnostyka jest włączona, ale dzienniki diagnostyczne nie są wyświetlane, sprawdź następujące elementy:

  1. Potwierdź wychodzący dostęp HTTPS na porcie 443 do *.dfs.core.windows.net.

  2. Upewnij się, że brama jest uruchomiona w trybie standardowym. Bramy trybu osobistego nie są obsługiwane.

  3. Upewnij się, że zgoda dzierżawy na diagnostykę bramy nie została odwołana.

  4. Sprawdź plik GatewayInfo*.log pod kątem wierszy śledzenia składników DiagnosticsUploader i DiagnosticsStorageClient. Przydatne komunikaty śledzenia obejmują: Znaleziono N plików możliwych do przekazania, AuthenticationFailed, Osiągnięto maksymalną liczbę niepowodzeń

  5. W przypadku wystąpienia trzech kolejnych niepowodzeń przekazywania zbieranie danych diagnostycznych zostanie zatrzymane do czasu odnowienia dostępu. Takie zachowanie może sprawiać wrażenie, że diagnostyka została nieoczekiwanie wyłączona, mimo że rzeczywistą przyczyną są powtarzające się niepowodzenia przesyłania.

Aby uzyskać informacje na temat eksportowania dzienników bramy na potrzeby rozwiązywania problemów, zobacz Narzędzia do rozwiązywania problemów.