Połączenie danych usługi Event Grid

Pozyskiwanie danych przez usługę Event Grid to potok przetwarzania, który nasłuchuje zdarzeń w usłudze Azure Storage i powiadamia usługę Azure Data Explorer o konieczności pobrania informacji, gdy wystąpią zasubskrybowane zdarzenia. Usługa Azure Data Explorer oferuje ciągłe pozyskiwanie danych z usługi Azure Storage (Azure Blob Storage i ADLSv2) przy użyciu subskrypcji Azure Event Grid dla powiadomień o utworzeniu lub zmianie nazwy obiektu blob oraz przesyłanie strumieniowe tych powiadomień do usługi Azure Data Explorer za pośrednictwem usługi Azure Event Hubs.

Potok pozyskiwania danych usługi Event Grid składa się z kilku etapów. W usłudze Azure Data Explorer utworzysz tabelę docelową, w której dane w określonym formacie zostaną pozyskane. Następnie utworzysz połączenie danych usługi Event Grid w usłudze Azure Data Explorer. Połączenie danych usługi Event Grid musi mieć informacje o routingu zdarzeń, takie jak tabela, do której mają trafiać dane, oraz mapowanie tabeli. Należy również określić właściwości pozyskiwania danych, które opisują dane do pozyskania, tabelę docelową i mapowanie. Możesz wygenerować przykładowe dane i przesłać obiekty blob lub zmienić nazwę obiektów blob, aby przetestować połączenie. Usuń obiekty blob po zaimportowaniu.

Pozyskiwaniem danych w usłudze Event Grid można zarządzać za pośrednictwem portalu Azure, przy użyciu kreatora pozyskiwania danych, programowo za pomocą języka C# lub Python, albo przy użyciu szablonu usługi Azure Resource Manager.

Aby uzyskać ogólne informacje na temat pozyskiwania danych w usłudze Azure Data Explorer, zobacz Omówienie pozyskiwania danych w usłudze Azure Data Explorer.

Mechanizmy uwierzytelniania połączeń danych usługi Event Grid

• Połączenie danych oparte na tożsamości zarządzanej (zalecane): użycie połączenia danych opartego na tożsamości zarządzanej jest najbezpieczniejszym sposobem nawiązywania połączenia ze źródłami danych. Zapewnia pełną kontrolę nad możliwością pobierania danych ze źródła danych.

  Konfiguracja połączenia danych usługi Event Grid przy użyciu tożsamości zarządzanej wymaga następujących kroków i uprawnień:

  1. Upewnij się, że masz przypisaną rolę Współautor usługi EventGrid w subskrypcji Azure dla zasobów konta magazynu danych źródła.
  2. Dodaj tożsamość zarządzaną do klastra.
  3. Nadaj uprawnienia tożsamości zarządzanej w źródle danych. Aby pobierać dane z usługi Azure Storage, tożsamość zarządzana musi mieć przypisaną co najmniej rolę Storage Blob Data Reader dla konta usługi Azure Storage.
  4. Udziel uprawnień tożsamości zarządzanej w centrum zdarzeń. Aby pobierać powiadomienia o obiektach blob z centrum zdarzeń, tożsamość zarządzana musi mieć uprawnienia Azure Event Hubs Data Receiver w usłudze Azure Event Hubs.
  5. Ustaw zasady tożsamości zarządzanej w docelowych bazach danych.
  6. Utwórz połączenie z danymi za pomocą uwierzytelniania przy użyciu tożsamości zarządzanej, aby pobrać dane.

  Uwaga

  • Grupa odbiorców centrum zdarzeń musi być unikatowa dla poszczególnych użytkowników. Utwórz dedykowaną grupę odbiorców dla każdego połączenia danych usługi Azure Data Explorer.

  Uwaga

  • Jeśli uprawnienia tożsamości zarządzanej zostaną usunięte ze źródła danych, połączenie danych nie będzie już działać i nie będzie mogło pobrać danych ze źródła danych.
  • Jeśli uwierzytelnianie lokalne jest wyłączone w istniejącej przestrzeni nazw usługi Event Hubs, w której powiadomienia obiektów blob są przesyłane strumieniowo, musisz użyć uwierzytelniania za pomocą tożsamości zarządzanej na potrzeby połączenia danych i poprawnie skonfigurować zasoby. Aby uzyskać więcej informacji, zobacz Znane problemy z usługą Event Grid.

• Połączenie danych oparte na kluczu: jeśli dla połączenia danych nie określono uwierzytelniania za pomocą tożsamości zarządzanej, połączenie automatycznie używa uwierzytelniania opartego na kluczu. Połączenia oparte na kluczach pobierają dane przy użyciu parametrów połączenia zasobu, takich jak parametry połączenia usługi Azure Event Hubs. Usługa Azure Data Explorer pobiera parametry połączenia zasobu dla określonego zasobu i bezpiecznie je zapisuje. Następnie ciąg połączenia służy do pobierania danych ze źródła danych.

  Uwaga

  Jeśli klucz zostanie obrócony, połączenie danych nie będzie już działać i nie będzie mogło pobrać danych ze źródła danych. Aby rozwiązać ten problem, zaktualizuj lub ponownie utwórz połączenie danych.

Format danych

• Zobacz obsługiwane formaty.
• Zobacz obsługiwane kompresje.

  • Oryginalny nieskompresowany rozmiar danych powinien stanowić część metadanych obiektu blob, w przeciwnym razie usługa Azure Data Explorer oszacuje go. Limit nieskompresowanego rozmiaru na plik podczas pozyskiwania danych wynosi 6 GB.

    Uwaga

    Subskrypcję powiadomień usługi Event Grid można skonfigurować dla kont usługi Azure Storage dla BlobStorage, StorageV2 lub Data Lake Storage Gen2.

Właściwości pozyskiwania danych

Można określić właściwości pozyskiwania danych dla pozyskiwania z obiektu blob za pomocą metadanych obiektu blob. Można ustawić następujące właściwości:

Trasowanie zdarzeń

Podczas tworzenia połączenia danych z klastrem należy określić routing dla miejsca wysyłania pozyskanych danych. Domyślnie kierowanie odbywa się do tabeli docelowej określonej w parametrach połączenia skojarzonych z docelową bazą danych. Domyślny routing danych jest również określany jako routing statyczny. Możesz określić alternatywny routing dla danych przy użyciu właściwości danych zdarzenia.

Kierowanie danych zdarzeń do alternatywnej bazy danych

Routing danych do alternatywnej bazy danych jest domyślnie wyłączony. Aby wysłać dane do innej bazy danych, należy najpierw ustawić połączenie jako połączenie z wieloma bazami danych. Można to zrobić w portalu Azure, w języku C#, Python lub za pomocą szablonu ARM. Użytkownik, grupa, jednostka usługi lub tożsamość zarządzana używana do zezwalania na routing bazy danych musi mieć co najmniej rolę współautora i uprawnienia do zapisu w klastrze. Aby uzyskać więcej informacji, zobacz Tworzenie połączenia danych usługi Event Grid dla usługi Azure Data Explorer.

Aby określić alternatywną bazę danych, ustaw Databasewłaściwość pozyskiwania danych.

Przekierowywanie danych zdarzeń do alternatywnej tabeli

Podczas konfigurowania połączenia magazynu obiektów blob z klastrem usługi Azure Data Explorer określ właściwości tabeli docelowej:

• nazwa tabeli
• format danych
• mapowanie

Można również określić właściwości tabeli docelowej dla każdego obiektu blobu przy użyciu metadanych blobu. Dane będą dynamicznie kierowane zgodnie z właściwościami pozyskiwania.

Poniższy przykład pokazuje, jak ustawić właściwości pozyskiwania w metadanych obiektu blob przed jego przesłaniem. Bloby są kierowane do różnych tabel.

Ponadto można określić docelową bazę danych. Połączenie danych usługi Event Grid jest tworzone w kontekście określonej bazy danych. W związku z tym ta baza danych jest domyślną bazą danych dla routingu połączenia z danymi. Aby wysłać dane do innej bazy danych, ustaw właściwość pozyskiwania danych „KustoDatabase” i skonfiguruj połączenie danych jako połączenie danych z wieloma bazami. Routing danych do innej bazy danych jest domyślnie wyłączony (niedozwolone). Ustawienie właściwości pozyskiwania bazy danych innej niż baza danych połączenia danych bez zezwalania na routing danych do wielu baz danych (ustawienie połączenia jako połączenie danych z wieloma bazami danych) spowoduje niepowodzenie pozyskiwania.

Aby uzyskać więcej informacji, zobacz przesyłanie obiektów blob.

var container = new BlobContainerClient("<storageAccountConnectionString>", "<containerName>");
await container.CreateIfNotExistsAsync();
var blob = container.GetBlobClient("<blobName>");
// Blob is dynamically routed to table `Events`, ingested using `EventsMapping` data mapping
await blob.SetMetadataAsync(
    new Dictionary<string, string>
    {
        { "rawSizeBytes", "4096" }, // the uncompressed size is 4096 bytes
        { "kustoTable", "Events" },
        { "kustoDataFormat", "json" },
        { "kustoIngestionMappingReference", "EventsMapping" },
        { "kustoDatabase", "AnotherDB" }
    }
);
await blob.UploadAsync(BinaryData.FromString(File.ReadAllText("<filePath>")));

Przekazywanie obiektów blob

Można utworzyć obiekt blob z pliku lokalnego, ustawić właściwości pozyskiwania danych w metadanych obiektu blob i przesłać go. Przykłady można znaleźć w temacie Używanie połączenia danych usługi Event Grid.

Zmienianie nazwy obiektów blob

W przypadku używania usługi ADLSv2 można zmienić nazwę obiektu blob, aby uruchomić pozyskiwanie danych z obiektu blob do usługi Azure Data Explorer. Na przykład zobacz Zmienianie nazw obiektów blob.

Usuwanie obiektów blob przy użyciu zasad cyklu życia pamięci masowej

Logika wbudowana w usługi Azure Data Explorer nie spowoduje usunięcia obiektów blob po ich zaimportowaniu. Użyj cyklu życia usługi Azure Blob Storage, aby zarządzać usuwaniem obiektów blob. Zaleca się przechowywanie obiektów blob przez od trzech do pięciu dni.

Znane problemy z usługą Event Grid

Praca bez uwierzytelniania lokalnego

Jeśli uwierzytelnianie lokalne jest wyłączone w przestrzeni nazw usługi Event Hubs zawierającej centrum zdarzeń używane do przesyłania strumieniowego powiadomień, wykonaj następujące kroki, aby upewnić się, że dane przepływa prawidłowo z magazynu do centrum zdarzeń przy użyciu tożsamości zarządzanych:

$eventGridSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTGRID SYSTEM TOPIC>"
$eventGridResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTGRID SYSTEM TOPIC>"
$eventGridSystemTopicName = "<EVENTGRID SYSTEM TOPIC NAME>"
$eventGridSubscriptionName = "<EVENTGRID SUBSCRIPTION NAME>"

$eventhubSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTHUB NAMESPACE>"
$eventhubResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTHUB NAMESPACE>"
$eventhubNamespaceName = "<THE EVENTHUB NAMESPACE NAME>"
$eventhubName = "<THE EVENTHUB NAME>"

Set-AzContext -SubscriptionId $eventGridSubscriptionId

Write-Host "Checking if Event Grid Topic exists"
$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$hasSystemAssignedIdentity = $eg.IdentityType -match "SystemAssigned"

if ($hasSystemAssignedIdentity) {
    Write-Host -ForegroundColor Green "Event Grid Topic $eventGridSystemTopicName already has a system-assigned identity"
}
else {
    Write-Host "Event Grid Topic $eventGridSystemTopicName doesn't have a system-assigned identity. Assigning one..."
    Update-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName -EnableSystemAssignedIdentity $true
    Write-Host -ForegroundColor Green "System-assigned identity has been assigned to Event Grid Topic $eventGridSystemTopicName"
}

$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$identityPrincipalId = $eg.IdentityPrincipalId

Set-AzContext -SubscriptionId $eventhubSubscriptionId

$eventhubResourceId = "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"

Write-Host "Checking if Azure Event Hubs Data Sender role is assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
$roleAssignment = Get-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope $eventhubResourceId
$hasRoleAssignment = $null -ne $roleAssignment

if ($hasRoleAssignment) {
    Write-Host -ForegroundColor Yellow "Azure Event Hubs Data Sender role is already assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}
else {
    Write-Host "Going to assign Azure Event Hubs Data Sender role to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubResourceId"
    New-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"
    Write-Host -ForegroundColor Green "Azure Event Hubs Data Sender role has been assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}

Write-Host "Checking if Event Subscription $eventSubscriptionName is using Systeam assigned identity"
$eventGridSubscribtion = Get-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName
$deliveryIdentityType = $eventGridSubscribtion.DeliveryWithResourceIdentityType
$destination = $eventGridSubscribtion.Destination

if ($deliveryIdentityType -eq "SystemAssigned") {
    Write-Host -ForegroundColor Yellow "Event Subscription $eventGridSubscriptionName is allready using System Assigned Identity"
}
else {
    Write-Host "Event Subscription $eventGridSubscriptionName is not using System Assigned Identity. Updating..."
    Update-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName -DeliveryWithResourceIdentityType "SystemAssigned" -DeliveryWithResourceIdentityDestination $destination
    Write-Host -ForegroundColor Green "Event Subscription $eventGridSubscriptionName is now using System Assigned Identity"
}

Write-Host -ForegroundColor Green "%%%%%%%% Script has been executed successfully %%%%%%%%"

Ponadto skonfiguruj połączenie danych usługi Event Grid w celu korzystania z uwierzytelniania tożsamości zarządzanej, aby usługa Azure Data Explorer mogła odbierać powiadomienia z centrum zdarzeń.

Skonfiguruj pozyskiwanie danych usługi Event Grid dla plików wyeksportowanych z usługi Azure Data Explorer

Podczas używania usługi Azure Data Explorer do eksportowania plików używanych do pozyskiwania danych przez Event Grid należy pamiętać:

• Powiadomienia usługi Event Grid nie są wyzwalane, jeśli ciąg połączenia podany dla polecenia eksportu lub ciąg połączenia podany dla tabeli zewnętrznej jest ciągiem połączenia w formacie ADLS Gen2 (na przykład abfss://filesystem@accountname.dfs.core.windows.net), ale dla konta magazynu nie włączono hierarchicznej przestrzeni nazw.
• Jeśli konto nie ma włączonej hierarchicznej przestrzeni nazw, parametry połączenia muszą mieć format Blob Storage (na przykład https://accountname.blob.core.windows.net). Eksport działa zgodnie z oczekiwaniami nawet przy użyciu ciągu połączenia ADLS Gen2, ale powiadomienia nie zostaną wyzwolone, a pozyskiwanie danych przez usługę Event Grid nie będzie działać.

Emulowanie zdarzeń Storage z poziomu niestandardowych komponentów

W przypadku używania składników niestandardowych do emulowania zdarzeń usługi Azure Storage zdarzenia emulowane muszą być ściśle zgodne ze schematem zdarzeń usługi Azure Blob Storage, ponieważ usługa Azure Data Explorer odrzuci zdarzenia, których nie można przeanalizować za pomocą zestawu SDK usługi Event Grid.

Powiązana zawartość

• Tworzenie połączenia danych usługi Event Grid
• Pozyskiwanie danych z usługi Azure Event Hubs do usługi Azure Data Explorer przy użyciu kreatora pozyskiwania
• Pozyskiwanie danych z kontenera lub usługi Azure Data Lake Storage do usługi Azure Data Explorer