Configurar arquivos de log para o gateway de dados local

O gateway de dados local tem três categorias de logs de serviço: informações, erros e rede. Essa categorização fornece uma experiência de solução de problemas que você pode se concentrar na área específica para um erro ou problema.

Para verificar as configurações de log, siga estas etapas:

1. Abra o arquivo Microsoft.PowerBI.EnterpriseGateway.exe.configde configuração do gateway. Por padrão, você pode encontrar esse arquivo em \Program Files\On-premises data gateway.
2. Faça uma cópia desse arquivo caso precise restaurá-lo mais tarde.
3. Localize o ouvinte ApplicationFileTraceListener, que está em system.diagnostics.

As seções a seguir fornecem os detalhes de configuração por tipo de retenção, que depende da versão do gateway.

Retenção baseada em idade

A partir de fevereiro de 2023, o gateway apresenta um novo conceito de retenção baseada em idade. Esse conceito é o tipo de retenção padrão para novas instalações de gateway.

Para esse tipo de retenção, considere dois aspectos principais (em ordem de precedência):

• Espaço máximo em disco para logs de gateway (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log), com um valor padrão de 5 GB.
• Período de retenção em dias, com um valor padrão de 30 dias.

Nessa nova lógica, o gateway garante que, a cada novo dia, ele crie um novo arquivo de log. Esse provisionamento garante que as informações de um determinado dia estejam presentes em arquivos de log em que o nome do arquivo corresponde às datas de entrada de log. Além disso, o gateway executará o particionamento de arquivo dentro do dia se o tamanho máximo do arquivo individual (padrão de 100 MB) for atingido.

  <system.diagnostics>
    <trace autoflush="true" indentsize="4">
      <listeners>
        <remove name="Default" />
        <add name="ApplicationFileTraceListener" type="Microsoft.PowerBI.DataMovement.Pipeline.Common.Diagnostics.AgeBasedRetentionRotatableFilesManagerTraceListener, Microsoft.PowerBI.DataMovement.Pipeline.Common" initializeData="%LOCALAPPDATA%\Microsoft\On-premises data gateway\,30,5120,100" />
      </listeners>
    </trace>
  </system.diagnostics>

Para alterar os valores de parâmetro padrão de retenção, ajuste o valor initializeData. A lista a seguir descreve cada parâmetro:

• Período de retenção em dias (um valor entre 1 e 365 dias).
• Tamanho total máximo em MB que os três tipos de arquivo de log podem consumir.
• Tamanho máximo em MB que cada arquivo de log pode ter individualmente. Sempre que o limite é atingido, o gateway cria um novo arquivo com um número sequencial acrescentado.

Retenção baseada em contagem de arquivos

Esse estilo era a lógica de retenção de log padrão em um gateway para versões de dezembro de 2022 e anteriores. Essa lógica tem dois conceitos principais:

• Número de arquivos a serem mantidos por tipo de log (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log).
• Espaço máximo em disco para consumir por tipo de log (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log).

Os arquivos são particionados de acordo com esses critérios. Portanto, sempre que você atingir o número máximo de arquivos, normalmente atingirá o espaço máximo em disco.

O trecho a seguir do arquivo de configuração do gateway Microsoft.PowerBI.EnterpriseGateway.exe.config contém as três categorias: GatewayInfo.log, GatewayErrors.log e GatewayNetwork.log.

  <system.diagnostics>
    <trace autoflush="true" indentsize="4">
      <listeners>
        <remove name="Default" />
        <add name="ApplicationFileTraceListener"
             type="Microsoft.PowerBI.DataMovement.Pipeline.Common.Diagnostics.RotatableFilesManagerTraceListener, Microsoft.PowerBI.DataMovement.Pipeline.Common"
             initializeData="%LOCALAPPDATA%\Microsoft\On-premises data gateway\,GatewayInfo.log,GatewayErrors.log,GatewayNetwork.log,20,50" />
      </listeners>
    </trace>
  </system.diagnostics>

Por padrão, o arquivo de configuração do gateway está localizado no diretório \Arquivos de Programas\Gateway de dados local. Para definir o número de arquivos de log a serem retidos, altere o primeiro número no valor do initializeData arquivo. Para configurar o tamanho de cada arquivo de log, altere o segundo número.

O exemplo a seguir especifica que 20 arquivos de log são mantidos e a soma total de todos os arquivos em cada categoria não tem mais do que 50 MB de tamanho: GatewayInfo.log,GatewayErrors.log,GatewayNetwork.log,20,50

A nova lógica de retenção baseada em idade se aplica por padrão à minha instalação existente do gateway de dados local?

Não. Atualmente, essa lógica de retenção se aplica apenas a novas instalações de gateway. Os gateways existentes atualizados para a versão de fevereiro de 2023 ou posterior mantêm sua lógica atual de retenção de logs (retenção baseada no número de arquivos).

Consentimento do administrador para diagnóstico de gateway (versão prévia)

O consentimento do administrador para diagnóstico de gateway é um recurso que os administradores usam para controlar explicitamente se os dados de diagnóstico de gateways de dados locais são coletados e enviados para a nuvem.

O recurso de Diagnóstico de Gateway apresenta um modelo orientado por consentimento para garantir que dados potencialmente confidenciais, como logs do Mashup, só sejam transmitidos após a aprovação administrativa. Ele também habilita recursos futuros de monitoramento e diagnóstico. Por enquanto, esse recurso é aplicável somente ao artefato Dataflows Gen2. Para obter mais informações, consulte Baixar logs de atualização detalhados.

Como funciona

Os administradores de gateway podem habilitar o diagnóstico do gateway nas configurações do gateway. Quando você habilita essa configuração, o gateway começa a coletar e enviar dados de diagnóstico para a nuvem.

Os administradores de locatários fornecem uma camada extra de governança controlando o consentimento de toda a organização para diagnóstico. Por padrão, os administradores de gateway podem habilitar o diagnóstico sem precisar de aprovação no nível do locatário. No entanto, os administradores de locatários podem revogar o consentimento a qualquer momento para interromper a coleta de dados de diagnóstico em todos os gateways da organização.

Se o consentimento no nível do locatário for revogado, todos os gateways interromperão imediatamente o envio de dados de diagnóstico e qualquer transferência de dados em andamento será encerrada.

Para a imposição imediata, a reinicialização do gateway de dados local encerra todos os uploads de diagnóstico contínuos.

O serviço armazena os dados de diagnóstico do gateway por 24 horas em um Azure Data Lake Storage gerenciado pelo serviço. Após 24 horas, os dados não estarão mais disponíveis para download.

Comportamento de upload

Quando você ativa os diagnósticos do gateway, o gateway envia arquivos de diagnóstico em lotes periódicos. Os uploads não são streaming contínuo e não são em tempo real. O gateway verifica se há arquivos de diagnóstico que podem ser carregados aproximadamente a cada 60 segundos, portanto normalmente há um atraso de cerca de 1 a 2 minutos entre a geração do rastreamento e sua disponibilidade no armazenamento gerenciado pela Microsoft.

Cada upload é uma solicitação HTTPS de saída de curta duração do computador de gateway. Depois que um arquivo de diagnóstico é enviado com êxito, o gateway exclui imediatamente a cópia local temporária.

Requisitos de rede

Adicione a seguinte linha à tabela de requisitos de rede:

A conta de armazenamento usada para upload de diagnóstico é gerenciada Microsoft e pode variar por região. Como o nome da conta é dependente da região, permita o tráfego HTTPS de saída para *.dfs.core.windows.net ou use a marca de serviço Armazenamento do Azure.

Se o ambiente usar um proxy de inspeção TLS, verifique se o proxy preserva a URL de solicitação completa, incluindo a cadeia de caracteres de consulta SAS. O token SAS é necessário para que o gateway carregue arquivos de diagnóstico.

Habilitar o diagnóstico de gateway

Você pode habilitar o diagnóstico de gateway apenas na nuvem a partir de Gerenciar conexões e gateways no serviço do Power BI ou Microsoft Fabric. O aplicativo de gateway de dados local não tem uma configuração para habilitar esse recurso.

Antes de habilitar o diagnóstico do gateway, verifique os seguintes pré-requisitos:

• O gateway opera no modo padrão. Não há suporte para gateways de modo pessoal.
• O rastreamento ETW está habilitado no gateway.
• Para clusters de gateway, cada membro do cluster envia os dados de diagnóstico de forma independente. Verifique se as regras de firewall e proxy de saída estão configuradas para cada nó de gateway no cluster.

Espaço em disco e volume de armazenamento

Os dados de preparação para diagnóstico do gateway são gravados no caminho LOCALAPPDATA da conta de serviço do gateway, não no diretório de instalação do gateway. A subpasta “MSessions” contém os arquivos locais de preparação usados para o envio de dados de diagnóstico.

Em estado estável, a retenção local normalmente é de um a dois minutos porque os arquivos são excluídos imediatamente após o upload bem-sucedido. Em cenários de falha ou de nova tentativa, os dados locais de armazenamento temporário podem permanecer por até aproximadamente uma hora.

Esse espaço de armazenamento é separado do, e somado ao, limite de 5 GB para retenção local de logs documentado para os logs do gateway. Como ponto de partida, planeje cerca de 5 a 10 GB de espaço adicional em disco livre em cada computador de gateway e monitore o uso real em seu ambiente e ajuste conforme necessário.

Postura de segurança do upload de diagnósticos

O carregamento de diagnósticos do gateway usa um token SAS de curta duração, restrito ao diretório, via HTTPS. O token SAS é válido por um tempo limitado, atualmente de até nove horas, e concede apenas permissões orientadas a gravação, como Adicionar, Gravar e Criar.

O gateway pode carregar arquivos de diagnóstico, mas não pode ler novamente, listar ou enumerar dados de diagnóstico carregados.

Perguntas frequentes sobre o diagnóstico do Gateway para gateways de dados locais no Fabric

As Configurações de Diagnóstico dos gateways de dados locais ajudam a coletar logs detalhados de diagnóstico para solucionar problemas das operações de atualização do Fabric Dataflow Gen2. Esta seção responde a perguntas comuns sobre onde os logs carregados são armazenados, quais informações são coletadas, quem pode acessar os logs e se o armazenamento tem custo adicional.

É necessário registro adicional em log para diagnósticos do Gateway?

O diagnóstico de gateway e o registro adicional em log são recursos separados. O registro em log adicional não é necessário para upload de diagnóstico.

Os dois recursos gravam em destinos diferentes: o log adicional gera logs locais mais detalhados, enquanto o diagnóstico do gateway prepara dados de diagnóstico localmente e os carrega para o armazenamento gerenciado pela Microsoft após o consentimento do locatário e a habilitação no nível do gateway.

Qual é a relação entre as configurações de diagnóstico dos gateways de dados locais e os fluxos de dados?

As configurações de diagnóstico dos gateways de dados locais atualmente se aplicam apenas ao Fabric Dataflow Gen2. Quando uma atualização do Dataflow Gen2 é executada:

• O gateway coleta informações de diagnóstico necessárias para solução de problemas.
• O sistema envia logs de mashup relevantes para um armazenamento gerenciado pela Microsoft.
• Os logs são associados à execução da atualização.
• Os usuários podem baixar o diagnóstico detalhado da experiência de histórico de atualização do Dataflow Gen2.

Essa funcionalidade também pode dar suporte a cenários de diagnóstico futuros.

Quais logs são coletados e carregados?

Atualmente, as configurações de diagnóstico de gateways de dados locais enviam principalmente logs do Mashup Engine associados a operações de atualização do Dataflow Gen2 no Fabric.

Exemplos de informações coletadas incluem:

• Detalhes da execução de atualização do Dataflow Gen2.

• Diagnóstico do mecanismo Mashup.

• Processamento de consultas e rastreamentos de execução.

Onde os logs carregados são armazenados?

A região de cadastro do locatário no Power BI ou no Fabric determina o local de armazenamento. O armazenamento gerenciado pela Microsoft na região do locatário aplicável armazena os logs carregados.

Quais regiões Azure dão suporte a esse recurso?

Todas as regiões com suporte Fabric que oferecem suporte à infraestrutura de armazenamento gerenciada dão suporte a configurações de diagnóstico de gateways de dados locais. Esse recurso não está disponível na região do Catar.

Os dados carregados contêm informações confidenciais?

Yes. O diagnóstico carregado pode conter informações que os clientes consideram confidenciais. O recurso é desabilitado por padrão. Examine as políticas de tratamento e suporte de dados da sua organização antes de optar pelas configurações de diagnóstico de gateways de dados locais.

Por quanto tempo os logs são armazenados?

O sistema retém dados de diagnóstico por 24 horas. Você pode baixar dados das execuções do Dataflow Gen2 no Fabric durante este período de 24 horas.

Quem pode acessar os logs carregados?

O acesso é fortemente controlado. Os funcionários da Microsoft não acessam rotineiramente os logs enviados. O acesso é restrito por padrão e concedido somente quando necessário em procedimentos operacionais aprovados.

Há algum custo adicional para armazenar esses logs?

Não. A partir de hoje, as configurações de diagnóstico de gateways de dados locais são fornecidas sem custo adicional.

Resolução de problemas

O diagnóstico está habilitado, mas nenhum log é exibido

Se o diagnóstico estiver habilitado, mas os logs de diagnóstico não aparecerem, verifique os seguintes itens:

1. Confirme o acesso HTTPS de saída na porta 443 para *.dfs.core.windows.net.

2. Confirme se o gateway está em execução no modo padrão. Não há suporte para gateways de modo pessoal.

3. Confirme se o consentimento do locatário para diagnóstico de gateway não foi revogado.

4. Verifique no arquivo GatewayInfo*.log as linhas de rastreamento de DiagnosticsUploader e DiagnosticsStorageClient. Mensagens de rastreamento úteis incluem: Encontrados N arquivos que podem ser carregados, AuthenticationFailed, Número máximo de falhas atingido

5. Se ocorrerem três falhas de upload consecutivas, a coleta de diagnóstico será interrompida até que o acesso seja renovado. Esse comportamento pode fazer com que os diagnósticos pareçam ter sido desativados inesperadamente, embora a causa real sejam falhas repetidas de upload.

Conteúdo relacionado

Para obter informações sobre como exportar logs de gateway para solução de problemas, consulte ferramentas de solução de problemas.