Configurar arquivos de log para o gateway de dados local

O gateway de dados on-premises possui três categorias de registos de serviço: informação, erro e rede. Esta categorização proporciona uma experiência de resolução de problemas na qual pode focar-se na área específica de um erro ou problema.

Para verificar as suas configurações de registo, siga estes passos:

1. Abra o ficheiro Microsoft.PowerBI.EnterpriseGateway.exe.configde configuração do gateway. Por predefinição, pode encontrar este ficheiro em \Program Files\On-premises data gateway.
2. Faça uma cópia deste ficheiro caso precise de o restaurar mais tarde.
3. Encontre o escutador ApplicationFileTraceListener, que se encontra em system.diagnostics.

As seções a seguir fornecem os detalhes de configuração por tipo de retenção, que dependem da versão do gateway.

Retenção com base na idade

A partir de fevereiro de 2023, o gateway introduz um novo conceito de retenção com base na antiguidade. Este conceito é o tipo de retenção padrão para novas instalações de gateway.

Para este tipo de retenção, considere dois aspetos principais (por ordem de precedência):

• Espaço máximo em disco para registos de gateway (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log), com um valor padrão de 5 GB.
• Período de retenção em dias, com um valor padrão de 30 dias.

Nesta nova lógica, o gateway garante que para cada novo dia cria um novo ficheiro de registo. Esse provisionamento garante que as informações de um determinado dia estejam presentes em arquivos de log onde o nome do arquivo corresponde às datas de entrada do log. Além disso, o gateway realiza a partição de ficheiros dentro do dia seguinte se o tamanho máximo individual do ficheiro (padrão de 100 MB) for atingido.

  <system.diagnostics>
    <trace autoflush="true" indentsize="4">
      <listeners>
        <remove name="Default" />
        <add name="ApplicationFileTraceListener" type="Microsoft.PowerBI.DataMovement.Pipeline.Common.Diagnostics.AgeBasedRetentionRotatableFilesManagerTraceListener, Microsoft.PowerBI.DataMovement.Pipeline.Common" initializeData="%LOCALAPPDATA%\Microsoft\On-premises data gateway\,30,5120,100" />
      </listeners>
    </trace>
  </system.diagnostics>

Para alterar os valores padrão dos parâmetros de retenção, ajusta o initializeData valor. A lista a seguir descreve cada parâmetro:

• Período de retenção em dias (um valor entre 1 e 365 dias).
• Tamanho total máximo em MB que os três tipos de ficheiros de log podem consumir.
• Tamanho máximo em MB que cada arquivo de log pode ter individualmente. Cada vez que o limite é atingido, o gateway cria um novo ficheiro com um número sequencial.

Retenção baseada na contagem de arquivos

Esse estilo era a lógica de retenção de log padrão dentro de um gateway para versões de dezembro de 2022 e anteriores. Esta lógica tem dois conceitos principais:

• Número de ficheiros a manter por tipo de registo (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log).
• Espaço máximo em disco a consumir por tipo de registo (GatewayInfo*.log, GatewayError*.log, GatewayNetwork*.log).

Os ficheiros são particionados de acordo com estes critérios. Portanto, sempre que atinges o número máximo de ficheiros, normalmente atinges o espaço máximo em disco.

O seguinte excerto do ficheiro de configuração gateway Microsoft.PowerBI.EnterpriseGateway.exe.config contém as três categorias: GatewayInfo.log, GatewayErrors.log e GatewayNetwork.log.

  <system.diagnostics>
    <trace autoflush="true" indentsize="4">
      <listeners>
        <remove name="Default" />
        <add name="ApplicationFileTraceListener"
             type="Microsoft.PowerBI.DataMovement.Pipeline.Common.Diagnostics.RotatableFilesManagerTraceListener, Microsoft.PowerBI.DataMovement.Pipeline.Common"
             initializeData="%LOCALAPPDATA%\Microsoft\On-premises data gateway\,GatewayInfo.log,GatewayErrors.log,GatewayNetwork.log,20,50" />
      </listeners>
    </trace>
  </system.diagnostics>

Por padrão, o arquivo de configuração do gateway está localizado no diretório \Arquivos de Programas\Gateway de dados local. Para definir o número de arquivos de log a serem mantidos, altere o primeiro número no valor do initializeData arquivo. Para configurar o tamanho de cada arquivo de log, altere o segundo número.

O exemplo seguinte especifica que 20 ficheiros de registo são mantidos, e a soma total de todos os ficheiros em cada categoria não ultrapassa 50 MB de tamanho: GatewayInfo.log,GatewayErrors.log,GatewayNetwork.log,20,50

A nova lógica de retenção baseada na idade se aplica por padrão à minha instalação de gateway de dados local existente?

Não. Esta lógica de retenção aplica-se atualmente apenas a novas instalações de gateway. Gateways existentes que atualizam para fevereiro de 2023 ou versões posteriores mantêm a lógica atual de retenção de logs (retenção baseada no número de ficheiros).

Consentimento do administrador para diagnóstico do gateway (Pré-visualização)

O consentimento do administrador para diagnósticos de gateway é uma funcionalidade que os administradores utilizam para controlar explicitamente se os dados de diagnóstico provenientes de gateways de dados locais são recolhidos e enviados para a cloud.

A funcionalidade Gateway Diagnostic introduz um modelo orientado por consentimento para garantir que dados potencialmente sensíveis, como logs Mashup, só sejam transmitidos após aprovação administrativa. Também permite futuras capacidades de monitorização e diagnóstico. Por agora, esta funcionalidade aplica-se apenas a artefactos Dataflows Gen2. Para mais informações, consulte Descarregar registos detalhados de atualização.

Como funciona

Os administradores do gateway podem ativar o diagnóstico do gateway nas definições do gateway. Quando ativa esta definição, o gateway começa a recolher e enviar dados de diagnóstico para a cloud.

Os administradores de inquilinos fornecem uma camada extra de governação ao controlar o consentimento a nível organizacional para diagnósticos. Por predefinição, os administradores do gateway podem ativar os diagnósticos sem necessitarem de aprovação ao nível do tenant. No entanto, os administradores de inquilinos podem revogar o consentimento a qualquer momento para interromper a recolha de dados de diagnóstico em todos os gateways da organização.

Se o consentimento ao nível do inquilino for revogado, todos os gateways deixam imediatamente de enviar dados de diagnóstico e qualquer transferência de dados em curso é terminada.

Para uma implementação imediata, reiniciar o gateway de dados local elimina quaisquer carregamentos de diagnósticos em curso.

O serviço armazena os dados de diagnóstico do gateway durante 24 horas num Azure Data Lake Storage gerido pelo serviço. Após 24 horas, os dados deixam de estar disponíveis para download.

Comportamento de upload

Quando ativas o diagnóstico do gateway, o gateway carrega ficheiros de diagnóstico em lotes periódicos. Os uploads não são streaming contínuo nem em tempo real. O gateway verifica se existem ficheiros de diagnóstico que possam ser carregados aproximadamente a cada 60 segundos, pelo que normalmente há um atraso de cerca de 1 a 2 minutos entre a geração dos rastreios e a respetiva disponibilidade no armazenamento gerido pela Microsoft.

Cada carregamento é um pedido HTTPS de saída de curta duração a partir da máquina gateway. Após o carregamento com êxito de um ficheiro de diagnóstico, o gateway elimina imediatamente a cópia local de armazenamento temporário.

Requisitos de rede

Adicione a seguinte linha à tabela de requisitos da rede:

A conta de armazenamento usada para o upload de diagnósticos é gerida pela Microsoft e pode variar consoante a região. Como o nome da conta depende da região, permita que o tráfego HTTPS de saída seja *.dfs.core.windows.net ou use a etiqueta de serviço Armazenamento do Azure.

Se o seu ambiente utiliza um proxy de inspeção TLS, certifique-se de que o proxy preserva o URL completo do pedido, incluindo a cadeia de consulta SAS. O token SAS é necessário para que o gateway carregue ficheiros de diagnóstico.

Ativar o diagnóstico do gateway

Só podes ativar os diagnósticos do gateway apenas na cloud a partir de Gerir ligações e gateways no serviço Power BI ou no Microsoft Fabric. A aplicação de gateway de dados local não tem uma opção para ativar esta funcionalidade.

Antes de ativar o diagnóstico do gateway, verifique os seguintes pré-requisitos:

• O gateway funciona em modo standard. Gateways de modo pessoal não são suportados.
• O rastreio ETW está ativado no gateway.
• Para clusters de gateway, cada membro do cluster carrega os diagnósticos de forma independente. Certifique-se de que as regras de firewall e proxy de saída estão configuradas para todos os nós de gateway no cluster.

Espaço em disco e área de armazenamento

Os dados temporários de diagnóstico do gateway são gravados no caminho LOCALAPPDATA da conta de serviço do gateway, e não no diretório de instalação do gateway. A subpasta MSessions contém os ficheiros locais de staging usados para o carregamento de diagnósticos.

Em estado estacionário, a retenção local é tipicamente de um a dois minutos porque os ficheiros são eliminados imediatamente após o upload bem-sucedido. Em cenários de falha ou de nova tentativa, os dados locais de preparação podem permanecer durante cerca de uma hora.

Este espaço de armazenamento é independente do limite local de retenção de registos de 5 GB documentado para os registos do gateway e acresce a esse limite. Como ponto de partida, planeie cerca de 5 a 10 GB adicionais de margem livre para disco em cada máquina gateway, depois monitorize o uso real no seu ambiente e ajuste conforme necessário.

Nível de segurança do envio de diagnósticos

O carregamento dos diagnósticos do gateway utiliza um token SAS de curta duração, limitado ao diretório, através de HTTPS. O token SAS é válido por um tempo limitado, atualmente até nove horas, e concede apenas permissões orientadas para escrita, como Adicionar, Escrever e Criar.

O gateway pode carregar ficheiros de diagnóstico, mas não pode ler, listar ou enumerar dados de diagnóstico carregados.

Perguntas frequentes sobre diagnósticos de Gateway para gateways de dados locais no Fabric

As Definições de Diagnóstico dos gateways de dados on-premises ajudam a recolher registos de diagnóstico detalhados para a resolução de problemas das operações de atualização Gen2 do Fabric Dataflow. Esta secção responde a perguntas comuns sobre onde estão armazenados os registos carregados, que informações são recolhidas, quem pode aceder aos registos e se o armazenamento tem custos adicionais.

São necessários registos adicionais para Diagnóstico do Gateway?

O diagnóstico do gateway e o registo adicional são funcionalidades separadas. Não é necessário registo adicional para o upload dos diagnósticos.

As duas funcionalidades gravam em destinos diferentes: o registo adicional grava registos locais mais detalhados, enquanto o diagnóstico do gateway prepara os dados de diagnóstico localmente e carrega esses dados para armazenamento gerido pela Microsoft após o consentimento do tenant e a ativação ao nível do gateway.

Qual é a relação entre as definições de diagnóstico dos gateways de dados no local e os fluxos de dados?

As Definições de Diagnóstico dos gateways de dados no local aplicam-se atualmente apenas ao Fabric Dataflow Gen2. Quando é executada uma atualização do Dataflow Gen2:

• O gateway recolhe a informação de diagnóstico necessária para a resolução de problemas.
• O sistema carrega registos de mashup relevantes para armazenamento gerido pela Microsoft.
• Os registos estão associados à execução da atualização.
• Os utilizadores podem descarregar os diagnósticos detalhados da experiência de histórico de atualização do Dataflow Gen2.

Esta capacidade poderá também suportar futuros cenários de diagnóstico.

Que registos são recolhidos e carregados?

Atualmente, as Definições de Diagnóstico dos gateways de dados locais carregam principalmente os registos do Mashup Engine associados às operações de atualização do Fabric Dataflow Gen2.

Exemplos de informação recolhida incluem:

• Detalhes da execução da atualização do Dataflow Gen2.

• Diagnóstico do motor de mashup.

• Processamento de consultas e traços de execução.

Onde são armazenados os registos carregados?

A região de registo Power BI ou Fabric do inquilino determina a localização de armazenamento. O armazenamento gerido pela Microsoft na região de inquilino aplicável armazena os registos carregados.

Que regiões do Azure suportam esta funcionalidade?

Todas as regiões suportadas pelo Fabric que oferecem suporte para a infraestrutura de armazenamento gerido suportam as definições de diagnóstico para gateways de dados no local. Esta funcionalidade não está disponível na região do Qatar.

Os dados carregados contêm informações sensíveis?

Sim. Diagnósticos carregados podem conter informações que os clientes consideram sensíveis. A funcionalidade está desativada por predefinição. Revise as políticas de gestão e suporte de dados da sua organização antes de optar pelas definições de diagnósticos dos gateways de dados locais.

Durante quanto tempo são armazenados os registos?

O sistema mantém dados de diagnóstico durante 24 horas. Pode descarregar dados das execuções do Fabric Dataflow Gen2 durante este período de 24 horas.

Quem pode aceder aos registos carregados?

O acesso é rigorosamente controlado. O pessoal da Microsoft não acede rotineiramente aos registos carregados. O acesso é restrito por defeito e concedido apenas quando necessário segundo procedimentos operacionais aprovados.

Há algum custo adicional para armazenar estes troncos?

Não. A partir de hoje, as Definições de Diagnóstico dos gateways de dados locais são fornecidas sem custos adicionais.

Troubleshooting

Os diagnósticos estão ativados, mas não aparecem registos

Se os diagnósticos estiverem ativados mas os registos de diagnóstico não aparecerem, verifique os seguintes itens:

1. Confirme o acesso de saída por HTTPS na porta 443 para *.dfs.core.windows.net.

2. Confirma que o gateway está a funcionar em modo standard. Gateways de modo pessoal não são suportados.

3. Confirme que o consentimento do inquilino para o diagnóstico do gateway não foi revogado.

4. Verifique no ficheiro GatewayInfo*.log se existem linhas de rastreio do DiagnosticsUploader e do DiagnosticsStorageClient. Mensagens de rastreio úteis incluem: Foram encontrados N ficheiros passíveis de carregamento, Falha de autenticação, Foi atingido o número máximo de falhas

5. Se ocorrerem três falhas consecutivas de carregamento, a recolha de diagnósticos é interrompida até que o acesso seja renovado. Este comportamento pode fazer com que os diagnósticos pareçam desligados inesperadamente, mesmo que a causa raiz seja falhas repetidas no upload.

Conteúdo relacionado

Para informações sobre como exportar registos de gateway para resolução de problemas, consulte Ferramentas de resolução de problemas.