Configurar a observabilidade

Importante

Esse recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Uma configuração de observabilidade captura a telemetria profunda do Lakebase Postgres como tabelas Delta no Unity Catalog. Insights, Genie e os dashboards rodam todos com esses dados; Um projeto não possui nenhuma delas até que uma configuração seja anexada.

Uma configuração é um único objeto que pode abranger um ou vários projetos. Existem duas maneiras de associar uma identidade a ele, e elas coexistem por design:

  • Um administrador de workspace define uma configuração de principal de serviço como padrão do workspace, então todo novo projeto recebe observabilidade automaticamente.
  • Um proprietário individual do projeto configura seu próprio projeto com credenciais de identidade de usuário.

Um espaço de trabalho normalmente acaba com uma mistura: a maioria dos projetos está no padrão compartilhado, alguns com suas próprias configurações. Esta página cobre toda a configuração para cada caminho. Para configurar um único projeto que você possui, veja o quickstart.

Pré-requisitos

  • A versão prévia do Lakebase Advanced Postgres Telemetry está habilitada para seu espaço de trabalho. Um administrador do workspace o ativa na página Visualizações.
  • Um projeto de dimensionamento automático do Lakebase na AWS ou Azure. Consulte Obter um banco de dados postgres.
  • Um catálogo e um esquema no Unity Catalog para receber telemetria. O esquema já deve existir e o catálogo não pode usar o armazenamento padrão.

Configurar a configuração

Escolha uma identidade. A configuração escreve telemetria no Unity Catalog como uma identidade que você seleciona no assistente. Essa escolha determina até onde a configuração chega e quanto tempo ela dura:

  • Escolha um principal de serviço para uma configuração duradoura que não esteja vinculada à conta de uma única pessoa. Esse é o ajuste certo para padronizar a observabilidade: defina como padrão do workspace e atribua a projetos existentes. Selecionar um principal de serviço é apenas para administrador de workspace, e você o provisiona primeiro (passo 1 abaixo).
  • Escolha credenciais em nível de usuário para configurar um projeto sob seu próprio acesso, sem nada para provisionar. Isso se adequa para um projeto individual que você possui. Ele é direcionado às suas permissões, então pule a etapa de provisionamento do principal de serviço e comece pelo assistente de Abrir a configuração.

Fornecer o principal de serviço

Se você estiver usando credenciais de nível de usuário, pule para abrir o assistente de configuração.

Conceda ao principal do serviço as quatro permissões abaixo antes de criar a configuração, para que ele esteja pronto para selecionar no assistente. Eles são independentes, e cada um é concedido em um lugar diferente. Se algum estiver faltando, a configuração ainda salva, mas a telemetria silenciosamente nunca aterrissa e nenhum insight é gerado, sem erro que indique a causa. Se uma configuração não produzir telemetria, verifique essas primeiro.

Conceder Onde configurá-lo Por que ele é necessário
Acesso ao workspace A aba Configurações do diretor, em Direitos Permite que o principal do serviço atue no ambiente de trabalho. Sem isso, o Lakebase escreve telemetria como uma identidade que não pode fazer nada, então toda tabela de telemetria permanece vazia.
Administrador do espaço de trabalho Configurações > Grupos de identidade e acesso>: abra o grupo de administradores e adicione o principal Atualmente, o agente em segundo plano requer acesso de administrador para gravar telemetria e gerar insights.
PODE USAR A aba de Permissões do diretor Permite selecionar o principal no mago. Criar um principal de serviço concede PODER GERENCIAR, que não inclui PODER USAR, então você concede explicitamente. Consulte Funções para gerenciar entidades de serviço.
Privilégios do Unity Catalog O catálogo de destino e o esquema (veja o SQL abaixo) Permite que o principal crie e escreva as tabelas de telemetria: USE CATALOG no catálogo USE SCHEMA e CREATE TABLE no esquema.

Conceder acesso ao Workspace e CAN USE nas Configurações > de Identidade e Princípios de Serviço de acesso>. Conceda privilégios ao Catálogo Unity no Explorador de Catálogos ou com SQL:

GRANT USE CATALOG ON CATALOG <catalog> TO `<service-principal-id>`;
GRANT USE SCHEMA ON SCHEMA <catalog>.<schema> TO `<service-principal-id>`;
GRANT CREATE TABLE ON SCHEMA <catalog>.<schema> TO `<service-principal-id>`;

Note

Exigir administrador de workspace é uma restrição atual do Beta e pode ser restringida em uma versão futura. Permita por enquanto para que a telemetria e as análises funcionem.

Abra o assistente de configuração

Abra o mago de qualquer lugar. Ambos abrem o mesmo mago:

  • Do Lakebase>Insights>Gerenciar configurações>Adicione nova configuração
  • A partir da configuração deObservabilidade> de Configurações> de um projeto,crie uma nova configuração

Complete os três passos do mago que seguem em ordem, clicando em Próximo entre eles.

Configurar

Nomeie a configuração e selecione para onde a telemetria será enviada. Duas opções aqui merecem uma pausa:

  • Faça desta uma configuração padrão para novos projetos , tornando-a o padrão do workspace: todo novo projeto criado no workspace recebe essa configuração automaticamente, sem nenhuma ação do criador. Ative isso para padronizar a observabilidade em todo o espaço de trabalho. Um espaço de trabalho tem no máximo um padrão, e o padrão se aplica apenas a projetos criados depois, então você também o atribui a projetos existentes na etapa Atribuir a projetos . Deixe de lado se quiser que essa configuração se aplique a projetos específicos e não a todo o espaço de trabalho.
  • Identidade (em Autorizar Lakebase a gravar seus dados) é a conta que a Lakebase escreve a telemetria, seguindo a escolha que você fez em Escolha uma identidade. Selecione Usar principal de serviço e escolha o principal que você provisionou, ou selecione Usar credenciais em nível de usuário para executar você mesmo. Somente os administradores do workspace podem selecionar um service principal.

Em Enviar telemetria para o Unity Catalog, escolha o Catálogo e o Esquema em que as tabelas são gravadas e, opcionalmente, um prefixo de tabela. Você está escolhendo um destino, não projetando um: a Lakebase cria as tabelas listadas em O que é capturado na primeira vez que escreve telemetria. O esquema já deve existir e o catálogo não pode usar o armazenamento padrão. Como usar o armazenamento padrão é selecionado por padrão quando você cria um catálogo no Catalog Explorer, desmarque-o para o catálogo que você usa aqui.

Ativar análises

Verifique se a habilitação de insights está ativada. É o que executa o agente Insights em segundo plano. Sem ele, uma configuração grava telemetria no Unity Catalog, mas não exibe nada de forma proativa. Dois campos relacionados são exibidos:

  • Instruções é um texto livre que o agente lê antes de cada etapa de análise, por exemplo: "Não gere insights sobre o tamanho da tabela." Trate isso como uma orientação, não como um filtro garantido: como qualquer instrução dada a um LLM, ela geralmente é seguida, mas não aplicada de forma estrita.
  • A frequência de análise controla com que frequência o Insights avalia sua telemetria (por exemplo, a cada hora). Isso é separado da rapidez com que a telemetria bruta chega ao Catálogo do Unity, o que acontece continuamente independentemente.

O Insights salva suas descobertas em uma localização no Workspace, distinta do destino do Unity Catalog acima: a telemetria bruta é armazenada como tabelas Delta, mas os insights em si são arquivos no seu próprio Workspace do Azure Databricks.

Atribuir aos projetos

Selecione os projetos Lakebase existentes para os quais essa configuração se aplica e salve. Defini-lo como o padrão do workspace na etapa anterior abrange projetos criados a partir de agora; Atribuir isso aqui traz seus projetos existentes sob a mesma configuração.

Após salvar:

  • Confirme que o cálculo está rodando.
  • Se você habilitou a observabilidade em uma instância que já estava em execução, reinicie a instância para que a alteração entre em vigor. Durante o Beta, a telemetria não começa a fluir em uma instância já em execução até que ela seja reiniciada.

Próximas Etapas 

  • Last updated on