Configurar a computação clássica para pipelines

Configure o Classic Compute para pipelines Lakeflow para controlar políticas de computação, tipos de instância e definições de cluster. Para obter uma referência do esquema JSON, consulte a clusters definição na Referência da API de Pipeline.

A Databricks recomenda o serverless para novos pipelines. Escolha computação clássica quando precisar de tipos específicos de instância, políticas de computação personalizadas, scripts de init, um driver JDBC externo instalado no cluster, ou um espaço de trabalho fora de uma região habilitada para serverless. Consulte Configurar um pipeline sem servidor.

Para criar um pipeline executado em computação clássica, os usuários devem primeiro ter permissão para implantar computação clássica, permissão de criação irrestrita ou acesso a uma política de computação. Os pipelines sem necessidade de um servidor não exigem permissões para a criação de recursos computacionais. Por padrão, todos os usuários do espaço de trabalho podem usar pipelines sem servidor.

Para uma comparação entre computação clássica e sem servidor, incluindo que funcionalidades cada uma suporta, veja Computação sem servidor vs. computação clássica para pipelines.

Selecione os recursos de computação para o seu pipeline

Para configurar a computação clássica para seu pipeline a partir do Lakeflow Pipelines Editor:

1. Clique em Configurações.
2. Na seção Computação das configurações do pipeline, clique no editar.
3. Se estiver marcada, desmarque Serverless.
4. Faça quaisquer outras alterações nas configurações de computação e clique em Salvar.

Isso configura seu pipeline para usar computação clássica e permite que você edite as configurações de computação, conforme descrito abaixo.

Para obter mais informações sobre o Lakeflow Pipelines Editor, consulte Desenvolver e depurar pipelines ETL com o Lakeflow Pipelines Editor.

Selecione uma política de computação

Os administradores de espaço de trabalho podem configurar políticas de computação para fornecer aos usuários acesso a recursos de computação clássicos para pipelines. As políticas de computação são opcionais. Verifique com o administrador do espaço de trabalho se você não tem os privilégios de computação necessários. Veja Definir limites nos recursos de computação dos pipelines do Lakeflow.

Ao usar a API de Pipelines, para garantir que os valores padrão da política de computação sejam aplicados corretamente, defina "apply_policy_default_values": true na clusters definição:

{
  "clusters": [
    {
      "label": "default",
      "policy_id": "<policy-id>",
      "apply_policy_default_values": true
    }
  ]
}

Configurar tags de computação

Você pode adicionar tags personalizadas aos recursos de computação clássicos do seu pipeline. As tags permitem monitorar o custo dos recursos de computação usados por vários grupos em sua organização. O Databricks aplica essas tags aos recursos da nuvem e aos logs de uso registrados nas tabelas do sistema de uso. Você pode adicionar tags usando a configuração Cluster tags UI ou editando a configuração JSON do seu pipeline.

Selecionar tipos de instância para executar um pipeline

Por predefinição, o pipeline seleciona os tipos de instância dos respetivos nós de controlador e de trabalho. Opcionalmente, você pode configurar os tipos de instância. Por exemplo, selecione tipos de instância para melhorar o desempenho do pipeline ou resolver problemas de memória ao executar o pipeline.

Para configurar tipos de instância ao criar ou editar um pipeline no Lakeflow Pipelines Editor:

1. Clique no botão Configurações.
2. Na seção Computação das configurações do pipeline, clique no .
3. Na seção Configurações avançadas, selecione os tipos de instância Tipo de trabalhador e Tipo de driver para o pipeline.

Definir configurações separadas para os clusters de atualização e manutenção

Cada pipeline declarativo tem dois recursos de computação associados: um cluster de atualização que processa atualizações de pipeline e um cluster de manutenção que executa tarefas de manutenção diárias (incluindo otimização preditiva). Por padrão, suas configurações de computação se aplicam a ambos os clusters. O uso das mesmas configurações para ambos os clusters melhora a confiabilidade das execuções de manutenção, garantindo que as configurações necessárias, como credenciais de acesso a dados para um local de armazenamento, sejam aplicadas ao cluster de manutenção.

Para aplicar configurações a apenas um dos dois clusters, adicione o label campo ao objeto JSON de configuração. Há três valores possíveis para o label campo:

• maintenance: Aplica a configuração somente ao cluster de manutenção.
• updates: Aplica a configuração somente ao cluster de atualização.
• default: Aplica a configuração aos clusters de atualização e manutenção. Este é o valor padrão se o label campo for omitido.

Se houver uma configuração conflitante, a configuração com o updates rótulo ou maintenance substituirá a configuração definida com o default rótulo.

Exemplo: Definir uma configuração para o cluster de atualização

O exemplo a seguir define um parâmetro de configuração do Spark que é adicionado somente à configuração do cluster de updates:

{
  "clusters": [
    {
      "label": "default",
      "autoscale": {
        "min_workers": 1,
        "max_workers": 5,
        "mode": "ENHANCED"
      }
    },
    {
      "label": "updates",
      "spark_conf": {
        "key": "value"
      }
    }
  ]
}

Exemplo: Configurar tipos de instância para o cluster de atualização

Para evitar atribuir recursos desnecessários ao cluster de maintenance, este exemplo usa o rótulo updates para definir os tipos de instância apenas para o cluster updates.

{
  "clusters": [
    {
      "label": "updates",
      "node_type_id": "Standard_D12_v2",
      "driver_node_type_id": "Standard_D3_v2",
      "...": "..."
    }
  ]
}

Atrasar o desligamento da computação

Para controlar o comportamento de desligamento do cluster, use a pipelines.clusterShutdown.delay definição na configuração do pipeline. O exemplo a seguir define o valor pipelines.clusterShutdown.delay como 60 segundos:

{
  "configuration": {
    "pipelines.clusterShutdown.delay": "60s"
  }
}

O valor predefinido de pipelines.clusterShutdown.delay depende do comportamento de execução da atualização: 0 seconds para atualizações que usam comportamento automático de retentativa e reinício, e 2 hours para atualizações ad hoc que usam um comportamento de arranque rápido e focado na depuração.

Criar uma computação de nó único

Uma computação de nó único tem um nó controlador que atua como mestre e executor. Isso se destina a cargas de trabalho que usam pequenas quantidades de dados ou não são distribuídas.

Para criar um nó de computação único, defina num_workers como 0. Por exemplo:

{
  "clusters": [
    {
      "num_workers": 0
    }
  ]
}