Implantar um cluster Kafka no Serviço Kubernetes do Azure (AKS) usando Strimzi

Neste guia, analisamos os pré-requisitos, as considerações de arquitetura e os principais componentes para implantar e operar um cluster Apache Kafka altamente disponível no Serviço Kubernetes do Azure (AKS) usando o Operador Strimzi.

O que é Apache Kafka e Strimzi?

O Apache Kafka é uma plataforma de streaming de eventos distribuídos de código aberto projetada para lidar com dados de streaming de alto volume, alta taxa de transferência e tempo real. Como resultado, ele é usado por milhares de empresas para pipelines de dados de alto desempenho, análises de streaming, integração de dados e aplicativos de missão crítica. No entanto, gerenciar e dimensionar clusters Kafka pode ser desafiador e, muitas vezes, demorado.

Strimzi é um projeto de código aberto que simplifica a implantação, gerenciamento e operação do Apache Kafka no Kubernetes. Ele fornece um conjunto de Operadores Kubernetes e imagens de contêiner que automatizam tarefas operacionais complexas do Kafka por meio de configuração declarativa.

Os operadores Strimzi seguem o padrão de operador Kubernetes para automatizar as operações Kafka. Ele reconcilia continuamente o estado declarado dos componentes de Kafka com seu estado real, lidando com tarefas operacionais complexas automaticamente.

Para saber mais sobre Strimzi, consulte a documentação do Strimzi.

Componentes

Operador de cluster Strimzi

O Operador de Cluster Strimzi é o componente central que gerencia todo o ecossistema Kafka. Quando implantado, ele também pode provisionar o Operador de Entidade, que consiste em:

• Operador de tópico: Automatiza a criação, modificação e exclusão de tópicos Kafka com base em KafkaTopic recursos personalizados.
• Operador de Usuário: Gerencia usuários Kafka e suas Listas de Controle de Acesso (ACLs) através de KafkaUser recursos personalizados.

Juntos, esses operadores criam um sistema de gerenciamento totalmente declarativo onde sua infraestrutura Kafka é definida como recursos do Kubernetes que você pode controlar a versão, auditar e implantar consistentemente em todos os ambientes.

Aglomerado de Kafka

O Operador de Cluster Strimzi gerencia clusters Kafka por meio de recursos personalizados especializados:

• KafkaNodePools: Defina grupos de nós Kafka com funções específicas (broker, controller ou ambos).
• Kafka: O principal recurso personalizado que une tudo, definindo configurações em todo o cluster.

Uma implantação típica de KafkaNodePools e Kafka inclui:

• Nós dedicados do broker que lidam com o tráfego de utilizadores e armazenamento de dados.
• Nós de controlo dedicados que gerem a coordenação e os metadados do cluster.
• Várias réplicas de cada componente distribuídas entre zonas de disponibilidade.

Controlo de Velocidade de Cruzeiro

O Cruise Control é um componente avançado que fornece balanceamento e monitoramento automatizados de carga de trabalho para clusters Kafka. Quando implantado como parte de um cluster Kafka gerenciado por Strimzi, o Cruise Control oferece:

• Reequilíbrio automatizado de partições: redistribui partições entre corretores para otimizar a utilização de recursos.
• Deteção de anomalias: identifica e alerta sobre o comportamento anormal do cluster.
• Capacidades de autocorreção: Resolve automaticamente problemas comuns de desequilíbrio de cluster.
• Análise de carga de trabalho: fornece informações sobre o desempenho do cluster e o uso de recursos.

O Cruise Control ajuda a manter o desempenho ideal à medida que sua carga de trabalho muda ao longo do tempo, reduzindo a necessidade de intervenção manual durante eventos de dimensionamento ou após falhas do corretor.

Limpador de Drenos

Strimzi Drain Cleaner é um utilitário projetado para ajudar a gerenciar pods de corretor Kafka implantados por Strimzi durante a drenagem do nó Kubernetes. Strimzi Drain Cleaner interceta as operações de drenagem dos nós Kubernetes através do seu webhook de admissão para coordenar uma manutenção sem interrupções de clusters Kafka. Quando é feita uma solicitação de despejo para pods de corretor Kafka, a solicitação é detectada e o Sistema de Limpeza anota os pods para sinalizar ao Operador de Cluster Strimzi para lidar com a reinicialização, garantindo que o cluster Kafka permaneça em um estado saudável. Esse processo mantém a integridade do cluster e a confiabilidade dos dados durante operações de manutenção de rotina ou falhas inesperadas do nó.

Quando usar Kafka no AKS

Considere executar Kafka no AKS quando:

• Você precisa de controle total sobre a configuração e as operações do Kafka.
• Seu caso de uso requer recursos específicos do Kafka que não estão disponíveis em ofertas gerenciadas.
• Você deseja integrar o Kafka com outros aplicativos em contêineres executados no AKS.
• Você precisa implantar em regiões onde os serviços Kafka gerenciados não estão disponíveis.
• Sua organização tem experiência existente em Kubernetes e orquestração de contêineres.

Para casos de uso mais simples ou quando a sobrecarga operacional for uma preocupação, considere serviços totalmente gerenciados, como Hubs de Eventos do Azure.

Considerações principais sobre o Kafka no AKS

Armazenamento de Discos do Azure

Para implantações do Kafka no AKS, usamos o driver Azure Disk CSI, que fornece volumes persistentes apoiados por discos gerenciados do Azure. Strimzi aproveita a configuração (Just a Bunch of Disks (JBOD) para gerenciar a persistência de dados.

Para garantir alta disponibilidade em falhas de infraestrutura, as classes de armazenamento devem ser configuradas com discos Premium SSD v2 distribuídos pelas zonas de disponibilidade usando o modo de ligação de volume WaitForFirstConsumer. Isso garante que os pods sejam programados em zonas onde seus volumes persistentes podem ser criados. O SSD Premium v2 pode oferecer a latência, IOPS alta e taxa de transferência consistente exigida por cargas de trabalho Kafka intensivas em IO com uma estrutura de custos otimizada.

A tabela seguinte fornece pontos de partida para configurações de SSD Premium v2 em diferentes tamanhos de cluster Kafka:

O IOPS real necessário, a largura de banda e o tamanho do disco variam de acordo com as características específicas da carga de trabalho do Kafka. Essas propriedades podem evoluir ao longo do tempo à medida que os requisitos de taxa de transferência e retenção do seu aplicativo mudam.

Conjuntos de nós

Selecionar os pools de nós apropriados para sua implantação do Kafka no AKS é uma decisão arquitetônica crítica que afeta diretamente o desempenho, a disponibilidade e a eficiência de custos. As cargas de trabalho Kafka têm padrões exclusivos de utilização de recursos — caracterizados por altas demandas de throughput, intensidade de E/S de armazenamento e a necessidade de desempenho consistente sob cargas variáveis. Kafka normalmente consome mais memória do que CPU. No entanto, os requisitos de CPU podem aumentar significativamente com a compactação/descompactação de mensagens, criptografia SSL/TLS ou cenários de alta taxa de transferência com muitas mensagens pequenas.

Considerando a arquitetura nativa do Kubernetes de Strimzi, onde cada broker Kafka é executado como um pod individual, a sua estratégia de seleção de nodes no AKS deve optimizar o dimensionamento horizontal, em vez de focar no dimensionamento vertical de um único nó. A configuração adequada do pool de nós no AKS garante a utilização eficiente de recursos, mantendo o isolamento de desempenho que os componentes Kafka exigem para operar de forma confiável.

O Kafka é executado usando uma JVM (Java Virtual Machines). O ajuste da JVM é fundamental para o desempenho ideal do Kafka, especialmente em ambientes de produção. O LinkedIn, os criadores do Kafka, compartilhou os argumentos típicos para executar o Kafka em Java para um dos clusters mais movimentados do LinkedIn: Kafka Java Configuration.

Para este guia, uma pilha de memória de 6 GB será usada como linha de base para corretores, com 2 GB adicionais alocados para acomodar o uso de memória fora da pilha. Para controladores, uma pilha de memória de 3GB será usada como referência, com 1GB adicional como sobrecarga.

Ao dimensionar VMs para sua implantação do Kafka, considere estes fatores específicos da carga de trabalho:

Aglomerados de Kafka pequenos a médios

Grandes aglomerados de Kafka

Antes de finalizar seu ambiente de produção, recomendamos seguir as seguintes etapas:

• Execute testes de carga com volumes e padrões de dados representativos.
• Monitore a utilização da CPU, memória, disco e rede durante picos de carga.
• Ajuste os SKUs do pool de nós AKS com base nos gargalos observados.
• Revise o custo das SKUs do pool de nós.

Alta disponibilidade e resiliência

Para garantir a alta disponibilidade de sua implantação do Kafka, você deve:

• Implante em várias zonas de disponibilidade.
• Configurar restrições correctas de distribuição de réplicas.
• Implemente orçamentos apropriados de interrupção de pod.
• Configure o Cruise Control para rebalanceamento de partições de tópicos.
• Use o Limpador de Drenos Strimzi para lidar com operações de drenagem de nodos e manutenção.

Acompanhamento e operações

A monitorização eficaz dos clusters de Kafka inclui:

• Configuração da coleta de métricas JMX.
• Monitoramento de atraso do consumidor com Kafka Exporter.
• Integração com o Azure Managed Prometheus e o Azure Managed Grafana.
• Alerta sobre indicadores-chave de desempenho e métricas de saúde.

Próximo passo

Contribuidores

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram-no originalmente:

• Sergio Navar | Engenheiro de Clientes Senior
• Erin Schaffer | Desenvolvedora de Conteúdo 2