para que serve o kafka em microsserviços

Você está confuso com microsserviços? Vamos ver como esse “pombo de dados” faz tudo

Lembra-se da empolgação que você sentiu quando era novo nos microsserviços? Implantação independente, dimensionamento flexível, tudo é tão lindo. Mas logo a realidade derramou um balde de água fria: após o processamento do pedido, como o serviço de estoque sabe imediatamente que precisa ser deduzido? Quando as informações do usuário são atualizadas, como o serviço de análise e o serviço push podem ser sincronizados em tempo real? Os dados passam de serviço em serviço como uma equipe de membros fora de contato, deixando um rastro de caos e atrasos. Você coça a cabeça e se pergunta: não existe um “correspondente” confiável responsável pela entrega de mensagens entre esses serviços?

alguns. É o Apache Kafka. Um nome que soa muito legal. Não é um banco de dados ou uma estrutura para processamento de lógica de negócios. Você pode pensar nisso como uma “agência central de correios” ou “rodovia de dados” supereficiente que nunca para. Na cidade dos microsserviços, composta por inúmeras pequenas casas (serviços), Kafka é a principal via que atravessa a cidade e nunca fica congestionada, transportando todos os fluxos de informações importantes.

A “doença crônica” dos microsserviços, Kafka pode curá-la

Vamos espalhar a questão. O Serviço A e o Serviço B conversam diretamente (chamadas ponto a ponto). Quando B estiver doente (falha) ou muito ocupado (carga alta), A ficará travado e todo o processo será paralisado. O que é mais problemático é que se o novo serviço C também quiser ouvir a conversa entre A e B, terá que reconectar a linha e o sistema ficará uma bagunça.

E o que Kafka faz é inteligente. Ele introduz uma "publicação-assinatura". O serviço A (produtor) não se importa com quem precisa da informação. Apenas “publica” a mensagem para um determinado “tópico” no Kafka (que pode ser entendido como um quadro de avisos). Qualquer serviço (consumidor) que se importe com esta mensagem, como B, C e D, pode “assinar” este tópico e recuperar a mensagem a qualquer momento. A e B/C/D não precisam se conhecer e estão completamente dissociados.

Por exemplo: Antigamente, o estafeta (serviço A) pegava na encomenda, batia à porta dos destinatários (B, C, D) um a um e esperava que assinassem, o que era ineficiente. Agora, o entregador simplesmente coloca o pacote em um slot específico (tema) de um armário inteligente (Kafka) e sai para entregar o próximo item. Os destinatários podem ir ao armário para retirar seus pacotes a qualquer momento por meio de senhas próprias (assinatura) sem incomodar uns aos outros. O armário também pode armazenar temporariamente o pacote, de modo que, mesmo que o destinatário esteja ausente por alguns dias a negócios, ele ainda possa retirá-lo quando retornar.

Com o que Kafka está ocupado? Algumas das melhores cenas

É um pouco chato falar apenas sobre a razão, vamos ver o que ela faz:

1. Obtenha os dados do fluxo de atividades: os usuários clicaram em seu site, pesquisaram uma palavra, adicionaram um carrinho de compras... essas pequenas ações são tão numerosas quanto flocos de neve. Cada ação é um evento. Jogue esses eventos no Kafka em tempo real e em ordem, e os serviços de análise downstream, mecanismos de recomendação e sistemas de controle de risco poderão obter o que precisam e começar a trabalhar imediatamente. Sem o Kafka, esses dados seriam perdidos ou bloqueados na porta de serviço.

2. Atuar como a “grande governanta” dos logs do sistema: cada microsserviço gera logs. A abordagem tradicional é gravar arquivos separadamente e, ao verificar problemas, você precisa pesquisar em todos os lugares, o que é péssimo. Permita que todos os serviços enviem mensagens de log para Kafka de maneira unificada e, em seguida, importem-nas centralmente para ferramentas especializadas de pesquisa e análise de log (como a pilha ELK). Agora, solucionar o problema é como procurar a resposta em um mecanismo de busca, fica claro à primeira vista.

3. Desacoplamento de mensagens, redução de picos e preenchimento de vales: Esta é a sua principal capacidade. Por exemplo, o evento principal “pedido realizado com sucesso”. Após o serviço de pedido ter processado a lógica principal, ele só precisa enviar uma mensagem para o tópico "order_completed" e pronto. O serviço de inventário, serviço de pontos, serviço de notificação por SMS, serviço de data warehouse, etc., todos monitoram esse tópico e tratam dele em seu próprio ritmo, sem arrastar ninguém para baixo. Ao se deparar com uma grande promoção e o volume de pedidos disparar, Kafka é como um grande reservatório. Ele armazena em cache o fluxo de dados primeiro, e os serviços downstream podem digeri-los lentamente de acordo com suas próprias capacidades, evitando o risco de serem sobrecarregados em um instante.

4. Construir visualizações materializadas e fontes de eventos: O status de alguns serviços (como um serviço de painel que requer dados abrangentes) pode ser gradualmente calculado e reconstruído a partir de uma série de eventos (passados ​​pelo Kafka). Isso proporciona grande flexibilidade e capacidade de auditoria, e você pode analisar o estado do sistema em qualquer ponto do passado.

Por que é isso? bater papopotênciaescolha

Existem muitas filas de mensagens no mercado. Por que muitas equipes finalmente escolhem Kafka? De fato, há algo em sua filosofia de design.

É durabilidade e confiabilidade. Ele persiste todas as mensagens no disco por padrão e pode ser feito backup em vários servidores. Isso significa que quase nenhuma mensagem será perdida e, mesmo que a máquina seja reiniciada, os dados estarão seguros. Esta é uma tábua de salvação para negócios como transações e pedidos.

Isso é um rendimento incrível. Seu objetivo de design é lidar com fluxos massivos de dados. Através de uma série de "tecnologias negras", como leitura e gravação sequencial de discos e tecnologia de cópia zero, ele pode facilmente atingir o desempenho de processamento de centenas de milhares ou até milhões de mensagens por segundo em hardware comum. Quando o volume de dados se torna escalonável, esta vantagem é decisiva.

A outra é disponibilidade e escalabilidade extremamente altas. Os clusters Kafka podem ser facilmente expandidos adicionando nós para transportar maior tráfego. Seu mecanismo de cópia integrado garante que mesmo que alguns servidores caiam, todo o serviço de mensagens não será interrompido e os dados permanecerão seguros.

Claro, não é sem temperamento. Seus conceitos exigem um pequeno custo de aprendizado (tópicos, partições, réplicas, grupos de consumidores...), e para cenários muito simples e de pequena escala, pode parecer um pouco “matar uma galinha com uma faca”. Mas quando o número de seus microsserviços começar a crescer e o fluxo de dados se tornar complicado, você descobrirá que o investimento inicial em aprendizado vale a pena.

Faça funcionar para você: alguns humildes pontos de partida

Portanto, ao considerar apresentar Kafka, você pode se perguntar algumas perguntas simples:

• Existe uma ligação estreita de “você espera por mim, eu espero por você” entre meus serviços, de modo que se um perder, ambos sofrerão?
• Meus fluxos de dados estão começando a ficar confusos e difíceis de rastrear e auditar?
• Preciso lidar de forma confiável com eventos massivos e persistentes, como fluxos de cliques e logs?
• O crescimento futuro do meu negócio trará desafios decorrentes dos picos de dados?

Se a resposta for “sim”, então essa “rodovia de dados” eficiente e confiável merece sua investigação cuidadosa. Pode não ajudá-lo diretamente a escrever código de negócios, mas pode fornecer uma base de fluxo de dados sólida e ordenada, para que cada microsserviço possa se concentrar mais em fazer seu próprio trabalho, em vez de ficar exausto em uma comunicação caótica.

Em última análise, o valor das ferramentas tecnológicas reside na resolução de problemas e não no acréscimo de encargos. Encontrar um parceiro que possa resolver com elegância seus principais pontos problemáticos tornará o caminho para a construção e manutenção de sistemas complexos mais tranquilo. Afinal, quem não gosta de um “especialista em comunicação” que consegue colocar os dados na fila e chegar a tempo?

Fundada em 2005,potênciatem se dedicado a um fabricante profissional de unidades de movimento compacto, com sede em Dongguan, província de Guangdong, China. Aproveitando inovações em tecnologia de acionamento modular,potênciaintegra motores de alto desempenho, redutores de precisão e sistemas de controle multiprotocolo para fornecer soluções de sistemas de acionamento inteligentes eficientes e personalizadas. A Kpower forneceu soluções profissionais de sistemas de acionamento para mais de 500 clientes empresariais em todo o mundo, com produtos que abrangem vários campos, como sistemas domésticos inteligentes, eletrônica automática, robótica, agricultura de precisão, drones e automação industrial.