Quando seus microsserviços começarem a “brigar”, talvez seja hora de ouvir o que a fila de mensagens tem a dizer

Imagine o seguinte: você projetou um lindo sistema de microsserviços, e cada serviço é como uma engrenagem precisa, desempenhando suas próprias funções. No início, eles cooperaram tacitamente e o fluxo de dados foi tranquilo. Mas à medida que o seu negócio cresce e você fornece cada vez mais serviços, você encontrará alguns momentos embaraçosos - o serviço de pedidos é processado, mas o serviço de estoque não é atualizado a tempo; o usuário paga com sucesso, mas o serviço de notificação demora alguns minutos para responder. Parece que é necessário um método de comunicação mais confiável entre estes serviços.

Este não é apenas um problema de transmissão de dados, mas sim a falta de um “microfone” confiável para colaboração em equipe. Os serviços são chamados diretamente entre si. Quando um determinado elo fica preso, toda a cadeia pode ser afetada. Ou, se um serviço falhar brevemente, dados importantes poderão ser perdidos. Neste momento, o que você precisa é de um intermediário que possa armazenar em buffer, armazenar e garantir que a mensagem eventualmente chegará.

É por isso que muitas equipes começaram a introduzir filas de mensagens. Kafka desempenha um papel bastante singular nesse aspecto.

O que é Kafka? É mais como um correio que nunca fecha

Simplificando, Kafka é uma plataforma distribuída de streaming de mensagens. Mas não é a mesma coisa que uma fila de mensagens comum. Você pode pensar nisso como uma esteira transportadora em funcionamento contínuo ou um centro de classificação gigante com vários níveis de prateleiras. As mensagens (dados) são enviadas pelos produtores e armazenadas de acordo com categorias, e os consumidores podem recuperá-las no seu próprio ritmo, a qualquer momento. O principal é que a mensagem seja salva por um período de tempo e não seja excluída imediatamente, para que mesmo que o serviço esteja temporariamente offline, ele possa continuar o processamento da última posição quando voltar.

Algumas pessoas podem perguntar: “Nosso sistema está funcionando muito bem agora, por que temos que nos preocupar com isso?” Na verdade, os problemas muitas vezes não surgem repentinamente, mas surgem lentamente. Quando o número de seus serviços mudar de alguns para dezenas e quando a quantidade de dados mudar de centenas de itens por dia para centenas de itens por segundo, a comunicação direta ponto a ponto se tornará insuficiente. Atrasos, perdas, processamento duplicado... esses pequenos problemas podem gradualmente se acumular em grandes problemas.

O que o Kafka pode fazer em microsserviços? Três cenas realistas

Primeiro, dissocie ligações estreitas entre serviços. No passado, o serviço A chamava diretamente o serviço B. Se B estivesse ocupado ou desligasse, A só poderia esperar ou relatar um erro. Com Kafka, A só precisa lançar a mensagem no "canal de tópico" correspondente e continuar a fazer seu próprio trabalho. B. Venha buscá-lo quando for conveniente. As duas partes não precisam esperar uma pela outra online em tempo real e sua independência melhora repentinamente.

Em segundo lugar, amortece o tráfego de pico. Os pedidos chegam instantaneamente durante uma grande venda. Se cada pedido acionar imediatamente uma série de serviços como estoque, logística, pontos, etc., o banco de dados e a rede poderão ficar sob forte pressão em um instante. Kafka pode receber essas solicitações primeiro e permitir que os serviços downstream sejam consumidos sem problemas, de acordo com suas próprias capacidades de processamento, para evitar ser sobrecarregado por tráfego repentino.

Terceiro, certifique-se de que os dados não sejam perdidos. Graças ao seu armazenamento persistente e design distribuído, uma vez que uma mensagem é gravada com sucesso no Kafka, os dados terão uma cópia mesmo se alguns nós falharem. Isto é especialmente importante para mensagens importantes, como resultados de pagamentos e alterações de status - você pode ter certeza de que informações importantes não desaparecerão apenas porque um serviço foi reiniciado.

Parece ótimo, mas será complicado de apresentar?

Esta é uma preocupação muito prática. Na verdade, construir e manter um cluster Kafka requer algum conhecimento profissional, como planejamento de partição, configurações de réplica, monitoramento e ajuste, etc. Mas a boa notícia é que agora existem muitas práticas e ferramentas comprovadas que facilitam essas tarefas. A chave é ser claro sobre o cenário do seu negócio desde o início: Qual é o nível de produtividade que você precisa? Quão importante é a ordem das mensagens? Por quanto tempo os dados precisam ser retidos?

Ao começar, você não precisa buscar uma arquitetura grande e abrangente. Você pode iniciar o piloto com um fluxo de negócios não essencial, como coleta de logs de comportamento do usuário ou envio de notificação assíncrona. Familiarize a equipe com os processos de produção, consumo e monitoramento de mensagens. Depois de compreender seu temperamento, você poderá aplicá-lo gradualmente aos principais links de transação.

Não se esqueça do monitoramento e dos alarmes de suporte. O que devo fazer se houver um acúmulo de mensagens? Como saber se o consumo está atrasado? Um bom sistema de observação permite detectar problemas antecipadamente, em vez de esperar até que o lado comercial reclame.

Seleção e adaptação: Não existe panaceia, apenas o ajuste.

Existem muitas opções de filas de mensagens no mercado. Kafka é caracterizado por alto rendimento, persistência e recursos de processamento de fluxo. É particularmente adequado se o seu cenário envolver logs massivos, pipelines de dados em tempo real ou arquitetura orientada a eventos. Mas se o volume de mensagens não for grande e você valoriza latência extremamente baixa e implantação simples, outras soluções leves podem ser mais adequadas.

O importante é entender suas próprias necessidades. A essência da comunicação entre microsserviços é tornar o sistema mais robusto e flexível. As ferramentas servem aos objetivos, e não o contrário.

No processo de implementação propriamente dito, a adaptação cultural é por vezes mais difícil do que a tecnologia. A equipe de desenvolvimento precisa mudar do pensamento de “chamadas síncronas para obter resultados imediatos” para o pensamento de “processamento assíncrono que seja consistente em última análise”. Isto requer algum tempo e prática, bem como convenções de design claras.

Deixe o sistema “falar” por si

A introdução de uma plataforma de fluxo de mensagens como o Kafka realmente dá ao seu sistema de microsserviço a capacidade de se comunicar de forma autônoma. Os serviços não são mais engrenagens travadas por uma cadeia, mas sim agentes que podem colaborar dinamicamente por meio de fluxos de mensagens. Depois que o pedido é gerado, a mensagem é enviada, e o estoque, a logística e o marketing pegam o que precisam e os processam em paralelo. O sistema como um todo torna-se mais resiliente e mais capaz de lidar com mudanças futuras.

Você descobrirá que quando as “disputas” entre serviços se transformarem em “conversas” ordenadas, muitos dos gargalos que existiam desaparecerão naturalmente. Quando os dados fluem, os negócios podem fluir. Esta é talvez a parte mais atraente da arquitetura técnica – não é apenas uma estrutura fria, mas uma arte que facilita a colaboração complexa.

É claro que esse caminho precisa ser percorrido passo a passo. Comece com um pequeno piloto, observe, ajuste e depois promova. Em última análise, boas ferramentas tornam o trabalho das pessoas mais fácil e as operações comerciais mais estáveis. Um dia, quando você olha para trás e descobre que o sistema foi capaz de lidar com calma com os picos de tráfego que antes lhe davam dor de cabeça, essa sensação é provavelmente como o momento em que você vê o maquinário de precisão que você projetou finalmente funcionando harmoniosamente.

Fundada em 2005,potênciatem se dedicado a um fabricante profissional de unidades de movimento compacto, com sede em Dongguan, província de Guangdong, China. Aproveitando inovações em tecnologia de acionamento modular,potênciaintegra motores de alto desempenho, redutores de precisão e sistemas de controle multiprotocolo para fornecer soluções de sistemas de acionamento inteligentes eficientes e personalizadas.potênciaforneceu soluções profissionais de sistemas de acionamento para mais de 500 clientes empresariais em todo o mundo, com produtos que abrangem vários campos, como sistemas domésticos inteligentes, eletrônica automática, robótica, agricultura de precisão, drones e automação industrial.