Lorsque vos microservices commencent à se « disputer », il est peut-être temps d’écouter ce que la file d’attente des messages a à dire

Imaginez ceci : vous avez conçu un magnifique système de microservices, et chaque service est comme un engrenage précis, accomplissant ses propres tâches. Au début, ils coopéraient tacitement et les données circulaient sans problème. Mais à mesure que l'entreprise se développe et que les services deviennent de plus en plus disponibles, vous rencontrerez des moments embarrassants : le service de commande a été traité, mais le service d'inventaire n'a pas été mis à jour à temps ; l'utilisateur a effectué un paiement réussi, mais le service de notification a été retardé de quelques minutes avant de répondre. Il semble qu’une méthode de communication plus fiable soit nécessaire entre ces services.

Il ne s’agit pas seulement d’un problème de transmission de données, mais plutôt de l’absence d’un « microphone » fiable pour la collaboration en équipe. Les services sont directement appelés entre eux. Lorsqu’un certain maillon reste bloqué, toute la chaîne peut être affectée. Ou encore, si un service tombe brièvement en panne, des données importantes peuvent être perdues. À ce stade, vous avez besoin d’un intermédiaire capable de mettre en mémoire tampon, de stocker et de garantir que le message finira par arriver.

C'est pourquoi de nombreuses équipes ont commencé à introduire des files d'attente de messages. Kafka joue un rôle plutôt unique à cet égard.

Qu’est-ce que Kafka ? C'est plutôt un bureau de poste qui ne ferme jamais

En termes simples, Kafka est une plateforme de streaming de messages distribués. Mais ce n’est pas la même chose qu’une file d’attente de messages ordinaire. Vous pouvez l’imaginer comme un tapis roulant fonctionnant en continu ou comme un centre de tri géant doté de plusieurs niveaux d’étagères. Les messages (données) sont envoyés par les producteurs et stockés selon des catégories, et les consommateurs peuvent les récupérer à tout moment à leur rythme. L'essentiel est que le message soit enregistré pendant un certain temps et ne soit pas supprimé immédiatement, de sorte que même si le service est temporairement hors ligne, il puisse continuer le traitement à partir de la dernière position à son retour.

Certaines personnes pourraient se demander : « Notre système fonctionne très bien maintenant, pourquoi devons-nous nous en préoccuper ? » En fait, les problèmes n’apparaissent souvent pas soudainement, mais émergent lentement. Lorsque le nombre de vos services passe de quelques dizaines à des dizaines, et lorsque la quantité de données passe de centaines d'éléments par jour à des centaines d'éléments par seconde, la communication directe point à point deviendra insuffisante. Retards, pertes, doublons de traitement… ces petits soucis peuvent progressivement se transformer en gros problèmes.

Que peut faire Kafka dans les microservices ? Trois scènes terre-à-terre

Tout d’abord, découplez les liaisons étroites entre les services. Dans le passé, le service A appelait directement le service B. Si B était occupé ou raccrochait, A ne pouvait qu'attendre ou signaler une erreur. Avec Kafka, A n'a qu'à envoyer le message dans le « canal thématique » correspondant et continuer à faire son propre travail. B. Venez le récupérer quand cela vous convient. Les deux parties n’ont plus à s’attendre en ligne en temps réel et leur indépendance s’en trouve soudainement améliorée.

Deuxièmement, tamponnez le trafic de pointe. Les commandes affluent instantanément lors d’une grande vente. Si chaque commande doit immédiatement déclencher une série de services tels que l'inventaire, la logistique, les points, etc., la base de données et le réseau peuvent être soumis à une forte pression en un instant. Kafka peut recevoir ces demandes en premier et permettre aux services en aval de consommer en douceur en fonction de leurs propres capacités de traitement pour éviter d'être submergé par un trafic soudain.

Troisièmement, assurez-vous que les données ne sont pas perdues. Grâce à son stockage persistant et à sa conception distribuée, une fois qu'un message est écrit avec succès dans Kafka, les données auront une copie même si certains nœuds échouent. Ceci est particulièrement important pour les messages clés tels que les résultats de paiement et les changements de statut. Vous pouvez être assuré que les informations importantes ne disparaîtront pas simplement parce qu'un service est redémarré.

Cela semble génial, mais est-ce que ce sera compliqué à présenter ?

C’est une préoccupation très pratique. En effet, la construction et la maintenance d'un cluster Kafka nécessitent certaines connaissances professionnelles, telles que la planification des partitions, les paramètres de réplication, la surveillance et le réglage, etc. Mais la bonne nouvelle est qu'il existe désormais de nombreuses pratiques et outils éprouvés qui facilitent ces tâches. La clé est d’être clair sur votre scénario commercial dès le début : de quel débit avez-vous besoin ? Quelle est l’importance de l’ordre des messages ? Combien de temps les données doivent-elles être conservées ?

Au début, vous n’êtes pas obligé de poursuivre une architecture vaste et complète. Vous pouvez démarrer le pilote avec un flux métier non essentiel, tel que la collecte de journaux de comportement des utilisateurs ou l'envoi de notifications asynchrones. Familiariser l’équipe avec les processus de production, de consommation et de suivi des messages. Une fois que vous avez compris votre tempérament, vous pouvez progressivement l'appliquer aux principaux liens de transaction.

N’oubliez pas la surveillance et les alarmes de support. Que dois-je faire s’il y a un retard de messages ? Comment savoir si la consommation est retardée ? Un bon système d’observation vous permet de détecter les problèmes à un stade précoce plutôt que d’attendre que l’entreprise se plaigne.

Sélection et adaptation : Il n’y a pas de panacée, seulement l’ajustement.

Il existe de nombreux choix de files d'attente de messages sur le marché. Kafka se caractérise par des capacités élevées de débit, de persistance et de traitement de flux. Il est particulièrement adapté si votre scénario implique des journaux volumineux, des pipelines de données en temps réel ou une architecture basée sur les événements. Mais si le volume de vos messages n’est pas important et que vous appréciez une latence extrêmement faible et un déploiement simple, d’autres solutions légères peuvent être plus adaptées.

L’important est de comprendre vos propres besoins. L'essence de la communication entre les microservices est de rendre le système plus robuste et flexible. Les outils servent les objectifs, et non l’inverse.

Dans le processus de mise en œuvre réel, l’adaptation culturelle est parfois plus difficile que la technologie. L'équipe de développement doit passer de la pensée des « appels synchrones pour obtenir des résultats immédiatement » à la pensée du « traitement asynchrone qui est finalement cohérent ». Cela nécessite du temps et de la pratique, ainsi que des conventions de conception claires.

Laissons le système « parler » de lui-même

L'introduction d'une plate-forme de flux de messages telle que Kafka donne en fait à votre système de microservices la capacité de communiquer de manière autonome. Les services ne sont plus des engrenages verrouillés par une chaîne, mais des agents capables de collaborer de manière dynamique à travers des flux de messages. Une fois la commande générée, le message est envoyé, et l'inventaire, la logistique et le marketing prennent chacun ce dont ils ont besoin et les traitent en parallèle. Le système dans son ensemble devient plus résilient et mieux à même de faire face aux changements futurs.

Vous constaterez que lorsque les « querelles » entre services se transforment en « conversations » ordonnées, bon nombre des goulots d'étranglement qui existaient autrefois disparaîtront naturellement. Lorsque les données circulent, les affaires peuvent circuler. Il s’agit peut-être de l’aspect le plus attrayant de l’architecture technique : il ne s’agit pas simplement d’un cadre froid, mais d’un art qui facilite une collaboration complexe.

Bien entendu, ce chemin doit être parcouru étape par étape. Commencez par un petit projet pilote, observez, ajustez, puis faites la promotion. En fin de compte, de bons outils facilitent le travail des individus et rendent les opérations commerciales plus stables. Lorsqu'un jour vous regardez en arrière et constatez que le système a été capable de gérer sereinement les pics de trafic qui vous donnaient autrefois mal à la tête, ce sentiment est probablement comme le moment où vous voyez les machines de précision que vous avez conçues fonctionner enfin harmonieusement.

Créé en 2005,kpuissancea été dédié à un fabricant professionnel d'unités de mouvement compactes, dont le siège est à Dongguan, province du Guangdong, en Chine. Tirant parti des innovations en matière de technologie d'entraînement modulaire,kpuissanceintègre des moteurs hautes performances, des réducteurs de précision et des systèmes de contrôle multiprotocoles pour fournir des solutions de systèmes d'entraînement intelligents efficaces et personnalisées.kpuissancea fourni des solutions de systèmes d'entraînement professionnelles à plus de 500 entreprises clientes dans le monde avec des produits couvrant divers domaines tels que les systèmes de maison intelligente, l'électronique automatique, la robotique, l'agriculture de précision, les drones et l'automatisation industrielle.