communication kafka entre microservices

Cette nuit-là, l’alarme de la chaîne de montage retentit à nouveau.

Vous vous tenez dans l'atelier et écoutez les cliquetis non coordonnés du bras robotique. Les données de plusieurs servomoteurs sont comme des cerfs-volants dont les cordes sont cassées - les instructions ont été envoyées, mais une certaine articulation est lente d'un demi-temps. La température n'est pas anormale et la charge est normale, mais toute la trajectoire du mouvement est légèrement déviée, ce qui oblige à retravailler un lot de pièces.

Après avoir vérifié encore et encore, j'ai découvert que le problème ne venait pas du moteur lui-même, mais de la communication entre plusieurs modules de contrôle - les données étaient perdues pendant quelques millisecondes et les actions ne pouvaient pas être connectées.

De tels écarts de contrôle provoqués par une « communication peu fiable entre les microservices » sont en fait assez courants dans les systèmes mécaniques et d'automatisation. En particulier lorsque plusieurs servomoteurs, capteurs et automates doivent fonctionner ensemble, si le flux de données est retardé, perdu ou hors service, l'ensemble du système peut subir une gigue visible ou invisible.

À l'heure actuelle, vous aurez peut-être besoin d'une architecture de communication plus robuste pour envoyer des données en temps réel de manière stable les unes après les autres, comme des pièces sur un tapis roulant, afin que personne ne soit « laissé pour compte » à mi-chemin.

Et Kafka peut nous aider.

Ce n'est pas de la magie, juste une idée de conception : laissez les données être collectées, distribuées et conservées dans un flux continu, et chaque microservice peut y accéder à la demande sans se bloquer mutuellement. Vous pouvez le considérer comme une bande transporteuse à grande vitesse et ordonnée : toutes les données de position du servomoteur, le retour de couple et les informations de température sont regroupés un par un dans des « paquets de données ». Tout module ayant besoin de ces données peut à tout moment retirer le colis dont il a besoin du tapis roulant sans affecter la lecture des autres modules.

De cette façon, même si un service est temporairement occupé ou redémarré, le flux de données ne sera pas interrompu, il attendra simplement tranquillement sur le tapis roulant jusqu'à ce qu'il soit récupéré.

Quels sont les avantages ? C'est évident.

Par exemple, vous pouvez étendre le système de manière plus flexible : ajoutez une unité de surveillance sans recâbler ni interrompre les communications existantes, laissez-la simplement commencer à lire les informations du même flux de données. Ou lorsqu'un certain module de contrôle a besoin de données historiques, il peut retracer directement les paquets de données précédents sans avoir à arrêter l'ensemble du système.

Bien entendu, la mise en œuvre nécessite certaines considérations de conception. Par exemple, vous devez planifier la division des sujets de données : chaque moteur doit-il être un sujet distinct ou doit-il être divisé par type de données ? La politique de conservation des données doit être définie en fonction des exigences en temps réel du scénario réel. Il existe également la configuration de groupes de consommateurs pour garantir que les services de contrôle clés peuvent obtenir les données les plus récentes en premier, tandis que les services d'analyse peuvent digérer lentement les données existantes.

Cela semble un peu abstrait, mais si vous le transposez dans un scénario réel, ce sera plus facile à comprendre.

Supposons que vous disposiez d’une chaîne de montage et que six axes d’asservissement doivent travailler ensemble pour effectuer un mouvement précis. Si la communication point à point traditionnelle est utilisée, une fois que le réseau tremble entre l'API de contrôle principal et un certain pilote, la chaîne d'action entière peut être déséquilibrée. Si Kafka est utilisé comme hub de données et que chaque axe publie ses propres données d'état en temps réel, l'automate de contrôle principal n'a besoin que de s'abonner à ces flux de données pour calculer l'instruction suivante en temps réel. Même si les données d'un axe sont en retard de quelques millisecondes, les autres axes ne seront pas bloqués : ils continueront à s'affiner en fonction des dernières données existantes, puis à les intégrer rapidement lorsque les données en retard arriveront, et la cohérence de l'action globale sera maintenue.

Certaines personnes se demandent également si cela augmentera la complexité du système ?

Oui, vous devez consacrer plus de temps à la conception du flux de données et de l’architecture de déploiement dès le début. Mais à long terme, cela fait passer la fiabilité de la communication de « s'appuyer sur l'état transitoire du réseau » à « s'appuyer sur un flux de données persistant », ce qui réduit à son tour le risque de pannes sporadiques. C'est comme si vous utilisiez un tapis roulant au lieu d'ouvriers transportant des pièces main dans la main : la voie doit d'abord être posée, mais une fois qu'elle est en marche, il n'est pas facile d'interrompre la production parce que la main de quelqu'un glisse.

Comment commencer à l'utiliser ?

Il n’existe pas de réponse standard, mais vous pouvez généralement la piloter à partir d’un sous-système. Par exemple, laissez d'abord le rapport de surveillance de la température et d'état des servos passer par le flux Kafka, et continuez à transmettre les instructions de contrôle de base via le canal en temps réel d'origine. Une fois familiarisé avec les caractéristiques des flux de données et des outils de surveillance, vous pouvez progressivement migrer davantage de modules de données avec des exigences modérées en temps réel. La clé est de réserver suffisamment de journaux et de surveillance afin que vous puissiez voir clairement s'il y a des « blocages » ou des « fuites de paquets » au milieu du flux de données.

En parlant de cela, vous pourriez penser : cela ressemble plus à un travail d'architecture informatique, qu'est-ce que cela a à voir avec le contrôle mécanique ?

En fait, la relation se rapproche de plus en plus. Le système d'asservissement d'aujourd'hui n'est plus un simple cycle « instruction-exécution ». Il doit intégrer davantage de retours d’informations en temps réel, de données environnementales et d’indicateurs de maintenance prédictive. Si ces données sont toujours synchronisées une par une via les méthodes de communication traditionnelles, l'efficacité et la fiabilité se heurteront à des goulots d'étranglement. Les plateformes de données en streaming comme Kafka proposent une idée : traiter les données comme un flux d'eau continu plutôt que comme des gouttelettes d'eau dispersées. Chaque partie du système est accessible à la demande, ce qui peut à la fois découpler et maintenir la synchronisation globale.

Bien entendu, tout cela est indissociable d’une base matérielle stable et fiable. La performance des servomoteurs et des entraînements reste la condition préalable à tout cela : tout comme un tapis roulant qui fonctionne sans problème, les pièces qui le composent doivent elles-mêmes être précises et solides.

Par conséquent, si vous êtes également préoccupé par les retards et les pertes de données dans le cadre d'une collaboration multi-appareils, vous souhaiterez peut-être dépasser la simple perspective du matériel ou des réseaux et réfléchir à l'opportunité de concevoir un « système de transmission » plus robuste pour le flux de données lui-même.

Après tout, ce qui permet au robot de se déplacer en douceur n'est pas seulement la vitesse de rotation du moteur, mais également la régularité du traitement des données.

kpuissanceEn nous concentrant sur les servomoteurs et l'automatisation, nous construisons pour vous une base de contrôle de mouvement plus fiable, du matériel au flux de données.

Créé en 2005,kpuissancea été dédié à un fabricant professionnel d'unités de mouvement compactes, dont le siège est à Dongguan, province du Guangdong, en Chine. Tirant parti des innovations en matière de technologie d'entraînement modulaire,kpuissanceintègre des moteurs hautes performances, des réducteurs de précision et des systèmes de contrôle multiprotocoles pour fournir des solutions de systèmes d'entraînement intelligents efficaces et personnalisées. Kpower a fourni des solutions de systèmes d'entraînement professionnelles à plus de 500 entreprises clientes dans le monde avec des produits couvrant divers domaines tels que les systèmes de maison intelligente, l'électronique automatique, la robotique, l'agriculture de précision, les drones et l'automatisation industrielle.