Cuando su proyecto de servomotor se encuentra con microservicios: por qué necesita una cola de mensajes y nuestra práctica

Imagínese esto: está depurando un brazo robótico, con cada articulación controlada por un servomotor independiente. Estos motores necesitan trabajar juntos en tiempo real, pero las instrucciones provienen de diferentes microservicios: uno calcula la trayectoria, otro maneja la retroalimentación del sensor y otro gestiona la lógica de seguridad. De repente, un determinado servicio se ralentiza durante unos milisegundos debido a una carga elevada y toda la operación comienza a congelarse o incluso a desincronizarse. ¿En ese momento pensaste que sería genial si estos servicios pudieran hacer que las conversaciones fueran más "fluidas"?

En realidad, este no es solo un problema que enfrenta el control mecánico. Cualquier sistema dividido en microservicios enfrenta desafíos similares: ¿Cómo comunicarse entre servicios de manera confiable y eficiente? ¿Cómo garantizar que no se pierdan datos, que el orden no se estropee y que pueda soportar un tráfico repentino?

Nos topamos con este muro hace unos años cuando estábamos actualizando una línea de clasificación automatizada. Los métodos tradicionales, como las llamadas HTTP directas, se vuelven frágiles a medida que aumentan los servicios. Cuando un servicio deja de funcionar, otros servicios del enlace también se ven afectados; Tan pronto como llegan las solicitudes máximas, el sistema comienza a hacer cola y el rendimiento en tiempo real queda fuera de discusión. Necesitamos un mecanismo que se parezca más a una "cinta transportadora": coloque los datos en él y permita que los lugares donde se necesitan accedan a ellos a su propio ritmo sin bloquearse entre sí.

Entonces, comenzamos a buscar y finalmente presentamos a Kafka.

¿Qué es Kafka? Piense en ello como una línea de montaje inteligente y de alta velocidad.

Si utilizamos una escena familiar como analogía: Kafka es como la interminable cinta transportadora de la fábrica. Cada microservicio puede considerarse como una estación de trabajo. La estación A coloca los productos semiacabados (mensajes) en la cinta transportadora y las estaciones B y C los retiran para procesarlos en cualquier momento según sea necesario. La propia cinta transportadora sigue funcionando. Incluso si una determinada estación se repara temporalmente, los productos semiacabados no desaparecerán, sino que simplemente esperarán tranquilamente en la línea hasta que una estación se haga cargo.

Esto soluciona varios dolores de cabeza:

• desacoplamiento: Los servicios ya no "llaman" directamente, sino que se entregan a través de una cinta transportadora. El remitente deja caer el mensaje y se marcha sin saber quién lo manejará ni cuándo.
• buffer: Cuando el flujo ascendente genera repentinamente una gran cantidad de datos (como una señal repentina de alta frecuencia de un sensor), la cinta transportadora puede transportarlos temporalmente y el flujo descendente puede digerirlos de acuerdo con sus propias capacidades para evitar verse abrumado.
• fiabilidad: Los mensajes persisten en la cinta transportadora e incluso si se reinician algunos servicios, los datos no se perderán.
• secuencialidad: En una cinta transportadora, el orden de los artículos es fijo. Esto es fundamental para datos sensibles a la secuencia, como las instrucciones de control de motores.

¿Cómo lo usamos? Un intento no lineal

Al principio, algunas personas del equipo estaban preocupadas: "¿Es esto demasiado complicado? Tenemos que mantener un nuevo conjunto de middleware". Pero en la práctica, descubrimos que se parecía más a construir bloques que a construir un rascacielos.

No empezamos con una revisión completa. En su lugar, elegimos un enlace con el punto débil más obvio para probar las aguas: el monitoreo del estado del brazo robótico. Resulta que los datos de estado se envían de un servicio a otro y, a menudo, se pierden debido a las fluctuaciones de la red, lo que hace que el panel de monitoreo se "fragmente" de vez en cuando. Simplemente establecimos un tema de Kafka (que puede entenderse como una cinta transportadora dedicada), dejamos que el servicio de publicación de estado escriba datos aquí y el servicio de monitoreo se suscribe. Casi de inmediato, el problema de la fragmentación desapareció. Porque incluso si el servicio de monitoreo está temporalmente fuera de línea, aún puede leer todas las actualizaciones de estado no procesadas desde el punto de interrupción después de reiniciar.

Este pequeño éxito nos dio confianza. Luego, migramos gradualmente el flujo de instrucciones de pedido y el flujo de eventos de alarma. Poco a poco, el flujo de datos de todo el sistema se vuelve claramente visible, como si se mirara un mapa logístico en tiempo real. De un vistazo queda claro qué líneas están congestionadas y cuáles están inactivas.

Algunos fragmentos y sentimientos reales.

Por supuesto, hubo cierta exploración en el proceso. Por ejemplo, una vez nos preguntamos "¿En cuántas cintas transportadoras (temas) se deben dividir?" Más tarde, descubrimos que, al igual que en un taller, no todas las partes se mezclarán en una línea y es más razonable administrarlas por separado según el dominio de datos y la urgencia. Las instrucciones de control del motor requieren baja latencia y requieren una línea de alta velocidad separada; Los datos de registro y auditoría son de gran volumen pero tienen pocos requisitos de tiempo real, por lo que debe utilizar otra línea de alta capacidad. Cada uno sigue su propio camino sin interferir entre sí.

Algunas personas también preguntan: "¿Qué pasa si la propia cinta transportadora se rompe?" El diseño distribuido de Kafka lo hace inherentemente redundante. Se realizará una copia de seguridad de los datos en varios nodos. Si un solo nodo falla, otros nodos pueden tomar el control inmediatamente y el servicio será casi imperceptible. Es como poner un motor de repuesto en la transmisión.

Mirando hacia atrás ahora, la introducción de Kafka no hizo que el sistema fuera más "complejo", sino que ordenó el caos originalmente invisible. La tensa relación de acoplamiento directo entre microservicios se ha relajado. Cada servicio puede centrarse más en su propia lógica y la flexibilidad de toda la arquitectura se ha mejorado significativamente. Cuando es necesario ampliar la línea de producción y agregar una nueva estación de inspección, solo necesitamos suscribir el nuevo servicio al Topic correspondiente, que es tan simple como agregar una nueva estación al lado de la cinta transportadora, sin molestar en absoluto a otras partes.

Hablemos de opciones

Hay muchas herramientas de cola de mensajes en el mercado, ¿por qué elegir Kafka? Para nosotros valoramos su rendimiento equilibrado en garantías de alto rendimiento, persistencia y secuencia. Puede que no sea el que tenga las características más llamativas, pero es lo suficientemente sólido para escenarios industriales que requieren un procesamiento estable de flujos de datos. Por supuesto, ninguna herramienta es una panacea, y su curva de aprendizaje y sus costos de operación y mantenimiento requieren inversión. Pero si sus microservicios también comienzan a "actuar de manera descoordinada" debido a problemas de comunicación, puede que valga la pena considerar instalar un conjunto de "cintas transportadoras inteligentes" en el sistema.

Después de todo, la buena tecnología debería ser como una transmisión mecánica confiable: silenciosa, precisa y que permita colaboraciones complejas sin esfuerzo.

Establecido en 2005,kpotenciase ha dedicado a un fabricante profesional de unidades de movimiento compacto, con sede en Dongguan, provincia de Guangdong, China. Aprovechando las innovaciones en la tecnología de accionamiento modular,kpotenciaintegra motores de alto rendimiento, reductores de precisión y sistemas de control multiprotocolo para proporcionar soluciones de sistemas de accionamiento inteligentes eficientes y personalizadas.kpotenciaha entregado soluciones de sistemas de accionamiento profesionales a más de 500 clientes empresariales en todo el mundo con productos que cubren diversos campos, como sistemas domésticos inteligentes, electrónica automática, robótica, agricultura de precisión, drones y automatización industrial.