¿Para qué sirve Kafka en microservicios?

Cuando el sistema de servidor se encuentra con los microservicios: deje que los datos fluyan

Imagine este escenario: está depurando una línea de producción de brazos robóticos. Seis servomotores deben trabajar juntos, cada uno de los cuales recibe instrucciones de posición en tiempo real y transmite datos de temperatura y velocidad al centro de control. De repente, los datos de retroalimentación de un motor se retrasaron y toda la secuencia de acción comenzó a retrasarse, como un baile que se suponía iba a ser suave, alguien desaceleró un ritmo y el equipo estaba sumido en el caos.

En el mundo de la maquinaria y la automatización, sabemos que el flujo de datos confiable y en tiempo real es el elemento vital. Un retraso en la señal puede provocar la dislocación del conjunto; una instrucción perdida puede incluso provocar una colisión del equipo. Este estricto requisito de inmediatez y orden de los datos es en realidad sorprendentemente similar a los desafíos que enfrentan los "microservicios" en la arquitectura de software moderna.

¿Dónde se atasca la "danza de datos" de los microservicios?

La aplicación de software que originalmente se integró en un todo se dividió en múltiples pequeños servicios independientes, como gestión de usuarios, procesamiento de pedidos y consulta de inventario. Realizan sus propias tareas y son flexibles. Pero surgen problemas: el servicio A genera un nuevo pedido, el servicio B necesita actualizar el inventario y el servicio C necesita notificar a logística. ¿Cómo saben que ocurrió el "evento"? El enfoque tradicional es llamarse entre sí directamente, como si todos los motores estuvieran conectados entre sí. Una vez que un determinado servicio está ocupado o falla, toda la cadena espera, se bloquea o incluso colapsa.

Esto nos lleva al núcleo de lo que necesitamos hablar: la arquitectura basada en eventos y uno de sus actores clave. Funciona como un centro nervioso muy inteligente e interminable.

No es una simple cola de mensajes, sino la columna vertebral del registro de eventos.

Puede ser más intuitivo pensar en ello como un "libro de registro global de eventos" registrado continuamente. Cualquier microservicio (como "Pedido creado correctamente") puede publicar fácilmente un registro de evento en este libro de registro, como por ejemplo: "ID de evento: 107, Tipo: Nuevo pedido, Contenido: Número de pedido XXX, Hora: 14:00". No pregunta por qué, sólo se encarga de registrar todo en orden y de forma persistente.

Todos los demás servicios que se preocupan por esto (como servicios de inventario, servicios de registro, servicios de análisis) pueden suscribirse a este libro de registro en cualquier momento. Pueden leer desde el principio o continuar donde lo dejaron, digiriendo estos eventos de forma independiente a su propio ritmo sin perturbar el "servicio de orden" que generó el evento. Cuando el servicio de inventario lee el evento de nuevo pedido, deduce el inventario; cuando el servicio de análisis lo lee, actualiza las estadísticas de ventas.

Esto aporta varios beneficios tranquilizadores, especialmente en línea con nuestro pensamiento de ingeniería:

1. Desacoplamiento y resiliencia:Los editores y suscriptores no se conocen. Incluso si el servicio de inventario se actualiza y mantiene temporalmente, los eventos de pedidos se seguirán registrando constantemente en el registro. Cuando el servicio de inventario regresa, puede manejar el trabajo atrasado con calma y sin pérdida de datos. El sistema es como un resorte amortiguador y ya no es frágil.
2. Secuencia y trazabilidad:Cada evento tiene una secuencia estricta. Esto es crucial cuando se trata de procesos comerciales con estrictas relaciones de causa y efecto, como "pago-envío". Puede rastrear claramente el contexto completo del evento, lo que facilita la depuración y la auditoría.
3. Tiempo real versus asíncrono:Los datos fluyen casi en tiempo real, pero el procesamiento es asincrónico. El servicio no necesita esperar una respuesta y puede continuar procesando la siguiente solicitud y, naturalmente, el rendimiento mejorará enormemente.

¿Qué nos importa cuando elegimos ese “centro neurálgico”?

Al igual que al elegir un servosistema para maquinaria de precisión, veremos su frecuencia de respuesta, precisión de control y estabilidad operativa. En el mundo del software, consideraciones similares son:

• Alto rendimiento y baja latencia:¿Puede manejar un torrente masivo de eventos manteniendo velocidades de entrega de milisegundos?
• Durabilidad y confiabilidad:¿Los datos se almacenan de forma segura y nunca se pierden incluso si se reinicia el servidor?
• Escalabilidad horizontal:Cuando el negocio crece, ¿se puede ampliar la capacidad sin problemas simplemente agregando máquinas en lugar de reemplazar todo el sistema?

existirkpotenciaEn los muchos proyectos de integración en los que hemos participado, hemos descubierto que introducir este pensamiento basado en eventos en el diseño del sistema es como introducir un bus de sincronización preciso para servounidades discretas. Hace que los flujos de datos estén organizados, sean sólidos y manejables. Los microservicios ya no están estrechamente vinculados, sino que colaboran elegantemente a través de eventos. Se ha mejorado cualitativamente la mantenibilidad y escalabilidad de todo el sistema.

un pensamiento simple

Si está planificando un sistema complejo compuesto por muchos servicios independientes, también podría preguntarse: ¿Mis servicios se "llaman" constantemente entre sí para instarse entre sí, lo que hace que la línea a menudo esté ocupada o sin respuesta? ¿O están todos acostumbrados a publicar y obtener información de un "tablón de anuncios" común y cada uno trabaja tranquilamente?

Este último modelo es una de las claves para permitir que la arquitectura de microservicios libere realmente su poder. No sólo resuelve problemas técnicos, sino que también cambia la filosofía de la colaboración de datos. En esta era donde los datos tienen valor, garantizar la entrega eficiente y libre de errores del flujo de información es la piedra angular para que cualquier sistema complejo (ya sea una línea mecánica o un grupo de software) llegue a ser maduro y confiable.

Establecido en 2005,kpotenciase ha dedicado a un fabricante profesional de unidades de movimiento compacto, con sede en Dongguan, provincia de Guangdong, China. Aprovechando las innovaciones en la tecnología de accionamiento modular,kpotenciaintegra motores de alto rendimiento, reductores de precisión y sistemas de control multiprotocolo para proporcionar soluciones de sistemas de accionamiento inteligentes eficientes y personalizadas. Kpower ha brindado soluciones de sistemas de accionamiento profesionales a más de 500 clientes empresariales en todo el mundo con productos que cubren diversos campos, como sistemas domésticos inteligentes, electrónica automática, robótica, agricultura de precisión, drones y automatización industrial.