ejemplos de arquitectura de microservicios en datos

Cuando sus datos comiencen a atascarse en el tráfico: pruebe los microservicios como antídoto

Imagine este escenario: tiene en sus manos un producto de datos muy complejo, como un sistema de monitoreo o una aplicación que necesita procesar información en tiempo real. Al principio, todo funciona sin problemas, el código está claro y las funciones son claras. Pero a medida que la cantidad de datos aumenta y surgen nuevas necesidades, las cosas empiezan a ponerse un poco... complicadas.

¿Cree que una vez que se ajusta una determinada función central, todo el sistema debe volver a probarse y desplegarse con nerviosismo? ¿Cree que la tubería de flujo de datos está cada vez más concurrida, como una línea circular durante las horas pico, donde una pequeña falla puede causar que toda la línea se paralice? Lo que es aún más problemático es que si quieres probar una nueva tecnología o ampliar un determinado módulo, estás restringido porque afecta a todo tu cuerpo.

Si asiente, es posible que se encuentre con los típicos "dolores de crecimiento" de la arquitectura monolítica en aplicaciones con uso intensivo de datos. Todas las funciones están estrechamente acopladas. Aunque al principio es simple, cuando llega a la etapa en la que se requieren flexibilidad y escala, se convierte en un gigante voluminoso y frágil.

En este momento, alguien mencionará una palabra: arquitectura de microservicios. Suena técnico, pero la idea es bastante intuitiva: en lugar de construir un petrolero gigante, es mejor construir una flota de lanchas rápidas flexibles.

Convierta un "gran almacén" en un "taller profesional"

El método tradicional de procesamiento de datos es como un gran almacén donde se almacenan todas las herramientas y líneas de producción. Procesamiento de pedidos, análisis de usuarios y generación de informes, todo en un solo lugar. Si te quedas atascado en un paso, tendrás que esperar a todo lo demás.

La idea de la arquitectura de microservicios se está dividiendo. Establece "talleres especializados" independientes para cada función de datos básicos. Por ejemplo, un microservicio solo es responsable de recibir y verificar de manera eficiente flujos de datos sin procesar, como un controlador de acceso dedicado; otro microservicio es responsable de la limpieza y el formateo de los datos, y es un limpiador meticuloso; y otro está inmerso en análisis complejos y cálculos de agregación, como un analista. Cada uno tiene bases de datos y entornos de ejecución independientes, y se comunican entre sí a través de protocolos claros y livianos (como las API).

Hacerlo trae varios beneficios tangibles:

Es resiliencia. Una revisión o mejora temporal de un "taller" (servicio) no provocará que toda la "fábrica" ​​detenga la producción. ¿Hay algún problema con el servicio de recepción de datos? El servicio de análisis aún puede continuar funcionando basándose en los datos limpios existentes y la disponibilidad de todo el sistema mejora considerablemente.

Es elástico. ¿De repente hay una gran afluencia de datos? No importa, solo necesita asignar más recursos informáticos al microservicio responsable de la ingestión de datos (iniciar algunas instancias más), al igual que abrir algunas cajas registradoras más durante los períodos pico, y otros servicios no se verán afectados en absoluto. Esta capacidad de escalar según la demanda es fundamental para hacer frente a las fluctuaciones y los costos del tráfico.

Luego está la libertad tecnológica. Cada microservicio puede elegir el stack tecnológico que mejor se adapte a su tarea. Los responsables del procesamiento de transmisiones en tiempo real pueden utilizar un marco que sea mejor en este aspecto, mientras que los que realizan análisis históricos por lotes pueden utilizar otro conjunto de herramientas. El equipo no necesita estar limitado por una única tecnología y puede elegir el "cuchillo" más afilado para abordar problemas específicos.

es la velocidad de iteración. Los equipos pueden desarrollar, probar e implementar de forma independiente sus propios microservicios sin tener que coordinar la situación general. ¿Quieres análisis de datos? Simplemente actualice ese servicio de análisis y póngalo en línea rápidamente sin preocuparse por romper el módulo de recopilación de datos.

Una buena arquitectura también requiere buenos "engranajes"

El concepto es maravilloso, pero para que esta flota pueda navegar verdaderamente de manera eficiente y colaborativa, no puede prescindir de componentes básicos confiables. Esto es como diseñar una sofisticada línea de montaje automatizada, pero si el motor de la cinta transportadora responde con lentitud y carece de precisión, la eficiencia y estabilidad de todo el sistema se reducirán considerablemente.

En el mundo de los microservicios, estos "motores" y "engranajes" son la infraestructura subyacente y los mecanismos de comunicación entre servicios. Requieren una fiabilidad extremadamente alta y un control preciso. Por ejemplo, garantizar el descubrimiento de servicios oportuno y preciso, garantizar que la información de configuración se pueda sincronizar con cada instancia de manera consistente y rápida, o administrar el estado de escenarios distribuidos: estos detalles a menudo determinan el éxito o el fracaso de la arquitectura.

a este respecto,kpotenciaEl espíritu central del campo del control y movimiento de precisión en el que se centra coincide con las demandas de la arquitectura de microservicios. Ya sea un servomotor que requiere una respuesta de milisegundos y un posicionamiento preciso, o un mecanismo de dirección que requiere una ejecución estable y rápida de instrucciones dentro de un ángulo limitado, se enfatiza la precisión, la confiabilidad y la colaboración eficiente. Esta filosofía de producto de requisitos extremos para las unidades de ejecución subyacentes es exactamente la actitud que se debe adoptar al construir un sistema de datos de microservicio robusto: cada componente básico es preciso en su función y todo el sistema puede funcionar sin problemas.

Comienza tu viaje dividido

¿Cómo empezar? Esto no requiere que empieces de nuevo inmediatamente.

Puedes comenzar con un punto doloroso. Identifique los vínculos en sus procesos de datos actuales que son más inestables, cambian con más frecuencia o tienen los cuellos de botella de rendimiento más obvios. Quítelo y diséñelo como su primer microservicio. Por ejemplo, primero aísle la tarea de conversión de datos que requiere más tiempo.

Un “contrato” claramente definido. Asegúrese de que la interfaz (API) entre este nuevo servicio y el resto del sistema sea simple y clara. Al igual que establecer los estándares de entrada de materias primas y las especificaciones de salida de los productos terminados para el taller, esta es la piedra angular de su trabajo colaborativo.

Construir autonomía. Deje que el servicio administre sus propios datos (si corresponde) y pueda implementarlo de forma independiente. Debería ser responsable de su propio ciclo de vida.

Adopte la automatización. Cuando aumente la cantidad de microservicios, la gestión manual será una pesadilla. Se deben considerar desde el principio las cadenas de herramientas que automatizan la implementación, el monitoreo y la recopilación de registros.

El proceso puede ser como desenredar un hilo enredado y requiere paciencia en las primeras etapas. Pero cuando el primer servicio se ejecute con éxito de forma independiente y aporte mejoras visibles, sentirá el placer de "desatar". El flujo de datos se organizará más, la apariencia del sistema se volverá más clara y usted ganará la confianza para afrontar cambios futuros.

En última instancia, la elección de la arquitectura técnica siempre es servir mejor al negocio y a los datos en sí. Cuando los datos comiencen a "hablar" e impulsar decisiones, descubrirá que un sistema creado con microservicios precisos e independientes puede hacer que estas "voces" sean más claras y oportunas. Ya no se trata de una pieza de porcelana que necesita un cuidadoso mantenimiento, sino de un conjunto de organismos dinámicos que pueden seguir evolucionando.

Esta puede ser otra forma elegante de abordar la complejidad de los datos.

Establecido en 2005,kpotenciase ha dedicado a un fabricante profesional de unidades de movimiento compacto, con sede en Dongguan, provincia de Guangdong, China. Aprovechando las innovaciones en la tecnología de accionamiento modular,kpotenciaintegra motores de alto rendimiento, reductores de precisión y sistemas de control multiprotocolo para proporcionar soluciones de sistemas de accionamiento inteligentes eficientes y personalizadas. Kpower ha brindado soluciones de sistemas de accionamiento profesionales a más de 500 clientes empresariales en todo el mundo con productos que cubren diversos campos, como sistemas domésticos inteligentes, electrónica automática, robótica, agricultura de precisión, drones y automatización industrial.