¿Qué haces cuando tus datos comienzan a “dividirse”?

Imagine este escenario: varios microservicios de su equipo deberían ser como una banda bien entrenada, cada uno realizando sus propias tareas y coexistiendo en armonía. Pero no sé cuando empezaron a separarse. El servicio de pedidos solo habla de pedidos, el servicio de usuario protege los datos del usuario y la parte de logística es única. Simplemente pedirles que "concilien cuentas" lleva mucho tiempo todos los días, y mucho menos tratar de ver rápidamente todo el negocio. ¿No se parece un poco a conducir mirando una docena de tableros diferentes al mismo tiempo?

Este no es un problema específico del equipo. Cuanto más detallados estén los microservicios, más fácil será que los datos se dispersen en islas. Algunas personas optan por sincronizar manualmente de forma regular, sólo para ser despertadas por alarmas temprano en la mañana; otros intentan volver a meter todos los datos en una base de datos, lo que hace que el sistema sea engorroso y lento.

Entonces surge la pregunta: ¿Cómo pueden estos datos "separados" volver a convertirse en una familia sin afectar su vida independiente?

Una forma diferente de pensar: convertir el almacén en un salón

El almacén de datos tradicional es como una sala de archivos. Los datos se archivan cuidadosamente tan pronto como ingresan, pero no pueden fluir. En la arquitectura de microservicios, lo que necesitamos es una "sala de estar pública": cada servicio aún vive en su propia sala, pero la información que debe compartirse se puede llevar a la sala de estar en cualquier momento para que todos la vean y la utilicen.

Esto suena simple, pero existen algunos obstáculos para lograrlo. Cómo recopilar datos. Cada servicio puede utilizar una base de datos diferente y los cambios pueden ocurrir en diferentes momentos. imagenkpotenciaCuando se trata de proyectos de este tipo, a menudo se utilizan métodos como la captura de datos modificados (CDC). Es un poco como instalar un sensor en cada línea de ensamblaje de datos. Una vez que un nuevo "producto" sale de la línea de producción, se marcará, empaquetará y enviará automáticamente a la sala de estar. Esto es mucho más eficiente y natural que llamar a la puerta a intervalos regulares y preguntar: "¿Tiene nuevos datos?".

Lo siguiente es cómo guardar. La distribución de la sala de estar es muy importante: no debe estar abarrotada ni restringir a todos a sentarse erguidos. Un enfoque común es el diseño jerárquico: una vez que llegan los datos originales, primero se colocan en el "búfer" y permanecen como están; luego, después de un poco de limpieza y conversión, forma una "capa intermedia" con un tema claro y fácil de encontrar; se combina en una "capa de aplicación" de acuerdo con los requisitos específicos de análisis o generación de informes. Es como poner los ingredientes en el almacén, procesarlos para obtener productos semiacabados y luego cocinarlos en diferentes platos según la receta.

Cómo usarlo. Una buena sala de estar de datos debe tener varias puertas. Algunos conducen a herramientas de BI, que permiten que los informes se ejecuten por sí solos; algunos admiten consultas ad hoc para responder emergencias en cualquier momento; Más importante aún, también pueden revertir el flujo de datos a los microservicios requeridos a través de API, lo que permite que los datos realmente circulen, no solo el punto final.

¿Por qué vale la pena intentarlo?

Los beneficios de hacer esto van mucho más allá de hacer que los informes se publiquen más rápido. Le quita un peso de encima al equipo. No es necesario interrumpir el desarrollo por requisitos temporales de acceso a datos, y la operación y el mantenimiento no necesitan preocuparse de que una tarea por lotes destruya toda la base de datos.

Lo que es más importante es la velocidad. Cuando la empresa pregunta: "¿Cómo funcionó esa promoción la semana pasada?" ya no es necesario reunir datos de varios sistemas; Probablemente la respuesta ya esté ahí. Esta naturaleza en tiempo real es la competitividad cuando se necesitan decisiones rápidas.

Hay otro beneficio oculto: la resiliencia. El almacén de datos es independiente de la base de datos empresarial, lo que equivale a una perspectiva adicional de copia de seguridad de datos estable. Incluso si un microservicio falla temporalmente, su análisis de la situación empresarial general no se interrumpirá instantáneamente.

De la idea a la realidad, ¿cuáles son los pasos clave?

Si cree que vale la pena explorar este camino, puede considerar estas direcciones al comenzar:

¿Por dónde empezar? No espere engordar de un bocado. Elija un dominio empresarial con un alto valor de datos y los puntos débiles más obvios como piloto, como el análisis de pedidos o usuarios. Validar todo el proceso con un pequeño proyecto concreto.

¿Qué buscar al seleccionar tecnología? Hay muchas herramientas, pero lo principal es seguir tu propio ritmo. Depende de si es fácil de integrar con su base de datos y cola de mensajes existentes, si la comunidad está activa y si el equipo puede cubrir el costo de aprendizaje. comokpotenciaAl atender a los clientes, a menudo se valora con igual importancia "si es fácil de usar" y "si es sostenible a largo plazo".

¿Importa el diseño del esquema? Muy importante, pero no hagas demasiada ingeniería en las primeras etapas. Puede aprovechar algunas ideas de la "biblioteca del lago de datos" para conservar la flexibilidad original en el búfer y establecer un cierto contrato entre la capa intermedia y la capa de aplicación. La clave es mantener la capacidad de evolucionar.

¿Cómo gestionar la calidad? Establezca puntos de control en el canal a través del cual fluyen los datos. Por ejemplo, registre la cantidad de datos sincronizados todos los días, supervise la tasa de valores nulos de los campos clave y compare si el mismo indicador de diferentes fuentes es aproximadamente consistente. Este sencillo seguimiento puede detectar muchos problemas de antemano.

Quizás puedas preguntarte: en primer lugar, introdujimos microservicios para que el equipo pueda entregar valor de forma independiente y rápida. Entonces, ahora, con los datos que generamos para estos servicios, ¿hemos construido también una "sala de estar" que les permita crear valor de información de forma independiente y rápida?

Este no es sólo un proyecto tecnológico, sino una reflexión sobre cómo hacer que los datos vuelvan a funcionar juntos. Cuando los pequeños arroyos generados por cada microservicio puedan fusionarse suavemente en un lago tranquilo, lo que obtendrá no solo será un reflejo claro, sino también una vitalidad más fuerte de todo el ecosistema.

Establecido en 2005,kpotenciase ha dedicado a un fabricante profesional de unidades de movimiento compacto, con sede en Dongguan, provincia de Guangdong, China. Aprovechando las innovaciones en tecnología de accionamiento modular, Kpower integra motores de alto rendimiento, reductores de precisión y sistemas de control multiprotocolo para proporcionar soluciones de sistemas de accionamiento inteligentes eficientes y personalizadas. Kpower ha brindado soluciones de sistemas de accionamiento profesionales a más de 500 clientes empresariales en todo el mundo con productos que cubren diversos campos, como sistemas domésticos inteligentes, electrónica automática, robótica, agricultura de precisión, drones y automatización industrial.