Quando i tuoi microservizi iniziano a “litigare”, forse è il momento di ascoltare cosa ha da dire la coda di messaggi

Immagina questo: hai progettato un bellissimo sistema di microservizi e ogni servizio è come un ingranaggio preciso, che svolge i propri compiti. All’inizio hanno collaborato tacitamente e il flusso di dati è stato regolare. Ma man mano che la tua attività cresce e fornisci sempre più servizi, troverai alcuni momenti imbarazzanti: il servizio ordini viene elaborato, ma il servizio di inventario non viene aggiornato in tempo; l'utente paga con successo, ma il servizio di notifica ritarda di alcuni minuti per rispondere. Sembra che sia necessario un metodo di comunicazione più affidabile tra questi servizi.

Questo non è solo un problema di trasmissione dei dati, ma piuttosto la mancanza di un "microfono" affidabile per la collaborazione del team. I servizi vengono chiamati direttamente tra loro. Una volta che un determinato collegamento si blocca, l’intera catena potrebbe risentirne. Oppure, se un servizio si interrompe brevemente, alcuni dati importanti potrebbero andare persi. In questo momento, ciò di cui hai bisogno è un intermediario in grado di bufferizzare, archiviare e garantire che il messaggio prima o poi arrivi.

Questo è il motivo per cui molti team hanno iniziato a introdurre code di messaggi. Kafka gioca un ruolo piuttosto singolare in questo senso.

Cos'è Kafka? È più come un ufficio postale che non chiude mai

In poche parole, Kafka è una piattaforma di streaming di messaggi distribuita. Ma non è la stessa cosa di una normale coda di messaggi. Puoi immaginarlo come un nastro trasportatore in continuo movimento o un gigantesco centro di smistamento con più livelli di scaffali. I messaggi (dati) vengono inviati dai produttori e archiviati in base alle categorie e i consumatori possono recuperarli secondo i propri ritmi in qualsiasi momento. L'importante è che il messaggio venga salvato per un periodo di tempo e non venga cancellato immediatamente, in modo che anche se il servizio è temporaneamente offline, quando ritorna possa continuare l'elaborazione dall'ultima posizione.

Alcune persone potrebbero chiedersi: "Il nostro sistema funziona molto bene adesso, perché dobbiamo preoccuparci di questo?" Spesso, infatti, i problemi non esplodono all’improvviso, ma emergono lentamente. Quando il numero dei servizi cambia da pochi a decine e quando la quantità di dati passa da centinaia di articoli al giorno a centinaia di articoli al secondo, la comunicazione diretta punto a punto diventerà insufficiente. Ritardi, perdite, elaborazioni doppie... questi piccoli problemi possono gradualmente accumularsi fino a diventare grandi problemi.

Cosa può fare Kafka nei microservizi? Tre scene concrete

Innanzitutto, separare gli stretti vincoli tra i servizi. In passato il servizio A chiamava direttamente il servizio B. Se B era occupato o riattaccava, A poteva solo attendere o segnalare un errore. Con Kafka, A deve solo lanciare il messaggio nel corrispondente "canale tematico" e continuare a svolgere il proprio lavoro. B. Vieni a ritirarlo quando ti fa comodo. Le due parti non devono più aspettarsi online in tempo reale e la loro indipendenza migliora improvvisamente.

In secondo luogo, tamponare il traffico di punta. Gli ordini arrivano istantaneamente durante una vendita importante. Se ogni ordine deve attivare immediatamente una serie di servizi come inventario, logistica, punti, ecc., il database e la rete potrebbero essere sotto forte pressione in un istante. Kafka può ricevere prima queste richieste e consentire ai servizi downstream di consumarsi senza problemi in base alle proprie capacità di elaborazione per evitare di essere sopraffatti dal traffico improvviso.

In terzo luogo, assicurarsi che i dati non vadano persi. Grazie all'archiviazione persistente e al design distribuito, una volta che un messaggio è stato scritto con successo su Kafka, i dati avranno una copia anche se alcuni nodi falliscono. Ciò è particolarmente importante per i messaggi chiave come i risultati dei pagamenti e le modifiche dello stato: puoi essere certo che le informazioni importanti non scompariranno solo perché un servizio viene riavviato.

Sembra fantastico, ma sarà complicato presentarlo?

Questa è una preoccupazione molto pratica. In effetti, la creazione e la manutenzione di un cluster Kafka richiede alcune conoscenze professionali, come la pianificazione delle partizioni, le impostazioni della replica, il monitoraggio e l'ottimizzazione, ecc. Ma la buona notizia è che ora esistono molte pratiche e strumenti comprovati che semplificano queste attività. La chiave è avere chiaro il proprio scenario aziendale fin dall'inizio: quanto è elevato il throughput di cui hai bisogno? Quanto è importante l'ordine dei messaggi? Per quanto tempo è necessario conservare i dati?

Quando si inizia, non è necessario perseguire un’architettura ampia e completa. Puoi avviare il progetto pilota con un flusso aziendale non principale, come la raccolta dei log del comportamento degli utenti o l'invio di notifiche asincrone. Familiarizzare il team con i processi di produzione, consumo e monitoraggio dei messaggi. Una volta compreso il tuo temperamento, puoi applicarlo gradualmente ai collegamenti principali delle transazioni.

Non dimenticare il monitoraggio e gli allarmi di supporto. Cosa devo fare se c'è un arretrato di messaggi? Come sapere se il consumo ritarda? Un buon sistema di osservazione consente di individuare tempestivamente i problemi anziché attendere che l'azienda si lamenti.

Selezione e adattamento: non esiste una panacea, solo l'adattamento.

Sul mercato sono disponibili numerose scelte di code di messaggi. Kafka è caratterizzato da elevate capacità di throughput, persistenza e elaborazione del flusso. È particolarmente adatto se il tuo scenario prevede log di grandi dimensioni, pipeline di dati in tempo reale o architettura basata sugli eventi. Ma se il volume dei tuoi messaggi non è elevato e apprezzi una latenza estremamente bassa e una distribuzione semplice, altre soluzioni leggere potrebbero essere più adatte.

L’importante è capire le proprie esigenze. L'essenza della comunicazione tra microservizi è rendere il sistema più robusto e flessibile. Gli strumenti servono agli obiettivi e non il contrario.

Nell’effettivo processo di implementazione, l’adattamento culturale è talvolta più difficile della tecnologia. Il team di sviluppo deve passare dal pensiero di "chiamate sincrone per ottenere risultati immediati" al pensiero di "elaborazione asincrona che sia sostanzialmente coerente". Ciò richiede tempo e pratica, nonché convenzioni di progettazione chiare.

Lasciamo che il sistema “parli” da solo

L'introduzione di una piattaforma di flusso di messaggi come Kafka offre effettivamente al tuo sistema di microservizi la capacità di comunicare in modo autonomo. I servizi non sono più ingranaggi bloccati da una catena, ma agenti che possono collaborare dinamicamente attraverso flussi di messaggi. Dopo che l'ordine è stato generato, il messaggio viene inviato e l'inventario, la logistica e il marketing prendono ciascuno ciò di cui hanno bisogno e lo elaborano in parallelo. Il sistema nel suo complesso diventa più resiliente e maggiormente in grado di far fronte ai cambiamenti futuri.

Scoprirete che quando i "litigi" tra servizi diventeranno "conversazioni" ordinate, molti dei colli di bottiglia che c'erano una volta scompariranno naturalmente. Quando i dati fluiscono, il business può fluire. Questa è forse la parte più attraente dell'architettura tecnica: non è solo una fredda struttura, ma un'arte che rende semplice la collaborazione complessa.

Naturalmente questa strada va percorsa passo dopo passo. Inizia con un piccolo progetto pilota, osserva, adatta e poi promuovi. In ultima analisi, i buoni strumenti semplificano il lavoro delle persone e rendono più stabili le operazioni aziendali. Quando un giorno guardi indietro e scopri che il sistema è stato in grado di gestire con calma i picchi di traffico che una volta ti facevano venire il mal di testa, quella sensazione è probabilmente come il momento in cui vedi il macchinario di precisione che hai progettato finalmente funzionare in modo armonioso.

Fondata nel 2005,kpowerè dedicata a un produttore professionale di unità di movimento compatte, con sede a Dongguan, nella provincia del Guangdong, in Cina. Sfruttando le innovazioni nella tecnologia di azionamento modulare,kpowerintegra motori ad alte prestazioni, riduttori di precisione e sistemi di controllo multiprotocollo per fornire soluzioni di sistemi di azionamento intelligenti efficienti e personalizzate.kpowerha fornito soluzioni di sistemi di azionamento professionali a oltre 500 clienti aziendali in tutto il mondo con prodotti che coprono vari campi come sistemi domestici intelligenti, elettronica automatica, robotica, agricoltura di precisione, droni e automazione industriale.