Wofür wird Kafka in Microservices verwendet?

Sind Sie von Microservices verwirrt? Mal sehen, wie diese „Datentaube“ alles macht

Erinnern Sie sich an die Aufregung, die Sie verspürten, als Sie neu bei Microservices waren? Unabhängige Bereitstellung, flexible Skalierung, alles ist so schön. Doch schon bald ergoss sich die Realität mit kaltem Wasser: Woher weiß der Lagerdienst nach der Bearbeitung des Bestellservices sofort, dass er abgezogen werden muss? Wie können der Analysedienst und der Push-Dienst bei der Aktualisierung von Benutzerinformationen in Echtzeit synchronisiert werden? Daten springen von Service zu Service wie ein Team kontaktloser Teammitglieder und hinterlassen eine Spur aus Chaos und Verzögerungen. Sie kratzen sich am Kopf und fragen sich: Gibt es nicht einen zuverlässigen „Korrespondenten“, der für die Übermittlung von Nachrichten zwischen diesen Diensten verantwortlich ist?

manche. Es ist Apache Kafka. Ein ziemlich cool klingender Name. Es handelt sich nicht um eine Datenbank oder ein Framework zur Verarbeitung von Geschäftslogik. Man kann es sich als ein supereffizientes „zentrales Postamt“ oder eine „Datenautobahn“ vorstellen, die niemals ruht. In der Stadt der Mikrodienste, die aus unzähligen kleinen Häusern (Diensten) besteht, ist Kafka die Hauptstraße, die durch die Stadt führt und nie verstopft ist und alle wichtigen Informationsflüsse transportiert.

Kafka kann die „chronische Krankheit“ von Microservices heilen

Lassen Sie uns die Frage weiter ausbreiten. Service A und Service B chatten direkt (Punkt-zu-Punkt-Anrufe). Sobald B krank (Fehler) oder zu beschäftigt (hohe Auslastung) ist, bleibt A hängen und der gesamte Prozess gerät ins Stocken. Noch problematischer ist, dass der neue Dienst C, wenn er auch das Gespräch zwischen A und B abhören möchte, die Leitung neu verbinden muss und das System wie ein Chaos wird.

Und was Kafka tut, ist klug. Es führt ein „Publish-Subscribe“ ein. Dienst A (Produzent) ist es egal, wer die Informationen benötigt. Es „veröffentlicht“ lediglich die Nachricht zu einem bestimmten „Thema“ in Kafka (was als Schwarzes Brett verstanden werden kann). Jeder Dienst (Verbraucher), der sich für diese Nachricht interessiert, z. B. B, C und D, kann dieses Thema „abonnieren“ und die Nachricht jederzeit abrufen. A und B/C/D müssen sich überhaupt nicht kennen und sind vollständig entkoppelt.

Beispiel: In der Vergangenheit nahm der Kurier (Dienst A) das Paket entgegen, klopfte nacheinander an die Tür der Empfänger (B, C, D) und wartete darauf, dass diese unterschrieben, was ineffizient war. Jetzt legt der Kurier das Paket einfach in einen bestimmten Steckplatz (Theme) eines Smart Lockers (Kafka) und macht sich dann auf den Weg, um den nächsten Artikel auszuliefern. Empfänger können mit ihren eigenen Passwörtern (Abonnement) jederzeit zum Schließfach gehen, um ihre Pakete abzuholen, ohne sich gegenseitig zu stören. Das Schließfach bietet außerdem die Möglichkeit, das Paket zwischenzulagern, sodass der Empfänger es auch dann, wenn er ein paar Tage auf Geschäftsreise ist, bei seiner Rückkehr noch abholen kann.

Womit beschäftigt sich Kafka? Einige der besten Szenen

Es ist ein bisschen langweilig, nur über Vernunft zu sprechen. Mal sehen, was sie bewirkt:

1. Rufen Sie die Aktivitätsdaten ab: Benutzer haben auf Ihre Website geklickt, nach einem Wort gesucht, einen Warenkorb hinzugefügt … diese winzigen Aktionen sind so zahlreich wie Schneeflocken. Jede Aktion ist ein Ereignis. Geben Sie diese Ereignisse in Echtzeit und in der richtigen Reihenfolge in Kafka ein, und die nachgelagerten Analysedienste, Empfehlungs-Engines und Risikokontrollsysteme können das bekommen, was sie brauchen, und sofort mit der Arbeit beginnen. Ohne Kafka würden diese Daten entweder verloren gehen oder an einer Servicetür blockiert werden.

2. Fungieren Sie als „großer Hausverwalter“ der Systemprotokolle: Jeder Microservice generiert Protokolle. Der traditionelle Ansatz besteht darin, Dateien separat zu schreiben, und beim Überprüfen von Problemen muss man überall suchen, was miserabel ist. Lassen Sie alle Dienste Protokollnachrichten auf einheitliche Weise an Kafka senden und diese dann zentral in spezielle Protokollsuch- und Analysetools (z. B. ELK-Stack) importieren. Die Behebung des Problems gleicht nun der Suche nach der Antwort in einer Suchmaschine, sie ist auf einen Blick klar.

3. Nachrichtenentkopplung sowie Peak-Shaving und Valley-Filling: Dies ist seine Kernfähigkeit. Beispielsweise das Schlüsselereignis „Bestellung erfolgreich aufgegeben“. Nachdem der Bestelldienst die Kernlogik verarbeitet hat, muss er nur noch eine Nachricht an das Thema „order_completed“ senden, und schon ist er fertig. Der Inventardienst, der Punktedienst, der SMS-Benachrichtigungsdienst, der Data-Warehouse-Dienst usw. überwachen alle dieses Thema und bearbeiten es in ihrem eigenen Tempo, ohne jemanden zu belasten. Wenn es zu einer großen Werbeaktion kommt und das Bestellvolumen sprunghaft ansteigt, ist Kafka wie ein großes Reservoir. Die Datenflut wird zuerst zwischengespeichert, und nachgelagerte Dienste können sie entsprechend ihren eigenen Fähigkeiten langsam verarbeiten, wodurch das Risiko einer sofortigen Überlastung vermieden wird.

4. Erstellen Sie materialisierte Ansichten und Ereignisbeschaffung: Der Status einiger Dienste (z. B. eines Dashboard-Dienstes, der umfassende Daten erfordert) kann schrittweise aus einer Reihe von Ereignissen berechnet und rekonstruiert werden (über Kafka geleitet). Dies bietet große Flexibilität und Überprüfbarkeit, und Sie können jederzeit auf den Zustand des Systems in der Vergangenheit zurückblicken.

Warum ist es so? chattenkpowerAuswahl

Es gibt viele Nachrichtenwarteschlangen auf dem Markt. Warum entscheiden sich viele Teams letztendlich für Kafka? Es gibt tatsächlich etwas an seiner Designphilosophie.

Es ist Haltbarkeit und Zuverlässigkeit. Standardmäßig werden alle Nachrichten auf der Festplatte gespeichert und können auf mehreren Servern gesichert werden. Dadurch gehen nahezu keine Nachrichten verloren und auch bei einem Neustart der Maschine bleiben die Daten sicher. Dies ist eine Lebensader für Geschäfte wie Transaktionen und Bestellungen.

Das ist ein erstaunlicher Durchsatz. Sein Designziel ist die Bewältigung massiver Datenströme. Durch eine Reihe „schwarzer Technologien“ wie sequentielles Lesen und Schreiben von Festplatten und Zero-Copy-Technologie kann auf normaler Hardware problemlos die Leistung erreicht werden, Hunderttausende oder sogar Millionen von Nachrichten pro Sekunde zu verarbeiten. Wenn das Datenvolumen skaliert wird, ist dieser Vorteil entscheidend.

Das andere ist eine extrem hohe Verfügbarkeit und Skalierbarkeit. Kafka-Cluster können einfach durch das Hinzufügen von Knoten erweitert werden, um mehr Datenverkehr zu übertragen. Der integrierte Kopiermechanismus stellt sicher, dass der gesamte Messaging-Dienst auch beim Ausfall einiger Server nicht unterbrochen wird und die Daten sicher bleiben.

Natürlich ist es nicht ohne Temperament. Seine Konzepte erfordern einen geringen Lernaufwand (Themen, Partitionen, Replikate, Verbrauchergruppen ...), und für sehr einfache, kleine Szenarien kann es ein bisschen wie „ein Huhn mit dem Messer töten“ wirken. Aber wenn die Anzahl Ihrer Microservices zunimmt und der Datenfluss komplizierter wird, werden Sie feststellen, dass sich die anfängliche Investition in das Lernen lohnt.

Sorgen Sie dafür, dass es für Sie funktioniert: Ein paar bescheidene Ausgangspunkte

Wenn Sie also überlegen, ob Sie Kafka vorstellen möchten, können Sie sich ein paar einfache Fragen stellen:

• Gibt es zwischen meinen Diensten eine enge Verbindung von „Du wartest auf mich, ich warte auf dich“, sodass beide leiden, wenn einer verliert?
• Werden meine Datenströme zunehmend verwirrend und schwer zu verfolgen und zu prüfen?
• Muss ich massive und dauerhafte Ereignisse wie Clickstreams und Protokolle zuverlässig verarbeiten?
• Wird mein zukünftiges Geschäftswachstum Herausforderungen durch Datenspitzen mit sich bringen?

Wenn die Antwort „Ja“ lautet, dann ist diese effiziente und zuverlässige „Datenautobahn“ eine sorgfältige Untersuchung wert. Es hilft Ihnen vielleicht nicht direkt beim Schreiben von Geschäftscode, aber es kann Ihnen eine solide und geordnete Grundlage für den Datenfluss bieten, sodass sich jeder Microservice mehr auf seine eigene Aufgabe konzentrieren kann, anstatt sich in chaotischer Kommunikation zu erschöpfen.

Letztendlich liegt der Wert von Technologietools in der Lösung von Problemen und nicht in der Schaffung zusätzlicher Belastungen. Wenn Sie einen Partner finden, der Ihre Kernprobleme elegant lösen kann, wird der Weg zum Aufbau und zur Wartung komplexer Systeme einfacher. Denn wer mag nicht einen „Kommunikationsexperten“, der Daten in die Warteschlange stellt und pünktlich ankommt?

Gegründet im Jahr 2005,kpowerist einem professionellen Hersteller kompakter Bewegungseinheiten mit Hauptsitz in Dongguan, Provinz Guangdong, China, gewidmet. Nutzung von Innovationen in der modularen Antriebstechnik,kpowerintegriert Hochleistungsmotoren, Präzisionsgetriebe und Multiprotokoll-Steuerungssysteme, um effiziente und maßgeschneiderte intelligente Antriebssystemlösungen bereitzustellen. Kpower hat weltweit über 500 Unternehmenskunden professionelle Antriebssystemlösungen mit Produkten geliefert, die verschiedene Bereiche abdecken, darunter Smart-Home-Systeme, automatische Elektronik, Robotik, Präzisionslandwirtschaft, Drohnen und industrielle Automatisierung.