Was tun Sie, wenn sich Ihre Daten aufzuspalten beginnen?

Stellen Sie sich dieses Szenario vor: Mehrere Microservices in Ihrem Team sollten wie eine gut eingespielte Band sein, jeder seine eigenen Aufgaben erfüllen und harmonisch nebeneinander existieren. Aber ich weiß nicht, wann sie begannen, sich zu trennen. Der Bestelldienst spricht nur über Bestellungen, der Benutzerdienst wacht über Benutzerdaten und die Logistik spielt in einer eigenen Liga. Allein die Aufforderung, „Konten abzugleichen“, nimmt jeden Tag viel Zeit in Anspruch, ganz zu schweigen vom Versuch, schnell einen Überblick über das gesamte Geschäft zu erhalten. Fühlt sich das nicht ein bisschen so an, als würde man beim Fahren gleichzeitig auf ein Dutzend verschiedene Armaturenbretter starren?

Dies ist kein teamspezifisches Problem. Je feiner die Microservices aufgeschlüsselt sind, desto einfacher ist es, dass Daten in Inseln verstreut werden. Manche Menschen entscheiden sich dafür, ihre Daten regelmäßig manuell zu synchronisieren, werden aber am frühen Morgen von Alarmen geweckt. andere versuchen, alle Daten wieder in eine Datenbank zu packen, was das System umständlich und langsam macht.

Es stellt sich also die Frage: Wie können diese „getrennten“ Daten wieder zu einer Familie werden, ohne dass ihr unabhängiges Leben beeinträchtigt wird?

Anders gedacht: Das Lager zum Wohnzimmer machen

Das traditionelle Data Warehouse ist wie ein Archivraum. Die Daten werden beim Eingang ordentlich archiviert, können aber nicht weitergegeben werden. Was wir in der Microservice-Architektur brauchen, ist ein „öffentliches Wohnzimmer“ – jeder Dienst lebt immer noch in seinem eigenen Raum, aber die Informationen, die geteilt werden müssen, können jederzeit in das Wohnzimmer gebracht werden, damit jeder sie sehen und nutzen kann.

Das klingt einfach, aber es gibt ein paar Hürden dabei. So sammeln Sie Daten. Jeder Dienst verwendet möglicherweise eine andere Datenbank und Änderungen können zu unterschiedlichen Zeiten erfolgen. BildkpowerBei solchen Projekten kommen häufig Methoden wie Change Data Capture (CDC) zum Einsatz. Es ist ein bisschen so, als würde man an jedem Datenverarbeitungsband einen Sensor installieren. Sobald ein neues „Produkt“ vom Band läuft, wird es automatisch markiert, verpackt und ins Wohnzimmer geschickt. Das ist viel effizienter und natürlicher, als in regelmäßigen Abständen an die Tür zu klopfen und zu fragen: „Haben Sie neue Daten?“

Als nächstes erfahren Sie, wie Sie speichern. Die Aufteilung des Wohnzimmers ist sehr wichtig – es sollte weder überladen sein noch alle zum aufrechten Sitzen zwingen. Ein gängiger Ansatz ist das hierarchische Design: Nachdem die Originaldaten eingegangen sind, werden sie zunächst im „Puffer“ abgelegt und bleiben unverändert; dann bildet es nach einiger Reinigung und Umwandlung eine „mittlere Schicht“ mit einem klaren Thema und leicht zu finden; es wird je nach spezifischen Analyse- oder Reporting-Anforderungen zu einer „Anwendungsschicht“ zusammengefasst. Es ist so, als würde man Zutaten in den Lagerraum legen, sie zu Halbfertigprodukten verarbeiten und sie dann entsprechend dem Rezept zu verschiedenen Gerichten zubereiten.

Wie man es benutzt. Ein gutes Datenwohnzimmer sollte mehrere Türen haben. Einige führen zu BI-Tools, die die eigenständige Ausführung von Berichten ermöglichen; einige unterstützen Ad-hoc-Anfragen, um jederzeit auf Notfälle reagieren zu können; Noch wichtiger ist, dass sie über APIs auch den Datenfluss zu den erforderlichen Microservices umkehren können, sodass die Daten tatsächlich zirkulieren können und nicht nur am Endpunkt.

Warum ist das einen Versuch wert?

Die Vorteile dieser Vorgehensweise gehen weit über die schnellere Erstellung von Berichten hinaus. Es entlastet das Team. Die Entwicklung muss nicht durch vorübergehende Datenzugriffsanforderungen unterbrochen werden, und bei Betrieb und Wartung muss nicht befürchtet werden, dass eine Batch-Aufgabe die gesamte Datenbank zum Absturz bringt.

Wichtiger ist die Geschwindigkeit. Wenn das Unternehmen fragt: „Wie war die Aktion letzte Woche?“ Sie müssen keine Daten mehr aus mehreren Systemen zusammenführen; Die Antwort ist wahrscheinlich schon da. Diese Echtzeitnatur ist wettbewerbsfähig, wenn schnelle Entscheidungen erforderlich sind.

Es gibt noch einen weiteren versteckten Vorteil: Belastbarkeit. Das Data Warehouse ist unabhängig von der Unternehmensdatenbank, was einer zusätzlichen stabilen Datensicherungsperspektive gleichkommt. Selbst wenn ein Microservice vorübergehend ausfällt, wird Ihre Analyse der gesamten Geschäftssituation nicht sofort unterbrochen.

Was sind die wichtigsten Schritte von der Idee zur Realität?

Wenn Sie der Meinung sind, dass diese Straße eine Erkundung wert ist, können Sie zu Beginn die folgenden Anweisungen berücksichtigen:

Wo soll ich anfangen? Erwarten Sie nicht, mit einem Bissen dick zu werden. Wählen Sie als Pilot eine Geschäftsdomäne mit hohem Datenwert und den offensichtlichsten Schwachstellen, wie z. B. Auftrags- oder Benutzeranalyse. Validieren Sie den gesamten Prozess mit einem kleinen, konkreten Projekt.

Worauf ist bei der Technologieauswahl zu achten? Es gibt viele Werkzeuge, aber der Kern besteht darin, sich an den eigenen Rhythmus anzupassen. Es hängt davon ab, ob die Integration in Ihre vorhandene Datenbank und Nachrichtenwarteschlange einfach ist, ob die Community aktiv ist und ob sich das Team die Lernkosten leisten kann. wiekpowerBei der Betreuung von Kunden werden „die einfache Handhabung“ und „die langfristige Nachhaltigkeit“ oft gleichrangig bewertet.

Spielt Schemadesign eine Rolle? Sehr wichtig, aber übertreiben Sie es nicht in der Anfangsphase. Sie können auf einige Ideen aus der „Data Lake Library“ zurückgreifen, um die ursprüngliche Flexibilität im Puffer beizubehalten und einen bestimmten Vertrag zwischen der mittleren Schicht und der Anwendungsschicht herzustellen. Der Schlüssel liegt darin, die Fähigkeit zur Weiterentwicklung aufrechtzuerhalten.

Wie verwaltet man Qualität? Legen Sie Prüfpunkte in der Pipeline fest, durch die Daten fließen. Zeichnen Sie beispielsweise die täglich synchronisierte Datenmenge auf, überwachen Sie die Nullwertrate von Schlüsselfeldern und vergleichen Sie, ob derselbe Indikator aus verschiedenen Quellen ungefähr konsistent ist. Durch diese einfache Überwachung können viele Probleme bereits im Vorfeld erkannt werden.

Vielleicht können Sie sich fragen: Wir haben Microservices überhaupt erst eingeführt, damit das Team selbstständig und schnell Werte liefern kann. Haben wir nun mit den Daten, die wir für diese Dienste generieren, auch ein „Wohnzimmer“ gebaut, das es ihnen ermöglicht, selbstständig und schnell Informationswerte zu schaffen?

Dabei handelt es sich nicht nur um ein Technologieprojekt, sondern darum, darüber nachzudenken, wie Daten wieder zusammenarbeiten können. Wenn die von jedem Mikrodienst erzeugten kleinen Bäche reibungslos in einen ruhigen See übergehen können, erhalten Sie nicht nur ein klares Spiegelbild, sondern auch eine stärkere Vitalität des gesamten Ökosystems.

Gegründet im Jahr 2005,kpowerist einem professionellen Hersteller kompakter Bewegungseinheiten mit Hauptsitz in Dongguan, Provinz Guangdong, China, gewidmet. Kpower nutzt Innovationen in der modularen Antriebstechnologie und integriert Hochleistungsmotoren, Präzisionsgetriebe und Multiprotokoll-Steuerungssysteme, um effiziente und maßgeschneiderte intelligente Antriebssystemlösungen bereitzustellen. Kpower hat weltweit über 500 Unternehmenskunden professionelle Antriebssystemlösungen mit Produkten geliefert, die verschiedene Bereiche abdecken, darunter Smart-Home-Systeme, automatische Elektronik, Robotik, Präzisionslandwirtschaft, Drohnen und industrielle Automatisierung.