マイクロサービスのデータが迷路のように感じられるとき

何かを構築したところ、予想よりも早く成長したことがありますか?きちんとした小さなシステムから始めて、いくつかのサービスを追加し、さらにいくつかのサービスを追加しました。あるサービスからのユーザー ログ、別のサービスからのトランザクション レコード、3 番目のサービスからの分析など、いつのまにかデータがあらゆる方向から流れてきました。最初はなんとかできると感じていましたが、ある日、すべての質問に対して簡単な質問をする必要が生じました。突然、さまざまな場所から集めた断片をつなぎ合わせて、番号が一致しているかどうか疑問に思うことになります。データはそこにありますが、さまざまな箱から放り出されたパズルのピースのように散在しています。

ここから頭痛が始まります。マイクロサービスは、完全に分離されてジョブを実行します。しかし、それらは一緒になって、「全体像をどう見るか?」という静かな挑戦を生み出します。

では、実際に何が問題になっているのでしょうか?

本当のことを言いましょう。アーキテクチャが悪いということではありません。マイクロサービスはスケーリングと柔軟性に優れています。問題は後で発生します。各サービスは独自のデータを所有しており、これは原則として正しいです。しかし、レポートを作成したり、カスタマー ジャーニーを理解したり、ビジネス上の意思決定を行ったりするには、データを相互に通信する必要があります。最終的には、あらゆる場所からデータを取得する複雑なパイプラインが作成され、パフォーマンスが低下し、すべてのクエリが遅くなります。洞察を提供するはずのデータ ウェアハウスが別のボトルネックになります。

すべての本が少しずつ異なる言語で書かれている図書館を建てるような気分です。情報はすべて揃っていますが、それを読むのには多大な労力がかかります。

点と点を結ぶ別の方法

これは最初からやり直すということではありません。すでに持っているものをよりスマートな方法で接続することです。すべてを 1 つの厳密な形式に強制することなく、データ ウェアハウスが各マイクロサービスのネイティブ言語を理解できるかどうかを想像してください。数日間前処理を行わずに、サービス A からのリアルタイム イベントとサービス B からの履歴ログを一度にクエリできたらどうなるでしょうか?

それが考え方の転換です。適合性を要求するモノリシックなウェアハウスの代わりに、サービス間の橋渡しをしながら、サービスの独立性を尊重するパターンが必要です。これは、才能あるスペシャリストの間で適切なコミュニケーション プロトコルを設定するようなものです。各自が自分のゾーンで仕事をしながら、重要なことを重要なときに共有します。

このアプローチが簡単に感じられるのはなぜですか?

最後にサービス間レポートを生成しようとしたときのことを思い出してください。必要な手順は何段階ありましたか?抽出、変換、ロード、待機…それはプロジェクト全体です。新しいサービスからのデータがほぼ自動的に統合されることを想像してください。 1 つのサービスのスキーマが変更されても、分析パイプライン全体が中断されることはありません。データのエンジニアリングに費やす時間が減り、データの使用に多くの時間が費やされます。

ツールがシステムに適応すると、実質的な静けさが得られます。その逆ではありません。壊れたパイプラインを常に修復しているわけではありません。コンテキストがまだ新鮮なうちに質問し、答えを得ることができます。

選択するときに何に注目すべきか

「あるパターンが他のパターンよりも優れているのはなぜですか?」と疑問に思うかもしれません。良い質問ですね。それは多くの場合、いくつかの単純な事柄に行き着きます。

まず、作業が増えるのでしょうか？優れたパターンは、複雑さを軽減するものであり、別のレイヤーを追加するものではありません。新しい上司ではなく、役に立つアシスタントのように感じるべきです。

第二に、それは維持できるか？サービスは継続的にデータを生成します。ウェアハウス パターンでは、そのフローを夜間の大量のバッチではなく、ほぼリアルタイムでスムーズに処理する必要があります。

第三に、邪魔にならないかどうか。マイクロサービスは自律性を維持する必要があります。パターンは、各サービスの動作方法に変更を要求することなく、観察および統合する必要があります。

最後に、あなたは自分が見ているものを信頼できますか?データの一貫性が重要です。異なる時期に異なるソースから得られたものであっても、数値が一致していることを知っておく必要があります。

キロパワーのマイクロサービス データ ウェアハウジングへのアプローチは、まさにこの分野に当てはまります。シームレスな統合に焦点を当てており、大規模な再構築を強いることなく、個別のサービスからのデータを一貫したクエリ対応のリソースに結合できます。リアルタイムの同期と各サービスの固有の自律性の維持に重点が置かれており、これにより、より機敏で正確な意思決定がサポートされます。

あなたの世界にそれを持ち込む

始めるということは、ビッグバンの置き換えではありません。通常、それは最も困難な点から始まります。おそらく、それは顧客分析や運用ダッシュボードです。重要だが問題のあるデータ ストリームを 1 つ選択します。このパターンを通じて接続し、どのように動作するかを確認します。データの到着は早くなりますか?クエリはもっと​​簡単ですか?結果は信頼できるものですか?

次に、別のストリームを追加します。そしてもう一つ。これは、ワークスペースを整理するのと同じように、段階的なプロセスです。ある日、顔を上げて、もうデータ配管に苦労していないことに気づきました。プロジェクトを進めるために情報を流動的に使用しているだけです。

分散していたエコシステムを、つながったエコシステムに変えます。迷路には明確な地図が表示され始めます。時間を取り戻し、データに対する信頼が戻り、そもそもの目的であるサービスの構築、つまり価値の創造に集中できるようになります。

結局のところ、それが静かな目標です。テクノロジーを静かに確実に動作させ、全体像に集中できるようにすることです。

2005年に設立され、キロパワーは、中国広東省東莞に本社を置く、コンパクトモーションユニットの専門メーカーです。モジュラードライブテクノロジーのイノベーションを活用し、キロパワー高性能モーター、高精度減速機、マルチプロトコル制御システムを統合し、効率的でカスタマイズされたスマート ドライブ システム ソリューションを提供します。 Kpower は、スマート ホーム システム、自動エレクトロニクス、ロボティクス、精密農業、ドローン、産業オートメーションなどのさまざまな分野をカバーする製品で、世界中の 500 を超える企業クライアントにプロフェッショナルなドライブ システム ソリューションを提供してきました。