マイクロサービスで Kafka を使用する理由

大きなサーボ モーターのグループを制御して、交響楽団のように同期させようとしたことはありますか?

私はかつて自動生産ラインのプロジェクトに携わったことがありますが、そこでは数十台のロボット アームが同時に動作し、センサー データが流れ込み続けていました。最初は通常のメッセージ キューを使用していましたが、特定のリンクのデータ量が突然急増すると、システム全体が「スタック」し始め、ちょうどラッシュアワーの交差点のように、すべての車が渋滞し、後ろのロボット アームは待つことしかできなくなることがわかりました。

このとき、高速道路の交通の流れのように、特定の区間が渋滞していても他の車線は空いているようなデータを作成する方法はあるだろうかと疑問に思うでしょう。

その後、Kafka を使用してマイクロサービスを処理するというアイデアに出会いました。簡単に言うと、詰まりのないベルトコンベアシステムのようなものです。各マイクロサービス (ステアリング ギアの位置データの解析を担当するプログラムや、機械的振動周波数を記録する別のサービスなど) は、このコンベア ベルトから必要なデータ パケットを独立して取得し、相互に干渉することなく独自の処理を行うことができます。

例を挙げてみましょう。 3 つのマイクロサービスがあるとします。A はセンサー信号を受信し、B は動きの軌跡を計算し、C は実行ログを記録します。従来のアーキテクチャでは、B は A の処理が完了するまで待ってから動作し、C は B を待たなければなりません。しかし、Kafka を使用すると、A が元のデータを「ベルトコンベア」上に置き、B と C が同時にそれにアクセスして独立して動作できるようになります。 Cが一時的に遅くなったとしても、AとBは遅くなりません。

Why is this particularly important for mechanical projects? Because mechanical systems are often real-time and highly concurrent. The servo motors of each joint of a six-axis robot feedback data at the millisecond level. If there is a delay in the data processing chain, the entire movement will lose coordination. Kafka の「永続ログ」設計により、サービスが再起動されても、ダウンタイム中のデータは失われません。これは、各デバイスの実行ログを継続的に記録するのと同様で、いつでも再生できます。

誰かが私にこう尋ねました。「それは良さそうですが、複雑になるでしょうか?」実際、重要なのはテクノロジー自体がどれほど奥深いかではなく、それがあなたのシナリオに適合するかどうかです。単純なスイングを行うために 2 つまたは 3 つのサーボを制御するだけの場合は、役に立たない可能性があります。しかし、何百ものデータ ソースを含むワークショップ オートメーション機器グループ全体に直面している場合、このアーキテクチャは、問題のトラブルシューティングのために深夜まで残業するという苦痛を回避するのに役立ちます。

モデルを選択するとき、私は通常 3 つの点に注目します。1 つ目は、スループットがデータのピークに一致するかどうかです。たとえば、すべてのセンサーが同時にレポートする場合の嵐のシナリオです。 2 つ目は、遅延が機械システムの許容範囲内であるかどうかです。 3つ目は、運用保守コストです。カフカはこれらの次元で良いバランス点を見つけました。

もちろん、特効薬はありません。トピックの分割方法やパーティションの設計方法など、データ フローについて明確な計画を立てる必要があります。これは、新しい工場のベルトコンベアのルートを計画するようなものです。どのデータを優先レーンに流し、どのデータを統合して輸送できるかについて、事前に検討する必要があります。

実際の導入体験についてお話しましょう。初期展開中に、チームは「パブリッシュ/サブスクライブ」の考え方のこの変化に適応し、サービス間の直接呼び出しに固執する必要がなくなりました。ただし、実際に実行すると、システムの柔軟性が大幅に向上します。サービスがアップグレードされると、他のサービスは通常どおり実行されます。新しいデータ分析モジュールが追加された場合、元のリンクを変更せずに、関連するデータ ストリームをサブスクライブさせるだけで済みます。

機械システムのデジタル世界は目に見えないことが多いですが、物理的な機器の動きが正確かつスムーズであるかどうかはデジタル世界によって決まります。適切なデータ アーキテクチャを選択することは、精密な機械機構に対応する神経系を装備することに似ています。直接目には見えないかもしれませんが、各歯車の回転がより確実になります。

2005年に設立され、キロパワーは、中国広東省東莞に本社を置く、コンパクトモーションユニットの専門メーカーです。モジュラードライブテクノロジーのイノベーションを活用し、キロパワー高性能モーター、精密減速機、マルチプロトコル制御システムを統合し、効率的でカスタマイズされたスマート ドライブ システム ソリューションを提供します。キロパワーは、スマート ホーム システム、自動エレクトロニクス、ロボティクス、精密農業、ドローン、産業オートメーションなどのさまざまな分野をカバーする製品で、世界中の 500 を超える企業クライアントにプロフェッショナルなドライブ システム ソリューションを提供してきました。