Когда ваша болтовня в микросервисах становится шумной: на помощь приходит Apache Kafka

Помните то одно командное собрание, на котором все говорили одновременно, и основная мысль совершенно потерялась? Подобное иногда происходит внутри программных систем. Вы создаете эти аккуратные, независимые микросервисы — небольшие программы, каждая из которых выполняет свою работу, — но затем им необходимо обмениваться обновлениями. Одна служба обрабатывает заказ, другая должна скорректировать запасы, а третья должна отправить подтверждение по электронной почте. Если они начнут звонить друг другу напрямую, это быстро превратится в запутанную паутину зависимостей. Замедление в одном месте может привести к сбою всей системы.

Итак, что можно исправить? Как обеспечить взаимодействие сервисов, чтобы они не становились слишком болтливыми и хрупкими?

Думайте об этом как о центральной городской площади. Вместо того, чтобы разносить сообщения по домам, все публикуют обновления на общей доске объявлений. Другие могут прийти, прочитать то, что им интересно, и пойти дальше. Это основная идея Apache Kafka в настройке микросервисов. Он действует как невероятно надежная и высокопроизводительная доска объявлений или, более технически, распределенная платформа потоковой передачи событий.

Почему подход «Городской площади» меняет игру

Давайте перейдем к практике. Использование Kafka в качестве основы коммуникации приносит несколько ощутимых изменений.

Во-первых, сервисы становятся слабосвязанными. Службе, отправляющей сообщение (например, «Заказ № 1234 подтвержден»), не обязательно знать, кто его слушает. Служба инвентаризации и служба электронной почты могут подписаться на эту тему «подтвержденный заказ» и действовать независимо. Если служба электронной почты на какое-то время не работает, сообщения просто ждут в Kafka. Никакого давления, никаких неудачных звонков. Эта устойчивость меняет правила игры.

Во-вторых, это дает новое определение масштабируемости. Вам нужно справиться с резким ростом активности пользователей? Вы можете добавить больше экземпляров службы, и все они будут читать из одной и той же темы Kafka, легко распределяя нагрузку. Система может расти и сокращаться более естественным образом.

Наконец, есть прекрасный побочный эффект: вы получаете идеальный контрольный журнал. Каждое событие — каждый заказ, каждое изменение статуса — сохраняется последовательно. Если вам когда-нибудь понадобится выяснить, что случилось с конкретной транзакцией, вся история будет доступна для воспроизведения. Это похоже на камеру наблюдения для потока данных.

Но разве речь идет только о передаче сообщений?

Вы можете задаться вопросом, не является ли это просто еще одной очередью сообщений? Есть ключевое различие. Традиционные очереди часто удаляют сообщение после его использования. Kafka сохраняет сообщения в течение заданного периода, позволяя нескольким различным службам читать один и тот же поток событий и даже позволяя новым службам появляться позже и обрабатывать исторические данные. Этот шаблон поддерживает не только общение, но и создание информационных панелей аналитики в реальном времени или создание журналов с возможностью поиска из одного и того же потока событий. Одно событие может привести к множеству результатов.

Вернем его домой с помощью Real Gears

Давайте на мгновение отойдём от чистого программного обеспечения. Представьте, что вы автоматизируете физическую сборочную линию с помощью роботизированных манипуляторов, конвейерных лент и сканеров качества — каждый из которых немного похож на микросервис в физическом мире. Координация – это все. Сканер обнаруживает дефект; это «событие» должно немедленно дать указание правой роботизированной руке снять деталь и предупредить станцию ​​мониторинга. Если эти компоненты были плотно соединены друг с другом, неисправность одного из них приведет к остановке линии. Но если они общаются через надежную центральную нервную систему (принцип, лежащий в основе Кафки), система становится отказоустойчивой и гибкой. Физический и цифровой миры не так уж и различны; для бесперебойной работы обоим требуется надежная асинхронная связь.

Вмощность, мы видим эту синергию каждый день. Наш опыт в точном управлении движением — ссервоприводдвигатели и приводы, которые надежно реагируют на цифровые команды, что соответствует потребности в точном потоке данных в архитектуре программного обеспечения. Та же самая дисциплина, которая обеспечиваетсервоприводПрименительно к данным, перемещение происходит именно тогда и туда, где оно должно, гарантирует, что нужное событие достигнет нужного сервиса в нужное время.

Реализация этого не означает масштабного ночного ремонта. Часто все начинается с малого. Определите одну шумно коммуникативную часть вашей системы. Возможно, это процесс оформления заказа или задача синхронизации данных. Смоделируйте события, которые там происходят («Корзина обновлена», «Платеж обработан»). Настройте тему Kafka в качестве общего канала. Пусть один существующий сервис начнет публиковать в нем информацию, а другой начнет потреблять. Посмотрите, как ощущается эта развязка. Простота часто говорит сама за себя.

Выбор правильной основы имеет большое значение. Речь идет не только о технологии, но и о том, как она применяется и поддерживается. Ищите проверенную надежность, четкую документацию и способность работать с вашим конкретным масштабом — независимо от того, транслируете ли вы тысячу событий в день или миллион событий в час. Цель состоит в том, чтобы сделать внутреннюю болтовню вашей системы не похожей на хаотичную встречу, а больше на хорошо организованную симфонию, в которой каждый игрок синхронизирован, не наступая друг другу на пятки. Вот где строится настоящая эффективность и душевное спокойствие.

Основанная в 2005 году,мощностьбыла посвящена профессиональному производителю компактных приводов со штаб-квартирой в Дунгуане, провинция Гуандун, Китай. Используя инновации в технологии модульных приводов,мощностьобъединяет высокопроизводительные двигатели, прецизионные редукторы и многопротокольные системы управления, обеспечивая эффективные и индивидуальные решения для интеллектуальных систем привода. Kpower предоставила профессиональные решения в области приводных систем более чем 500 корпоративным клиентам по всему миру, предлагая продукты, охватывающие различные области, такие как системы «умный дом», автоматическая электроника, робототехника, точное земледелие, дроны и промышленная автоматизация.