Когда ваши микросервисы начинают «ссориться», возможно, пришло время прислушаться к тому, что говорит очередь сообщений.

Представьте себе: вы спроектировали прекрасную микросервисную систему, и каждый сервис подобен точному механизму, выполняющему свои обязанности. Вначале они молчаливо сотрудничали, и поток данных был гладким. Но по мере того, как ваш бизнес растет и вы предоставляете все больше и больше услуг, вы обнаружите некоторые неловкие моменты – сервис заказа обрабатывается, но сервис инвентаризации не обновляется вовремя; пользователь успешно платит, но служба уведомлений задерживается на несколько минут, чтобы ответить. Похоже, между этими сервисами необходим более надежный метод связи.

Это не просто проблема передачи данных, а скорее отсутствие надежного «микрофона» для совместной работы команды. Службы напрямую вызываются между собой. Если какое-то звено застревает, это может повлиять на всю цепочку. Или, если служба ненадолго отключится, важные данные могут быть потеряны. В настоящее время вам нужен посредник, который сможет буферизовать, хранить и гарантировать, что сообщение в конечном итоге будет доставлено.

Именно поэтому многие команды начали вводить очереди сообщений. Кафка играет в этом отношении довольно уникальную роль.

Что такое Кафка? Это больше похоже на почтовое отделение, которое никогда не закрывается.

Проще говоря, Kafka — это распределенная платформа потоковой передачи сообщений. Но это не то же самое, что обычная очередь сообщений. Вы можете представить его как непрерывно работающий конвейер или гигантский сортировочный центр с несколькими уровнями полок. Сообщения (данные) отправляются производителями и сохраняются по категориям, а потребители могут получать их в любое время в удобном для них темпе. Ключевым моментом является то, что сообщение сохраняется в течение определенного периода времени и не удаляется сразу, поэтому даже если сервис временно отключен, он может продолжить обработку с последней позиции, когда вернется.

Некоторые люди могут спросить: «Наша система сейчас работает очень хорошо, зачем нам об этом беспокоиться?» На самом деле проблемы зачастую не возникают внезапно, а возникают медленно. Когда количество ваших сервисов изменится с нескольких до десятков, а объем данных изменится с сотен элементов в день до сотен элементов в секунду, прямой связи «точка-точка» станет недостаточно. Задержки, потери, дублирующая обработка... эти маленькие неприятности могут постепенно перерасти в большие проблемы.

Что Kafka может делать с микросервисами? Три приземленные сцены

Во-первых, отделите жесткие привязки между сервисами. Раньше служба A напрямую вызывала службу B. Если B был занят или повесил трубку, A мог только ждать или сообщить об ошибке. В случае с Кафкой А нужно всего лишь бросить сообщение в соответствующий «тематический канал» и продолжить заниматься своей работой. Б. Приходите и заберите, когда вам будет удобно. Двум сторонам не нужно ждать друг друга онлайн в режиме реального времени, и их независимость внезапно повышается.

Во-вторых, буферизируйте пиковый трафик. Во время крупных распродаж заказы поступают мгновенно. Если каждый заказ должен немедленно запускать ряд служб, таких как инвентаризация, логистика, точки и т. д., база данных и сеть могут в одно мгновение оказаться под сильной нагрузкой. Kafka может получать эти запросы первыми и обеспечивать бесперебойную работу нижестоящих служб в соответствии с их собственными возможностями обработки, чтобы избежать перегрузки внезапным трафиком.

В-третьих, убедитесь, что данные не потеряны. Благодаря постоянному хранению и распределенному дизайну, как только сообщение будет успешно записано в Kafka, у данных будет копия, даже если некоторые узлы выйдут из строя. Это особенно важно для ключевых сообщений, таких как результаты платежей и изменения статуса — вы можете быть уверены, что важная информация не исчезнет только из-за перезапуска сервиса.

Звучит здорово, но будет ли сложно представить?

Это очень практичная задача. Действительно, создание и обслуживание кластера Kafka требует некоторых профессиональных знаний, таких как планирование разделов, настройка реплик, мониторинг и настройка и т. д. Но хорошая новость заключается в том, что сейчас существует множество проверенных практик и инструментов, которые упрощают эти задачи. Главное — с самого начала четко понимать свой бизнес-сценарий: какая высокая пропускная способность вам нужна? Насколько важен порядок сообщений? Как долго необходимо хранить данные?

Вначале вам не обязательно стремиться к большой и всеобъемлющей архитектуре. Вы можете начать пилотный проект с неосновного бизнес-потока, такого как сбор журнала поведения пользователей или асинхронная отправка уведомлений. Ознакомьте команду с процессами создания, потребления и мониторинга сообщений. Как только вы поймете свой темперамент, вы сможете постепенно применять его к основным транзакционным ссылкам.

Не забывайте о вспомогательном мониторинге и сигналах тревоги. Что делать, если имеется задержка сообщений? Как узнать, что потребление задерживается? Хорошая система наблюдения позволяет выявлять проблемы на ранней стадии, а не ждать, пока бизнес-сторона пожалуется.

Выбор и адаптация: панацеи не существует, есть только подходящий вариант.

На рынке существует множество вариантов очередей сообщений. Kafka характеризуется высокой пропускной способностью, устойчивостью и возможностями потоковой обработки. Это особенно подходит, если ваш сценарий включает в себя массивные журналы, конвейеры данных в реальном времени или архитектуру, управляемую событиями. Но если объем ваших сообщений невелик и вы цените чрезвычайно низкую задержку и простоту развертывания, более подходящими могут оказаться другие облегченные решения.

Главное – понять свои потребности. Суть взаимодействия между микросервисами — сделать систему более надежной и гибкой. Инструменты служат целям, а не наоборот.

В реальном процессе реализации культурная адаптация иногда оказывается более сложной, чем технологическая. Команде разработчиков необходимо перейти от мышления «синхронных вызовов для немедленного получения результатов» к мышлению «асинхронной обработки, которая в конечном итоге является последовательной». Это требует некоторого времени и практики, а также четких правил проектирования.

Пусть система «говорит» сама за себя

Внедрение платформы потока сообщений, такой как Kafka, фактически дает вашей системе микросервисов возможность общаться автономно. Сервисы больше не являются механизмами, заблокированными цепочкой, а являются агентами, которые могут динамически сотрудничать посредством потоков сообщений. После того, как заказ сформирован, сообщение отправляется, и каждый из отделов снабжения, логистики и маркетинга берет то, что ему нужно, и обрабатывает его параллельно. Система в целом становится более устойчивой и лучше справляется с будущими изменениями.

Вы обнаружите, что когда «ссоры» между службами станут упорядоченными «разговорами», многие из узких мест, которые когда-то существовали, естественным образом исчезнут. Когда данные текут, бизнес может работать. Это, пожалуй, самая привлекательная часть технической архитектуры — это не просто холодный фреймворк, а искусство, которое упрощает сложное сотрудничество.

Конечно, этот путь нужно пройти шаг за шагом. Начните с небольшого пилотного проекта, наблюдайте, корректируйте его, а затем продвигайте. Хорошие инструменты в конечном итоге облегчают работу людей и делают бизнес-операции более стабильными. Когда вы однажды оглянетесь назад и обнаружите, что система способна спокойно справляться с пиками трафика, от которых когда-то у вас болела голова, это чувство, вероятно, похоже на тот момент, когда вы видите, что спроектированное вами точное оборудование наконец работает гармонично.

Основанная в 2005 году,мощностьбыла посвящена профессиональному производителю компактных приводов со штаб-квартирой в Дунгуане, провинция Гуандун, Китай. Используя инновации в технологии модульных приводов,мощностьобъединяет высокопроизводительные двигатели, прецизионные редукторы и многопротокольные системы управления, обеспечивая эффективные и индивидуальные решения для интеллектуальных систем привода.мощностьпредоставила профессиональные решения в области приводных систем более чем 500 корпоративным клиентам по всему миру, предлагая продукты, охватывающие различные области, такие как системы «умный дом», автоматическая электроника, робототехника, точное земледелие, дроны и промышленная автоматизация.