Когда микросервисы внезапно «молчат», в порядке ли ваша система?

Представьте себе: в три часа ночи ваш телефон внезапно дико вибрирует. Не будильник, а текстовое сообщение. В платформе онлайн-платежей, за которую вы несете ответственность, реакция определенной основной службы происходит медленно, как улитка, а количество неудачных транзакций резко возросло. Команда провела экстренное расследование и обнаружила, что база данных работает нормально, а сеть работает нормально. Они обнаружили, что служба зависимых баллов не работает, что привело к сбою всей платежной линии. Звучит знакомо?

Этот сценарий почти стандартен в микросервисной архитектуре. Службы звонят друг другу, образуя сложную сеть. Но как только в определенном звене что-то пойдет не так, это будет похоже на домино, и неисправности будут распространяться слой за слоем, пока вся система не выйдет из строя. Вы можете подумать: нет ли способа предотвратить это?

Зачем нужны «тормоза»

В традиционных монолитных приложениях неисправности обычно локализуются в пределах одного модуля. Но микросервисы распределены. В случае сбоя службы вызывающая ее служба может все еще ожидать ответа, занимая потоки и ресурсы. Вскоре ресурсы были исчерпаны, а услуги здравоохранения оказались перегружены. Это называется «каскадный отказ».

Как это решить? На самом деле идея не нова. В цепи имеется устройство, называемое «автоматическим выключателем», которое автоматически отключается при отклонении тока от нормы, чтобы предотвратить сгорание оборудования. Перенос этой концепции в код — это микросервисный выключатель — мониторинг сервисных вызовов. Когда сбой достигает порогового значения, запрос временно прерывается и сразу возвращается заданный ответ, чтобы дать неисправному сервису время передохнуть.

мощностьПрактика: не просто переключатель

Автоматический выключатель звучит как простой выключатель, но на практике успех или неудача определяются деталями. Например, когда нам следует «споткнуться»? Сколько раз вы терпите неудачу? Через какое время после отключения следует попытаться восстановиться? Как плавно замкнуть выключатель, если проверка на полуоткрытое состояние прошла успешно?

Мы видели, как слишком много команд пишут свои собственные автоматические выключатели и увязают в более сложном мониторинге. Ручная настройка порогов, статическое время восстановления, отсутствие глобальной перспективы... Итак,мощностьМного времени было потрачено на полировку этой детали. В нашем решении автоматический выключатель может динамически корректировать свою стратегию и автоматически определять пороговые значения на основе моделей нагрузки и реагирования в реальном времени. Он не только блокирует трафик, но также взаимодействует со стратегиями повторных попыток и перехода на более раннюю версию, образуя гибкий уровень защиты.

Кто-то спросил: «Привнесет ли это добавление новую сложность?» Конечно, так и будет. Но по сравнению с пробуждением среди ночи от сигнала тревоги, очевидно, более рентабельно потратить два часа на поиск распространяющегося сбоя и использовать инструменты для предварительного устранения этой сложности. Точно так же, как вы не откажетесь от использования подушки безопасности из-за того, что она может случайно сработать, — главное не абсолютное совершенство, а контролируемые риски.

От кода к эксплуатации и техническому обслуживанию: невидимая защитная сеть

Для реализации автоматического выключателя существует несколько распространенных технических схем. Некоторые из них встроены на стороне клиента, и каждый вызывающий сервис принимает собственное решение; некоторые прозрачно вставляют защиту через дополнительные прокси-серверы; а некоторые интегрированы в шлюзы API для унифицированного управления трафиком.мощностьЛучший выбор — предоставить облегченный SDK и подключаемые модули среды выполнения, позволяющие команде гибко адаптироваться к реальной архитектуре.

Но каким бы хорошим ни был инструмент, его нужно использовать в правильном месте. Мы часто советуем клиентам начинать с малого: какие услуги наиболее важны? Какие зависимости наиболее нестабильны? Сначала установите автоматические выключатели в этих точках и наблюдайте за эффектом. Собрав логи в течение определенного периода времени, постепенно продвигайте их на другие сервисы. Вы обнаружите, что некоторые службы по своей сути «хрупки» и требуют более строгой защиты; некоторые из них очень надежны и могут быть настроены более свободно.

Интересно, что автоматические выключатели не только отказоустойчивы, но и могут служить источником данных для мониторинга. Каждая запись о поездке подразумевает изменение надежности определенной зависимости. В долгосрочной перспективе эти данные могут помочь вам выявить слабые звенья в вашей архитектуре и принять решения или провести рефакторинг.

Мышление вне технологий: как оно меняет командные привычки

После внедрения автоматических выключателей часто возникает явление: команда разработчиков будет более активно определять «планы понижения». Какое значение по умолчанию возвращается, когда служба недоступна? Как долго хранятся кэшированные данные? Как настроить пользовательский интерфейс? Возможно, раньше эти проблемы игнорировались, но теперь о них приходится думать заранее из-за необходимости настройки обратных вызовов выключателя.

Это косвенно способствует формированию более устойчивой культуры проектирования. Команда начинает привыкать к реальности того, что «сервисы всегда будут выходить из строя», и резервирует пути решения проблем в коде. В долгосрочной перспективе этот сдвиг в мышлении более ценен, чем сам инструмент.

написано в

Микросервисы разделяют систему, но также увеличивают риск сбоя. Автоматический выключатель – это не панацея. Он не может предотвратить выход из строя служб, но может предотвратить превращение локальных сбоев в глобальный паралич. Как и автомобильный ремень безопасности, большую часть времени он вам не нужен, но в критические моменты вы знаете, что он есть.

Хорошие технические решения, как правило, такие: они не хвастаются сложностью, а спокойно решают досадные, но важные проблемы. По мере того, как ваша сеть микросервисов становится все больше и больше, вы можете также спросить себя: в следующий раз, когда определенная зависимость внезапно «замолчит», будет ли ваша система следовать тишине или она изящно изменит свое положение и продолжит работу?

Kpower считает, что надежная система заключается не в том, чтобы никогда не совершать ошибок, а в том, чтобы быть порядочными, когда они совершают ошибки. А это требует подготовки начиная с каждой строчки кода.

Основанная в 2005 году, компания Kpower занимается профессиональным производителем компактных приводов со штаб-квартирой в Дунгуане, провинция Гуандун, Китай. Используя инновации в модульной технологии привода, Kpower объединяет высокопроизводительные двигатели, прецизионные редукторы и многопротокольные системы управления, чтобы предоставить эффективные и индивидуальные решения для интеллектуальных систем привода. Kpower предоставила профессиональные решения в области приводных систем более чем 500 корпоративным клиентам по всему миру, предлагая продукты, охватывающие различные области, такие как системы «умный дом», автоматическая электроника, робототехника, точное земледелие, дроны и промышленная автоматизация.