Когда микросервисы отключаются: поддержание света с помощью автоматических выключателей

Вы создали прекрасную архитектуру микросервисов. Все идет своим чередом, пока это не происходит. Одна служба, может быть, что-то маленькое, например, валидатор платежей или отправитель уведомлений, решает вздремнуть. Долгий сон. Внезапно ваш быстрый пользовательский интерфейс истекает, заказы застревают, и вращающееся колесо загрузки становится самым ненавистным изображением в вашем приложении. Такое ощущение, будто одна-единственная перегоревшая лампочка погружает все здание во тьму. Почему один сбой приводит к головной боли всей системы?

Это цепная реакция. Служба А звонит в Службу Б. Служба Б, чувствуя себя перегруженной или просто глючной, работает медленно или перестает отвечать. Служба А, будучи хорошим солдатом, ждет… и ждет… и ждет. Он удерживает драгоценные ресурсы, такие как потоки и соединения, в надежде получить ответ. Тем временем очередь запросов резервируется. Прежде чем вы это заметите, замедление работы службы B задушило службу A, и все, что вызывает службу A, тоже начинает давать сбой. Ваша приборная панель загорается, как рождественская елка, но не в хорошем смысле.

Итак, что можно исправить? Вы не можете просто предотвратить неудачи. В распределенном мире они неизбежны. Хитрость не в том, чтобы построить идеальную систему; он формирует выносливого человека, который умеет изящно спотыкаться. Вот тут-то и возникает идея автоматического выключателя — и она связана не столько с электротехникой, сколько со здравым смыслом.

Подумайте об этом так. Помните тот старый блок предохранителей? При перегрузке цепи перегорает предохранитель. Он отключает подачу электроэнергии, чтобы предотвратить перегрев проводов и возникновение пожара. Это жертвоприношение ради защиты всего дома. Программный выключатель выполняет ту же работу. Он сидит между службами и наблюдает за разговором.

Когда служба B начинает плохо себя вести (слишком часто прерывает работу, выдает ошибки), автоматический выключатель «срабатывает». Он на некоторое время перестает отправлять запросы проблемному сервису. Вместо того, чтобы позволить Службе А зависать и страдать, прерыватель немедленно возвращает запасной вариант: возможно, кэшированный ответ, сообщение по умолчанию или вежливое «попробуйте еще раз позже». Это дает Сервису Б передышку для восстановления (или вашей команде для его перезапуска), сохраняя при этом Сервис А и остальную часть вашего приложения отзывчивыми. Пользователь может увидеть слегка ухудшенную функцию, но не увидит полного сбоя. В этом разница между сообщением «услуга временно недоступна» и пустым, разочаровывающим экраном ошибки.

Но не все выключатели одинаковы. Вы можете задаться вопросом: а что на самом деле должен делать хороший человек?

Во-первых, нужно разумно подходить к тому, когда отправляться в путешествие. Это не просто подсчет ошибок; он смотрит на закономерности. 50% запросов в последнюю минуту терпят неудачу? Путешествие. Среднее время ответа внезапно увеличилось в десять раз? Наверное, пора разомкнуть эту цепь. Ему нужны настраиваемые пороговые значения, чтобы вы могли решить, насколько чувствительным он должен быть.

Во-вторых, ему нужен ритм восстановления. После срабатывания он не должен оставаться открытым вечно. Ему необходимо периодически разрешать одиночный тестовый запрос — вызов «проверки работоспособности» — чтобы проверить, вернулась ли нижестоящая служба в нормальное состояние. Если этот тест пройден успешно, он осторожно замыкает цепь и возобновляет поток трафика. Это зондирование является ключом к автоматическому восстановлению без ручного вмешательства.

В-третьих, он должен хорошо сочетаться с вашей существующей настройкой. Это не громоздкое устройство, которое нужно подключать отдельно. Лучшие реализации выглядят как естественный уровень взаимодействия между вашими службами, который вы можете настроить, не переписывая логику приложения.

Внедрение этого шаблона похоже на предоставление вашей системе иммунной системы. Он не останавливает холод, но сдерживает его. Вы начинаете с определения критически важных связей между вашими службами — тех, сбой которых повредит больше всего. Вы оборачиваете эти вызовы логикой автоматического выключателя. Вы выбираете запасной вариант: какой ответ можно показать пользователю, хотя и несовершенный? Затем вы настраиваете параметры. Сколько неудач слишком много? Как долго выключатель должен оставаться открытым? Вы скорректируете их на основе реального трафика, и это станет частью вашего оперативного руководства.

Красота в результате. Ваша система приобретает своего рода жесткость. Проблемная база данных или сбой стороннего API больше не означают безумную чрезвычайную ситуацию, требующую всеобщего вмешательства в 2 часа ночи. Система изолирует проблему, ограничивает ущерб и поддерживает основные функции. Пользователи получают надежность, ваша операционная группа — здравомыслие, а ваш бизнес позволяет избежать неприятных простоев, которые подрывают доверие.

мощностьПодход компании к этому шаблону направлен на то, чтобы сделать его простым и работоспособным. Цель состоит в том, чтобы внедрить устойчивость в архитектуру, чтобы стабильность стала функцией по умолчанию, а не перестрелкой. Речь идет о разработке систем, которые ожидают неожиданностей и имеют план, как с ними справиться — тихо, в фоновом режиме, в то время как все остальные наслаждаются плавным процессом. Потому что, в конце концов, лучшая технология — это та, о которой вам не нужно думать, та, которая просто работает, даже когда несколько мелких деталей решают взять выходной.

Основанная в 2005 году,мощностьбыла посвящена профессиональному производителю компактных приводов со штаб-квартирой в Дунгуане, провинция Гуандун, Китай. Используя инновации в технологии модульных приводов,мощностьобъединяет высокопроизводительные двигатели, прецизионные редукторы и многопротокольные системы управления, обеспечивая эффективные и индивидуальные решения для интеллектуальных систем привода. Kpower предоставила профессиональные решения в области приводных систем более чем 500 корпоративным клиентам по всему миру, предлагая продукты, охватывающие различные области, такие как системы «умный дом», автоматическая электроника, робототехника, точное земледелие, дроны и промышленная автоматизация.