Когда ваш микросервис внезапно «сломается»: почему глобальная обработка исключений больше не является необязательной?

Представьте себе такую ​​сцену: поздно ночью производственная линия внезапно останавливается. На экранах мониторинга не было красных предупреждений, но журналы были заполнены запутанными сообщениями об ошибках. Три разных сервиса сообщили об ошибках одновременно, но основная причина скрывалась в четвертом углу. Команда потратила шесть часов на устранение неполадок и, наконец, обнаружила, что дело всего лишь в параметрах конфигурации. Это случается слишком часто, верно?

Микросервисы обеспечивают гибкость, но они также распределяют точки отказа повсюду. Проблема может быть похожа на домино: при небольшом толчке вся система трясется. В это время вы подумаете: было бы здорово, если бы существовал единый «центр управления воздушным движением», который мог бы моментально вылавливать все отклонения и подсказывать им, куда идти и как с ними бороться.

Глобальная обработка исключений: не просто ловить ошибки, а восстанавливать порядок

Многие думают, что обработка исключений — это просто написание try-catch. Но в распределенном мире это больше похоже на построение сети безопасности — эта сеть достаточно умна, чтобы различать «сеть иногда трясется» и «база данных полностью не работает». Именно это и делает глобальная обработка исключений: она стоит поверх всех сервисов и использует единый язык для перевода всех хаотичных сигналов.

Например: время ожидания платежного сервиса истекает, когда пользователь размещает заказ. Насколько плохим был бы опыт, если бы служба заказов напрямую выдавала пользователю «500 Internal Error»? Но если есть глобальная обработка, она может автоматически повторить платеж или переключиться на альтернативные каналы, одновременно предоставляя пользователю дружественную подсказку «обработка». Проблема была решена, а пользователь даже не заметил, что за кулисами скрывается сбой.

Как выглядит полезное глобальное решение для обработки исключений?

Он должен быть легким. Вы не можете сильно нагружать систему, чтобы управлять исключениями. Он должен быть как датчик в воздухе, работать тихо и включаться только тогда, когда что-то идет не так.

Он должен уметь говорить на «человеческом языке». Преобразуйте технические исключения в информацию, понятную бизнес-персоналу: не «NullPointerException в строке 245», а «Ошибка запроса инвентаризации, рекомендуется проверить статус службы инвентаризации продукта с идентификатором 12345». Таким образом, дежурный может действовать быстро, не просматривая код.

Более того, его необходимо классифицировать. Классифицируйте исключения по уровням: те, которые являются просто напоминаниями, те, которые требуют немедленного звонка, и те, которые могут подождать до утра. Это похоже на отделение неотложной медицинской помощи в больнице, где ресурсы используются там, где они больше всего необходимы.

— и, наверное, самое главное — у него должна быть память. Может ли записывать закономерности возникновения аномальных явлений: Всегда ли это происходит в три часа утра каждый день? Появляется ли оно каждый раз при добавлении новой функции? Эти закономерности более ценны, чем отдельные ошибки.

мощностьУ меня немного другое мнение на этот счет

Мы пообщались со многими командами и выяснили, что самое болезненное для них зачастую не техническая реализация, а «как заставить этот механизм реально работать». Многие решения идеально спроектированы, но конфигурация настолько сложна, что никто не хочет их поддерживать, и от них постепенно отказываются.

такмощностьИдея такова: позвольте ему адаптироваться к вашей системе, а не вам – к ней.

Например, наш модуль обработки автоматически узнает связи между вашими вызовами между службами. Когда сервису заказов не удается вызвать платежный сервис, он не только фиксирует «исключение платежного сервиса», но и связывает его с идентификатором заказа, идентификатором пользователя и даже историей операций предыдущих шагов. При таком устранении неполадок вы видите не изолированную ошибку, а историю с контекстом.

Еще одна деталь: мы не применяем универсальную стратегию повторных попыток. Повторная попытка в случае некоторых ошибок бесполезна (например, ошибок разрешения), а повторные попытки приведут к сбою системы.мощностьМеханизм принятия решений будет динамически решать, следует ли повторять попытку, прерывать цепь или снижать производительность, в зависимости от типа исключения, частоты возникновения и даже загрузки системы в данный момент. Это похоже на то, что опытный водитель помогает вам принимать решения.

Кто-то спросил: «Поставит ли это сервис в зависимость от этого процессингового центра?»

Хороший вопрос. Фактически, глобальная обработка исключений не должна быть единственной точкой отказа. В проекте Kpower каждая служба по-прежнему имеет базовые возможности самозащиты — например, детекторы дыма в каждой комнате и центральную систему сигнализации для всего здания. Если центральная система выйдет из строя, локальная система все равно сможет работать; если локальная система не сможет его уловить, центральная система восполнит это. Эти двое сотрудничают, а не зависят.

Мы также обнаружили, что многие команды тратят слишком много времени на «сборку колес» при обработке исключений: определение кодов ошибок, разработку форматов журналов, написание правил сигналов тревоги… Эти повторяющиеся задачи на самом деле можно стандартизировать. Kpower предоставляет набор шаблонов, которые работают «из коробки», но, что более важно, эти шаблоны можно адаптировать по мере роста вашего бизнеса. Когда вы расширяете число сервисов с дюжины до сотен, правила обработки могут меняться автоматически, вместо того, чтобы изобретать велосипед.

В мире микросервисов стабильность заключается не в том, чтобы не совершать ошибок, а в том, чтобы иметь возможность корректно восстанавливаться в случае допущенных ошибок.

Ведь в любой системе есть исключения. Нереально добиться «нулевых ошибок», но вполне реально добиться того, чтобы «ошибки не распространяются, не влияют на работу пользователя и могут быть быстро обнаружены». Глобальная обработка исключений помогает повысить устойчивость.

Это немного похоже на покупку страховки для вашей микросервисной архитектуры — в обычное время вы не ощущаете ее существования, а знаете только, насколько она важна, когда что-то идет не так. И эта страховка будет модернизироваться сама: чем сложнее система, тем больше опыта она накапливает и тем изощреннее она становится в обращении с ней.

Клиент поделился с нами историей: после того, как они запустили новую функцию, ранним утром они внезапно получили кучу сигналов тревоги. По прежней практике команде приходилось вставать и проверять логи один за другим. Но в тот день к электронному письму с тревогой был приложен анализ: «Тайм-аут недавно запущенного вызова рекомендуемой службы истек, поскольку пул потоков зависимой службы был переполнен, что предположительно было вызвано внезапным увеличением трафика. Рекомендуется временно расширить услугу и проверить, не слишком ли мала настройка тайм-аута вызова рекомендуемой службы». Команда последовала подсказкам и решила бой за двадцать минут. После они сказали: «Было такое ощущение, будто на дежурстве находился невидимый товарищ по команде».

Итак, вернемся к началу ночи, когда производственная линия была остановлена.

Если есть глобальная обработка исключений, история может сложиться так: мониторинг сразу выявляет источник проблемы — ошибку конфигурации кэша определенного микросервиса. Система автоматически пытается перезапустить службу со старой конфигурацией и уведомляет об этом ответственное лицо. Производственная линия остановилась всего на три минуты, и весь процесс был записан с полной хронологией. На следующее утро команда легко завершила проверку и ремонт.

Разве цель технологий не в том, чтобы освободить рабочую силу от повторяющейся механической работы по тушению пожара и позволить людям заниматься более полезными делами? Обработка исключений кажется фоновой функцией, но она напрямую определяет, является ли ваша система «хрупкой и хрупкой» или «прочной и надежной». В современном мире, где микросервисы разбиваются на более мелкие части, эта устойчивость может быть более важной, чем любые новые функции.

Ведь пользователи никогда не будут хвалить вас за то, насколько передовые технологии вы используете, но они обязательно уйдут, потому что система вдруг выйдет из строя.

Основанная в 2005 году, компания Kpower занимается профессиональным производителем компактных приводов со штаб-квартирой в Дунгуане, провинция Гуандун, Китай. Используя инновации в модульной технологии привода, Kpower объединяет высокопроизводительные двигатели, прецизионные редукторы и многопротокольные системы управления, чтобы предоставить эффективные и индивидуальные решения для интеллектуальных систем привода. Kpower предоставила профессиональные решения в области приводных систем более чем 500 корпоративным клиентам по всему миру, предлагая продукты, охватывающие различные области, такие как системы «умный дом», автоматическая электроника, робототехника, точное земледелие, дроны и промышленная автоматизация.