тестирование микросервисов uber 1000

Когда тысяча микросервисов говорят одновременно

Представьте, что вы дирижируете великой симфонией. Не десятки музыкантов, а тысяча. Каждый музыкант (назовем это микросервисом) играет свою партию идеально, с точностью до миллисекунды и гармоничным тоном. Одна неправильная нота, немного более быстрый или медленный темп, и все выступление может погрузиться в хаос. Это примерно то же самое, что и управление сложной системой, управляемой тысячей микросервисов. тест? Это как если бы эти тысячи музыкантов репетировали бесчисленное количество раз перед официальным выступлением.

Звучит немного волосато, не так ли? Здесь застряло много команд. Традиционное тестирование похоже на попытку осмотреть весь симфонический оркестр с помощью стетоскопа: вы слышите звук, но не можете определить, какая скрипка играет слишком медленно или какой гобой просто забыл партитуру. Сложные зависимости между сервисами, быстрые изменения потоков данных, нюансы настройки среды... Проблемы часто подобны лесному пожару, тихо вспыхивающему в том углу, которого вы никак не ожидали.

Есть ли способ сделать эту «репетицию» четкой, контролируемой и даже... элегантной?

Сделайте «разговор» предсказуемым

Главное — понять «разговор» между микросервисами. Они постоянно обмениваются данными, отправляют запросы и отвечают результатами. Суть тестирования — убедиться, что все эти разговоры точны, своевременны и соответствуют ожиданиям. Речь идет не только о проверке правильности функционирования отдельных сервисов (например, о том, что каждый музыкант может играть на своем собственном инструменте), но, что более важно, о мониторинге гармонии каждого взаимодействия, когда они начинают играть в большом ансамбле.

У нас было несколько интересных сценариев. Например, служба, обрабатывающая заказы пользователей, отправляет в службу инвентаризации сотни запросов в секунду. При небольшой нагрузке все спокойно. Но когда пики трафика наступают как цунами, задержки начинают накапливаться, и определенный запрос может получить неверные данные инвентаризации только потому, что он опаздывает на несколько миллисекунд. Результат? Система может показывать, что товар есть в наличии, но на самом деле он распродан. Клиенты разочарованы, репутация испорчена. Проблема не в том, что какой-то один сервис «сломан» сам по себе, а в том, что их «разговор» под давлением идет наперекосяк.

Поэтому нам нужен метод, который сможет моделировать эту высокоинтенсивную и сложную сеть диалогов и заранее обнаруживать эти хрупкие связи.

Создайте порядок из хаоса

Вот почему вмощность, мы посмотрим на тестирование микросервисов с несколько иной точки зрения. Мы больше фокусируемся на самом «соединении», а не только на конечных точках соединения. Подумайте, что, если ваша тестовая среда сможет точно воспроизводить все шаблоны трафика, форматы данных и сценарии исключений между сервисами в вашей производственной среде?

Это похоже на создание полностью смоделированного концертного зала для симфонического оркестра. Здесь вы можете намеренно приглушить свет (имитируя задержку сети), внезапно отключить часть кондиционера (имитируя нагрузку на сервер) или даже устроить музыканту время от времени импровизировать (имитируя беспорядочные возвраты от стороннего API). Цель одна: наблюдать, как вся система остается стабильной в управляемом «хаосе».

Мы часто делаем что-то подобное с нашими клиентами: вместо того, чтобы просто запускать тест-кейс, мы создаем тестовый скрипт, полный различных «сюрпризов». Пусть служба A внезапно отреагирует медленно, чтобы увидеть, будет ли служба B терпеливо ждать или разумно переключится на альтернативный путь; смоделируйте кратковременную блокировку очереди сообщений, чтобы оценить возможность восстановления архитектуры, управляемой событиями. Таким образом, будут выявлены недостатки, которые скрыты глубоко внутри и выявляются лишь в ходе определенных цепных реакций.

Кто-то может спросить: «Это слишком сложно? Неужели нам нужно писать сценарии для каждого возможного сценария?» Не совсем. Настоящая идея состоит в том, чтобы создать набор интеллектуальных механизмов мониторинга и утверждения, основанных на протоколах связи и бизнес-правилах. Он постоянно отслеживает все взаимодействия между службами и автоматически сравнивает ожидаемые закономерности с реальными диалогами. Как только обнаруживается несогласованная «нота» — например, внезапное изменение в структуре данных, возвращаемой службой, или несогласованность времени между двумя службами, которые должны быть синхронизированы — она может немедленно отметить проблему, вместо того, чтобы ждать, пока вся система рухнет.

продолжающийся концерт

В конечном счете, для системы с 1000 микросервисами Uber тестирование больше не является изолированным этапом, который происходит только после завершения разработки. Все это превращается в непрерывный гармоничный процесс. Каждая отправка кода и каждое развертывание сервиса — это небольшая репетиция ансамбля в этом смоделированном и сложном «концертном зале». Проблемы обнаруживаются и исправляются на начальном этапе, а устойчивость и надежность системы постоянно повышаются с каждой «репетицией».

Это приносит спокойную уверенность. Когда ваша система состоит из тысяч активных частей, вам нужно не молиться, чтобы все прошло гладко, а иметь зрелый метод, который может активно выявлять и решать проблемы. Вы знаете, как каждый сервис общается со своими партнерами, вы знаете, как они ведут себя в условиях стресса, и вы знаете, где находятся границы стресса всей архитектуры.

Поэтому, когда наступает настоящий пик трафика, ваша система — это уже не тысяча независимых единиц, работающих независимо, а органическое целое, выдержанное и имеющее негласное взаимопонимание. Он спокойно обрабатывает каждую просьбу, как симфония, которая тщательно репетировалась бесчисленное количество раз и наконец официально исполняется при переполненном зале. В центре внимания каждая нота точна, а каждая мелодия плавна и естественна. Нарядность, стоящая за этим, начинается с глубокого понимания и многократной полировки каждого «диалога» на испытательном стенде.

Возможно, это еще один вид элегантности, к которому мы стремимся в эпоху сложных систем.

Основанная в 2005 году,мощностьбыла посвящена профессиональному производителю компактных приводов со штаб-квартирой в Дунгуане, провинция Гуандун, Китай. Используя инновации в технологии модульных приводов,мощностьобъединяет высокопроизводительные двигатели, прецизионные редукторы и многопротокольные системы управления, обеспечивая эффективные и индивидуальные решения для интеллектуальных систем привода. Kpower предоставила профессиональные решения в области приводных систем более чем 500 корпоративным клиентам по всему миру, предлагая продукты, охватывающие различные области, такие как системы «умный дом», автоматическая электроника, робототехника, точное земледелие, дроны и промышленная автоматизация.