Что делать, если ваше микросервисное хранилище данных начинает злиться?

Представьте себе этот сценарий. В три часа ночи звонит ваш телефон — не от друга, не от семьи, а от вашей сигнализации. Данные ключевого звена производственной линии запаздывали, отчет зависал, а отчет, запрошенный утром лицами, принимающими решения, все еще был пустым. Вы торопливо заходите в систему, ища иголку в стоге сена среди десятков служебных журналов. Это проблема с сетью? Узкое место в базе данных? Или вчера вечером некий API тайно изменил формат? Вы чувствуете знакомую головную боль.

Если вы сталкивались с чем-то подобным, вы должны понимать: в микросервисной архитектуре тестирование хранилища данных никогда не является тривиальным делом. Это похоже на управление огромным симфоническим оркестром. Каждый музыкант (служба) должен точно сыграть свою партию. Если будет небольшая задержка или неправильный тон, все выступление будет испорчено.

Почему традиционные методы тестирования здесь «терпят неудачу»?

Раньше вы, возможно, думали, что тестирование означает подготовку некоторых данных, выполнение запросов и проверку правильности результатов. Но в мире микросервисов все гораздо сложнее. Данные начинаются с клика пользователя и могут проходить через пять или шесть сервисов. Каждый сервис может преобразовать свой формат, добавить некоторые поля или сохранить его в своей небольшой базе данных. Когда он наконец окажется в хранилище данных, кто сможет гарантировать его первоначальный вид?

Еще более неприятно то, что эти услуги постоянно меняются. Сервис заказов был обновлен сегодня, а интерфейс сервиса инвентаризации будет изменен завтра. Вы только что закончили тестирование процесса и, возможно, вам придется сделать это снова в следующий понедельник. Эти постоянные изменения делают «однократное» тестирование практически бесполезным.

«Тогда нам нужно нанять команду, которая будет следить за потоком данных каждый день?» Однажды кто-то спросил. Но проблема в том, что рабочая сила не успевает за скоростью перемен. Более того, ручная проверка может легко пропустить скрытые ошибки, например, отсутствие десятичной точки в числе или незаметное изменение формата даты с «год-месяц-день» на «месяц/день/год». Эти тонкие различия могут превратить финансовые отчеты на конец месяца в катастрофу.

Есть ли способ «провести» тест самостоятельно?

Ответ: да. Но ключ заключается в изменении мышления — от «тестирования результатов данных» к «мониторингу перемещения данных». Вам необходимо знать о состоянии ваших данных на каждом этапе пути, а не только о том, как они выглядят на конечной станции.

мощностьПодход в этом отношении весьма интересен. Они не просто создают кучу тест-кейсов, а сначала помогают нарисовать «карту» потока данных. На этой карте будет отмечено: из какого сервиса берутся данные, каким преобразованиям они подвергаются и в какую таблицу в итоге попадают в хранилище. С помощью карты вы можете установить «контрольно-пропускные пункты» на ключевых перекрестках.

Например, когда сумма заказа переносится из службы корзины покупок в службу заказов, остается ли она исходным номером? Станет ли количество товаров после вычета отрицательным? Эти контрольные точки могут автоматически сравнивать состояние данных до и после, и если будет обнаружено какое-либо несоответствие, немедленно будет выдан сигнал тревоги. Это все равно, что поставить трекер на экспресс-посылку. Вы можете увидеть, где он находится в режиме реального времени и был ли он сброшен.

Сделайте тестирование повседневным явлением, а не «чрезвычайной ситуацией»

Многие команды считают тестирование данных препятствием перед запуском проекта: оно требует стресса, отнимает много времени и часто выполняется в спешке. Но более разумный подход — сделать это частью ежедневного развития. Всякий раз, когда добавляется новая служба или обновляется старая служба, процесс тестирования должен запускаться автоматически.

мощностьМне нравится использовать аналогию: это похоже на установку «монитора качества воды» на вашем конвейере данных. В обычное время он работает тихо, а при обнаружении загрязнений (ошибочные данные) автоматически закрывает клапан, чтобы грязная вода не попала в резервуар (хранилище данных). Таким образом, проблему можно обнаружить до того, как она распространится, вместо того, чтобы ждать конца месяца, чтобы обнаружить, что проблемы есть во всем пруду.

Инженер, воспользовавшийся их решением, рассказал о своем опыте: «Самое очевидное изменение заключается в том, что мой телефон больше не звонит по ночам. Раньше меня будил будильник один или два раза в неделю, но теперь я могу спать спокойно, потому что знаю, что система наблюдает за мной. Даже если есть проблема, еще не поздно разобраться с ней, когда я приду на работу утром».

От «беспокойства по поводу ошибок» до «доверия данным»

В конечном счете, конечная цель тестирования — не найти больше ошибок, а укрепить доверие. Когда команды уверены, что данные, поступающие в хранилище, чисты и точны, они могут более уверенно анализировать, делать прогнозы и даже позволять системе автоматически принимать некоторые решения.

Для этого требуются инструменты, а также набор методов, подходящих для микросервисных сред.мощностьВ комплект входит не отмычка, а индивидуальный слесарный набор инструментов. Сначала они поймут, как устроен ваш поток данных и где могут возникнуть проблемы, а затем помогут вам настроить систему мониторинга. Эта платформа легкая, гибкая и может развиваться вместе с вашими услугами.

«Мы не любим делать сложные вещи», — сказал их технический директор. «Лучшие решения для тестирования зачастую просты и целенаправленны. Их волнует только одно: сохранят ли данные свою аутентичность во время передачи. Остальное остается на усмотрение самой системы».

Ваше хранилище данных заслуживает такого спокойствия. Когда все службы работают тихо, а данные текут плавно, как ручей в озеро, вы освобождаетесь для того, что действительно требует творческого подхода — понимания данных, а не просто работы с ними.

Может быть, завтра ты сможешь выключить будильники, которые срабатывают посреди ночи.

Основанная в 2005 году, компания Kpower занимается профессиональным производителем компактных приводов со штаб-квартирой в Дунгуане, провинция Гуандун, Китай. Используя инновации в модульной технологии привода, Kpower объединяет высокопроизводительные двигатели, прецизионные редукторы и многопротокольные системы управления, чтобы предоставить эффективные и индивидуальные решения для интеллектуальных систем привода. Kpower предоставила профессиональные решения в области приводных систем более чем 500 корпоративным клиентам по всему миру, предлагая продукты, охватывающие различные области, такие как системы «умный дом», автоматическая электроника, робототехника, точное земледелие, дроны и промышленная автоматизация.