O que você faz quando seus dados começam a “se dividir”?

Imagine este cenário: Vários microsserviços da sua equipe deveriam ser como uma banda bem treinada, cada um desempenhando suas funções e coexistindo em harmonia. Mas não sei quando eles começaram a se separar. O serviço de pedidos fala apenas sobre pedidos, o serviço ao usuário protege os dados do usuário e o lado logístico está em uma categoria à parte. Apenas pedir-lhes para “reconciliar contas” leva muito tempo todos os dias, muito menos tentar ver todo o negócio rapidamente. Não é como dirigir olhando para uma dúzia de painéis diferentes ao mesmo tempo?

Este não é um problema específico da equipe. Quanto mais detalhados os microsserviços forem divididos, mais fácil será a dispersão dos dados em ilhas. Algumas pessoas optam por sincronizar manualmente regularmente, apenas para serem acordadas por alarmes no início da manhã; outros tentam colocar todos os dados de volta em um banco de dados, o que torna o sistema complicado e lento.

Então surge a pergunta: como esses dados “separados” podem voltar a ser uma família sem afetar suas vidas independentes?

Uma forma diferente de pensar: transformar o armazém numa sala de estar

O data warehouse tradicional é como uma sala de arquivo. Os dados são arquivados de maneira organizada assim que entram, mas não podem fluir. Na arquitetura de microsserviços, o que precisamos é de uma “sala de estar pública” – cada serviço ainda reside em sua própria sala, mas as informações que precisam ser compartilhadas podem ser levadas para a sala de estar a qualquer momento para que todos possam ver e usar.

Isso parece simples, mas existem alguns obstáculos para fazer isso. Como coletar dados. Cada serviço pode usar um banco de dados diferente e as alterações podem ocorrer em momentos diferentes. fotopotênciaAo lidar com esses projetos, métodos como a captura de dados de alterações (CDC) são frequentemente usados. É como instalar um sensor em cada linha de montagem de dados. Assim que um novo “produto” sai da linha de produção, ele será automaticamente marcado, embalado e enviado para a sala. Isso é muito mais eficiente e natural do que bater na porta em intervalos regulares e perguntar: “Você tem novos dados?”

A seguir é como economizar. A disposição da sala de estar é muito importante – não deve ser desordenada nem restringir todos a sentarem-se eretos. Uma abordagem comum é o design hierárquico: depois que os dados originais chegam, eles são primeiro colocados no “buffer” e permanecem como estão; depois de alguma limpeza e conversão, forma uma “camada intermediária” com um tema claro e fácil de encontrar; ele é combinado em uma “camada de aplicação” de acordo com requisitos específicos de análise ou relatório. É como colocar os ingredientes no depósito, processá-los em produtos semiacabados e depois cozinhá-los em diferentes pratos de acordo com a receita.

Como usá-lo. Uma boa sala de dados deve ter várias portas. Alguns levam a ferramentas de BI, permitindo que os relatórios sejam executados por conta própria; alguns oferecem suporte a consultas ad hoc para responder a emergências a qualquer momento; mais importante ainda, eles também podem reverter o fluxo de dados para os microsserviços necessários por meio de APIs, permitindo que os dados circulem verdadeiramente, não apenas no ponto final.

Por que vale a pena tentar?

Os benefícios de fazer isso vão muito além de tornar os relatórios mais rápidos. Isso tira um peso da equipe. O desenvolvimento não precisa ser interrompido por requisitos temporários de acesso a dados, e a operação e a manutenção não precisam se preocupar com a possibilidade de uma tarefa em lote derrubar todo o banco de dados.

O que é mais importante é a velocidade. Quando a empresa pergunta: “Qual foi o desempenho daquela promoção na semana passada?” você não precisa mais reunir dados de vários sistemas; a resposta provavelmente já está lá. Esta natureza em tempo real é a competitividade quando são necessárias decisões rápidas.

Há outro benefício oculto: resiliência. O data warehouse é independente do banco de dados comercial, o que equivale a uma perspectiva adicional de backup de dados estável. Mesmo que um microsserviço falhe temporariamente, sua análise da situação geral do negócio não será interrompida instantaneamente.

Da ideia à realidade, quais são os principais passos?

Se você acha que vale a pena explorar esta estrada, considere estas instruções ao começar:

Por onde começar? Não espere engordar com uma mordida. Choose a business domain with high data value and the most obvious pain points as a pilot, such as order or user analysis. Valide todo o processo com um projeto pequeno e concreto.

O que procurar ao selecionar a tecnologia? Existem muitas ferramentas, mas o principal é combinar com o seu próprio ritmo. Depende se é fácil integrar com seu banco de dados e fila de mensagens existentes, se a comunidade está ativa e se o custo de aprendizado pode ser arcado pela equipe. comopotênciaAo ajudar os clientes, “se é fácil de usar” e “se é sustentável a longo prazo” são frequentemente avaliados com igual importância.

O design do esquema é importante? Muito importante, mas não exagere na engenharia nos estágios iniciais. Você pode aproveitar algumas idéias da "biblioteca de data lake" para manter a flexibilidade original no buffer e estabelecer um certo contrato entre a camada intermediária e a camada de aplicação. A chave é manter a capacidade de evoluir.

Como gerenciar a qualidade? Defina pontos de verificação no pipeline através do qual os dados fluem. Por exemplo, registre a quantidade de dados sincronizados todos os dias, monitore a taxa de valor nulo dos campos-chave e compare se o mesmo indicador de fontes diferentes é aproximadamente consistente. Esse monitoramento simples pode detectar muitos problemas com antecedência.

Talvez você possa se perguntar: introduzimos microsserviços em primeiro lugar para que a equipe possa entregar valor de forma independente e rápida. Então agora, com os dados que geramos para estes serviços, construímos também uma “sala de estar” que lhes permite criar valor de informação de forma independente e rápida?

Este não é apenas um projeto de tecnologia, mas uma reflexão sobre como fazer os dados funcionarem juntos novamente. Quando os pequenos fluxos gerados por cada microsserviço puderem se fundir suavemente em um lago calmo, o que você ganhará não será apenas um reflexo claro, mas também uma vitalidade mais forte de todo o ecossistema.

Fundada em 2005,potênciatem se dedicado a um fabricante profissional de unidades de movimento compacto, com sede em Dongguan, província de Guangdong, China. Aproveitando inovações em tecnologia de acionamento modular, a Kpower integra motores de alto desempenho, redutores de precisão e sistemas de controle multiprotocolo para fornecer soluções de sistemas de acionamento inteligentes eficientes e personalizadas. A Kpower forneceu soluções profissionais de sistemas de acionamento para mais de 500 clientes empresariais em todo o mundo, com produtos que abrangem vários campos, como sistemas domésticos inteligentes, eletrônica automática, robótica, agricultura de precisão, drones e automação industrial.