Quando seu data warehouse encontra microsserviços, as coisas começam a ficar complicadas

Lembra-se dos dias em que todos os seus dados eram empilhados em um grande armazém? Mesmo que seja um pouco problemático encontrar as coisas naquela época, pelo menos você sabe onde está tudo. E agora? Seu sistema é dividido em microsserviços, cada um com seu próprio cantinho de dados, e de repente toda a visualização dos dados fica fragmentada.

Alguém me perguntou ontem: “Por que meus relatórios estão sempre errados?” A resposta muitas vezes está escondida nessas ilhas de dados dispersas. Um serviço de pedido está aqui, um serviço de usuário está ali e os dados logísticos vão para outro lugar. Quando você precisa ter uma visão completa do seu negócio, precisa juntar as peças como um quebra-cabeça – e muitas vezes descobre que faltam algumas peças.

O que os microsserviços trazem?

Flexível, isso é certo. Cada serviço pode ser desenvolvido, implantado e expandido de forma independente. Mas e os dados? Ele não fica mais quieto em um só lugar. Começa a fluir, começa a se espalhar, começa a se tornar indescritível.

Imagine o seguinte: a equipe de vendas quer ver o desempenho em tempo real, mas os dados vêm de cinco serviços diferentes; as finanças precisam de relatórios mensais, mas cada serviço os conta de maneira um pouco diferente; o gerente de produto deseja saber o comportamento do usuário, mas os dados do usuário estão espalhados por três sistemas. Neste momento, você descobrirá que as vantagens arquitetônicas dos microsserviços se tornaram desafios reais diante da análise de dados.

Alguém pode perguntar: “Podemos voltar a uma arquitetura monolítica?” Isto não é um passo atrás, mas um reconhecimento da realidade: o negócio precisa de flexibilidade e a análise precisa de unidade. É necessária uma ponte entre os dois.

Os silos de dados não são um problema técnico, mas um obstáculo comercial

Ouvi um cenário da vida real na semana passada: uma empresa levou três dias para descobrir os números exatos da receita do último mês. Não porque os dados não existam, mas porque estão espalhados por uma dúzia de serviços, cada um com definições ligeiramente diferentes e tempos de sincronização inconsistentes.

Não é culpa do técnico, nem é culpa do arquiteto. Este é um problema que surge da evolução natural da arquitetura de microsserviços. Cada serviço concentra-se no seu próprio domínio e trata dos seus próprios dados, o que faz sentido. Mas surgem problemas quando o negócio exige insights entre domínios.

"Então o que devemos fazer?" Muitas pessoas vão perguntar. A resposta não é derrubar os microsserviços, mas construir uma camada de integração de dados no topo. É como construir um metrô em uma cidade – não destruindo os edifícios originais, mas conectando-os.

arte da conexão

Conectar fontes de dados dispersas parece simples, mas requer criatividade para fazer isso. Você não pode simplesmente copiar todos os dados para um só lugar, pois isso perderia desempenho em tempo real. Você também não pode permitir que todas as consultas acessem todos os microsserviços, caso contrário o sistema travará.

Qual é a abordagem apropriada? Crie uma camada de data warehouse dedicada, mas não um armazém tradicional e volumoso. Precisa ser leve, flexível, capaz de compreender a linguagem dos microsserviços e falar a linguagem da análise de negócios.

Imagine um sistema como este: ele observa silenciosamente as alterações de dados de cada microsserviço, coleta dados relevantes de maneira suave e em tempo real e os reorganiza de acordo com a lógica de negócios para formar uma visão completa. Não interfere no funcionamento normal dos microsserviços, mas tece silenciosamente a rede de dados nos bastidores.

potênciamaneira de lidar

Existem muitas opções no mercado, mas a maioria é muito pesada ou muito leve. Se for muito pesado, irá arrastar todo o sistema; se for muito leve, não resolverá o problema. O que precisamos é de equilíbrio.

potênciaA abordagem deles é interessante – eles não forçam a movimentação de dados, mas, em vez disso, constroem uma camada de conectividade inteligente. Cada microsserviço permanece independente, mas o data warehouse sabe como acessá-los, como compreender seus dados e como traduzir esses dados para a linguagem comercial.

É como ter um tradutor inteligente que seja proficiente em todos os dialetos de microsserviços e possa contar a história completa para a equipe de negócios. Quando o setor de vendas perguntou sobre desempenho, ele imediatamente deu a resposta; quando as finanças pediam relatórios, ele imediatamente os compilava; quando os gerentes de produto queriam ver o comportamento do usuário, ele já havia preparado gráficos.

Como é na prática?

Você não precisa refatorar todo o seu sistema, o que é uma boa notícia. Geralmente comece com o cenário de negócios mais importante. Por exemplo, se você mais precisa de dados de vendas em tempo real, conecte primeiro seus serviços de pedido, pagamento e estoque.

Os dados começam a fluir e você encontrará algumas coisas interessantes. Acontece que há uma diferença de meio dia nas definições de “pedidos concluídos” entre os dois serviços; Acontece que “usuários ativos” no atendimento ao usuário e “usuários ativos” no sistema de marketing não são a mesma coisa. Essas descobertas são valiosas por si só: elas proporcionam uma melhor compreensão do seu negócio.

Depois, você poderá expandir gradualmente para conectar mais serviços e cobrir mais cenários de negócios. Todo o processo é gradual e não requer grandes mudanças.

Após a unificação dos dados

Algumas pessoas temem que tal sistema seja complexo e exija uma equipe dedicada para mantê-lo. Na verdade, um bom design deve ser autônomo – o sistema cuida da maior parte do trabalho sozinho, exigindo intervenção humana apenas quando necessário. Como um carro autônomo, ele dirige sozinho diariamente, exigindo que o motorista assuma o controle apenas em circunstâncias especiais.

pensamento

Os microsserviços não desaparecerão e o problema da dispersão de dados sempre existirá. Mas isso não significa que tenhamos que trabalhar no caos. Uma solução adequada de data warehouse pode fornecer a consistência necessária para a análise de dados sem destruir a flexibilidade dos microsserviços.

Esta não é apenas uma escolha tecnológica, mas também uma escolha comercial. Como você escolhe ver seu negócio – como peças individuais ou como uma imagem completa? O primeiro permite que você se concentre na área local, enquanto o último permite compreender a direção geral.

Uma boa ferramenta não deve ser uma restrição, mas sim uma libertadora. Ele permite que você se concentre na inovação empresarial em vez da coleta de dados. Quando os dados fluem naturalmente e os insights surgem naturalmente, você pode fazer o que realmente importa: entender seu negócio, atender seus clientes e criar valor.

O data warehouse não deve ser um fardo pesado, mas sim asas leves. Ele sustenta sua visão de negócios e permite que você veja mais longe. No mundo dos microsserviços, isso é especialmente importante – porque quando você divide o sistema, você precisa de algo para reconectá-los, não apenas no sentido técnico, mas também no sentido comercial.

Fundada em 2005,potênciatem se dedicado a um fabricante profissional de unidades de movimento compacto, com sede em Dongguan, província de Guangdong, China. Aproveitando inovações em tecnologia de acionamento modular, a Kpower integra motores de alto desempenho, redutores de precisão e sistemas de controle multiprotocolo para fornecer soluções de sistemas de acionamento inteligentes eficientes e personalizadas. A Kpower forneceu soluções profissionais de sistemas de acionamento para mais de 500 clientes empresariais em todo o mundo, com produtos que abrangem vários campos, como sistemas domésticos inteligentes, eletrônica automática, robótica, agricultura de precisão, drones e automação industrial.