Arquitetura Data Mesh: um guia completo
A gestão dos dados pode ser um processo trabalhoso e complexo, especialmente em grandes organizações que concentram um volume alto. Foi a partir disso que a arquitetura data mesh surgiu, sendo uma maneira mais prática e eficiente de fazer o gerenciamento.
Mas você sabe como ela funciona, as suas vantagens ou por que ela não deveria ser usada por empresas pequenas? Continue lendo este artigo para saber isso e muito mais.
O que é arquitetura data mesh?
É uma estrutura que organiza e segmenta dados por setores, sendo uma abordagem de arquitetura de dados orientada a domínios de negócio, onde áreas como marketing, financeiro, jurídico ou operações têm mais responsabilidade sobre os dados que produzem e utilizam.
Isso permite que as empresas tenham maior controle dos dados armazenados, excluindo duplicidades, além de facilitar a acessibilidade, disponibilidade e escalabilidade no espaço de armazenamento.
Vale ressaltar que ela é um processo, uma abordagem, que as empresas costumam adotar. Não existe uma 'ferramenta única' de Data Mesh, mas sim um ecossistema de ferramentas que sustentam seus pilares.
Entenda os princípios do data mesh
O conceito da arquitetura pode parecer simples, mas tem que seguir alguns princípios que vamos explicar a seguir.
Arquitetura de dados descentralizada orientada ao domínio;
Dados disponibilizados como produto;
Infraestrutura para disponibilizar os dados como self-service;
Governança federada.
1. Arquitetura de dados descentralizada orientada ao domínio
A arquitetura deve ser descentralizada, a fim de facilitar o gerenciamento e também a divisão em domínios.
2. Dados disponibilizados como produto
A disponibilização dos dados como produto facilita a descentralização da gestão e a disponibilização do dado com foco na usabilidade e valor de negócio.
Isso traz diversos benefícios que proporcionam mais confiabilidade e qualidade nos dados armazenados, desenvolvimento contínuo e também facilidade na administração.
3. Infraestrutura para disponibilizar os dados como self-service
Um dos princípios que fazem a arquitetura data mesh ser tão popular é a facilidade no autoatendimento para a utilização dos dados armazenados. Os times conseguem acessar, solicitar e disponibilizar dados com mais agilidade, seguindo padrões de segurança, qualidade e governança.
4. Governança federada
A governança federada (gestão de dados que equilibra a autonomia local dos departamentos corporativos com as diretrizes centrais) permite que cada domínio de negócio tenha autonomia para gerir os dados, ao mesmo tempo que traz algumas diretrizes centrais, de forma que traga unidade dentro da empresa.
Ou seja, ela garante a interoperabilidade entre os domínios corporativos, que são independentes e que mesmo assim permite a comunicação entre os dados porque seguem padrões globais.
Quais as vantagens da arquitetura data mesh?
Apesar de recente (criada em 2019 por Zhamak Dehghani), ela veio para sanar diversos contratempos que outras formas de gestão de dados tinham, como a descentralização e duplicação de dados. Veja as principais vantagens a seguir.
Colaboração entre profissionais
Um dos fatores que faz com que essa arquitetura seja tão popular entre organizações é a alta colaboração que profissionais tem. Dessa forma, trabalhadores de uma mesma área conseguem dividir facilmente o conhecimento com outros dos mesmo departamento.
Alta produtividade
O fato dos dados de um mesmo domínio estarem agrupados faz com que sua utilização seja muito mais fácil e frequente. Isso ajuda colaboradores a entrarem em contato constantemente, aumentando o domínio nas informações e melhorando a produtividade.
Visibilidade de dados
Data mesh proporciona empresas a terem ampla visibilidade dos dados armazenados, já que existe a segmentação por setor.
Diminuição na duplicação dos dados
O tópico anterior tem impacto direto com este, já que a arquitetura data mesh proporciona conhecimento sobre as informações armazenadas, diminuindo a repetição.
Descentralização
A descentralização por si só já é um benefício, mas traz outra vantagem: a flexibilidade. Com ela, qualquer pessoa que esteja envolvida naquele departamento ou projeto pode facilmente consultar e utilizar os dados que são armazenados.
Governança centralizada
Ao mesmo tempo que existe a descentralização da estrutura, a governança é centralizada. Isso permite que, mesmo que separados por domínios, ainda exista uma conexão entre os dados, tornando-os acessíveis aos outros departamentos.
Análise de dados aprimorada
Por agrupar informações de domínios semelhantes, a análise dos dados se torna muito mais aprimorada, não apenas em qualidade, mas também na economia de tempo.
Tomada de decisões assertiva
A análise de dados aprimorada é um ótimo recurso para uma melhor tomada de decisões já que possibilita que gestores e tomadores de decisões sejam data driven, ou seja, tenham atitudes e resoluções baseadas em dados.
E como implementar o data mesh?
Não existe uma maneira exata para implementar uma arquitetura data mesh nas empresas. Na verdade, existem diferentes processos que fazem com que ela se consolide. Veja os principais a seguir.
Faça uma análise geral dos dados existentes
É preciso compreender quais tipos de dados existem para poder criar uma estratégia de armazenamento e operação. Assim, entendendo o que já existe dentro da organização, é possível decidir a melhor maneira de fazer a separação.
Crie um planejamento
Assim que são conhecidos os dados, é necessário criar um planejamento de como eles serão separados e armazenados. Desenvolva a melhor estratégia que se adequa a sua empresa e aos departamentos existentes, e se possível, pense no futuro, em possíveis cenários que podem vir.
Implemente as ferramentas certas
Apesar de não existir um software específico que implemente a arquitetura dentro da sua organização, ainda assim existem algumas que colaboram com a tarefa.
A ManageEngine possui diversas ferramentas que podem ajudar os gestores mais exigentes a deixar sua empresa de acordo com o data mesh.
Em uma arquitetura Data Mesh, onde diferentes domínios possuem autonomia sobre seus dados, o ADManager Plus apoia a governança de identidades em ambientes corporativos, contribuindo para a definição e o controle de acessos. A ferramenta utiliza modelos como RBAC para organizar permissões por papéis e reforçar políticas de segurança entre os domínios.
O ServiceDesk Plus pode apoiar uma arquitetura Data Mesh ao estruturar processos de atendimento e governança entre diferentes setores. Como uma solução de USM com capacidades de ESM, a ferramenta permite estender a gestão de serviços para além da TI, contemplando áreas como RH, financeiro e operações. Dessa forma, cada domínio pode organizar suas solicitações, fluxos e responsabilidades de forma independente, mantendo alinhamento com diretrizes e processos corporativos.
Eduque os colaboradores
Os profissionais são aqueles que estão em contato todos os dias com a arquitetura e suas ferramentas. Por esse motivo, é essencial ter o apoio e a compreensão de todos.
Treinamentos constantes, assim como a mudança cultural dentro da empresa são fundamentais para que os processos sejam seguidos e funcionem.
Qual a diferença entre data mesh, data lake, data warehouse e silo de dados?
Muitos confundem esses conceitos e mesmo que pareçam iguais, existem grandes diferenças entre eles. Veja elas a seguir.
Data lake vs. Data mesh
Ao contrário do data mesh, que possui repositórios descentralizados, os repositórios dos data lakes são centralizados e armazenam um alto volume de dados brutos. Por isso, o data lake é ideal para a análise de big data.
Data warehouse vs. Data mesh
Data warehouse é um repositório centralizado (assim como o data lake), porém, ao contrário do anterior, ele armazena dados estruturados e/ou semiestruturados, sendo ideal para power BI.
Silo de dados vs. Data mesh
Diferente dos silos de dados, que são barreiras isoladas e muitas vezes acidentais que impedem a colaboração, o Data Mesh é uma descentralização intencional e governada, onde a separação existe para dar agilidade, não para esconder informações.
Por que a arquitetura data mesh não é ideal para pequenas empresas?
Esse tipo de organização é de alta ajuda para diferentes tipos de empresa. Mas isso não significa que ela é ideal para empresas pequenas, especialmente aquelas com número reduzido de colaboradores.
Por se tratar de um processo extenso que abrange toda empresa, aquelas que são menores podem não se beneficiar de todas as vantagens que a arquitetura oferece exatamente por terem poucos funcionários.
Imagina ter que gastar tempo e dinheiro implementando uma abordagem complexa para não ter todos os benefícios que ela fornece? Especialmente porque algumas poucas mudanças de hábito entre os profissionais presentes pode trazer benefícios semelhantes.
Conclusão
Como vimos, a arquitetura data mesh pode trazer inúmeros benefícios quando bem aplicada. Além disso, o processo de implementação pode ser muito mais fácil quando utilizadas ferramentas práticas e de qualidade.
Em uma arquitetura Data Mesh, onde diferentes domínios têm autonomia sobre seus dados, o Log360 ajuda a garantir visibilidade, auditoria e detecção de comportamentos anômalos em um ambiente descentralizado. Esses recursos se tornam ainda mais estratégicos quando combinados com práticas como UEBA, que permitem identificar padrões de risco e atividades suspeitas de forma mais proativa.
O Analytics Plus pode complementar uma estratégia ao transformar dados espalhados em informações visuais e de fácil compreensão. A ferramenta ajuda a concentrar essas informações em dashboards e relatórios, com os Espaços de Trabalho, é possível organizar os dados por área, serviço ou domínio, facilitando a análise para gestão. Dessa forma, o gestor consegue entender melhor o cenário, identificar problemas, acompanhar indicadores e decidir com mais segurança quais ações devem ser tomadas.
Todos as ferramentas da ManageEngine possuem um teste gratuito de 30 dias.
Nota: Encontre a revenda da ManageEngine certa. Entre em contato com a nossa equipe de canais pelo e-mail latam-sales@manageengine.com.
Importante: a ManageEngine não trabalha com distribuidores no Brasil.