Artigo escrito por: Ademir Aparecido Monteiro – Cientista e Engenheiro de Dados
Em dois artigos anteriores falei sobre a Arquitetura de Malha de Dados.
No primeiro artigo expliquei “O que é Arquitetura de Malha de Dados”. Confira no link abaixo:
https://primeitsolutions.com.br/o-que-e-arquitetura-de-malha-de-dados/
No segundo artigo expliquei “Como Projetar/Construir uma Arquitetura de Malha de Dados”. Confira no link abaixo:
https://primeitsolutions.com.br/como-projetar-construir-uma-arquitetura-de-malha-de-dados/
Ok. Você entendeu o que é malha de dados. Entendeu como construir. Porém ficou faltando algo para completar esse assunto. E esse algo está nesta pergunta:
Quem são os profissionais e/ou funções que farão parte das equipes que trabalham nesta arquitetura?
Eu tenho a minha opinião da equipe ideal. Porém não deve ser levado como uma verdade absoluta. As equipes devem ser criadas de acordo com a visão da empresa, do gestor, do diretor, ou até mesmo das necessidades dos projetos.
Vale destacar que são quatro tipos de equipes.
– Equipe Capacitadora
– Equipe de Plataforma de dados
– Equipe de Domínio
– Equipe de Governança Federada
Somente a equipe de domínio é que poderá ter mais de um time.
A ordem em que vou explicando cada equipe é a que considero mais adequada para começar a dar forma. Porém você pode começar de acordo com as suas necessidades.
Vejamos então quem são os profissionais que devem fazer parte dessas equipes.
Equipe Capacitadora
A equipe Capacitadora é responsável por difundir a Arquitetura de Malha de Dados, orientando as equipes de domínio sobre modelagem de dados analíticos, como usar a plataforma de dados e quais os padrões para criar e manter produtos de dados.
De acordo com a descrição acima já deu para perceber que tipo de profissional deve ser e qual a sua função.
Na questão de modelagem, o profissional deverá ser um profundo conhecedor de modelagem de dados. E saber como armazenar os dados.
Na questão de como usar a plataforma, será necessário ter um bom conhecimento de infra-estrutura e ferramentas de consulta a dados.
E para falar de padrões, o profissional deve ter uma boa experiência nos padrões já adotados na empresa, ou determinar um novo padrão que seja mais adequado para a malha de dados.
E por último, ter a capacidade de difundir a Arquitetura de Malha de Dados. Aqui o profissional deve se expressar bem e ter uma excelente didática.
Com base nas necessidades elencadas acima, o profissional ideal seria um Engenheiro de Dados Sênior. Também é possível pensar em um Cientista de Dados com perfil generalista com bons conhecimentos de engenharia de dados.
Outra questão é quantas pessoas farão parte da equipe? No começo, uma pessoa será o suficiente. Porém com o crescimento da Malha de Dados e das Equipes de Domínio, pode ser necessário ter mais colaboradores.
Vale ressaltar que o profissional desta equipe poderá participar pontualmente, como consultor, nas equipes de domínio.
Equipe de Plataforma de Dados
A equipe da plataforma de dados é responsável por manter a estrutura funcionando e manter as ferramentas de autoatendimento.
Nesta equipe dá para perceber que é uma pessoa com perfil de infra-estrutura, que tenha excelentes conhecimentos de Hardware e Sistemas Operacionais (Linux e Windows). Virtualização de máquinas, clusters, softwares de consulta de dados, etc.
Também tem que saber como se expressar, pois terá que ensinar como funciona o autoatendimento da Malha de Dados.
O perfil adequado para essa função é um Analista de Infra-Estrutura com bastante experiência.
Um Engenheiro de Dados também pode desempenhar essa função.
Equipe de Domínio
Essa é a equipe que será extremamente demandada.
A equipe de domínio é responsável pelos dados do seu domínio. Tem que garantir a qualidade dos dados, a disponibilidade dos dados, a governança sobre os dados, documentação de metadados, etc. Ahh, não podemos esquecer que deverá criar produtos de dados e dar manutenção aos que já existem. Também deve ser considerado a construção de APIs ou Micro Serviços. E deve ter um conhecimento básico sobre a área de negócio para a qual está trabalhando.
Aqui percebemos que essa função demanda mais conhecimento tanto técnico quanto de negócio. Talvez aqui seja uma equipe que necessitará de mais um profissional. Vamos avaliar as necessidades.
Vamos escolher uma área. Que tal, uma empresa de cartões de crédito, na área que cuida das transações.
Aqui já dissemos qual é o perfil do profissional da área. Tem que conhecer como funciona as transações de cartões. Tem que saber o que são transações de débito e crédito, limites de gastos, cartões Pré-pago entre outros conhecimentos desta área. Esse profissional tem que ser um especialista na área. Vamos chamar esse profissional de Analista de Transações de Cartões. Não sei se existe essa função, mas se não existe, inventei agora…. rs
Já o profissional técnico precisa ter os mesmos conhecimentos semelhantes do profissional da equipe capacitadora, porém com mais alguns conhecimentos, tais como, analisar os dados, construção de dashboards, machine learning. Também tem que saber explicar o que os dados querem dizer.
Dependendo do tamanho das necessidades, a equipe pode contar com cinco profissionais técnicos:
- Engenheiro de Dados
- Analista de Dados
- Cientista de Dados
- Arquiteto de dados
- Desenvolvedor Full Stack
E acrescentamos a lista o profissional especialista no negócio:
- Analista de Transações de Cartões
Eu sei o que você está pensando: Essa equipe vai ter um custo muito alto. Então vamos te ajudar a diminuir os custos. Podemos pensar em três cenários hipotéticos.
Primeiro cenário: Os profissionais técnicos podem trabalhar para mais de uma equipe de domínio. Desta forma, o custo é diluído entre as equipes.
Segundo cenário: Está começando a implementação agora da Malha de Dados. Neste caso, pode se ter apenas um profissional técnico, porém com o perfil generalista. Ou seja, consegue transitar facilmente entre engenharia, análise, arquitetura, ciência e desenvolvimento. Porém devemos estar atentos que este profissional poderá ficar sobrecarregado.
Terceiro cenário: Um profissional parecido com o segundo cenário e ainda ter bom ou ótimo conhecimento do negócio. Vale ressaltar que, apesar do profissional fazer todas as funções, provavelmente não será especialista em todas. Pode ser Sênior em um conhecimento e Junior em outro conhecimento.
Equipe de Governança Federada
Esta equipe é crucial para que a Malha de Dados funcione eficientemente. Esta equipe é a responsável por determinar as regras de utilização da Malha de Dados, tais como: garantia de interoperabilidade dos produtos de dados, documentação, padrões de acesso, segurança, padrões de desenvolvimento, etc. E todas essas regras têm que estar aderente às regras organizacionais da empresa.
E qual o perfil de profissional mais adequado a compor essa equipe? Normalmente são as pessoas que já fazem parte das outras equipes, em especial as equipes de domínio.
Conclusão
É fato que algumas empresas não têm verba suficiente para criar as equipes no formato ideal. Mas o importante é começar a utilizar a malha de dados. Com o tempo, o retorno deste investimento se traduzirá em resultados mais rápidos e certeiros nas decisões tomadas pela empresa, tanto na criação de oportunidades de novos negócios quanto na redução de custos.
Use essas dicas para dar passo inicial, porém fique atento aos caminhos que a empresa está trilhando. É desta forma que muito provavelmente conseguirá ter sucesso com a Arquitetura de Malha de Dados.
Se mesmo assim não estiver seguro não hesite em solicitar auxílio com profissionais que já trabalharam com a Arquitetura de Malha de Dados.
