DATA & CLOUD
Data Lake Corporativo
Arquitetura e implementação de pipelines de Data Lake no Martins Atacado, com DevSecOps, streaming e entregas semanais revisadas pelo time interno.
Contexto
O Data Lake Corporativo foi implementado no Martins Atacado, com foco na centralização e organização de informações distribuídas entre sistemas, bancos e aplicações.
Essa fragmentação dificulta integração, análise e criação de novos produtos baseados em dados.
Desafio
Criar uma base de dados em cloud que permita integrar fontes, organizar informações e apoiar a evolução analítica.
- Receber dados de múltiplas fontes e preservar os dados brutos.
- Separar dados processados e organizar os fluxos de transformação.
- Permitir integrações e criar uma base para analytics.
- Considerar segurança e expansão futura desde o desenho da arquitetura.
- Implementar práticas de DevSecOps na entrega.
- Desenhar a arquitetura para streaming de dados.
- Organizar sprints com entregas semanais e revisão do time interno.
Solução
Estruturação de uma arquitetura de Data Lake em cloud com separação entre ingestão, armazenamento, processamento e consumo.
A organização em camadas distingue dados brutos de dados tratados, criando uma base para integrações e futuras análises.
No Martins, o trabalho incluiu arquitetura e implementação do pipeline de Data Lake, arquitetura para streaming e implementação de DevSecOps. A condução ocorreu em sprints com entregas semanais e revisão pelo time interno.
ARQUITETURA / ABORDAGEM TÉCNICA
Da origem ao consumo dos dados
O fluxo apresenta ingestão, processamento e consumo de dados. No Martins, o trabalho incluiu pipelines de Data Lake, streaming com Kafka e práticas de DevSecOps.
- 01Sistemas de origem
- 02Ingestão
- 03Camada de dados brutos
- 04Processamento / Transformação
- 05Camada de dados tratados
- 06APIs / Analytics / BI
Tecnologias
RESPONSABILIDADES
Minha atuação
- Assessment, arquitetura e definição dos fluxos de dados.
- Integração de fontes e organização das camadas de dados.
- Segurança e arquitetura cloud.
- Desenho da evolução da solução.
- Arquitetura e implementação de pipelines de Data Lake.
- Arquitetura para streaming e implementação de DevSecOps.
IMPACTO
Resultados
Centralização e organização da arquitetura de dados.
Criação de uma base para integrações, análises e evolução de iniciativas orientadas por dados.
REFLEXÕES TÉCNICAS
Decisões e critérios técnicos
- 01
Separar dados brutos e tratados torna explícitas as responsabilidades de cada etapa de processamento.
- 02
O desenho dos fluxos deve considerar tanto as fontes disponíveis quanto as necessidades de consumo.
- 03
Segurança e organização dos dados são parte da arquitetura, antes da expansão das iniciativas analíticas.