Fundação
ETL/ELT
Quando um número parecer estranho, você vai saber de onde ele veio. Cada passo entre a fonte bruta e os dados finais é automatizado, testado e versionado, então dá para rastrear exatamente onde e por que algo mudou.
O que costuma doer
Os dados brutos raramente servem como estão. Cliente cadastrado três vezes com grafias diferentes, data em formato que muda por sistema, devolução que ninguém sabe se está descontada. Quem monta o relatório corrige isso à mão, de novo, todo mês.
Como fazemos
Cuidamos de cada etapa entre a fonte bruta e os dados prontos para análise: extração, transformação e carga, com testes e versionamento. Se um número muda, dá para rastrear exatamente onde e por quê.
Regras de limpeza
Padronização, deduplicação e tratamento de valor ausente viram regra escrita, aplicada sempre igual. O que hoje é decidido caso a caso passa a ter um critério único.
Transformação testada
Cada transformação tem teste automático: chave que não pode duplicar, campo que não pode ficar vazio, total que precisa bater com a origem. O teste roda a cada carga.
Histórico preservado
Os dados brutos são guardados como vieram. Se uma regra mudar, dá para reprocessar do começo sem pedir nada de volta aos sistemas de origem.
O que muda
A correção manual sai do fechamento. Os dados chegam ao relatório já tratados, e quando uma regra muda ela muda num lugar só.
O que está incluso
- Extração, transformação e carga documentadas
- Testes automatizados em cada etapa
- Rastreabilidade completa de cada número
Ferramentas neste serviço
- dbt-core
- Dagster
É o que usamos por padrão aqui, tudo aberto e de mercado. Se a sua empresa já tem outra ferramenta rodando para isso, partimos dela.
Também em Fundação
Engenharia de dados
Se um carregamento falhar às duas da manhã, quem descobre somos nós. Cuidamos da orquestração, do monitoramento e dos alertas, para que a operação de dados não dependa de alguém da sua equipe lembrar de conferir.
Pipelines de dados
Os dados param de ser copiados e colados à mão. Conectamos ERP, planilhas, e-commerce e CRM num fluxo que roda sozinho todo dia e entrega tudo no mesmo lugar, já pronto para uso.
Modelagem (DW)
Dois relatórios nunca mais mostram números diferentes para a mesma pergunta. As regras de negócio ficam escritas e versionadas num lugar só, em vez de espalhadas por fórmulas de planilha que ninguém lembra quem fez.
Para entender melhor