Distribution · Data Engineering
Migrer 340 jobs Talend vers Snowflake en supprimant d'abord ceux que personne ne lisait
Un patrimoine Talend de 340 jobs, une facture de licence en hausse et des tableaux de bord contestés en comité de direction. L'audit a montré que 40 % des flux n'avaient aucun consommateur.
- Secteur
- Distribution
- Taille
- 220 points de vente, 3 400 salariés
- Service
- Data Engineering
- Modèle
- Audit puis forfait
- Durée
- 16 semaines
Contexte
Le décisionnel alimentait les rapports de vente, les stocks et la paie. Les chiffres divergeaient entre deux tableaux de bord censés dire la même chose, ce qui occupait une réunion mensuelle entière.
Le problème
- 340 jobs Talend, dont une partie inconnue sans propriétaire identifié
- Aucun lignage : impossible de dire quel rapport dépendait de quel flux
- Indicateurs définis différemment selon les rapports
- Chargements nocturnes dépassant régulièrement la fenêtre d'ouverture des magasins
- Coût de licence en hausse sans revue d'usage depuis quatre ans
Ce que nous avons fait
- Audit de patrimoine de trois semaines : lecture des jobs, pas de la documentation
- Traçage du lignage réel jusqu'aux rapports consommés, par analyse des accès
- Identification de 137 flux sans aucun consommateur sur douze mois
- Décision d'arbitrage : supprimer avant de migrer
- Reconstruction des flux retenus en dbt sur Snowflake, avec tests de fraîcheur et d'unicité
- Couche sémantique documentée : une définition unique par indicateur, validée par le contrôle de gestion
- Double run de six semaines avec réconciliation automatique avant bascule
- Décommissionnement formel et libération des licences
Résultats
- 137
- flux supprimés, pas migrés
- -58 %
- de temps de chargement
- 0
- écart en réconciliation
- 16 sem.
- de la première ligne à l'extinction
Ce qu'il en reste
La fenêtre de chargement nocturne est passée de sept heures à moins de trois. La réunion mensuelle d'arbitrage des chiffres a disparu de l'agenda, parce que chaque indicateur a désormais une définition unique et écrite. Le gain le plus important n'a pas été technique : il a été de supprimer 40 % du patrimoine avant de le migrer.
« Ils ont commencé par nous convaincre de supprimer un tiers du projet qu'on voulait leur acheter. C'est ce qui nous a décidés. »
Technologies
- Talend
- dbt
- Snowflake
- Airflow
- Power BI