Data Engineering & Analytics

La question a perdu de sa pertinence : les plateformes actuelles font les deux et le clivage s’est déplacé vers l’organisation des couches. Ce qui compte, c’est de séparer la donnée brute conservée telle quelle, une couche transformée et testée, et des tables de restitution dont vous assumez le contrat. Choisir l’outil avant d’avoir écrit cette séparation revient à louer un entrepôt sans savoir ce qu’on va y ranger.

Un contrat de données est un engagement explicite entre le producteur d’un jeu de données et ses consommateurs : schéma, fraîcheur attendue, valeurs admises, procédure en cas de rupture. Sans lui, une colonne renommée en amont casse silencieusement un tableau de bord et le litige se règle en réunion. Avec lui, la rupture est détectée à la construction du pipeline et le responsable est désigné à l’avance.

Un premier cas d’usage complet — ingestion, transformation testée, restitution — se livre généralement en six à douze semaines. Ce délai dépend beaucoup moins de la technologie retenue que de l’accès aux sources : les autorisations, la disponibilité des interlocuteurs métier et la qualité réelle des données amont sont les trois causes de dérive les plus fréquentes. Nous cadrons ces trois points avant de proposer un planning.

Nous reprenons l’existant dans la grande majorité des cas. Une refonte totale se justifie rarement : elle gèle la valeur pendant des mois et rejoue souvent les mêmes erreurs. Nous commençons par instrumenter ce qui tourne, identifier les pipelines réellement consommés — il y en a toujours moins qu’annoncé — puis remplacer par lots. Ce que personne n’utilise est supprimé, pas migré.

La documentation d’exploitation est livrée avec la plateforme, pas après, et un associé reste sur le projet jusqu’à ce que vos équipes reprennent les astreintes. C’est notre critère de fin de mission. Nous ne laissons pas derrière nous des pipelines que seul un consultant sait redémarrer à trois heures du matin : ce serait rentable pour nous et coûteux pour vous.