La baseline avant le modèle : la règle qui fait gagner du temps et de la crédibilité

Dans un projet de modélisation, la première chose à construire n'est pas un modèle. C'est la solution la plus bête qui répond au problème, mesurée sur la même métrique et le même jeu de données que le modèle qui viendra ensuite.

Ce qu'est une baseline

Elle doit être triviale à expliquer et à implémenter :

• Prévision de la demande : la moyenne mobile sur trois mois, ou la valeur du même mois l'année précédente.
• Détection d'anomalie : un seuil fixe défini par un expert métier.
• Classification : la classe majoritaire, ou une règle métier existante déjà appliquée manuellement.
• Scoring : le score construit sur tableur que quelqu'un utilise déjà.

Le point commun : personne ne doute de ce qu'elle fait, et elle peut être mise en production en une journée.

Pourquoi elle change tout

Elle donne un sens aux chiffres. Une précision de 87 % n'est ni bonne ni mauvaise en soi. Si la baseline fait 85 %, votre modèle apporte deux points pour un coût d'industrialisation et de maintenance permanent. Si elle fait 62 %, l'apport est considérable. Sans baseline, la discussion est impossible.

Elle protège du sur-investissement. Il arrive régulièrement que la baseline gagne, en particulier sur des séries courtes, très bruitées, ou dominées par des événements exceptionnels. Le découvrir en deux jours coûte deux jours. Le découvrir après trois mois de développement coûte trois mois.

Elle crée la confiance des utilisateurs. Un planificateur qui voit son prestataire déclarer qu'un modèle n'apporte rien sur trois familles de produits sur sept accepte beaucoup plus facilement le modèle sur les quatre autres. C'est contre-intuitif du point de vue commercial et c'est vérifié en pratique.

Elle donne un plan de repli. Un modèle en production tombe en panne, dérive, ou doit être désactivé pendant une investigation. Si la baseline est restée implémentée, la bascule prend une minute. Sinon, vous revenez à un processus manuel que plus personne ne sait exécuter.

La règle à écrire dans le contrat

« Aucun modèle n'est déployé en production s'il ne bat pas la baseline sur la métrique convenue, mesurée sur un jeu de test qui n'a servi à aucun entraînement. »

Une phrase. Elle change la nature du projet : le prestataire n'a plus intérêt à livrer de la complexité, il a intérêt à livrer un résultat mesurable.

L'objection habituelle

« Si on met la barre trop bas, le prestataire va se contenter du minimum. » C'est l'inverse qui se produit. La baseline est un plancher, pas un plafond : elle définit ce qui est inacceptable, pas ce qui est visé. Ce qui est visé, c'est le seuil de succès défini au cadrage, qui est un autre chiffre, généralement bien au-dessus.

Ce que cela veut dire pour votre appel d'offres

Demandez à chaque prestataire consulté quelle baseline il propose et comment il compte la mesurer. Ceux qui n'ont pas de réponse préparée vous diront quelque chose d'utile sur la façon dont ils conduisent leurs projets.