La dérive de modèle : le coût invisible d'un modèle sans surveillance

Un modèle déployé décrit une réalité à un instant donné. Cette réalité change : les habitudes d'achat évoluent, un concurrent entre sur le marché, un système amont modifie un format. Le modèle, lui, ne change pas. L'écart entre les deux s'appelle la dérive, et elle est silencieuse par nature.

Les deux formes de dérive

La dérive des données. La distribution des variables d'entrée change. Un nouveau canal de vente apporte une clientèle différente, une catégorie de produit disparaît. Le modèle reçoit des données qui ne ressemblent plus à celles de son entraînement.

La dérive du concept. La relation entre les entrées et la sortie change, même si les entrées se ressemblent. C'est la plus dangereuse, parce qu'aucune surveillance des seules entrées ne la détecte.

Ce qu'il faut mesurer

Trois niveaux, du moins coûteux au plus utile.

Les entrées. Distribution de chaque variable importante, comparée à une fenêtre de référence. Un test statistique simple suffit ; l'exactitude de la méthode importe moins que la régularité de la mesure. Disponible immédiatement, sans attendre le résultat réel.

Les sorties. Distribution des prédictions. Si un modèle qui classait 8 % des dossiers en risque élevé en classe soudain 22 %, il se passe quelque chose, même sans connaître encore la vérité terrain.

La performance réelle. La seule mesure qui compte, mais elle arrive avec le délai d'observation : pour une prévision à trois mois, la vérité arrive trois mois plus tard. C'est pourquoi les deux premiers niveaux existent — ce sont des indicateurs avancés.

Le point que tout le monde rate : la vérité terrain

Beaucoup de systèmes prédisent sans jamais enregistrer ce qui s'est réellement passé. Le modèle prédit, une décision est prise, et le résultat n'est stocké nulle part de façon exploitable.

Sans cette collecte, il est impossible de mesurer la performance réelle et impossible de réentraîner correctement. La mettre en place fait partie de l'industrialisation, pas d'une phase ultérieure. Si elle manque, c'est le premier chantier, avant même le monitoring.

Le cas particulier des corrections manuelles

Quand un utilisateur corrige une prédiction, cette correction est un signal de très grande valeur : elle indique un cas où le modèle se trompe, identifié par quelqu'un qui connaît le métier.

Tracez systématiquement les corrections manuelles, avec leur motif quand c'est possible. Une hausse du taux de correction est souvent le premier signe de dérive, bien avant qu'une métrique statistique ne bascule.

Qui reçoit l'alerte

Une alerte de dérive doit arriver à une personne nommée, avec un runbook qui dit quoi faire : vérifier tel graphique, comparer telle distribution, déclencher un réentraînement ou escalader.

Une alerte envoyée à une liste de diffusion générique est ignorée en trois semaines. C'est le mode de défaillance le plus courant du monitoring, et il est purement organisationnel.

La cadence raisonnable

Pour la plupart des cas d'usage métier : surveillance des entrées et des sorties quotidienne, mesure de performance réelle mensuelle, revue humaine trimestrielle, réentraînement déclenché par seuil plutôt que par calendrier.

Réentraîner tous les mois par principe consomme des ressources sans nécessité et introduit un risque à chaque cycle. Réentraîner quand la dérive dépasse un seuil est plus économique et plus sûr.