Module 8 — Construire un backtest crédible
Biais, erreurs et illusions statistiques
Une stratégie brillante qui connaît les survivantsSituation réelle
Une stratégie brillante qui connaît les survivants
Un test sélectionne en 2012 les sociétés qui composent aujourd’hui un grand indice. Il ignore les entreprises sorties, fusionnées ou en faillite. Les gagnants futurs sont donc présents dès le départ et une partie des perdants a disparu. Même sans utiliser directement un prix futur, l’univers contient une information venue de l’avenir.
Les biais de survivant, look-ahead, révision, sélection et optimisation peuvent agir séparément ou se renforcer. Leur prévention repose sur le dessin expérimental, pas sur une correction cosmétique à la fin.
Objectifs d’apprentissage
- Identifier survivant, anticipation, sélection et snooping.
- Comprendre le surajustement et la multiplicité des essais.
- Repérer les problèmes de labels et d’échantillons.
- Construire des contrôles négatifs.
- Limiter la conclusion à ce que les données permettent réellement d’affirmer.
Commencer par la bonne question
Quelle information future — valeurs, appartenance à l’univers, disponibilité, choix de paramètres ou publication — pourrait s’être glissée dans chaque étape ?
Une analyse utile commence par cette question avant de chercher une figure, un indicateur ou un paramètre. Elle force à préciser l’unité observée, l’horizon, la chronologie et le type de conclusion attendu. Sans ce cadre, une description a posteriori peut facilement être prise pour une règle prédictive.
Fuites de cible
Dans une approche prédictive, une variable peut incorporer directement ou indirectement le résultat futur. Normaliser l’ensemble des données avec moyenne et écart-type calculés sur toute la période crée déjà une fuite. Chaque transformation doit être ajustée seulement sur l’échantillon d’entraînement puis appliquée aux périodes suivantes.
Contrôles négatifs
- décaler aléatoirement ou permuter le signal lorsque la structure le permet ;
- appliquer la règle à un horizon où aucun mécanisme n’est attendu ;
- comparer à une règle simple ou aléatoire de même rotation ;
- tester un coût doublé ou une exécution retardée ;
- vérifier que le résultat ne dépend pas d’une poignée de dates.
Un contrôle négatif qui « fonctionne » aussi bien indique souvent que le protocole capture un artefact.
Le survivant est une information
Connaître aujourd’hui les actifs encore négociés modifie l’échantillon ancien. Les constituants et radiations doivent être datés.
La cible peut fuir par transformation
Normaliser sur tout l’échantillon, centrer une fenêtre ou imputer avec une valeur future transmet la cible au passé.
La sélection est une expérience
Choisir le meilleur actif, indicateur, sous-période ou graphique compte comme un essai, même si aucun code de grille n’a été lancé.
Le récit post-hoc est un modèle
Ajouter une explication après avoir vu les erreurs augmente aussi les degrés de liberté ; elle doit être testée sur de nouvelles données.
Méthode pas à pas
- Cartographier les fuites. Lister toutes les tables et leurs dates de disponibilité réelles.
- Construire point-in-time. Rejouer l’univers, les publications et les versions telles qu’elles existaient.
- Séparer les rôles. Distinguer exploration, sélection, validation et test final verrouillé.
- Employer des contrôles négatifs. Décaler la cible, permuter les signaux et tester des données synthétiques sans effet.
- Compter les essais. Tenir un registre de variantes, sous-groupes et décisions manuelles.
Laboratoire guidé
du concept au dossier de preuve
- Écris la fiche avant d’ouvrir le résultat. Reformule la question — « Quelle information future — valeurs, appartenance à l’univers, disponibilité, choix de paramètres ou publication — pourrait s’être glissée dans chaque étape ? » — sous forme d’une hypothèse réfutable. Indique la population, l’horizon, l’unité, le benchmark, la date de début et la date de fin. Donne un identifiant à cette version.
- Sépare données et interprétation. Crée une table brute en lecture seule, puis une table de variables dérivées. Pour chaque colonne calculée, conserve formule, paramètres, source, fuseau et premier instant d’utilisation. Une correction de donnée ne doit jamais être confondue avec une amélioration de stratégie.
- Produis un échantillon de contrôle. Utilise une règle plus simple, des dates décalées, une permutation ou un groupe comparable. Le contrôle doit conserver autant que possible fréquence, exposition et régime ; sinon la comparaison attribuerait au signal ce qui vient du marché général.
- Travaille à l’aveugle lorsque c’est possible. Masque la partie future lors de l’annotation et réserve un bloc temporel que tu ne consultes pas pendant la construction. Archive aussi les cas ambigus et les événements qui ne confirment pas le récit.
- Stress les hypothèses, pas seulement les paramètres. Augmente les coûts, retarde l’exécution, réduit la liquidité disponible et change raisonnablement la fenêtre. L’objectif n’est pas de trouver une variante qui réussit, mais de savoir dans quelles conditions la conclusion disparaît.
- Décide avec une règle écrite. Continue seulement si l’effet est mesurable, net de coûts, présent dans plusieurs segments et non concentré sur une valeur isolée. Sinon, classe le résultat « à réviser » ou « à arrêter » et explique précisément pourquoi.
Démonstration chiffrée
Un scaler entraîné sur le futur
Une feature est standardisée en soustrayant la moyenne et en divisant par l’écart-type calculés sur 2010–2025. Le modèle évalué en 2012 connaît donc indirectement la distribution des années suivantes. La correction recalcule les paramètres du scaler uniquement sur la fenêtre d’entraînement de chaque fold, puis les applique au fold de test.
Si la performance chute, ce n’est pas le nouveau test qui est trop sévère : l’ancien mesurait partiellement l’information future. Le même principe vaut pour sélection de variables, winsorisation, imputation et choix de seuil. Chaque transformation apprenante doit être ajustée dans la boucle temporelle.
Interpréter sans surinterpréter
- Base actuelle. Un fournisseur peut corriger silencieusement l’historique ou ne fournir que les survivants.
- Publication retardée. La date économique d’un indicateur n’est pas sa première date d’accès.
- Contrôle négatif imparfait. Échouer sur données permutées ne prouve pas l’absence de toutes les fuites.
- Essais oubliés. Les idées abandonnées et choix manuels non consignés sous-estiment la multiplicité.
La discipline consiste à écrire ces limites avant de consulter le résultat final. Une conclusion négative ou incertaine n’est pas un échec : elle évite de transformer le bruit historique en décision coûteuse.
Lire un résultat qui confirme
ou contredit — l’intuition
Si le résultat paraît confirmer l’idée, commence par rechercher ce qui pourrait l’expliquer autrement : base actuelle et publication retardée constituent ici deux contrôles prioritaires. Vérifie ensuite si l’effet existe encore après coûts, sur des paramètres voisins et sur une période qui n’a guidé aucune décision. Une confirmation qui disparaît dès qu’un détail raisonnable change est une piste d’exploration, pas une base d’action.
Si le résultat contredit l’intuition, ne déplace pas immédiatement le seuil. Vérifie d’abord les données et la chronologie, puis accepte l’hypothèse nulle comme issue possible. Pour « Biais, erreurs et illusions statistiques », une absence d’effet peut signifier que le phénomène est descriptif, trop faible face aux coûts, propre à un sous-régime ou simplement absent dans l’échantillon. Chacune de ces explications exige une nouvelle expérience identifiée, jamais une retouche silencieuse.
Exercice
- Dessine un diagramme des données et marque date d’observation, publication et utilisation.
- Identifie au moins huit fuites possibles dans ton protocole.
- Corrige normalisation et sélection pour qu’elles soient ajustées dans chaque fenêtre d’entraînement.
- Lance trois contrôles négatifs et explique leur résultat attendu.
- Crée un registre d’essais incluant décisions manuelles et variantes abandonnées.
Afficher le corrigé détaillé
Le diagramme attendu traite l’appartenance à l’univers comme une série temporelle. Les transformations sont fit sur le passé puis appliquées au futur, jamais sur l’ensemble. Un signal permuté doit perdre son effet ; une cible décalée de façon impossible ne doit pas rester prédictive ; une série synthétique sans structure ne doit pas produire une stratégie durable. Si l’un de ces contrôles réussit anormalement, l’expérience s’arrête jusqu’à l’identification de la fuite. Le registre indique qui a proposé chaque variante, quand et pourquoi, avant de voir le test final.
Le corrigé décrit une méthode, pas une unique valeur à mémoriser. Si ton résultat diffère, vérifie d’abord les unités, le calendrier, la définition des variables et l’instant où l’information devient disponible ; documente ensuite toute hypothèse alternative.
VÉRIFIER SA COMPRÉHENSION
Quiz corrigé
01Utiliser les constituants actuels en 2010 crée quel biais ?
Un biais de survivant et une information future sur l’univers.
02Peut-on normaliser sur tout l’historique avant de couper train/test ?
Non si les paramètres utilisent les données du test.
03Pourquoi permuter les signaux ?
Pour vérifier que le pipeline ne fabrique pas une performance sans relation temporelle réelle.
04Une idée choisie à l’œil compte-t-elle comme essai ?
Oui. La sélection manuelle contribue à la multiplicité.
05Une base révisée est-elle toujours utilisable historiquement ?
Seulement si l’on accepte et documente ce biais ou si des millésimes point-in-time existent.
À retenir
- Le futur peut entrer par les valeurs, l’univers ou les transformations.
- Point-in-time signifie ce qui était réellement disponible à chaque date.
- Toute transformation apprise appartient à la boucle d’entraînement.
- Les contrôles négatifs testent le pipeline, pas seulement le signal.
- Les décisions visuelles sont aussi des essais.
- Une fuite détectée invalide le résultat antérieur, même s’il était séduisant.
Sources de référence
Enregistré uniquement dans ce navigateur pour l’aperçu gratuit.