La #méthode expérimentale, connue parfois sous le nom de l’A/B testing et plébiscitée par nombre de chercheurs quantitativistes, consiste à proposer des versions plus ou moins distinctes du même cours à différentes cohortes afin de déterminer l’impact des variables testées sur un indicateur de performance quelconque (taux de certification, note, etc). La scientificité apparente de la démarche – corollaire probable de son appartenance au paradigme de la falsifiabilité poppérienne – tend à faire oublier que la généralisabilité des résultats qui en découlent n’est pas nécessairement à la mesure de leur robustesse.
Si en théorie la réplication sur un grand nombre de cours est possible du fait de l’existence de plates-formes centralisées comme Coursera, edX, ou FUN, un certain nombre d’obstacles freinent le passage à l’échelle de nombre de ces expérimentations. Il est certes probable que l’opportunité que les plates-formes de #MOOC offrent aux expérimentateurs n’ait pas de précédent dans l’histoire des sciences de l’#éducation. Les cours sur lesquels expérimenter se comptent par centaines, et les apprenants par centaines de milliers. Un certain nombre des expériences que nous avons évoquées peuvent ainsi être étendues sans nécessiter d’investissement important de la part des équipes pédagogiques. Mais est-ce que ce sont les paramètres les plus faciles à faire varier dont la connaissance de l’influence est la plus intéressante ?
La conclusion de ce message est simple. Dans les MOOC, et dans le domaine de l’éducation en général, il faut apprendre à tester l’impact de différents choix sans faire systématiquement appel à la méthode expérimentale. Car réduire la complexité de situations en maîtrisant des variables a sans doute des impacts positifs en termes de validité interne, c’est-à-dire en termes de robustesse des résultats, mais ce peut être au prix de la validité externe, leur capacité à être généralisés. Il existe des techniques plus qualitatives pour appréhender l’impact des scénarios pédagogiques. Apprenons à les maîtriser (et moi le premier).
