La question revient régulièrement dans la bouche des acteurs de la formation : « un MOOC est-il efficace? « , « Passer au digital ne revient-il pas à dégrader l’efficacité de nos formations par rapport au présentiel ? ». De l’autre côté les fabricants et promoteurs de MOOC et de SPOC brandissent leurs taux de complétion et leur nombre d’inscrits. Ce débat a-t-il du sens ?
Alain Desrosières le soulignait à bon escient dans son ouvrage « Gouverner par les nombres », les indicateurs sont rarement objectifs, les choisir c’est déjà influencer et diriger l’action. On mesure toujours une chose plutôt qu’une autre et les querelles sur les chiffres du chômage en sont une bonne illustration. C’est ce que la sagesse populaire a retraduit dans l’expression « Les chiffres, on leur fait dire ce que l’on veut ». Faut-il pour autant abandonner toute idée de mesure ? Non, bien entendu, par contre la prudence et l’esprit critique doivent être actifs.
Le nombre d’inscrits
Revenons à nos MOOC et SPOC. Premier indice qui nous est régulièrement proposé : le nombre d’inscrits à telle ou telle formation. Ce score est souvent brandi pour attester du succès de la formule. Prenons un peu de distance et interrogeons-nous : que mesure-t-il ? Dans le contexte des MOOC (ouverts ou grand public et gratuits), le nombre d’inscrits ne témoignent que d’une chose : le caractère attractif ou non pour le plus grand nombre du titre du MOOC et secondairement de l’efficacité de la campagne de communication mise en place. Ainsi un MOOC ayant pour titre « Game of thrones : pouvoir et politique » aura toujours plus de succès qu’un autre s’intitulant « les politiques fiscales au XXème siècle ». Cela dit-il quelque chose de l’efficacité de ces deux MOOCs, de leur intérêt pédagogique ? Non, bien sûr. A l’inverse situons-nous dans le cas d’une formation professionnelle réservée aux salariés d’une entreprise donnée (un des cas de SPOC). L’indice devient intéressant. En effet l’efficacité de la communication autour d’un dispositif de formation et la pertinence du choix du sujet constituent des enjeux réels.
Le taux de complétion
Passons au deuxième indicateur proposé : le fameux taux de complétion. Il est présenté comme étant classiquement de 4 à 7% pour les MOOC. Beaucoup ont utilisé la faiblesse de ce chiffre pour contester l’intérêt des MOOC dans leur ensemble. Que mesure-t-il ? C’est le rapport entre le nombre d’inscrits et le nombre de personnes ayant suivi le MOOC jusqu’à son terme. Le raisonnement sous-jacent à cet indicateur est directement tiré du web et du e-commerce. Quel est le taux de conversion de ma formation ? Mais une formation, gratuite en plus, n’a rien à voir avec le fait d’acheter un produit dans une boutique en ligne. Dans cet indicateur nous rapprochons l’ensemble des inscrits, des curieux, et ceux qui sont devenus réellement des utilisateurs. Nous mesurons donc la caractère velléitaire ou non des inscrits et là encore, en aucun cas, l’efficacité de la formation. Il faudrait pour cela raffiner l’indicateur et limiter le rapport aux personnes ayant débuté la formation. Une fois de plus dans le cas de la formation professionnelle, le raisonnement est différent et l’indicateur plus pertinent mais très délicat à interpréter : à quelle norme peut-on le comparer ?
Le chantier pour construire des indicateurs d’efficacité du digital learning est donc largement ouvert et à explorer. Mais au fait, savons-nous réellement mesurer, d’une manière générale, l’efficacité d’une formation ?
