Evaluer les effets de l’Ecole Numérique avec la méthode aléatoire

Claude Thélot, ancien directeur de l’évaluation du Ministère de l’Education Nationale, identifie dans son blog 3 conditions pour qu’une évaluation soit “utile et crédible”:

  • elle doit être non biaisée au départ (ce qui veut dire qu’elle n’est pas conduite par la direction qui a en charge la politique évaluée),
  • absolument indépendante dans le choix des outils, des critères, de sa communication (le ministre étant – très théoriquement – le garant de cette indépendance)
  • enfin, elle doit respecter un certain nombre de critères scientifiques d’étude qui garantissent son sérieux.

Aujourd’hui, alors que l’Etat a décidé d’équiper, directement ou indirectement à travers les collectivités locales, des dizaines de milliers d’écoles en ordinateurs, tableaux interactifs et outils numériques divers, il n’existe toujours pas d’étude indiscutable (ou simplement sérieuse) qui évalue réellement les avantages de ces technologies dans un cadre éducatif.

J’irai même plus loin, il n’existe pas d’étude dans le domaine qui satisfasse ne serait-ce qu’un seul des critères énoncés ci-dessus !

95% des études sont biaisées au départ (écrites par ou pour un des acteurs du marché du numérique). 100% des études que j’ai pu lire ont une crédibilité scientifique absolument nulle !

L’évaluation de la politique numérique reste à faire, en France comme ailleurs.

Les méthodes proposées par Claude Thélot (l’évaluation de masse) nécessitent des moyens importants et peuvent sembler trop lourdes à mettre en oeuvre dans le domaine du numérique.

Mais depuis quelques années, une chercheuse française, Esther Duflo, a utilisé la méthode aléatoire pour évaluer les effets des politiques de lutte contre la pauvreté avec des résultats remarquables.

La méthode aléatoire repose sur des évaluations faites sur des petits groupes dont les caractéristiques sont identiques au départ. Un de ces petits groupes adopte un “processus nouveau” (par exemple on lui propose d’avoir accès au micro-crédit) et on compare ensuite, sur des critères précis, la performance de ces groupes (leur richesse, leur taux d’équipement, d’épargne, etc…).

Il est stupéfiant de constater qu’avec des moyens très faibles , la méthode aléatoire a donné, en Inde, plus de renseignement sur les usages du numérique que dans tous les pays développés !

“Lorsque l’on compare les écoles équipées en informatique avec les autres, on constate que les élèves ont de meilleurs résultats dans les premières. Mais est-ce vraiment dû aux ordinateurs ? La différence de résultats ne s’explique-t-elle pas plutôt par le fait que ce sont généralement des écoles urbaines, déjà relativement favorisées, qui sont équipées en ordinateurs ? Une expérimentation permet d’isoler l’impact réel des ordinateurs. Dans une ville indienne, toutes les écoles en étaient équipées, mais généralement, ils restaient dans leur boîte, parce que les enseignants n’étaient pas formés ou ne disposaient pas des logiciels appropriés. Nous avons sélectionné un groupe d’écoles de manière aléatoire et avons mis à leur disposition un formateur et des logiciels de mathématique, de sorte que tous les enfants bénéficiaient de quelques heures d’informatique par semaine. Un an plus tard, nous avons comparé les performances. Les écoles qui avaient pu utiliser les ordinateurs recueillaient de meilleurs résultats en mathématique. De nombreuses expériences peuvent être menées dans le domaine de l’éducation, permettant de tester l’impact de facteurs fort divers. Une étude a par exemple montré que l’embauche d’une personne chargée du soutien scolaire a un impact équivalent à l’achat d’ordinateurs, tout en étant bien moins onéreuse.

Ne serait-il pas intéressant d’avoir un début de réponse à toutes ces questions pour la France ?

La méthode aléatoire permet d’obtenir des résultats rapides de façon peu coûteuse et à partir de là, d’infléchir les politiques.

En mesurant l’efficacité relative de différentes mesures, les expérimentations aident les décideurs à mieux dépenser l’argent public.

(7) commentaires pour "Evaluer les effets de l’Ecole Numérique avec la méthode aléatoire"

  1. Les TICE aux Pays des Merveilles

    […] Il faudra bien un jour, il faut dès maintenant, évaluer les TICE à l’aune de la pure performance scolaire (voir mes billets sur l’évaluation aléatoire). […]

  2. Fourgous est plus intelligent que son rapport, Speechi à Rennes et des excuses.

    […] « formation des professeurs » devrait donc absolument être évalué (je parle d’une évaluation aléatoire) et non pas […]

  3. Un des meilleurs articles que j’ai pu lire sur l’école

    […] haut » aux enseignants. On impose (sans compétence spécifique et sans aucune méthode permettant de valider la pertinence des choix) l’équipement, la méthode pédagogique et le fameux « projet » […]

  4. Pas de politique numérique pour l’éducation sans évaluation statistique.

    […] matière d’Education Numérique, il faudrait donc multiplier les micro-études, effectuées sur quelques centaines de classes ou d’élèves, de matière à pouvoir tester […]

  5. Enseignement numérique: les 6 piliers de la sagesse.

    […] Méthode globale ou syllabique ? Tableau interactif ou pas ? Enseignement frontal ou Collaboratif ? – Toutes ces questions, qui mènent aujourd’hui à des débats sans fin et sans intérêt, pourraient être tranchées en quelques semaines avec des méthodes dites d’évaluation aléatoire). […]

  6. Ecole numérique: qu’aurait fait Jules Ferry ?

    […] Les innovations pédagogiques pourraient toucher à tous les domaines de la pédagogie, de la société, de l’environnement de l’école. Les enseignants auraient carte blanche à partir du comment où le processus d’évaluation suivi est rigoureux et agile (aléatoire). […]

Laisser un commentaire sur le blog