Claude Thélot, ancien directeur de l’évaluation du Ministère de l’Education Nationale, identifie dans son blog 3 conditions pour qu’une évaluation soit « utile et crédible» :

• elle doit être non biaisée au départ (ce qui veut dire qu’elle n’est pas conduite par la direction qui a en charge la politique évaluée),
• absolument indépendante dans le choix des outils, des critères, de sa communication (le ministre étant – très théoriquement – le garant de cette indépendance)
• enfin, elle doit respecter un certain nombre de critères scientifiques d’étude qui garantissent son sérieux.

Aujourd’hui, alors que l’Etat a décidé d’équiper, directement ou indirectement à travers les collectivités locales, des dizaines de milliers d’écoles en ordinateurs, tableaux interactifs et outils numériques divers, il n’existe toujours pas d’étude indiscutable (ou simplement sérieuse) qui évalue réellement les avantages de ces technologies dans un cadre éducatif.

J’irai même plus loin, il n’existe pas d’étude dans le domaine qui satisfasse ne serait-ce qu’un seul des critères énoncés ci-dessus !

95% des études sont biaisées au départ (écrites par ou pour un des acteurs du marché du numérique). 100% des études que j’ai pu lire ont une crédibilité scientifique absolument nulle !

L’évaluation de la politique numérique reste à faire, en France comme ailleurs.

Les méthodes proposées par Claude Thélot (l’évaluation de masse) nécessitent des moyens importants et peuvent sembler trop lourdes à mettre en oeuvre dans le domaine du numérique.

Mais depuis quelques années, une chercheuse française, Esther Duflo, a utilisé la méthode aléatoire pour évaluer les effets des politiques de lutte contre la pauvreté avec des résultats remarquables.

La méthode aléatoire repose sur des évaluations faites sur des petits groupes dont les caractéristiques sont identiques au départ. Un de ces petits groupes adopte un « processus nouveau»  (par exemple on lui propose d’avoir accès au micro-crédit) et on compare ensuite, sur des critères précis, la performance de ces groupes (leur richesse, leur taux d’équipement, d’épargne, etc…).

Il est stupéfiant de constater qu’avec des moyens très faibles , la méthode aléatoire a donné, en Inde, plus de renseignement sur les usages du numérique que dans tous les pays développés !

« Lorsque l’on compare les écoles équipées en informatique avec les autres, on constate que les élèves ont de meilleurs résultats dans les premières. Mais est-ce vraiment dû aux ordinateurs ? La différence de résultats ne s’explique-t-elle pas plutôt par le fait que ce sont généralement des écoles urbaines, déjà relativement favorisées, qui sont équipées en ordinateurs ? Une expérimentation permet d’isoler l’impact réel des ordinateurs. Dans une ville indienne, toutes les écoles en étaient équipées, mais généralement, ils restaient dans leur boîte, parce que les enseignants n’étaient pas formés ou ne disposaient pas des logiciels appropriés. Nous avons sélectionné un groupe d’écoles de manière aléatoire et avons mis à leur disposition un formateur et des logiciels de mathématique, de sorte que tous les enfants bénéficiaient de quelques heures d’informatique par semaine. Un an plus tard, nous avons comparé les performances. Les écoles qui avaient pu utiliser les ordinateurs recueillaient de meilleurs résultats en mathématique. De nombreuses expériences peuvent être menées dans le domaine de l’éducation, permettant de tester l’impact de facteurs fort divers. Une étude a par exemple montré que l’embauche d’une personne chargée du soutien scolaire a un impact équivalent à l’achat d’ordinateurs, tout en étant bien moins onéreuse.« 

Ne serait-il pas intéressant d’avoir un début de réponse à toutes ces questions pour la France ?

La méthode aléatoire permet d’obtenir des résultats rapides de façon peu coûteuse et à partir de là, d’infléchir les politiques.

En mesurant l’efficacité relative de différentes mesures, les expérimentations aident les décideurs à mieux dépenser l’argent public.

Soi disant, Internet représenterait une chance pour le savoir humain. Google référence aujourd’hui plusieurs trillions de pages. Son objectif est de numériser tous les livres au prétexte pompeux que « le plan de numérisation permettra de rendre à nouveau accessibles des ouvrages épuisés et introuvables ».

Savoir potentiel n’est pas savoir réel

Mais comme personne n’a la possibilité physique de lire toutes ces pages – tout ceci ne constitue que le savoir disponible potentiel. La quantité réelle de savoir disponible ne peut être quantifiée que de façon statistique. Le Web est intéressant si le temps moyen passé par un internaute sur des pages contenant du savoir est important. Le savoir disponible, c’est la quantité moyenne de savoir à laquelle un internaute accède réellement – et non pas potentiellement – au cours d’une session, d’une journée, d’une vie, multipliée par le nombre d’internautes.

Or cette quantité de savoir réellement disponible, qui n’a d’ailleurs jamais été très élevée sur le Web, diminue structurellement de jour en jour, Google étant l’acteur majeur, bien que probablement involontaire, de ce rétrécissement.

(Suite…)

1) Aux étudiants arrivés avec un peu de retard au concours de l’agrégation (pour cause de grève des transports), le Ministère de l’Education rappelle que « le principe d’égalité des candidats impose que l’ensemble des concurrents compose sur les mêmes sujets et dans les mêmes conditions d’organisation et de prise en compte des épreuves« .

Autrement dit, « pas possible de vous repêcher – et si vous voulez contester, cela vous prendra quelques années donc fermez la et représentez vous l’année prochaine !« .

Ce faisant, le Ministère crée une grande injustice – il élimine de fait des candidats – au nom d’un principe formel (l’égalité des candidats) que l’Etat n’a pas été capable de faire respecter !

Surtout, il se simplifie la vie en évitant toute ré-organisation possible des épreuves, aujourd’hui ou dans le futur, alors qu’il serait si simple de prévoir des méthodes alternatives moins injustes pour ce genre de situation (par exemple, refaire passer les examens en s’assurant que le taux de succès lors des 2 sessions est identique).

2) Les étudiants des facultés sont donc prévenus, pas question d’arriver en retard aux épreuves, sinon… Mais rassurez-vous, ils n’arriveront pas en retard parce que les examens n’auront pas lieu.

De plus, à la différence de l’agrégation, les examens qui auront lieu n’auront sans doute aucune valeur – outre qu’un grand nombre de diplômes universitaires ne font que retarder le chômage, les examens de cette année seront peu sélectifs car les programmes n’ont pas été couverts à cause des grèves.

Ce sera, là encore, une grande injustice pour les étudiants qui ont étudié.

3) A quoi sert l’Université en théorie ? A former la jeunesse. Qu’est devenue l’Université en France ? Un parking pour jeunes qui broie les vocations et qui, délivrant depuis plusieurs années des diplômes inutiles, n’est même plus aujourd’hui capable d’organiser les épreuves qui y mènent.

Le Ministère de l’Education Nationale vient d’annoncer un ambitieux programme d’équipement numérique « doté d’un budget de 50 millions d’euros, destiné à 5 000 écoles rurales de moins de 2 000 habitants« .

1) Sur le contenu du plan

Cela fait 10 000 EUR par école, côté Etat, ce qui peut sembler beaucoup mais finalement ce n’est pas si énorme si on tient compte du fait, que pour le Ministère, « Une école numérique interactive comprendra ainsi des ordinateurs en nombre suffisant (classe mobile de 8 à 16 ordinateurs), un tableau blanc interactif, un accès internet de haut débit, une mise en réseau des équipements, une sécurisation des accès internet, des ressources numériques reconnues de qualité pédagogique« .

Il y a dans cet inventaire des éléments qui se rapportent à l’équipement des élèves (les ordinateurs), à l’équipement des professeurs (le tableau interactif), des éléments peu coûteux (Internet), des éléments qu’on trouve partout gratuitement (des ressources numériques de qualité pédagogique) mais l’utilisation du terme « reconnues d’utilité pédagogique»  montre qu’on va chercher à vendre ces ressources aux écoles.

Il sera aussi intéressant de rentrer dans le détail de la convention qui définira le cadre de mise en oeuvre et en particulier, je pense, l’investissement des communes.

Bref, de cette action peut sortir du très bon ou du moins bon – ou même rien du tout ! J’espère vraiment que ce sera du très bon. Xavier Darcos va la présenter ce mardi.

2) Sur la relance

L’autre point intéressant, c’est que cette action se situe dans le cadre du plan de relance gouvernemental. Il y a eu un tout un débat récemment pour savoir si l’Etat devait effectuer une relance par l’investissement ou par la consommation.

En l’espèce, il s’agit d’investissement, mais comme les fournisseurs majeurs d’ordinateurs et de tableaux interactifs sont étrangers, une grande part de ces dépenses iront, structurellement, relancer d’autres économies que la nôtre.

Le retour sur investissement d’un tel plan va donc se valoriser presqu’uniquement en termes de « capital humain» , et ce pas avant une bonne dizaine d’années, date où les enfants rentreront dans la vie professionnelle.

C’est une raison supplémentaire pour ne pas se tromper sur son contenu.