Comment reproduire efficacement un projet local à l’échelle nationale – l’exemple du Kenya et du Libéria

Au cours de la dernière décennie, le Kenya et le Libéria ont tous deux cherché à reproduire à grande échelle des programmes pilotes ayant obtenu des résultats positifs dans l’apprentissage de la lecture aux enfants. Même si les évaluations d’impact portent de plus en plus sur les programmes d’envergure, nous testons encore un nombre important de programmes pilotes. Et ce, pour une bonne raison : les administrations ont le bon sens de vouloir tester un programme avant de dépenser des sommes considérables pour le mettre en œuvre à travers leur pays. L’année dernière, j’ai écrit un article qui expliquait la manière dont l’organisation indienne Pratham avait collaboré avec le Laboratoire d’action contre la pauvreté J-PAL, pour tester selon différents paramètres, des programmes à succès de perfectionnement de la lecture. Ils avaient par exemple testé ces programmes en fonction des personnes censées les mettre en œuvre (enseignants fonctionnaires ou volontaires) et selon le moment de la mise en œuvre (au cours de l’année scolaire ou pendant les vacances d’été).

J’ai récemment lu un article intitulé Designing for Scale: Reflections on Rolling Out Reading Improvement in Kenya and Liberia et écrit par Gove, Korda Poole, et Piper. Il propose de nouvelles idées pour reproduire des programmes efficaces à l’échelle nationale en prenant l’exemple du Kenya et du Libéria.

Contexte de ces 2 pays. Conscients de leur mauvaise performance en matière d’apprentissage de la lecture chez l’enfant, Le Kenya et le Libéria veulent tous deux combler leurs lacunes. Au Libéria, seuls 16 % des élèves de CE2 sont capables de lire 40 mots par minute (la norme varie selon les langues, mais en anglais par exemple, la référence est de 60 à 90 mots par minute.) Et au Kenya, moins de la moitié des élèves de CE2 sont capables de faire des devoirs de maths, kiswahili ou anglais d’un niveau CE1.

Solution pilote. Au Libéria, le programme « EGRA Plus » a été testé par des essais aléatoires contrôlés dans 180 écoles, divisées en deux groupes de traitement regroupant 60 écoles et un groupe témoin de 60 écoles. Dans le premier groupe de traitement dit « léger » les enseignants ont appris à réaliser des évaluations en classe et à partager les résultats avec les parents et la communauté. En gros, la démarche consistait à responsabiliser les différentes personnes concernées. Dans le second groupe de traitement dit « complet », les enseignants ont reçu en plus, des sortes de scenarios de plans de cours, du matériel pédagogique et une formation de deux semestres. Dans ce groupe, on remarque des résultats significatifs sur la lecture des élèves dans leurs 7 évaluations (notamment « plus d’aisance à nommer les lettres » et « une meilleure compréhension »), avec un impact moyen d’écart type de 0,78. On constate un impact plus faible dans le groupe de traitement « léger » avec des résultats tangibles dans seulement 2 des tests d’évaluation, et avec un impact moyen de 0,02. On peut donc en déduire, que responsabiliser ne suffit pas. En revanche, la démarche du groupe de traitement « complet » a eu un réel impact : « en lecture orale, les résultats des élèves de ce groupe se sont améliorés 4,1 fois plus rapidement que ceux des autres groupes, et 4,0 fois plus en compréhension de texte »

Au Kenya, l’initiative Primary Math and Reading (PRIMR) (maths et lecture au primaire) comprenait : (1) des manuels scolaires en anglais et kiswahili focalisés sur des compétences spécifiques en lecture (plutôt que les livres traditionnels focalisés sur un contenu global ), (2) des guides pédagogiques pour les enseignants regroupant notamment des plans de cours déjà développés, (3) 7 jours de formation pratique pour les enseignants (et non théorique) – avec la délivrance d’un petit « certificat » à la fin de chaque mini module de formation et (4) la nomination « d’agents d’appui au programme » pour accompagner les enseignants . Le programme a eu un impact important et quantifiable sur les trois tests de lecture en anglais et en kiswahili, avec une taille d’effet moyen de 0,33. Les chercheurs ont également utilisé ces données pour évaluer la relation entre le nombre d’enseignant par formateur (avec un impact plus important lorsqu’on réduit le nombre d’enseignant par formateur), l’intérêt d’ajouter des liseuses et des tablettes dans les écoles (pas tant d’intérêt que ça), et l’impact spécifique sur les plus démunis (qui était positif).

Généraliser ces programmes à l’échelle du pays. Au Libéria, suite au succès constaté du programme testé dans le groupe de traitement dit « complet », le gouvernement a décidé de développer un programme équivalent à l’échelle nationale mais en assignant 12 écoles par formateur au lieu de 4, pour des raisons budgétaires. Ce programme d’envergure a débuté en 2011 avec deux phases successives qui ont concerné au total 1200 écoles, et des modèles de groupes aléatoires pour permettre d’évaluer son impact. Les premiers résultats étaient significativement plus faibles que ceux observés dans le programme pilote, avec des bénéfices tangibles dans seulement 2 des 7 tests de lecture, et un effet moyen à travers tous les travaux de 0,35. Malgré tout, ces résultats ne sont pas insignifiants, mais l’épidémie d’Ebola a par la suite beaucoup perturbé la mise en œuvre du programme.
 
Au Kenya, le développement du programme à l’échelle nationale, baptisé Tusome, a été relativement simple car les agents d’appui au programme existaient déjà. L’analyse du programme pilote a entraîné une modification du ratio agent-enseignant, le choix des TIC, et a incité à réviser les manuels scolaires et les guides pédagogiques des enseignants. Ayant été développé auprès de « toutes les écoles publiques primaires du pays », l’impact du programme n’est pas aisé à évaluer. Cela étant dit, il semblerait que les taux d’appropriation du nouveau matériel par les élèves et des nouvelles méthodes pédagogiques par les enseignants soient élevés. Et les premiers résultats des analyses qui seront publiés dans les prochains mois, nous dirons si l’apprentissage est sur la bonne voie.
 
 Quels enseignements tirer ?

1. Testez le plus de paramètres et d’indicateurs possibles dans un programme pilote. Au Kenya, le programme pilote a clairement influencé la mise en œuvre à l’échelle nationale, notamment parce que les chercheurs avaient testé de nombreux aspects du projet pilote – le ratio officier-enseignant, les niveaux de pénétration des TIC, la qualité du matériel pédagogique etc. Même si certains éléments n’ont pas été testés scientifiquement selon divers paramètres, chaque donnée statistique a été exploitée et décortiquée pour aider à concevoir un programme à l’échelle nationale.
2. Utilisez autant que vous le pouvez les mécanismes nationaux déjà en place. Au Libéria, l’État a dû embaucher beaucoup de formateurs. Tandis qu’au Kenya, le programme a utilisé des agents de la fonction publique déjà disponibles. Ben Piper, l’un des auteurs de l’article a insisté sur ce fait : « Assure-toi bien de demander aux fonctionnaires d’exécuter des tâches qui figurent déjà dans leurs attributions »
3. Tenez également compte des coûts dans vos analyses. Dans la plupart des analyses de projets pilotes, les chercheurs cherchent non seulement à améliorer les résultats, mais aussi à y parvenir en maîtrisant les coûts. Le ratio formateur-enseignant au Kenya, en est un bon exemple. Le fait d’améliorer le ratio d’un formateur pour 15 enseignants semble avoir un impact positif sur les résultats, mais les bénéfices sont faibles comparés aux coûts. Ce genre d’information est donc essentielle aux pouvoirs publics dans leur prise de décisions.

D’un côté, on peut dire que cette analyse semble incomplète puisque nous n’avons toujours pas les résultats du programme déployé à l’échelle nationale au Kenya, et que celui du Libéria a été interrompu par l’épidémie d’Ebola. Mais ces expériences ont quand même été utiles et nous apprennent quelque chose. Finalement, ce côté inachevé nous rappelle qu’il ne faut pas laisser le mieux devenir l’ennemi du bien. Nous nous basons sur une gamme de résultats expérimentaux et non-expérimentaux, quantitatifs et qualitatifs. Cela ne veut pas dire qu’il faille se contenter de résultats approximatifs ou peu fiables : nous essayons toujours d’obtenir des résultats scientifiques pertinents et solides et incitons nos partenaires à en faire de même. Mais en même temps, nous voulons aussi utiliser au mieux les résultats disponibles afin d’informer prudemment les choix politiques.
 
Merci beaucoup à Amber Gove et Benjamin Piper qui ont fourni des idées supplémentaires.