Comment déterminer si un projet avec de bons résultats dans un pays fonctionnera ailleurs ?

« Ce n’est pas parce que cela fonctionne au Brésil que cela fonctionnera au Burundi. » C’est vrai. Et ça semble évident. Pourtant, ce genre de critique continue d’être matraquée aux chercheurs, qui pratiquent des évaluations d’impact aux quatre coins du monde. Les institutions varient. Les niveaux d’éducation varient. Les cultures varient. Ainsi, un programme qui a réussi à autonomiser les filles en Ouganda, ne marchera pas forcément en Tanzanie.

Il va de soi que les décideurs politiques savent bien cela. Comme l’explique, Markus Goldstein, économiste au sein de l’équipe de l’économiste en chef de la Banque mondiale pour l’Afrique, « Les décideurs politiques ne sont généralement pas des idiots. Ils sont extrêmement conscients des contextes dans lesquels ils opèrent et ne copient généralement pas un programme à la lettre. Ils tirent plutôt des enseignements sur les choses qui ont fonctionné et la manière dont elles ont fonctionné, pour les adapter à leur situation. »

Dans le dernier numéro de la Stanford Social Innovation Review, Mary Ann Bates et Rachel Glennerster du laboratoire de recherche contre la pauvreté, J-PAL, proposent une stratégie en quatre étapes pour aider les décideurs politiques à adapter correctement leurs résultats d’un contexte à un autre.

1ère étape : quelle est la théorie à l’origine de ce programme ?

2ème étape : est-ce que la réalité locale permet d’appliquer cette théorie ?

3ème étape : a-t-on suffisamment de preuves scientifiques pour pouvoir affirmer qu’il y a eu un changement de comportement ?

4ème étape : quelles preuves scientifiques permettent d’envisager de mettre en œuvre et répliquer correctement cette méthode ailleurs ?

Prenons d’abord un exemple proposé par ces chercheurs, puis poursuivons avec un de mes exemples. En Inde, une campagne de vaccination infantile offrant des incitations matérielles aux parents a rencontré un énorme un succès. Les parents recevaient des sacs de lentilles à chaque fois qu’ils emmenaient leurs enfants se faire vacciner. Les parents des enfants dont le carnet de vaccination était à jour (soit ayant au moins effectué 5 visites médicales) ont reçu un set d’assiettes en métal. Le taux de vaccination à jour a fait un bond, passant des 6 % mesurés dans les communautés témoins, à 39% dans les communautés ou la campagne a eu lieu. Le laboratoire J-PAL qui collabore avec divers pays pour augmenter les taux de vaccination, suit ces quatre étapes :

1. Théorie à l’origine de la campagne initiale : les parents ne sont pas opposés au vaccin, mais ils sont sensibles à de petits changements de prix.
2. Réalité locale du nouveau contexte : quelle est la position des parents vis-à-vis des vaccins en Sierra Leone ou au Pakistan ? Dans le cas de l’Inde, les chercheurs émettent une hypothèse à partir d’un de leurs résultats : si les parents amènent leurs enfants se faire vacciner une fois mais ne continuent pas par la suite, on peut en conclure qu’ils ne sont pas forcément opposés à l’idée du vaccin, mais qu’ils réagissent aux difficultés ou au coût transport pour se rendre au centre de vaccination. Une réalité qui semble identique en Sierra Leone et au Pakistan.
3. Preuve d’un changement de comportement : de nombreux résultats prouvent que les gens n’investissent pas ou pas assez dans les soins préventifs et qu’ils sont sensibles à de petits écarts de prix.
4. Possibilité de mettre en œuvre et répliquer l’expérience ailleurs : serait-il pertinent de mettre en œuvre ce genre de programme d’incitation en Sierra Leone ou au Pakistan ? Selon Bates et Glennerster, cela serait probablement possible au Pakistan grâce à la forte pénétration de l’argent mobile. En revanche, en Sierra Leone il faudrait d’abord tester le programme pour s’assurer que les cliniques aient la capacité d’offrir efficacement des récompenses aux parents.

Suite à cet exemple, prenons maintenant le mien. Il s’agit d’une évaluation récente des effets  de l’intégration d’outils numériques dans les programmes scolaires en milieu urbains en Inde (article ; article blog). Il en résulte que cette initiative a eu des effets très positifs sur les résultats d’examens de maths et d’hindi. Obtiendrait-on d’aussi bon résultats si nous exportions cette initiative en milieu rural en Tanzanie ?

1. Théorie à l’origine du programme indien : toutes les classes sont généralement très hétérogènes, avec des aptitudes qui diffèrent largement d’une élève à l’autre, et beaucoup d’entre eux sont en retard sur le programme. C’est difficile voire impossible pour les enseignant de s’adapter à tous ces niveaux. Or, les élèves apprennent mieux lorsque l’enseignement est adapté à leur niveau (ce qu’a permis le recours à la technologie dans le cas de l’Inde).
2. Réalité locale du nouveau contexte : En Tanzanie – particulièrement en milieu rural – la plupart des étudiants sont en retard sur le programme. Comme le dernier rapport de Uwezo pour la Tanzanie le montre, « seul un enfant sur quatre, du niveau Standard 3 est capable de lire une histoire du niveau Standard 2 en Kiswahili. Et quatre enfants sur dix en Standard 3 sont capables d’effectuer des multiplications du niveau Standard 2 ». La même étude montre également de grandes disparités entre les niveaux :

Aptitude des enfants en lecture en Kiswahili, par niveau

Source: Uwezo 2013

1. Preuve  d’un changement de comportement : de plus en plus d’études préconisent le retour à des interventions qui aident les élèves à recevoir une instruction adaptée à leur niveau, comme par exemple, la division des classes par aptitude au Kenya, la réorganisation des classes par aptitude, une heure par jour en Inde, le recours à des assistants pour aider les élèves qui réussissent moins bien que les autres au Ghana, et bien d’autres encore. Il est donc prouvé que les élèves sont sensibles à ce genre d’intervention.
2. Possibilité de mettre en œuvre et dupliquer l’expérience ailleurs : je suis sceptique quant à la possibilité d’instaurer efficacement aujourd’hui des centres informatiques spécialisés en milieu rural, en Tanzanie. Le programme initial en Inde a été mis en œuvre à Delhi, et un autre programme d’instruction numérique en Inde aux résultats également positifs, avait aussi été mis en place en milieu urbain. Je suis ouvert à tout contre argument, mais il me semble que dans ce cas-ci, la quatrième étape n’est pas satisfaisante.

Comme Bates & Glennerster le disent pour un autre de leurs exemples, s’arrêter à la quatrième étape ne veut pas dire « que l’étude originale ne peut pas être généralisée. Mais que les conditions ne sont pas réunies pour mettre en œuvre le même programme au niveau local. »

Dans ce cas, les résultats de la deuxième étape (la Tanzanie a le même problème d’éducation que l’Inde) et la troisième étape (il y a beaucoup de méthodes prouvées pour remédier à ce problème) suggèrent de recommencer le test avec une autre méthode d’instruction adaptée aux différents niveaux, qui pourrait être efficacement mise en œuvre en Tanzanie.

Les résultats scientifique d’un contexte peuvent être très utiles pour un autre contexte, mais leur traduction ne devrait pas être automatique. Ce test à quatre étapes peut donc aider à déterminer s’il est possible reproduire un programme ailleurs.

Pour en savoir plus sur ce sujet : chaque auteur régulier de notre blog Development Impact a écrit sur ce sujet. Voici une liste non-exhaustive :

• Goldstein: “What’s wrong with how we do impact evaluation?” (Février 2016)
• Carranza & Goldstein: “Getting beyond the mirage of external validity” (Mai 2015)
• Friedman: “External validity as seen from other quantitative social sciences - and the gaps in our practice” (Mai 2014)
• Özler: “Learn to live without external validity” (Novembre 2013)
• McKenzie: “Questioning the External Validity of Regression Estimates: Why they can be less representative than you think.” (Septembre 2013)

Vous pouvez tous les trouver ici.