Syndicate content

Comment déterminer si un projet avec de bons résultats dans un pays fonctionnera ailleurs ?

David Evans's picture
Cette page en : English

« Ce n’est pas parce que cela fonctionne au Brésil que cela fonctionnera au Burundi. » C’est vrai. Et ça semble évident. Pourtant, ce genre de critique continue d’être matraquée aux chercheurs, qui pratiquent des évaluations d’impact aux quatre coins du monde. Les institutions varient. Les niveaux d’éducation varient. Les cultures varient. Ainsi, un programme qui a réussi à autonomiser les filles en Ouganda, ne marchera pas forcément en Tanzanie.

Il va de soi que les décideurs politiques savent bien cela. Comme l’explique, Markus Goldstein, économiste au sein de l’équipe de l’économiste en chef de la Banque mondiale pour l’Afrique, « Les décideurs politiques ne sont généralement pas des idiots. Ils sont extrêmement conscients des contextes dans lesquels ils opèrent et ne copient généralement pas un programme à la lettre. Ils tirent plutôt des enseignements sur les choses qui ont fonctionné et la manière dont elles ont fonctionné, pour les adapter à leur situation. »

Dans le dernier numéro de la Stanford Social Innovation Review, Mary Ann Bates et Rachel Glennerster du laboratoire de recherche contre la pauvreté, J-PAL, proposent une stratégie en quatre étapes pour aider les décideurs politiques à adapter correctement leurs résultats d’un contexte à un autre.

1ère étape : quelle est la théorie à l’origine de ce programme ?

2ème étape : est-ce que la réalité locale permet d’appliquer cette théorie ?

3ème étape : a-t-on suffisamment de preuves scientifiques pour pouvoir affirmer qu’il y a eu un changement de comportement ?

4ème étape : quelles preuves scientifiques permettent d’envisager de mettre en œuvre et répliquer correctement cette méthode ailleurs ?

Prenons d’abord un exemple proposé par ces chercheurs, puis poursuivons avec un de mes exemples. En Inde, une campagne de vaccination infantile offrant des incitations matérielles aux parents a rencontré un énorme un succès. Les parents recevaient des sacs de lentilles à chaque fois qu’ils emmenaient leurs enfants se faire vacciner. Les parents des enfants dont le carnet de vaccination était à jour (soit ayant au moins effectué 5 visites médicales) ont reçu un set d’assiettes en métal. Le taux de vaccination à jour a fait un bond, passant des 6 % mesurés dans les communautés témoins, à 39% dans les communautés ou la campagne a eu lieu. Le laboratoire J-PAL qui collabore avec divers pays pour augmenter les taux de vaccination, suit ces quatre étapes :

  1. Théorie à l’origine de la campagne initiale : les parents ne sont pas opposés au vaccin, mais ils sont sensibles à de petits changements de prix.
  2. Réalité locale du nouveau contexte : quelle est la position des parents vis-à-vis des vaccins en Sierra Leone ou au Pakistan ? Dans le cas de l’Inde, les chercheurs émettent une hypothèse à partir d’un de leurs résultats : si les parents amènent leurs enfants se faire vacciner une fois mais ne continuent pas par la suite, on peut en conclure qu’ils ne sont pas forcément opposés à l’idée du vaccin, mais qu’ils réagissent aux difficultés ou au coût transport pour se rendre au centre de vaccination. Une réalité qui semble identique en Sierra Leone et au Pakistan.
  3. Preuve d’un changement de comportement : de nombreux résultats prouvent que les gens n’investissent pas ou pas assez dans les soins préventifs et qu’ils sont sensibles à de petits écarts de prix.
  4. Possibilité de mettre en œuvre et répliquer l’expérience ailleurs : serait-il pertinent de mettre en œuvre ce genre de programme d’incitation en Sierra Leone ou au Pakistan ? Selon Bates et Glennerster, cela serait probablement possible au Pakistan grâce à la forte pénétration de l’argent mobile. En revanche, en Sierra Leone il faudrait d’abord tester le programme pour s’assurer que les cliniques aient la capacité d’offrir efficacement des récompenses aux parents.

Suite à cet exemple, prenons maintenant le mien. Il s’agit d’une évaluation récente des effets  de l’intégration d’outils numériques dans les programmes scolaires en milieu urbains en Inde (article ; article blog). Il en résulte que cette initiative a eu des effets très positifs sur les résultats d’examens de maths et d’hindi. Obtiendrait-on d’aussi bon résultats si nous exportions cette initiative en milieu rural en Tanzanie ?

  1. Théorie à l’origine du programme indien : toutes les classes sont généralement très hétérogènes, avec des aptitudes qui diffèrent largement d’une élève à l’autre, et beaucoup d’entre eux sont en retard sur le programme. C’est difficile voire impossible pour les enseignant de s’adapter à tous ces niveaux. Or, les élèves apprennent mieux lorsque l’enseignement est adapté à leur niveau (ce qu’a permis le recours à la technologie dans le cas de l’Inde).
  2. Réalité locale du nouveau contexte : En Tanzanie – particulièrement en milieu rural – la plupart des étudiants sont en retard sur le programme. Comme le dernier rapport de Uwezo pour la Tanzanie le montre, « seul un enfant sur quatre, du niveau Standard 3 est capable de lire une histoire du niveau Standard 2 en Kiswahili. Et quatre enfants sur dix en Standard 3 sont capables d’effectuer des multiplications du niveau Standard 2 ». La même étude montre également de grandes disparités entre les niveaux :

Aptitude des enfants en lecture en Kiswahili, par niveau

Source: Uwezo 2013

  1. Preuve  d’un changement de comportement : de plus en plus d’études préconisent le retour à des interventions qui aident les élèves à recevoir une instruction adaptée à leur niveau, comme par exemple, la division des classes par aptitude au Kenya, la réorganisation des classes par aptitude, une heure par jour en Inde, le recours à des assistants pour aider les élèves qui réussissent moins bien que les autres au Ghana, et bien d’autres encore. Il est donc prouvé que les élèves sont sensibles à ce genre d’intervention.
  2. Possibilité de mettre en œuvre et dupliquer l’expérience ailleurs : je suis sceptique quant à la possibilité d’instaurer efficacement aujourd’hui des centres informatiques spécialisés en milieu rural, en Tanzanie. Le programme initial en Inde a été mis en œuvre à Delhi, et un autre programme d’instruction numérique en Inde aux résultats également positifs, avait aussi été mis en place en milieu urbain. Je suis ouvert à tout contre argument, mais il me semble que dans ce cas-ci, la quatrième étape n’est pas satisfaisante.

Comme Bates & Glennerster le disent pour un autre de leurs exemples, s’arrêter à la quatrième étape ne veut pas dire « que l’étude originale ne peut pas être généralisée. Mais que les conditions ne sont pas réunies pour mettre en œuvre le même programme au niveau local. »

Dans ce cas, les résultats de la deuxième étape (la Tanzanie a le même problème d’éducation que l’Inde) et la troisième étape (il y a beaucoup de méthodes prouvées pour remédier à ce problème) suggèrent de recommencer le test avec une autre méthode d’instruction adaptée aux différents niveaux, qui pourrait être efficacement mise en œuvre en Tanzanie.

Les résultats scientifique d’un contexte peuvent être très utiles pour un autre contexte, mais leur traduction ne devrait pas être automatique. Ce test à quatre étapes peut donc aider à déterminer s’il est possible reproduire un programme ailleurs.

Pour en savoir plus sur ce sujet : chaque auteur régulier de notre blog Development Impact a écrit sur ce sujet. Voici une liste non-exhaustive :

Vous pouvez tous les trouver ici.

Comments

Unpublished
Submitted by Bana Amadou on

Même si on tient compte du contexte, il faut se demander si le projet ou le programme qu'on dupliquer répond à un besoin exprimé par le communauté. il est également important d'impliquer fortement le groupe à tout le processus, ce qui a souvent fait défaut. en 2010, j'ai participé à l'étude de faisabilité d'un programme de promotion de l'emploi des jeune 2011- 2013 au Niger, qui a pour objectif la création de 100 000 emplois pour les jeune. Au niveau d chaque département visité, nous avons constaté que les jeunes ont des préoccupations différentes face au problème de l'emploi. Cette expérience montre que la solution clés à mains ne marche pas.

Unpublished
Submitted by ISSIFOU IBRAHIMA Mikidarou on

Je viens de prendre connaissance du texte à savoir comment déterminer si un projet avec un résultat dans un pays fonctionnera ailleurs. C'est une opportunité pour moi de m'exprimer sur la nouvelle politique de mon pays (Bénin). En fait, le gouvernement de mon pays vient de lancer un transport appelé Bénin-Taxi au moment où le besoin n'est pas exprimé simplement par ce que le gouvernement veut créer d'emploi pour les jeunes. C'est un projet copié des Etat-Unis,le problème est l'écart de prix des transport qui existait déjà. Pour la petite exemple, la distance habituelle que la population parcourait avec 500f aller et retour, est facturée à plus de 3000F sous prétexte que les voitures sont climatisés avec de WiFi abord. Toute la population de mon pays crie le coût mais le gouvernement s'en tient à sa décision. Je me demande peut-être la population se trompe, mais est ce que se projet tiendra? si oui pendant combien de temps?. Nous énumérons quelque point qui ferons surement l'échec du projet que certainement le réseau de la Banque mondiale va analyser avec nous.
1. le besoin en transport en ville n'est pas exprimé. Ce qui veut dire qu'il en existe au maximum.
2. le prix n'est pas compétitif sur le marché. La population n'adhère pas au coût fixé.
3. le climatiseur et le wifi ne sont plus un lux, par ce que avec les réseaux sociaux le wifi est à la portée de tous.
Contre argument du gouvernement est seulement la création d'emploi aux jeunes alors que le projet n'a pris qu'au plus trois cent jeunes sur des milliers.

Unpublished
Submitted by Heri Matwali on

Qui sauvera la RDCongo? Misère noire, pauvreté accentuée, mauvaise gouvernance, ...,j'ai constaté avec amertume que tous les programme visant le développement ne concerne pas ce pays! La situation ne fait qu'empirer, de mal en pis, . la banque mondiale n'a pas un mécanisme de consietiser les décideurs politiques?

Unpublished
Submitted by carine on

Pour réussir vous devez faire des enquêtes, des interrogations,des descentes sur terrains avec les concernés et travailler avec leurs leaders.vous devez les préparer à ce changement,les expliquer les processus et les biens faits.par exemple si tu vois une personne chez toi et il te dit je viens pour creuser un trou ici,quand même tu le demande pourquoi?pour quelle raison?et puis tu examine si ceque elle a dit te convient?si oui tu l'aide sinon tu l'interdit ou tu fait comme ça ne te concerne pas

Unpublished
Submitted by Norbert Ngabo on

Salut pour moi il faut changer les systemes d'education nationaux dans plusieurs pays car ces deniers se basent sur des theories que pour les pratiques!
Normalement les jeunes africains ont toutes capacite d'innover de creer mais le probleme est que ils manquent l'opportunite de pratiquer les theories prises en classe

Unpublished
Submitted by Elisabeth Diegba on

Coordinatrice d'une organisation sociale, je suis entrain de me rendre compte qu'effectivement il est très difficile d'utiliser le même process pour dupliquer un projet qui a eu du succès dans un environnement A à un environnement B. En effet, notre organisation c'est inscrite dans la construction d'école primaire de proximité pour aider à la scolarisation des filles dans les zones rurales. Nous venons de faire le constat qu'en plus de la construction de l'école, il faut résoudre le problème de l’hébergement des enseignants qui n'a pas été pris en compte dans le projet. Si cette difficulté n'est pas levée, notre école connaîtra le même sort que les autres écoles avec un taux d’absentéisme des enseignants très élevés car à défaut de logement décent, ils sont obligés de payer des frais de transport plus élevés que les enseignants des zones urbaines pour ce rendre à leur lieu de travail ce qui est une réelle difficulté. Aussi, nous avons discuter de cette contrainte avec la communauté villageoise qui s'est engagé à offrir à ces instituteurs les memes types de logement que le leurs. Oui la communauté cherche à solutionner le problème avec la proposition faite. Nous avons salué la proposition de la communauté mais nous savons très bien que les jeunes instituteurs ne pourront pas vivre dans ses huttes ou maison en terre.
Comment faire ? Voici un problème à solutionner durablement afin que le projet école que nous mettre en place dans ce village connaisse un succès.

Submitted by saddiqui mohamed on

Je pense que la duplication des programmes doit prendre en considération le contexte. Il faut donc adaptet chaque programme a son contexte et qui peut changer également à l interieur du même pays.

Submitted by Abdou Karim NDAO on

J'ai eu a derouler un large programme de revision generale avec L'usage des NTIC.
Il consistait a recencer un certain nombre de lecons transversales;C'est a dire acquises par toutes les classes (3e).
D'une demarche interactive,on arrive a piquer l'interet des eleves a qui il devient facile de faire des echanges,des recoupements et de conduire des recherches par internet pour approfondir leurs connaissances.