impact evaluation in practice; l'évaluation d'impact en pratique

8/4/2019 Impact Evaluation in Practice; L'valuation d'impact en pratique

1/256

Lvaluationdimpacten pratique

Paul J. Gertler, Sebastian Martinez,Patric Preman , Laura B. Raw ings,

Christel M. J. Vermeersch

BANQUE MONDIALE


2/256


3/256



4/256

La version anglaise delvaluation dimpact en pratique estdisponible sous la forme dun manuel interactif ladressesuivante : http://www.worldbank.org/pdt. La versionlectronique permet la communaut des praticiens quitravaillent dans des rgions ou des secteurs diffrentsainsi quaux tudiants et aux enseignants de partager desinformations et des notes qui favorisent lapprentissagemultimdia et les changes de connaissances.

Des documents complmentaires au prsent ouvragesont disponibles ladresse suivante : http://www.worldbank.org/ieinpractice.

Ce manuel a t rendu possible par le soutien du Fondsespagnol dvaluation dimpact (SIEF). Lanc en 2007avec un don de 14,9 millions de dollars du Gouvernement

espagnol et complment par un don de 2,1 millions dedollars du dpartement britannique du dveloppementinternational (DFID), le SIEF est le plus grand fondsconsacr lvaluation dimpact jamais mis en place par laBanque mondiale. Son objectif principal est de renforcerlensemble des preuves existantes sur les programmesqui fonctionnent en matire de sant, dducation et deprotection sociale et, de ce fait, dinformer les dcisionssur les politiques de dveloppement.

http://www.worldbank.org/sief.


5/256


Paul J. Gertler, Sebastian Martinez,Patrick Premand, Laura B. Rawlings,Christel M. J. Vermeersch

BANQUE MONDIALE


6/256

2011 Banque internationale pour la reconstruction et le dveloppement/Banque mondiale1818 H Street NWWashington DC 20433Tlphone : 202-473-1000Internet: www.worldbank.org

Tous droits rservs1 2 3 4 14 13 12 11 Cet ouvrage a t ralis par le personnel de la Banque internationale pour lareconstruction et le dveloppement/Banque mondiale. Les observations,interprtations et conclusions quil contient ne retent pas ncessairement lopiniondu Conseil dadministration de la Banque mondiale ou des pays quil reprsente.

La Banque mondiale ne garantit pas lexactitude des donnes contenues dans cetouvrage. Les frontires, les couleurs, les dnominations et toute autre informationgurant sur les cartes du prsent ouvrage nimpliquent de la part de la Banquemondiale aucun jugement quant au statut juridique dun territoire quelconque et nesignient nullement que linstitution reconnat ou accepte ces frontires.

Droits et licencesLe contenu de la prsente publication fait lobjet dun dpt lgal. La reproduction ou latransmission dune partie ou de lintgralit de cette publication peuvent constituer uneviolation de la lgislation en vigueur. La Banque internationale pour la reconstruction etle dveloppement/Banque mondiale encourage la diffusion de ses travaux et, en rglegnrale, accorde rapidement lautorisation den reproduire des extraits.

Pour obtenir lautorisation de reproduire des extraits du prsent ouvrage,veuillez adresser une demande en fournissant tous les renseignements ncessaires ladresse suivante : Copyright Clearance Center, Inc., 222 Rosewood Drive, Danvers,MA 09123, tats-Unis ; tlphone : 978-750-8400 ; tlcopie : 978-750-4470 ; Internet :www.copyright.com.

Pour tout autre renseignement sur les droits et licences, y compris les droitsdrivs, veuillez vous adresser au service suivant : Offi ce of the Publisher,The World Bank, 1818 H Street NW, Washington, DC 20433, tats-Unis ;tlcopie : 202-522-2422 ; e-mail : [email protected].

ISBN: 978-0-8213-8752-8eISBN: 978-0-8213-8681-1DOI: 10.1596/978-0-8213-8752-8

Donnes de catalogage avant publication de la Bibliothque du Congrs

Lvaluation dimpact en pratique/Paul J. Gertler ... [et al.]. p. cm. Comprend des rfrences bibliographiques et un index. ISBN 978-0-8213-8541-8 -- ISBN 978-0-8213-8593-7 (lectronique) 1. Projets de dveloppement conomique--valuation. 2. tude dvaluation (programmesdaction sociale) I. Gertler, Paul, 1955- II. Banque mondiale.

HD75.9.I47 2010 338.90072--dc22

2010034602

Maquette de couverture : Naylor Design.


7/256

v

Prface xiii

PARTIE UN. INTRODUCTION LVALUATION DIMPACT 1

Chapitre 1. Pourquoi valuer ? 3laboration des politiques fonde sur les preuves 3Quest-ce que lvaluation dimpact ? 7Lvaluation dimpact pour les dcisions politiques 8Dcider quand valuer 10Analyse du rapport cot-efcacit 11valuation prospective et valuation rtrospective 13tudes defcacit pilotes et tudes defcacit lchelle 14Combiner les sources dinformation pour valuer tant le

pourquoi que le comment 15Notes 17Rfrences 18

Chapitre 2. Formulation des questions dvaluation 21Types de questions dvaluation 22Thories du changement 22Chane de rsultats 24Hypothses pour lvaluation 27Slection des indicateurs de performance 27Feuille de route pour les parties 2 et 3 29Note 30

Rfrences 30

PARTIE DEUX. COMMENT VALUER ? 31

Chapitre 3. Infrence causale et contrefactuel 33Infrence causale 33Estimation du contrefactuel 36

TABLES DES MATIRES


8/256

vi Lvaluation dimpact en pratique

Deux contrefactuels contrefaits 40Notes 47

Chapitre 4. Mthodes de slection alatoire 49Assignation alatoire du traitement 50Deux variations de lassignation alatoire 64Estimation dimpact pour loffre alatoire 66Notes 79Rfrences 80

Chapitre 5. Modle de discontinuit de la rgression 81Cas 1 : subvention des engrais pour la riziculture 82Cas 2 : transferts montaires 84Utilisation du modle de discontinuit de la rgression pour

valuer le Programme de subvention de lassurance maladie (PSAM)86Le modle de discontinuit de la rgression en pratique 89Limites et interprtation du modle de discontinuit de la rgression 91Note 93Rfrences 93

Chapitre 6. Double diffrence 95En quoi la mthode de la double diffrence est-elle utile ? 98Utilisation de la double diffrence pour valuer le Programme

de subvention de lassurance maladie (PSAM) 102La mthode de la double diffrence en pratique 103Limites de la mthode de la double diffrence 104Notes 104Rfrences 105

Chapitre 7. Appariement 107Utilisation des techniques dappariement pour le Programme

de subvention de lassurance maladie (PSAM) 111La mthode dappariement en pratique 113Limites de la mthode dappariement 114Notes 115Rfrences 116

Chapitre 8. Combinaisons de mthodes 117Combinaisons de mthodes 119Adhrence non totale 120Effets de diffusion 123


9/256

Table des matires vii

Considrations supplmentaires 125Un plan de rechange pour votre valuation 127Note 127Rfrences 128

Chapitre 9. valuation de programmes multiples facettes 129valuation de programmes diffrents niveaux de traitement 130valuation de traitements multiples laide dtudes croises 132Note 137Rfrences 137

PARTIE TROIS. COMMENT METTRE EN UVREUNE VALUATION DIMPACT 139

Chapitre 10. Mettre en uvre une valuation dimpact 143Choisir une mthode dvaluation 143Lvaluation est-elle thique ? 153Comment constituer une quipe dvaluation ? 154Quand effectuer lvaluation ? 158Comment tablir le budget dune valuation dimpact ? 161Notes 169Rfrences 169

Chapitre 11. Choisir lchantillon 171

Quelles sont les donnes ncessaires ? 171Calculs de puissance : quelle est la taille de lchantillon ncessaire ? 175Choisir une stratgie dchantillonnage 192Notes 195Rfrences 197

Chapitre 12. Collecter des donnes 199Choisir une entit comptente pour collecter les donnes 199laboration du questionnaire 201Pilotage du questionnaire 204

Travail de terrain 204Saisie et validation des donnes 207Note 209Rfrences 209


10/256

viii Lvaluation dimpact en pratique

Chapitre 13. Production et diffusion des rsultats 211Les produits de lvaluation 211Diffusion des rsultats 219Notes 221

Rfrences 222Chapitre 14. Conclusion 223Note 228Rfrences 228

Glossaire 229

Encadrs 1.1 valuation et durabilit politique : le programme de transferts

montaires conditionnels Progresa/Oportunidades au Mexique 5 1.2 Lvaluation au service dune meilleure allocation des

ressources : planication familiale et fcondit en Indonsie 6 1.3 Lvaluation au service dune meilleure conception des

programmes : malnutrition et dveloppement cognitif en Colombie 9 1.4 valuation du rapport cot-efcacit : comparaison de stratgies

pour accrotre la frquentation scolaire au Kenya 12 2.1 Thorie du changement : des sols en ciment font

le bonheur des Mexicains 23 3.1 Estimation du contrefactuel : mademoiselle Unique et

le programme de transferts montaires conditionnels 36 4.1 Transferts montaires conditionnels et ducation au Mexique 64 4.2 Offre alatoire de bons dducation en Colombie 70 4.3 Promotion des investissements dans les infrastructures

dducation en Bolivie 78 5.1 Aide sociale et offre de main-duvre au Canada 89 5.2 Frais de scolarit et taux de scolarisation en Colombie 90 5.3 Filets de protection sociale fonds sur un indice

de pauvret en Jamaque 91 6.1 Privatisation de lapprovisionnement en eau

et mortalit infantile en Argentine 103 7.1 Programme demploi public et revenus en Argentine 113 7.2 Eau courante et sant infantile en Inde 114 8.1 Liste des tests de vrication et de falsication 118 8.2 Double diffrence apparie : sols en ciment,

sant infantile et bonheur maternel au Mexique 121 8.3 Programme avec effets de diffusion : traitement vermifuge,

effets externes et ducation au Kenya 124


11/256

Table des matires ix

9.1 Comparer des alternatives de programmesde prvention du VIH/sida au Kenya 135

9.2 Comparer diffrents programmes de suivi de la corruptionen Indonsie 136

10.1 Programmes de transferts montaires et chelle minimumdintervention 15212.1 Collecte de donnes pour lvaluation des programmes

pilotes Atencin a Crisis au Nicaragua 20813.1 Exemple de structure dun plan dvaluation dimpact 21213.2 Exemple de structure dun rapport de rfrence 21313.3 Exemple de structure dun rapport dvaluation 21613.4 Diffuser les rsultats dune valuation pour amliorer

les politiques 221

Figures 2.1 Quest-ce quune chane de rsultats ? 25 2.2 Chane de rsultats dun programme de mathmatiques

du cycle secondaire 26 3.1 Le clone parfait 37 3.2 Un groupe de comparaison valide 39 3.3 Estimations avant et aprs dun programme de micronance 41 4.1 Caractristiques des groupes constitus par assignation alatoire

du traitement 52 4.2 chantillonnage alatoire et assignation alatoire du traitement 54 4.3 tapes de lassignation alatoire du traitement 57 4.4 Assignation alatoire du traitement avec utilisation dune

feuille de calcul 58 4.5 Estimation dimpact avec assignation alatoire 61 4.6 Offre alatoire dun programme 67 4.7 Estimation de limpact du traitement sur les traits

en cas doffre alatoire 67 4.8 Promotion alatoire 74 4.9 Estimation dimpact en cas de promotion alatoire 75 5.1 Rendement rizicole 83 5.2 Dpenses des mnages et niveau de pauvret

(avant lintervention) 84 5.3 Seuil dligibilit au programme de transferts montaires 85 5.4 Dpenses des mnages et niveau de pauvret

(aprs lintervention) 86 5.5 Indice de pauvret et dpenses de sant avant le lancement

du Programme de subvention de lassurance maladie 87


12/256

x Lvaluation dimpact en pratique

5.6 Indice de pauvret et dpenses de sant deux ans aprs lelancement du Programme de subvention de lassurance maladie 88

6.1 Double diffrence 97 6.2 Double diffrence en cas de divergence des tendances

du rsultat 100 7.1 Appariement exact sur la base de quatre caractristiques 108 7.2 Appariement par le score de propension et support commun 110 8.1 Effets de diffusion 125 9.1 tapes de lassignation alatoire deux niveaux de traitement 131 9.2 tapes de lassignation alatoire pour deux interventions 133 9.3 Groupe de traitement et groupe de comparaison pour

un programme deux interventions 134 P3.1 Feuille de route de la mise en uvre dune valuation dimpact 141 11.1 Un grand chantillon ressemble mieux la population 177

11.2 Un cadre dchantillonnage valide couvre lintgralitde la population ltude 193 14.1 Nombre dvaluations dimpact effectues par

la Banque mondiale par rgion, 2004-2010 227

Tableaux 2.1 lments dun plan de suivi et valuation 28 3.1 Cas 1 Impact du PSAM selon la mthode avant-aprs

(comparaison de moyennes) 44 3.2 Cas 1 Impact du PSAM selon la mthode avant-aprs

(analyse de rgression) 44 3.3 Cas 2 Impact du PSAM selon la mthode avec-sans(comparaison de moyennes) 46

3.4 Cas 2 Impact du PSAM selon la mthode avec-sans(analyse de rgression) 47

4.1 Cas 3 Comparaison entre villages de traitementet villages de comparaison 62

4.2 Cas 3 Impact du PSAM selon la mthode dassignationalatoire (comparaison de moyennes) 63

4.3 Cas 3 Impact du PSAM selon la mthode dassignation

alatoire (analyse de rgression) 63 4.4 Cas 4 Impact du PSAM selon la mthode de promotionalatoire (comparaison de moyennes) 76

4.5 Cas 4 Impact du PSAM selon la mthode de promotionalatoire (analyse de rgression) 77

5.1 Cas 5 Impact du PSAM selon le modle de discontinuit de largression (analyse de rgression) 88


13/256

Table des matires xi

6.1 Double diffrence 98 6.2 Cas 6 Impact du PSAM selon la mthode de

la double diffrence (comparaison de moyennes) 102 6.3 Cas 6 Impact du PSAM selon la mthode de

la double diffrence (analyse de rgression) 102 7.1 Estimation du score de propension sur la basedes caractristiques observes 111

7.2 Cas 7 Impact du PSAM selon la mthode dappariement(comparaison des moyennes) 112

7.3 Cas 7 Impact du PSAM selon la mthode dappariement(analyse de rgression) 112

10.1 Relations entre les rgles oprationnelles dun programmeet les mthodes dvaluation dimpact 148

10.2 Cots dvaluations dimpact de projets soutenus

par la Banque mondiale 161 10.3 Rpartition des cots pour un chantillon de projets soutenuspar la Banque mondiale 162

10.4 Feuille de calcul pour lestimation du cot dune valuationdimpact 166

10.5 Budget dune valuation dimpact 16711.1 Exemples de grappes 18111.2 Taille de lchantillon ncessaire selon les diffrents effets

minimums dtectables (baisse des dpenses de santdes mnages), puissance = 0,9, sans grappe 186

11.3 Taille de lchantillon ncessaire selon les diffrents effetsminimums dtectables (baisse des dpenses de santdes mnages), puissance = 0,8, sans grappe 186

11.4 Taille de lchantillon ncessaire pour dtecter diffrentseffets minimum dsirs (hausse du taux dhospitalisation),puissance = 0,9, sans grappe 187

11.5 Taille de lchantillon ncessaire pour diffrents effetsminimums dtectables (baisse des dpenses de santdes mnages), puissance = 0,9, 100 grappes maximum 190

11.6 Taille de lchantillon ncessaire pour diffrents effets

minimums dtectables (baisse des dpenses de santdes mnages), puissance = 0,8, 100 grappes maximum 19111.7 Taille de lchantillon ncessaire pour dtecter un impact

minimum de deux dollars pour diffrents nombres de grappes,puissance = 0,9 191


14/256


15/256

xiii

PRFACE

Ce manuel constitue une introduction accessible lvaluation dimpact et sapratique dans le domaine du dveloppement. Il est principalement destin aux pro-

fessionnels du dveloppement et aux dcideurs, mais peut galement tre utile auxtudiants et toute personne intresse lvaluation dimpact. Les valuationsdimpact prospectives visent dterminer si un programme a atteint ou non lesrsultats esprs ou tester diffrentes stratgies pour atteindre ces rsultats.Nous considrons quune augmentation du nombre dvaluations et une amliora-tion de leur qualit permettront de renforcer lensemble des preuves existantes ausujet de leffi cacit des politiques et programmes de dveloppement dans le monde.Notre espoir est que les gouvernements et les professionnels du dveloppementpuissent prendre des dcisions fondes sur des rsultats prouvs, tels que lespreuves gnres par les valuations dimpact, de manire rendre plus effi cacelutilisation des ressources pour rduire la pauvret et amliorer le bien-tre despopulations. Les trois parties du manuel constituent une introduction non technique lvaluation dimpact. Elles dcrivent ce quil convient dvaluer et pourquoi(partie 1) ; exposent des mthodes dvaluation (partie 2) ; et indiquent commentmettre en uvre une valuation (partie 3). Ces tapes constituent des lmentsessentiels la ralisation dune valuation dimpact.

Lapproche de lvaluation dimpact que nous privilgions dans ce manuel est lar-gement intuitive et nous essayons de minimiser les aspects techniques. Nous prsen-tons au lecteur une gamme doutils dvaluation dimpact (les concepts et mthodessous-jacents toute valuation dimpact) et illustrons leur application de rels pro-grammes de dveloppement. Les mthodes voques sont directement issues de larecherche applique en sciences sociales et ont de nombreux points communs avecles mthodes de recherche utilises en sciences naturelles. En ce sens, lvaluation

dimpact combine les outils de recherche empiriques couramment utiliss en cono-mie et dans dautres sciences sociales avec les ralits oprationnelles et politico-conomiques de la mise en uvre de politiques et de pratiques de dveloppement.

Dun point de vue mthodologique, notre approche est essentiellement pragma-tique : nous estimons que la mthode dvaluation la plus pertinente doit tre dnie


16/256

xiv Lvaluation dimpact en pratique

en fonction du contexte oprationnel, et non le contraire. En ce sens, il est essentieldintgrer des valuations dimpact prospectives la mise en uvre des projets dsleur conception. Au-del de la mthode, il est tout aussi important de crer unconsensus parmi les parties prenantes un programme et dlaborer une valuationen adquation avec le contexte politique et oprationnel. Par ailleurs, il nous sembleprimordial dtre transparent par rapport aux limites des valuations dimpact. Fina-lement, nous encourageons vivement les dcideurs et les responsables de pro-gramme considrer lvaluation dimpact partir dun cadre logique mettantclairement en vidence les relations causales travers lesquelles un programme pro-duit des extrants et inuence les rsultats naux. Complmenter les valuationsdimpact avec des donnes de suivi et des valuations dautres types permet aussi demieux apprhender la performance dun programme.

Loriginalit du prsent manuel rside surtout dans son approche visant illustrer lapplication des outils dvaluation dimpact la ralit des programmes dedveloppement. Nos expriences et observations relatives la mise en pratiquedvaluations dimpact dcoulent de notre travail de formation et de collaborations

avec des centaines de partenaires chevronns issus dinstitutions publiques, duni-versits et dorganisations actives dans le domaine du dveloppement. Entre lesauteurs, le manuel tire ainsi parti de dizaines dannes dexprience dans la ralisa-tion dvaluation dimpact travers le monde.

Ce livre est fond sur une srie de ressources pdagogiques mises au point pourles ateliers Turning Promises to Evidence , organiss par le bureau de lcono-miste en chef pour le dveloppement humain, en partenariat avec les unitsrgionales et le groupe de recherche en conomie du dveloppement de la Banquemondiale. Au moment de la rdaction du prsent ouvrage, ces ateliers se sont tenusplus dune vingtaine de fois dans toutes les rgions du globe. Tant le manuel que lesateliers ont t raliss grce aux gnreuses contributions du Gouvernement

espagnol et du dpartement britannique du dveloppement international (DfID)par le biais du Fonds espagnol pour lvaluation dimpact (SIEF). Le manuel,des prsentations et des documents complmentaires sont disponibles sur le sitehttp://www.worldbank.org/ieinpractice.

Dautres ressources de qualit proposent une introduction lvaluation dim-pact, notamment Baker 2000 ; Ravallion 2001, 2008, 2009 ; Duo, Glennerster etKremer 2007 ; Duo et Kremer 2008 ; Khandker, Koolwal et Samad 2009 ; ainsi queLeeuw et Vaessen 2009. La particularit du prsent manuel est quil combine unerevue non technique des mthodes dvaluation quantitatives tout en tablissant unlien direct avec les rgles oprationnelles des programmes et en abordant de nom-breux aspects pratiques lis la ralisation dvaluations. Il est complt par desoutils didactiques au sujet de lvaluation dimpact.

Les ressources pdagogiques sur lesquelles repose le manuel ont t enseigneset amliores par de nombreux experts renomms ayant tous laiss leur empreinteet leur perspective sur les mthodes dvaluation dimpact. Paul Gertler, SebastianMartinez, Sebastian Galiani et Sigrid Vivo ont compil une premire version de ces


17/256

Prface xv

ressources pour un atelier organis par le ministre mexicain du Dveloppementsocial (SEDESOL) en 2005. Christel Vermeersch a dvelopp et reformul des sec-tions importantes des modules techniques et adapt une tude de cas pour lesbesoins de latelier. Laura Rawlings et Patrick Premand ont dvelopp des ressourcesutilises dans les versions plus rcentes de latelier.

Nous souhaitons remercier de nombreuses personnes qui ont assur des forma-tions dans le cadre de latelier pour leur importante contribution, en particulierFelipe Barrera, Sergio Bautista-Arredondo, Stefano Bertozzi, Barbara Bruns, PedroCarneiro, Nancy Qian, Jishnu Das, Damien de Walque, David Evans, Claudio Ferraz,Jed Friedman, Emanuela Galasso, Sebastian Galiani, Gonzalo Hernndez Licona,Arianna Legovini, Phillippe Leite, Mattias Lundberg, Karen Macours, Juan Muoz,Plamen Nikolov, Berk zler, Gloria M. Rubio et Norbert Schady. Nous remercionsgalement Barbara Bruns, Arianna Legovini, Dan Levy et Emmanuel Skouas pourleur revue critique dune version prliminaire de ce manuel, tout comme BerthaBriceno, Gloria M. Rubio et Jennifer Sturdy pour leurs commentaires. Nous tenonsgalement saluer la grande qualit du travail de lquipe dorganisation de latelier,

en particulier Paloma Acevedo, Theresa Adobea Bampoe, Febe Mackey, SilviaParuzzolo, Tatyana Ringland, Adam Ross, Jennifer Sturdy et Sigrid Vivo.Ce manuel repose sur des transcriptions de prsentations effectues lors dun

atelier tenu Beijing en Chine en juillet 2009. Nous remercions toutes les personnesqui ont particip la rdaction des transcriptions originales, notamment PalomaAcevedo, Carlos Asenjo, Sebastian Bauhoff, Bradley Chen, Changcheng Song, JaneZhang et Shufang Zhang. Nous tenons galement exprimer notre reconnaissance Kristine Cronin pour la qualit de son travail dassistance de recherche, MarcoGuzman et Martin Ruegenberg pour leurs illustrations ainsi qu Cindy A. Fisher,Fiona Mackintosh et Stuart K. Tucker pour leur travail ditorial lors de la rdactionde ce manuel.

Nous voudrions aussi reconnatre le soutien et lengagement en faveur de ce typede travaux au sein de la Banque mondiale, notamment de la part dAriel Fiszbein,Arianna Legovini et Martin Ravallion.

Enn, nous voudrions remercier lensemble des participants aux ateliers qui sesont tenus Mexico, New Delhi, Cuernavaca, Ankara, Buenos Aires, Paipa, Forta-leza, Soa, Managua, Madrid, Washington, Manille, Pretoria, Tunis, Lima, Amman,Beijing, Sarajevo, San Salvador, Katmandu, Rio de Janeiro, Accra, Soul ainsi quauCaire et au Cap. Leur intrt, leurs questions pertinentes et leur enthousiasme nousont peu peu appris ce que les dcideurs recherchaient en matire dvaluationsdimpact. Nous esprons que ce manuel rete leurs ides.


18/256

xvi Lvaluation dimpact en pratique

Rfrences

Baker, Judy. 2000. Evaluating the Impact of Development Projects on Poverty.Washington DC : Banque mondiale.

Duo Esther, Rachel Glennerster et Michael Kremer. 2007. Using Randomizationin Development Economics Research: A Toolkit. Document de travail duCEPR no 6059. Center for Economic Policy Research, Londres, Royaume-Uni.

Duo Esther et Michael Kremer. 2008. Use of Randomization in the Evaluationof Development Effectiveness. In Evaluating Development Effectiveness, vol. 7.Washington, DC : Banque mondiale.

Khandker, Shahidur R., Gayatri B. Koolwal et Hussain Samad. 2009. Handbook onQuantitative Methods of Program Evaluation. Washington DC : Banque mondiale.

Leeuw, Frans et Jos Vaessen. 2009. Impact Evaluations and Development. NONIEGuidance on Impact Evaluation. Washington DC : NONIE et Banque mondiale.

Ravallion, Martin. 2001. The Mystery of the Vanishing Benets: Ms. SpeedyAnalysts Introduction to Evaluation. tude conomique de la Banque mondiale 15 (1) : 11540.

. 2008. Evaluating Anti-Poverty Programs. In Handbook of Development Economics, vol, 4., d. Paul Schultz et John Strauss. Amsterdam :Hollande-Septentrionale

. 2009. Evaluation in the Practice of Development. World Bank ResearchObserver 24 (1) : 2953.


19/256

INTRODUCTION LVALUATION DIMPACT

La premire partie de louvrage prsente un aperu gnral de lvaluationdimpact. Dans le chapitre 1, nous exposons les raisons pour lesquelles lva-luation dimpact est importante et comment elle sinscrit dans le cadre de laformulation de politiques fonde sur les preuves. Nous comparons lvaluationdimpact avec dautres mthodes dvaluation courantes telles que le suivi etles valuations de processus. Nous prsentons aussi diffrents types dvalua-tion dimpact, comme les valuations prospectives et rtrospectives ou encoreles tudes defcacit pilotes et les tudes defcacit lchelle.

Dans le chapitre 2, nous traitons de la formulation de questions dvaluation etdhypothses utiles aux dcisions de politiques. Ces questions et hypothsesjouent un rle primordial, car elles dterminent lobjectif de lvaluation.

Partie 1


20/256


21/256

3

Pourquoi valuer ?

CHAPITRE 1

Les politiques et les programmes de dveloppement sont gnralement conus pouramliorer des indicateurs de rsultats, par exemple pour augmenter les revenus,faciliter lapprentissage ou faire reculer la maladie. Savoir si les changements esprsse sont effectivement produits est une question de politique publique importante, etpourtant rarement considre. Le plus souvent, les responsables de programme etles dcideurs mettent laccent sur le contrle et la mesure des intrants et des pro-

duits immdiats (par exemple le montant dargent dpens et la quantit de livresdistribus) plutt que sur la question de savoir si les programmes ont atteint leursobjectifs en termes damlioration du bien-tre des bnciaires.

laboration des politiques fonde sur les preuves

Les valuations dimpact sinscrivent dans la vaste tendance de llaboration de politiques fonde sur les preuves . Cette tendance internationale croissante accordeune attention particulire aux extrants et aux rsultats au-del des seuls intrants.Dans ce cadre, la mise en uvre de politiques publiques est en train de se transfor-

mer, comme lillustrent les Objectifs de dveloppement pour le Millnaire ou les ini-tiatives de paiement la performance des prestataires de services. Une attentionparticulire sur les rsultats est utile pour xer des objectifs nationaux et internatio-naux et en garantir le suivi. Elle est galement de plus en plus requise des respon-sables de programme pour davantage les responsabiliser, justier les allocationsbudgtaires et orienter les dcisions de politique publique.

Le suivi et lvaluation sont au cur de llaboration de politiques fonde sur lespreuves. Ils constituent en effet les outils lmentaires que les diverses parties pre-


22/256

4 Lvaluation dimpact en pratique

nantes peuvent utiliser pour vrier et amliorer la qualit, leffi cience et leffi cacides programmes diffrents stades de mise en uvre. Autrement dit, le suivi et lvaluation permettent de se focaliser sur les rsultats. Tant les offi ciels des gouvernements que les acteurs extrieurs peuvent bncier de lusage du suivi et delvaluation. Dans un ministre ou un organisme public, les fonctionnaires ont souvent besoin de prouver leurs suprieurs que les programmes produisent des rsul-tats an dobtenir les allocations budgtaires ncessaires la poursuite oulamplication desdits programmes. Au plan national, les ministres sectoriels sonparfois en concurrence directe pour obtenir des fonds du ministre des Finances.Les gouvernements eux-mmes doivent convaincre leurs lecteurs que les investis-sements quils ont choisis portent leurs fruits. En ce sens, les informations et despreuves solides constituent un moyen de sensibiliser le public et dencourager la responsabilisation du gouvernement. Linformation produite par les systmes de suiviet dvaluation peut tre rgulirement mise la disposition des citoyens pour lesinformer des rsultats des programmes publics, renforant ainsi les pratiques detransparence et de responsabilisation des gouvernements.

Dans un contexte o les dcideurs et la socit civile demandent des rsultats etexigent que les responsables de programme rendent compte de la performance deleurs interventions, lvaluation dimpact fournit des donnes solides et ables quindiquent si un programme donn a effectivement atteint les objectifs esprs. Auplan international, les valuations dimpact jouent galement un rle crucial dans lamesure o elles permettent de mieux cerner leffi cacit des programmes de dveloppement en mettant en vidence ce qui fonctionne et ce qui ne fonctionne pas enmatire de rduction de la pauvret et damlioration du bien-tre des populations.

En rsum, une valuation dimpact permet didentier les changements dubien-tre des individus qui peuvent treattribus un projet, un programme ou unepolitique particulire. Le concept de lattribution est au cur des valuations dimpact

De ce fait, le principal d dune valuation dimpact est didentier larelation causale entre un projet, un programme ou une politique et les rsultats ltude.Comme nous le verrons ci-dessous, les valuations dimpact visent gnralement

estimer limpactmoyen dun programme sur le bien-tre des bnciaires. Parexemple, la mise en uvre dun nouveau programme scolaire entrane-t-elle demeilleurs rsultats aux examens ? Un programme daccs leau potable permet-idamliorer les indicateurs de sant des bnciaires ? Un programme de formationdes jeunes permet-il dencourager lentrepreneuriat et daugmenter les revenus ? Enoutre, si lvaluation dimpact est fonde sur un chantillon suffi samment grand, leimpacts du programme peuvent galement tre compars entre divers sous-groupesde bnciaires. Par exemple, le lancement dun nouveau programme scolaireentrane-t-il de meilleurs rsultats aux examens tant pour les lles que pour les gar-ons ? Les valuations dimpact peuvent aussi permettre de tester explicitement desoptions alternatives de concevoir des programmes. Par exemple, une valuation peutcomparer la performance dun programme de formation visant renforcer les connaissances nancires des bnciaires par contraste avec une campagne de promotionayant les mmes objectifs. Dans chaque cas, lvaluation dimpact donne des informtions sur limpact gnral du programme contrairement aux tudes de cas ou aux anec-dotes fournissant des informations parcellaires qui ne retent pas forcment limpact


23/256

Pourquoi valuer ? 5

gnral du programme. Dans ce sens, une valuation bien conue et correctementmise en uvre permet dobtenir des donnes convaincantes et exhaustives qui peu-vent tre utilises pour orienter les dcisions de politique et informer lopinionpublique. Lencadr 1.1 illustre comment lvaluation dimpact a contribu au dbat surllargissement dun programme de transferts montaires conditionnels au Mexique1.

Encadr 1.1 : Evaluation et durabilit politiqueLe programme de transferts montaires conditionnels Progresa/Oportunidades au Mexique

Dans les annes 90, les autorits mexicaines lan-cent un programme innovateur de transferts mo-ntaires conditionnels (TMC) baptis Progresa.Les objectifs de ce programme sont de fourniraux mnages pauvres un soutien nancier court

terme et dencourager linvestissement dans lecapital humain des enfants, essentiellement enoctroyant aux mres des mnages pauvres uneallocation montaire condition que leurs en-fants soient scolariss et effectuent rgulire-ment des examens de sant.

Ds le dpart, le gouvernement met laccentsur limportance du suivi et de lvaluation duprogramme. Les responsables chargent ungroupe de chercheurs de concevoir une valua-tion dimpact et de lappliquer au programme aufur et mesure de son expansion aux diversescommunauts concernes.

Les lections prsidentielles de 2000conduisent un changement du parti au pou-voir. En 2001, les valuateurs externes du pro-gramme Progresa prsentent leurs conclusions la nouvelle administration. Les rsultatssavrent impressionnants : le programme estbien cibl aux populations pauvres et engendredes changements prometteurs en matire decapital humain. Schultz (2004) montre que leprogramme augmente le taux de scolarisationet allonge la dure de la scolarisation de

0,7 anne en moyenne. De plus, selon Gertler(2004), lincidence des maladies recule de23 % chez les enfants tandis que pour lesadultes le nombre de jours de travail perduspour cause de maladie ou dincapacit diminue

de 19 %. Au niveau nutritionnel, Behrman andHoddinott (2001) montrent que le programmerduit le retard de croissance denviron 1 cmpar an chez les enfants se situant dans latranche dge critique de 12 36 mois.

Ces rsultats permettent dalimenter undialogue politique fond sur des preuves etincitent la nouvelle administration maintenir leprogramme. Le gouvernement largit mme lacouverture du programme, y intgrant loctroi debourses pour le collge et le lyce ainsi que desprogrammes damlioration de la sant desadolescents. Paralllement, les rsultats delvaluation conduisent modier dautres pro-grammes dassistance sociale. Par exemple, leprogramme de subvention de tortilla , cou-teux et moins bien cibl, est revu la baisse.

Le succs de lvaluation du programmeProgresa contribue aussi au rapide dveloppe-ment des TMC travers le monde ainsi quladoption dune loi exigeant que tous les projetssociaux fassent lobjet dune valuation auMexique.

Source : Behrman et Hoddinott 2001 ; Gertler 2004 ; Fiszbein et Schady 2009 ; Levy et Rodriguez 2005 ;Schultz 2004 ; Skouas et McClafferty 2001.


24/256


Lencadr 1.2 montre, quant lui, comment lvaluation dimpact a men lamliortion de lallocation des ressources du gouvernement indonsien en permettant diden-tier les politiques les plus effi caces pour rduire le taux de fcondit.

Encadr 1.2 : Lvaluation au service dune meilleure allocationdes ressourcesPlanication familiale et fcondit en Indonsie

Dans les annes 70, la politique de planication fa-miliale indonsienne acquiert une reconnaissanceinternationale pour ses succs en matire debaisse du taux de fcondit. Cette renomme pro-vient de deux phnomnes parallles : 1) le taux defertilit diminue de 22 % entre 1970 et 1980, de25 % entre 1981 et 1990, et dun peu moins entre1991 et 1994 ; et 2) au cours de la mme priode,le Gouvernement indonsien augmente fortementles ressources consacres la planication fami-liale (notamment les subventions pour les contra-ceptifs). Ces deux phnomnes tant concomi-tants, nombreux sont ceux qui concluent que lahausse des investissements dans la planication

familiale provoque la baisse de la fcondit.Sceptiques, des chercheurs se demandent siles programmes de planication familiale sontrellement lorigine de la baisse de la fcon-dit. Contre toute attente, ils dcouvrent queces programmes nont quun impact limit sur lafcondit et concluent que cette baisse sex-plique essentiellement par un changement dustatut des femmes. Les chercheurs font remar-quer quavant le lancement du programme deplanication familiale, trs peu de femmes enge de procrer avaient termin le cycle

primaire. En parallle la planication familiale,

le gouvernement avait lanc un vaste pro-gramme de scolarisation des lles, impliquantquelles sont plus nombreuses avoir acquisune ducation au moment datteindre lge deprocration. Paralllement, la croissance cono-mique et loffre accrue demplois engendrespar le boom ptrolier entranent une augmenta-tion du nombre de femmes instruites dans lapopulation active. Laugmentation du temps detravail des femmes saccompagne dune haussede lusage des contraceptifs. In ne, laugmen-tation des revenus et lautonomisation desfemmes expliquent 70 % de la baisse de fcon-dit observe, soit plus que les investissements

dans les programmes de planication familiale.Ces rsultats permettent aux dcideurs poli-tiques de rorienter lallocation des ressourcesen connaissance de cause : les subventions enfaveur de la contraception sont rduites au protdes programmes encourageant la scolarisationdes femmes. Les objectifs naux des deuxtypes de programmes sont certes les mmes,mais les tudes dvaluation ont mis en vi-dence que, dans le cas de lIndonsie, les inves-tissements dans lducation sont plus efcacesque les investissements dans la planication

familiale pour rduire la fcondit.

Source : Gertler et Molyneaux 1994, 2000.


25/256

Pourquoi valuer ? 7

Quest-ce que lvaluation dimpact ?

Lvaluation dimpact fait partie dune large gamme de mthodes complmentairescontribuant llaboration de politiques fonde sur des preuves. Le prsent ouvrage

est consacr aux mthodes dvaluation dimpact quantitatives ; nous allons cependantcommencer par les placer dans le cadre plus gnral de la gestion publique axe surles rsultats, qui comprend aussi le suivi et dautres types dvaluation.

Le suivi est un processus continu qui consiste surveiller le droulement dun pro-gramme et qui sappuie sur les donnes collectes pour amliorer la mise en uvre duprogramme, sa gestion et les dcisions quotidiennes le concernant. Ce processus sap-puie essentiellement sur les donnes administratives pour comparer la performancedu programme aux rsultats esprs, comparer les programmes entre eux et analyserdes tendances travers le temps. Le suivi se concentre gnralement sur les intrants,les activits et les extrants, ainsi quoccasionnellement les rsultats, comme les progrsvers les objectifs de dveloppement nationaux.

Lvaluation est une apprciation priodique et objective de projets, programmesou politiques prvus, en cours de ralisation ou achevs. Les valuations permettentde rpondre des questions prcises lies la conception, la mise en uvre ou lesrsultats des programmes. Contrairement au suivi, qui est continu, les valuationssont priodiques et effectues un moment donn, gnralement par des spcia-listes extrieurs au programme. La conception, la mthodologie et le cot des va-luations varient fortement en fonction du type de question laquelle elles rpondent.Dune manire gnrale, les valuations sattlent trois types de questions(Imas et Rist, 2009) :

Les questions descriptives : ce niveau, lvaluation vise montrer ce qui se passe,dcrire les processus, les conditions qui prvalent, les relations organisation-nelles et les points de vue des diverses parties prenantes au programme.

Les questions normatives : lvaluation compare ce qui se passe ce qui devrait sepasser ; elle consiste tudier les activits et estimer si les objectifs ont t at-teints ou non. Les questions normatives peuvent concerner les intrants, les acti-vits et les extrants.

Les questions de cause effet : lvaluation se concentre sur les rsultats etcherche dterminer dans quelle mesure lintervention entraine des change-ments des rsultats.

Lesvaluations dimpact sont un type particulier dvaluation qui porte sur les ques-tions de cause effet. Contrairement aux valuations gnrales qui peuvent rpondre

plusieurs types de questions, les valuations dimpact sont structures autour duntype particulier de question :quel est limpact (ou leffet causal) dun programme sur unrsultat donn ? La dimension causale est primordiale. Nous nous intressons ici limpact du programme, savoir les changements des rsultats causs directement parcelui-ci. Lvaluation dimpact vise ainsi dterminer quels changements peuvent treattribus directement et exclusivement au programme .


26/256


Lvaluation dimpact se distingue par sa focalisation sur la causalit et lattributiodes changements, deux concepts qui dnissent aussi lapproche mthodologiquePour pouvoir estimer leffet causal ou limpact dun programme sur les rsultatsla mthode choisie doit permettre de dnir le contrefactuel, cest--dire le rsultat quiaurait t obtenu pour un groupe de bnciaires si le programme navait pas existDans les faits, lvaluation dimpact ncessite de trouver un groupe de comparaisopour estimer les rsultats quauraient connus les participants un programme si leditprogramme navait pas exist. La partie 2 du manuel est consacre aux principalemthodes utilises pour constituer des groupes de comparaison adquats.

La question fondamentale de lvaluation dimpact ( savoirquel est limpact ouleffet causal dun programme sur un rsultat donn ? ) peut tre applique de nom-breux contextes. Par exemple, quel est limpact de loctroi de bourses sur la scolarisation et les rsultats acadmiques ? Quel est limpact sur laccs aux soins de sande la sous-traitance de ces services des prestataires privs ? Quel est limpact deremplacer des sols en terre battue par des sols en ciment sur la sant des enfants ?Lamlioration de ltat des routes permet-elle un meilleur accs au march du tra-

vail et une augmentation des revenus des mnages, et si tel est le cas, quel degrLa taille des classes a-t-elle un impact sur les rsultats scolaires des tudiants et, soui, dans quelle mesure ? Quelle est leffi cacit des campagnes de publipostage reltivement des formations pratiques lorsquil sagit daugmenter lutilisation demoustiquaires dans les zones affectes par le paludisme ?

Lvaluation dimpact pour les dcisions politiques

Les valuations dimpact permettent dclairer les responsables politiques lorsquilprennent plusieurs types de dcisions : interruption des programmes ineffi caces,expansion des interventions prouves, ajustement des bnces, slectionentre plusieurs options de conception de programmes. Pour tre effi caces, les valuations doivent tre utilises de manire slective pour rpondre aux questions depolitique publique les plus importantes. Elles savrent particulirement utiles dansle cadre des programmes pilotes qui prouvent des approches nouvelles et promet-teuses nayant pas encore fait leurs preuves. Lvaluation du programme Progresa/Oportunidades au Mexique prsente dans lencadr 1.1 a t trs inuente, non seulement du fait du caractre novateur du programme, mais aussi parce quelle a fourndes preuves ables et solides qui ne pouvaient tre ignores dans les prises de dcision ultrieures. Ladoption et llargissement du programme ont t largementinuencs par les rsultats de lvaluation. Aujourdhui, le programme Oportuni

dades bncie prs dun Mexicain sur quatre et forme le cur de la stratgie delutte contre la pauvret du Mexique.Les valuations dimpact peuvent servir analyser diffrents types de questions de

politique publique. Dans leur forme lmentaire, elles permettent de tester leffi cacitdun programme donn. Autrement dit, elles rpondent la question suivante :un programme donn est-il effi cace en comparaison labsence de ce programme ? Comme nous

Concept cl : La questionfondamentale delvaluation dimpactpeut tre formuleainsi : quel est limpact(ou leffet causal) dun

programme sur unrsultat donn ?


27/256

Pourquoi valuer ? 9

le verrons dans la partie 2, ce type dvaluation dimpact estime leffi cacit du pro-gramme en comparant un groupe de traitement qui a bnci dun projet, dun pro-gramme ou dune politique avec un groupe de comparaison qui ny a pas particip.

Outre la rponse la question fondamentale dvaluation, les valuations peuventaussi servir mesurer leffi cacit de diverses options de mise en uvre dun pro-gramme, autrement dit de rpondre la question suivante :lorsquun programme peuttre mis en uvre de plusieurs manires, y en a-t-il une qui est plus effi cace que les autres ? Dans ce type dvaluation, deux ou plusieurs options de concevoir un mme pro-gramme sont compares, de faon dterminer le meilleur moyen datteindre unobjectif particulier. Ces diffrentes options sont souvent appeles branches de traite-ment . Par exemple, quand la taille du bnce ncessaire pour rendre un programmeeffi cace nest pas connue (20 heures ou 80 heures de formation ?), les valuations dim-pact peuvent permettre destimer limpact relatif de traitements dintensits diff-rentes (voir exemple de lencadr 1.3). Les valuations dimpact destines testerdiffrentes options de traitement incluent gnralement un groupe de traitement parbranche, ainsi quun groupe de comparaison pur qui, lui, nest pas soumis linter-

vention. Les valuations dimpact peuvent tre utiles pour tester des innovations oudes alternatives de mise en uvre dun programme. Par exemple, il est possible demettre en uvre plusieurs formes de campagnes de sensibilisation an de dterminerlapproche la plus effi cace : un groupe est slectionn pour recevoir une campagne depublipostage tandis que dautres groupes recevront des visites domicile.

Encadr 1.3 : Lvaluation au service dune meilleure conceptiondes programmesMalnutrition et dveloppement cognitif en Colombie

Au dbut des annes 70, la Human EcologyResearch Station lance, en collaboration avecle ministre colombien de lducation, unprogramme destin lutter contre la malnutritioninfantile dans la ville de Cali en fournissant dessoins de sant, des activits dducation, de lanourriture et des complments alimentaires.Dans le cadre de la phase pilote, une quipedvaluateurs est charge de dterminer1) le temps ncessaire pour quun tel programmerduise la malnutrition chez les enfants dgeprscolaire issus de familles faibles revenus et2) si les interventions peuvent aussi permettredes amliorations sur le plan du dveloppementcognitif.

Le programme est ouvert toutes lesfamilles ligibles, mais durant la phase pilote

les valuateurs comparent des groupessimilaires denfants ayant reu le traitement surdes dures diffrentes. Les valuateurscommencent par slectionner un groupe ciblede 333 enfants souffrant de malnutrition. Cesenfants sont ensuite classs en 20 secteursselon leur lieu dhabitation, et chaque secteurse voit assign, de manire alatoire, lun desquatre groupes de traitement. La seulediffrence entre les groupes est le momentauquel ils commencent recevoir le traitementet, de ce fait, la dure pendant laquelle ilsparticipent au programme. Le groupe 4commence le premier. Il est donc expos autraitement le plus longtemps. Suivent lesgroupes 3, puis 2, puis 1. Le traitement consisteen six heures quotidiennes de soins de sant

(suite)


28/256


Dcider quand valuer

Tous les programmes ne ncessitent pas une valuation dimpact. Ces valuationspeuvent tre coteuses et le budget prvu pour les valuations doit tre utilis demanire stratgique. Si vous lancez un nouveau programme ou si vous envisagezllargissement dun programme en vigueur et que vous vous demandez si une valuation dimpact est ncessaire, quelques questions peuvent vous aider trancher.

La premire question se poser est la suivante :quels sont les enjeux de ce programme ? La rponse dpend la fois des montants engags et du nombre depersonnes qui sont ou seront touches par le programme. Do les questionssuivantes : Le programme ncessite-t-il ou ncessitera-t-il une grande partie du budgetdisponible ? et Le programme touche-t-il ou touchera-t-il un nombre important de personnes ? Sil se trouve que le programme ne consommera pas un budget impor-tant ou quil ne concernera quun nombre limit de personnes, une valuation nespas forcement utile. Par exemple, pour un programme daide et de soutien dlivrspar des volontaires des patients hospitaliss, le budget et le nombre de bn-ciaires peuvent tre tels quune valuation dimpact ne se justie pas. linverspour une rforme des salaires de lensemble des enseignants du primaire dun paysles enjeux sont nettement plus importants.

Si vous considrez que les enjeux sont de taille, la question qui se pose alors est dsavoir sil existe des donnes permettant de montrer que le programme donne des

rsultats. En particulier, avez-vous une ide de lampleur de limpact du programme Existe-t-il des donnes concernant un pays et un contexte similaires ? Sil nexistaucune information sur limpact potentiel du programme envisag, vous pouvezcommencer par une phase pilote avec une valuation dimpact. En revanche, si voudisposez dj de donnes sur une situation similaire, lvaluation dimpact ne se jus

et dactivits ducatives, et en la provision denourriture et de complments alimentaires. Au

cours de la priode de mise en uvre duprogramme, les valuateurs procdent intervalles rguliers des tests cognitifs poursuivre les progrs des enfants de chacun desquatre groupes.

Les valuateurs dcouvrent que les enfantsayant particip au programme le plus longtempssont ceux qui enregistrent les amliorations

cognitives les plus importantes. Au testStanford-Binet, qui value la diffrence entre

lge mental et lge chronologique, les enfantsdu groupe 4 ont une diffrence moyenne de-5 mois, contre -15 mois pour le groupe 1.

Cet exemple montre que les responsablesdu programme et les dcideurs politiquespeuvent recourir lvaluation de plusieursbranches de traitement pour dterminerlalternative la plus efcace.

Source : McKay et al. 1978.

Encadr 1.3 suite


29/256

Pourquoi valuer ? 11

tiera probablement que si elle permet de rpondre une nouvelle question de poli-tique importante. Ce sera par exemple le cas si votre programme contient desinnovations importantes qui nont encore jamais t prouves.

Pour justier la mobilisation des ressources techniques et nancires nces-saires la ralisation dune valuation dimpact de qualit, le programme valuerdoit tre : Novateur . Il permet de tester une nouvelle approche prometteuse.

Reproductible . Le programme peut tre largi et reproduit dans un autre contexte.

Stratgiquement pertinent . Le programme est une initiative phare ; il ncessitedes ressources importantes ; il couvre ou couvrira un grand nombre de bn-ciaires ; ou encore il permettrait de faire des conomies importantes.

Non test auparavant . Leffi cacit du programme est mconnue soit au niveau in-ternational, soit dans un contexte particulier.

Inuent . Les rsultats du programme permettront dorienter des dcisions de po-litique cls.

Analyse du rapport cot-efcacit

Lorsque les rsultats de lvaluation dimpact sont disponibles, ils peuvent trecombins aux donnes sur les cots du programme pour traiter deux autres typesde questions. Tout dabord, pour les valuations dimpact les plus lmentaires, lefait de prendre en compte les cots permettra de raliser une analyse cot-bn-ce et de rpondre la question suivante :quel est le rapport cot-bnce dun programme donn ? Lanalyse cot-bnce permet destimer les bnces totauxesprs du programme par rapport ses cots totaux. Lobjectif est de dterminerlensemble des cots et des bnces montaires dun programme et de voir ainsisi les bnces sont suprieurs aux cots.

Dans un monde parfait, une analyse cot-bnce fonde sur les rsultats concretsde lvaluation dimpact pourrait tre ralise non seulement pour un programmedonn, mais aussi pour toute une srie de programmes ou dalternatives de conceptiondun mme programme. Les dcideurs politiques seraient ainsi en mesure de choisiren toute certitude le programme ou lapproche prsentant le meilleur rapport cot-bnce pour atteindre un objectif donn. Lorsquune valuation dimpact porte surdes alternatives de mise en uvre dun mme programme, la prise en compte des

informations de cots permet de rpondre une seconde question :quels sont les rap- ports cot-effi cacit des diverses approches ? Lanalyse cot-effi cacit compare la per-formance relative de deux ou plusieurs programmes ou alternatives de conceptiondun programme atteindre un mme rsultat.

Quil sagisse danalyse cot-bnce ou de rapport cot-effi cacit, lvaluationdimpact permet destimer les bnces et leffi cacit, tandis que les informationsde cots sont fournies par lanalyse des cots. Le prsent manuel porte sur lva-

Concept cl : Lanalyse cot-bncepermet destimer lesbnces totauxesprs du programme

par rapport aux cotstotaux prvus.

Concept cl : Lanalyse du rapportcot-efcacitcompare la perfor-

mance relative de deuxou plusieursprogrammes oualternatives deconception dunprogramme atteindreun mme rsultat.


30/256


luation dimpact et ne traite pas en dtail des questions relatives la collecte desinformations sur les cots ou lanalyse cot-bnce2. Il est toutefois primordialde disposer des informations relatives aux cots du projet, du programme ou de lapolitique qui fait lobjet de lvaluation. Lorsque des informations sur limpact eles cots de divers programmes sont disponibles, le rapport cot-effi cacit permetde dterminer les investissements les plus rentables et dorienter ainsi les dci-sions des responsables. Lencadr 1.4 illustre comment les valuations dimpacpeuvent servir dterminer les programmes les plus rentables et mieux allouerles ressources.

Encadr 1.4 : valuation du rapport cot-efcacitComparaison de stratgies pour augmenter la frquentation scolaire au Kenya

En valuant plusieurs programmes dans un

mme contexte, il est possible de comparerle rapport cot-efcacit de diffrentes approchesvisant amliorer un rsultat donn, par exemplela frquentation scolaire. Au Kenya, lorganisationnon gouvernementale International Child SupportAfrica (ICS Africa) met en uvre toute une sriedinterventions en milieu scolaire qui compren-nent un traitement contre les vers intestinauxainsi que la fourniture gratuite duniformes et derepas scolaires. Chacune de ces interventions faitlobjet dune valuation alatoire et duneanalyse cot-bnce ; les comparaisons entre

les diffrentes interventions gnrent des infor-mations intressantes sur la meilleure maniredaugmenter la frquentation scolaire.

Un programme proposant des mdicamentscontre les vers intestinaux aux enfants scolari-ss entrane une hausse de la frquentation delordre de 0,14 an par enfant trait, pour un cotestim 0,49 dollar par enfant. Ceci reprsenteenviron 3,50 dollars par anne supplmentairede scolarisation, compte tenu des externalitssur les enfants et les adultes ne frquentant paslcole, mais vivant dans les communauts quibncient indirectement dune diminution dela transmission des vers.

Une seconde intervention, le Child Spon-sorship Program, permet de rduire le cot descolarisation en fournissant des uniformes sco-

laires aux enfants de sept coles slectionnes

de manire alatoire. Le taux dabandon chutedans les coles bnciant de lintervention ;aprs cinq ans, il est estim que le programmea permis daugmenter le nombre dannes descolarisation de 17 % en moyenne. Toutefois,mme dans lhypothse la plus optimiste, lecot de cette augmentation de la frquentationscolaire par la fourniture dun uniforme scolaireressort environ 99 dollars par anne suppl-mentaire de scolarisation.

Enn, un programme consistant fournirgratuitement un petit djeuner aux enfants de25 coles maternelles slectionnes alatoire-ment entrane une augmentation de 30 % de lafrquentation scolaire pour un cot estim 36 dollars par anne de scolarisation suppl-mentaire. Les rsultats aux examens augmen-tent aussi, denviron 0,4 au niveau de lcart-type,lorsque lenseignant est bien form avant le lan-cement du programme.

Bien que des interventions similaires puis-sent cibler diffrents rsultats (par exemple uneamlioration de ltat de sant grce aux vermi-fuges ou de meilleurs rsultats scolaires parall-lement la hausse de la frquentation scolaire),la comparaison de diverses valuations menesdans un mme contexte permet de dterminerles programmes qui ont atteint lobjectif vis aumeilleur cot

Source : Kremer et Miguel 2004 ; Kremer, Moulin et Namunyu 2003 ; Poverty Action Lab 2005 ; Vermeersch etKremer 2005.


31/256


valuation prospective et valuation rtrospective

Les valuations dimpact peuvent tre regroupes en deux catgories : les valua-tions prospectives et les valuations rtrospectives. Les valuations prospectivessont prvues ds la conception du programme et font partie intgrante de sa mise enuvre. Les donnes de lenqute de base (ou enqute de rfrence) sont collectesavant la mise en place du programme tant pour le groupe de traitement que pour legroupe de comparaison. Les valuations rtrospectives portent, quant elles, surlimpact du programme aprs la mise en uvre de celui-ci, les groupes de traitementet de comparaison tant dnisex-post .

En gnral, les valuations dimpact prospectives donnent des rsultats plussolides et plus ables, et ce pour trois raisons.

En premier lieu, la collecte pralable de donnes de base (ou enqute de rf-rence) permet dassurer la mesure des rsultats ltude. Les donnes de basefournissent des informations sur les bnciaires et les groupes de comparaisonavant la mise en uvre du programme et sont donc primordiales pour connatre lasituation avant le programme. Une enqute de rfrence couvrant le groupe detraitement et le groupe de comparaison peut tre analyse pour vrier que cesgroupes sont bien similaires. Elle peut par ailleurs permettre dvaluer leffi cacitdu ciblage, autrement dit dtablir si le programme touche effectivement les bn-ciaires viss.

En deuxime lieu, la dnition de mesures pour juger du succs dun programmeds sa conception permet daxer non seulement lvaluation, mais aussi le pro-gramme sur les rsultats esprs. Comme nous le verrons, les valuations dimpactdcoulent dune thorie du changement ou chane de rsultats. La conception dunevaluation dimpact contribue mieux dnir les objectifs du programme, en parti-culier parce quelle exige dtablir des mesures pour juger de leffi cacit du pro-gramme. Les dcideurs doivent dnir des questions et des objectifs dvaluation

clairs de manire ce que les rsultats soient des plus pertinents. Le soutien totaldes dcideurs est en effet une condition pralable de la ralisation dune valua-tion ; une valuation dimpact ne doit pas tre engage si les dcideurs ne sont pasconvaincus de sa lgitimit et de son importance pour clairer les dcisions futures.

La troisime raison est la plus importante : dans une valuation prospective, lesgroupes de traitement et de comparaison sont dnis avant lentre en vigueur duprogramme. Comme nous lexpliquerons plus en dtail dans les chapitres suivants,de nombreuses options existent pour raliser des valuations valides si celles-ci sontprvues ds le dpart et informes par la mise en uvre du projet. Comme nous lemontrons dans les parties 2 et 3, si lvaluation prospective est bien conue, une esti-mation valide du contrefactuel est possible pour tout programme suivant des rglesdassignation claires et transparentes. En bref, lvaluation prospective a demeilleures chances de gnrer une estimation valide du contrefactuel. Diffrentesmanires dlaborer un contrefactuel valide peuvent tre considres ds la concep-tion du programme, et la mthodologie dvaluation dimpact peut ainsi tre totale-ment aligne sur les rgles oprationnelles du programme, son droulement ou sonlargissement.

Concept cl : Les valuationsprospectives sontlabores ds laconception du

programme et fontpartie intgrante de lamise en uvre duprogramme.


32/256


linverse, dans les valuations rtrospectives, lvaluateur dispose souvent de speu dinformations quil lui est diffi cile de dterminer si le programme a t mis euvre avec succs et si les participants y ont effectivement pris part. En effet, pou

de nombreux programmes, il nexiste pas de donnes de base lorsque lvaluationnest pas intgre au projet ds le dpart. Une fois le programme lanc, il est trop tarpour collecter les donnes de base ncessaires.

Lvaluation de programmes mis en uvre par le pass ne peut se faire que par unevaluation rtrospective se fondant sur des donnes existantes. Dans ce cas, il est gnralement beaucoup plus diffi cile de dnir un contrefactuel valide. Lvaluationdpend de lapplication des rgles oprationnelles prcises de distribution des bn-ces. Elle est galement tributaire de la disponibilit des donnes pour les groupes dtraitement et de comparaison tant avant quaprs lentre en vigueur du programme.Par consquent, la faisabilit dune valuation rtrospective dpend du contexte etnest jamais garantie. Mme lorsquelle est faisable, lvaluation rtrospective reposouvent sur des mthodes quasi-exprimentales et des hypothses plus fortes ;les rsultats sont donc plus discutables.

tudes defcacit pilotes et tudes defcacit lchelle

Le principal rle dune valuation dimpact est de produire des preuves quant lefcacit dun programme lusage des dcideurs politiques, des responsables de programme, de la socit civile ainsi que de toute autre partie prenante. Les rsultatsdune valuation dimpact sont particulirement utiles lorsque les conclusions peu-

vent tre appliques une population plus large. La question de la gnralisation deconclusions (ou validit externe dans le jargon des mthodes de recherche) escentrale pour les dcideurs, car elle permet dtablir si les rsultats obtenus par lvaluation peuvent sappliquer des groupes autres que ceux qui ont t tudis,ce qui est primordial si un largissement du programme est envisag.

Les premires valuations dimpact de programmes de dveloppement consti-tuaient souvent destudes deffi cacit pilotes menes dans des conditions trs parti-culires. Malheureusement, les rsultats de ces tudes ne pouvaient que rarementtre gnraliss au-del du contexte de lvaluation. Les tudes deffi cacit pilotesont gnralement ralises dans des conditions trs particulires et avec une assis-tance technique importante tout au long de la mise en uvre du programme. Cestudes sont souvent mises en uvre pour valider un concept ou tester la viabilitdun nouveau programme. Si le programme ne gnre pas limpact prvu dans leconditions de ltude, qui sont souvent bien matrises, il a peu de chances de donnedes rsultats sil est appliqu dans des conditions normales. Les tudes pilotes songnralement de petite envergure et mises en uvre dans des conditions troite-


33/256


ment contrles ; limpact quelles permettent de mettre en vidence risque de nepas tre reprsentatif de limpact dun projet similaire ralis plus grande chelleet dans des conditions normales. Par exemple, un projet pilote de mise en vigueur de

nouveaux protocoles mdicaux peut donner de bons rsultats dans un hpital dotdexcellents gestionnaires et dun bon personnel mdical, mais se rvler totalementineffi cace dans un hpital moyen, si les gestionnaires sont moins attentifs et lesmembres du personnel moins nombreux. En outre, le rapport cot-bnce sera dif-frent, car les cots xes et les conomies dchelle risquent de ne pas tre pris encompte dans ltude pilote vu lenvergure limite du projet. Les tudes pilotes peu-vent certes tre utiles pour tester une approche novatrice, mais leurs rsultats ontgnralement une validit externe limite et ne retent pas toujours les conditionsrelles auxquelles les dcideurs sont habituellement confronts.

linverse, lestudes deffi cacit lchelle caractrisent les interventions qui ontlieu dans des conditions normales et sont mises en uvre par des voies habituelles.Lorsque les tudes deffi cacit lchelle sont bien conues et bien ralises, lesrsultats peuvent tre considrs comme valides aussi bien pour lchantillon dva-luation que pour dautres bnciaires potentiels hors de lchantillon. La validitexterne est primordiale pour les dcideurs, car cest elle qui dnit sil sera possibleou non dutiliser les rsultats de lvaluation pour juger de lopportunit dtendre leprogramme au-del de lchantillon dvaluation.

Combiner les sources dinformation pour valuer tantle pourquoi que le comment

Les valuations dimpact ralises sans tenir compte de diverses sources dinfor-mations sont vulnrables tant sur le plan technique que sur le plan de leur effi ca-cit potentielle. Sans informations sur la nature et le contenu du programmepermettant de replacer les rsultats de lvaluation dans leur contexte, les dci-deurs ne pourront pas dterminer les raisons pour lesquelles un rsultat a tatteint et non un autre. Si les valuations dimpact donnent des estimations rela-tivement ables des effets causaux pour un programme, elles ne sont gnrale-ment pas conues pour permettre danalyser les aspects relatifs leffi cience de lamise en uvre du programme. De plus, elles doivent tre en adquation avec laralisation du programme et doivent, en consquence, tenir compte de la manire,du moment et du lieu o le programme valu est excut.

Des donnes qualitatives, des donnes de suivi ainsi que des valuations de pro-cessus sont ncessaires pour documenter la mise en uvre dun programme defaon clairer et interprter les rsultats des valuations dimpact. cet gard, lesvaluations dimpact et les autres outils dvaluation sont complmentaires les unsdes autres plutt que concurrents.


34/256


Par exemple, les autorits dune province peuvent dcider le versement deprimes aux cliniques rurales qui russissent augmenter le pourcentage desnaissances ayant lieu en prsence dun professionnel de la sant. Si lvaluationmontre quaucun changement na t constat au niveau du pourcentage desnaissances en cliniques, plusieurs explications peuvent tre avances. Il est toutdabord possible que le personnel des cliniques concernes nait pas t suffi samment inform des primes ou quil nait pas compris les rgles du programmeDans ce cas, les autorits provinciales peuvent lancer une campagne dinformation et dducation lattention des centres de sant. Il se peut aussi quunmanque dquipement ou des coupures dlectricit aient empch les cliniquesdadmettre plus de patients. Dans ce cas, il peut savrer ncessaire de renforcerles quipements et damliorer lapprovisionnement en lectricit. Enn, lesfemmes enceintes en milieu rural peuvent tre rticentes accoucher en cli-nique et prfrer, pour des raisons culturelles, accoucher chez elles, assistesdune sage-femme. Si tel est le cas, il sera sans doute plus effi cace de sattaquaux barrires auxquelles se heurtent les femmes que de distribuer des primes

aux cliniques. Une bonne valuation dimpact permettra aux autorits de dter-miner si lvolution du taux des naissances en prsence dun professionnel de lasant est le rsultat ou non de la distribution des primes. Des travaux compl-mentaires seront toutefois ncessaires pour dterminer si le programme sestdroul comme prvu et quelles en sont les pices manquantes. Dans notreexemple, les valuateurs peuvent complter leur tude dimpact en interrogeantle personnel de sant des cliniques pour valuer leur connaissance du pro-gramme, en examinant les quipements dont disposent les cliniques, en menantdes discussions de groupe avec des femmes enceintes pour comprendre leursprfrences et leurs rticences, et en examinant lensemble des donnes dispo-nibles sur laccs aux centres de sant en milieu rural.

Utiliser des donnes qualitatives

Les donnes qualitatives constituent un complment important aux valuationsdimpact quantitatives, car elles peuvent donner des indications additionnelles sur laperformance dun programme. Les valuations qui combinent lanalyse quantitativet lanalyse qualitative sont dites mthodes mixtes (Bamberger, Rao et Woocock, 2010). Les tudes qualitatives ont recours des groupes focaux et des entrevues avec certains bnciaires et dautres personnes susceptibles de fournir desinformations (Rao et Woolcock, 2003). Bien que les points de vue et opinions issude ces entretiens et des groupes focaux ne puissent tre considrs comme repr-

sentatifs de lopinion de lensemble des bnciaires du programme, ils sont particulirement utiles au cours des trois phases de lvaluation dimpact :

1. Lors de la conception de lvaluation dimpact, les valuateurs peuvent avorecours des groupes focaux et interroger des personnes cls pour laborer des


35/256


hypothses sur la manire et les raisons de la russite du programme, le caschant, et clarier les questions de recherche auxquelles il sagira de rpondrelors de lvaluation dimpact quantitative.

2. Au stade intermdiaire, soit avant que les rsultats de lvaluation quantitative

ne soient connus, lanalyse qualitative peut permettre de fournir aux dcideursun aperu de lvolution du programme.

3. Au stade de lanalyse, les valuateurs peuvent recourir aux mthodes qualita-tives pour replacer les donnes quantitatives dans leur contexte et trouver desexplications, pour mieux tudier les cas particuliers de russite ou dchec, etpour formuler des explications systmatiques de la performance du programmetablie par les rsultats quantitatifs. En ce sens, lanalyse qualitative peutcontribuer expliquer certains rsultats observs au terme de lanalyse quanti-tative et permettre de mieux comprendre ce qui sest pass dans le cadre duprogramme (Bamberger, Rao et Woolcock, 2010).

Utiliser des donnes de suivi et des valuations de processus

Lesdonnes de suivi sont galement particulirement prcieuses pour lvaluationdimpact. Elles permettent en effet de recenser les participants au programme,de dterminer la chronologie de dveloppement du programme ou la maniredont les ressources sont dpenses, ainsi que dune manire plus gnrale de vri-er si les activits sont mises en uvre comme prvu. Ces informations sont trsimportantes pour la ralisation de lvaluation, pour sassurer par exemple que lesdonnes de lenqute de rfrence sont bien collectes avant lentre en vigueur duprogramme ou encore pour vrier ladhrence lassignation aux groupes

de traitement et de comparaison. En outre, le systme de suivi peut fournir desinformations sur le cot de la mise en uvre du programme, particulirementutiles pour lanalyse cot-bnce.

Pour leur part, lesvaluations de processus mettent laccent sur lexcution etle droulement du programme et visent vrier que le processus est conformeaux prvisions initiales ; elles fournissent des informations sur son dveloppementet son droulement. Ces valuations peuvent gnralement tre effectues assezrapidement et un cot raisonnable. Dans le cadre des projets pilotes et des phasesinitiales de programmes, elles peuvent constituer des sources dinformations int-ressantes pour amliorer lexcution du programme.

Notes

1. Voir Fiszbein et Schady, 2009, pour un aperu des programmes de TMC et lerle inuent du programme Progresa/Oportunidades suite lvaluationdimpact dont il a fait lobjet


36/256

18 Impact Evaluation in Practice

2. Pour de plus amples informations sur lanalyse cot-bnce, voir Belli et al.2001 ; Boardman et al. 2001 ; Brent 1996 ; ou Zerbe et Dively 1994.

RfrencesBamberger, Michael, Vijayendra Rao et Michael Woolcock 2010. Using Mixed

Methods in Monitoring and Evaluation: Experiences from InternationalDevelopment. Document de travail consacr la recherchesur les politiques 5245, Banque mondiale, Washington, DC.

Behrman, Jere R. et John Hoddinott. 2001. An Evaluation of the Impact ofPROGRESA on Pre-school Child Height. FCND Briefs 104, InternationalFood Policy Research Institute, Washington, DC.

Belli, Pedro, Jock Anderson, Howard Barnum, John Dixon et Jee-Peng Tan.2001. Handbook of Economic Analysis of Investment Operations .Washington DC : Banque mondiale.

Boardman, Anthony, Aidan Vining, David Greenberg et David Weimer. 2001.Cost-Benet Analysis: Concepts and Practice . New Jersey: Prentice Hall.

Brent, Robert. 1996. Applied Cost-Benet Analysis . Angleterre : Edward Elgar.Fiszbein, Ariel, et Norbert Schady. 2009.Conditional Cash Transfer, Reducing

Present and Future Poverty . World Bank Policy Research Report. Banquemondiale, Washington, DC.

Gertler, Paul J. 2004. Do Conditional Cash Transfers Improve Child Health?Evidence from PROGRESAs Control Randomized Experiment. American Economic Review 94 (2) : 33641.

Gertler, Paul J. et John W. Molyneaux. 1994. How Economic Developmentand Family Planning Programs Combined to Reduce Indonesian Fertility. Demography 31 (1): 3363.

. 2000. The Impact of Targeted Family Planning Programs in Indonesia. Population and Development Review 26 : 6185.

Imas, Linda G. M. et Ray C. Rist. 2009.The Road to Results: Designingand Conducting Effective Development Evaluations . Washington DC :Banque mondiale.

Kremer, Michael et Edward Miguel. 2004. Worms: Identifying Impacts onEducation and Health in the Presence of Treatment Externalities. Econometrica 72 (1) : 159217.

Kremer, Michael, Sylvie Moulin et Robert Namunyu. 2003. Decentralization:A Cautionary Tale. Poverty Action Lab Paper 10, Massachusetts Institute ofTechnology, Cambridge, MA.

Levy, Santiago et Evelyne Rodrguez. 2005.Sin Herencia de Pobreza: El Programa Progresa-Oportunidades de Mxico . Washington DC : Banque interamricainede dveloppement.

McKay, Harrison, Arlene McKay, Leonardo Siniestra, Hernando Gomez etPascuala Lloreda. 1978. Improving Cognitive Ability in Chronically DepriveChildren. Science 200 (21) : 27078.


37/256


Poverty Action Lab. 2005. Primary Education for All. Fighting Poverty:What Works? N1 (automne) : n.p. http://www.povertyactionlab.org.

Rao, Vijayendra et Michael Woolcock. 2003. Integrating Qualitative andQuantitative Approaches in Program Evaluation. In The Impact of Economic Policies on Poverty and Income Distribution: Evaluation Techniques and Tools ,d. F. J. Bourguignon and L. Pereira da Silva, 16590. New York: OxfordUniversity Press.

Schultz, Paul. 2004. School Subsidies for the Poor: Evaluating the MexicanProgresa Poverty Program. Journal of Development Economics 74 (1) :199250.

Skouas, Emmanuel et Bonnie McClafferty. 2001. Is Progresa Working?Summary of the Results of an Evaluation by IFPRI. Institut internationalde recherche sur les politiques alimentaires, Washington, DC.

Vermeersch, Christel et Michael Kremer. 2005. School Meals, EducationalAchievement and School Competition: Evidence from a Randomized Evaluation. Document de travail consacr la recherche sur les politiques 3523,Banque mondiale, Washington, DC.

Zerbe, Richard et Dwight Dively. 1994. Benet Cost Analysis in Theory and Practice . New York : Harper Collins Publishing.


38/256


39/256

21

Formulation des questionsdvaluation

CHAPITRE 2

Le prsent chapitre sattle aux premires tapes de llaboration dune valuation.Ces tapes comprennent la dnition du type de questions auxquelles lvaluationrpond, la construction dune thorie du changement montrant comment le projetest cens atteindre les rsultats esprs, la ralisation dune chane de rsultats, laformulation des hypothses qui seront testes par lvaluation et la slection din-dicateurs de performance.

Toutes ces tapes contribuent formuler une question dvaluation. Il est pri-mordial quelles soient considres ds la conception du programme, en troitecollaboration avec les parties prenantes, y compris les dcideurs et responsablesdu programme, dans loptique dobtenir une vision commune des objectifs et de lamanire de les atteindre. Un tel dialogue permet de forger un consensus sur lesprincipales questions auxquelles lvaluation rpondra et de renforcer les liensentre lvaluation, la mise en uvre du programme et llaboration des politiquespubliques. Ces tapes sont aussi essentielles pour tablir la transparence et la sp-cicit ncessaires la ralisation dune bonne valuation dimpact, tout comme

elles contribuent en parallle la conception et lexcution dun programme effi -cace. Chaque tape, de la formulation prcise dobjectifs et de questions aux rsul-tats esprs en passant par la formulation de la thorie du changement, est dniedans ce chapitre et articule au sein dune forme de modle logique, la chanede rsultats.


40/256


Types de questions dvaluation

Toute valuation dbute par la formulation dune question de recherche propre lapolitique ltude. Le travail dvaluation consiste ensuite gnrer des argumentscrdibles pour rpondre cette question. Comme nous lexpliquerons plus tard, laquestion fondamentale dune valuation dimpact peut tre formule ainsi : quel estlimpact (ou effet causal) dun programme sur un rsultat donn ? Pour lun desexemples de la partie 2 de ce livre, la question dtude sarticule comme suit : quelest limpact dun programme de subvention de lassurance maladie sur les dpenses desant des mnages ? La question peut galement porter sur lvaluation de plusieursoptions de conception des programmes, par exemple : quelle combinaison de campagnes de publipostage et de sances de conseils aux familles donne les meilleursrsultats lorsquil sagit dencourager lallaitement maternel ? La formulation dunequestion dvaluation claire et pertinente constitue le point de dpart de toute va-luation effi cace.

Thories du changement

Une thorie du changement est une description de la manire dont une interventionest cense produire les rsultats esprs. Elle dcrit la logique causale expliquant comment et pourquoi un projet, un programme ou une politique atteindra les rsultatsviss. Lexistence dune thorie du changement est fondamentale pour les valuationdimpact tant donn limportance quelles portent aux relations de cause effet. Lthorie du changement est lune des premires tapes de la conception dune valuation, car elle contribue la formulation des questions de recherche.

Les thories du changement dcrivent une srie dvnements conduisant unrsultat ; elles noncent les conditions et les hypothses ncessaires pour que deschangements se produisent ; elles mettent en vidence la logique causalesous-jacente au programme et inscrivent les interventions dans cette logique cau-sale. Un travail conjoint entre les diverses parties prenantes pour dnir une tho-rie du changement est souvent utile pour clarier et amliorer llaboration duprogramme. Ceci est particulirement important dans le cas des programmes quivisent modier des comportements : les thories du changement peuvent aider dcomposer les intrants et les activits constituant les interventions, les extrantsquelles produisent et les rsultats qui dcoulent des changements de comporte-ment esprs des bnciaires.

Le dbut du processus de conception du programme constitue le meilleurmoment pour formuler une thorie du changement ; les parties prenantes peuventalors se runir pour laborer une vision commune du programme, de ses objectifset des moyens mettre en uvre pour les atteindre. Les responsables peuventensuite implmenter le programme sur la base dune comprhension commune deson fonctionnement et de ses objectifs.


41/256

Formulation des questions dvaluation 23

Par ailleurs, il est important que les concepteurs du programme passent enrevue la littrature au sujet dinterventions ou expriences similaires, et quilsvrient soigneusement le contexte et les hypothses qui sous-tendent la logiquecausale de la thorie du changement adopte. Par exemple, pour le projet des solsen ciment au Mexique (voir encadr 2.1), la littrature existante permet de com-prendre les mcanismes de transmission des parasites et la manire dont ils provo-quent des diarrhes chez les enfants.

Encadr 2.1 : Thorie du changementDes sols en ciment font le bonheur des Mexicains

Dans le cadre de leur valuation du Projet PisoFirme ou sol en dur , Cattaneo et al. (2009)tudient limpact dune amlioration de lhabi-tat sur la sant et le bien-tre. Le projet, toutcomme lvaluation, repose sur une thorie duchangement trs claire.

Lobjectif du Projet Piso Firme est damlio-rer le niveau de vie, notamment ltat de sant,de groupes vulnrables vivant dans des zonespauvres forte densit de population. Le pro-gramme a dabord t lanc dans le nord dupays, dans ltat de Coahuila, sur la base duneapprciation du gouverneur Enrique Martnezet son quipe de campagne.

La chane de rsultats du programme estclaire. Une enqute porte--porte est effectueauprs des mnages ligibles, et les mnagesreoivent lquivalent de 50 m2 de ciment. Lesautorits assurent lachat et la livraison duciment tandis que les mnages et les volon-taires des communauts fournissent la main-duvre. Lextrant du programme est laconstruction, en une journe environ, dun solen ciment. Les rsultats esprs de cette inter-vention sont, notamment, une amliorationde lhygine, de la sant et du bien-tre des

bnciaires.La logique sous-jacente cette chane de

rsultats est que les sols en terre battue sontdes vecteurs de transmission des parasites,

car ils sont plus difciles maintenir propres.Les parasites vivent et se reproduisent dans lesexcrments ; sont introduits dans les logementspar les animaux, les enfants ou les chaussures,et peuvent tre ingrs. Les donnes montrentque les enfants en bas ge vivant dans des mai-sons au sol en terre battue ont plus de risquesdtre contamins par des parasites intestinauxqui peuvent entraner diarrhes et malnutrition,elles-mmes responsables de retards dans ledveloppement cognitif ou de dcs. Les solsen ciment permettent dinterrompre la transmis-sion parasitaire. Ils permettent en outre demieux contrler la temprature et sont plus

esthtiques.Ces rsultats esprs contribuent formuler

les questions de recherche pour lvaluation effec-tue par Cattaneo et ses collaborateurs. Ils tes-tent lhypothse que le remplacement des solsen terre battue par des sols en dur rduit linci-dence des diarrhes, de la malnutrition et desdciences en oligo-lments. Ils considrentensuite si ces changements entrainent aussi uneamlioration du dveloppement cognitif desenfants en bas ge. Les chercheurs examinentaussi si lintervention amliore le bien-tre des

adultes tel que mesur par le degr de satisfac-tion des personnes lgard de leur habitat et parla baisse du taux de dpression et de stress.

Source : Cattaneo et al. 2009.


42/256


Chane de rsultats

Une thorie du changement peut tre formalise de diffrentes manires, parexemple par des modles thoriques, des modles logiques ou de chanes de rsul

tats1

. Tous ces modles comprennent les lments fondamentaux dune thorie duchangement. En dautres termes, ils articulent tous une chane causale, des conditions et des inuences extrieures, et des hypothses de base. Dans le prsentouvrage, nous allons nous concentrer sur la chane de rsultats. Elle constitue,selon nous, le modle le plus simple et le plus clair pour laborer une thorie duchangement dans le contexte oprationnel des programmes de dveloppement.

La chane de rsultats est une reprsentation logique et plausible de la maniredont une squence dintrants, dactivits et dextrants produits par un projet entreen interaction avec le comportement des bnciaires pour raliser un impactdonn (gure 2.1). Cette chane tablit une logique causale du dbut la n duprojet, depuis la mise disposition des ressources jusquaux objectifs long termeUne chane de rsultats est gnralement compose des lments suivants :

Intrants : ressources dont dispose le projet, y compris le personnel et le budget

Activits : actions entreprises ou travaux raliss pour transformer lesintrants en extrants

Extrants : biens et services tangibles produits par les activits du projet (les extrantssont sous le contrle direct de lagence charge de lexcution du programme)

Rsultats intermdiaires : rsultats susceptibles dtre atteints lorsque la popu-lation bnciaire utilise les extrants du projet (rsultats gnralement atteints court et moyen terme)

Rsultats naux : objectifs naux du projet (ils peuvent subir linuence denombreux facteurs et sont gnralement atteints plus long terme).

Une chane de rsultats comprend trois parties principales :

La mise en uvre : travaux prvus raliss par le projet, comprenant les intrants,les activits et les extrants. Il sagit dlments dont lagence responsable delexcution du programme peut faire un suivi direct dans le but de mesurer laperformance du projet.

Les rsultats : les rsultats esprs comprennent les rsultats intermdiaires etles rsultats naux. Ces rsultats ne sont pas entirement sous le contrle directde lagence responsable de lexcution du programme et sont tributaires des

changements de comportement des bnciaires du programme. Autrement dit,ils dpendent de linteraction entre loffre (mise en uvre) et la demande (bn-ciaires). Ce sont ces rsultats qui font lobjet dune valuation dimpact en vuede mesurer leffi cacit du programme.

Concept cl : La chane de rsultatstablit la squencedintrants, dactivits etdextrants contribuant la ralisation des

rsultats intermdiaireset naux esprs.


43/256

Formulation des questions dvaluation 25

Les hypothses et les risques : Les hypothses et les risques ne sont pas prsentsdans la gure 2.1. Ils comprennent toute information extraite de la littratureexistante qui est pertinente pour la thorie du changement propose, ainsi queles hypothses sur lesquelles elle repose, des rfrences aux rsultats de pro-grammes similaires, les risques qui pourraient remettre en cause les rsultatsesprs et toute stratgie mise en place pour attnuer ces risques.

Prenons lexemple du ministre de lducation dun pays A qui souhaite lancerune nouvelle

impact evaluation in practice; l'évaluation d'impact en pratique

Documents