l'essentiel de l'évaluation · question d’évaluation : liellé de la uestion vaiale...

2020-11-06

1

L'essentiel de l'évaluation

Module 3Une discipline qui s’adapte: les types d’évaluation

Animé par Vénétia Sauvain

Développé par Vénétia Sauvain

Plan de la présentation

1) PARTIE I: De la théorie du changement aux types d’évaluation

2) Période de questions

3) PARTIE II: Des questions à la matrice d’évaluation

4) Période de questions

5) PAUSE (10 min.)

6) Aparté – Échange avec invité

7) Période de questions avec l’invité

8) CONCLUSION

2020-11-06

2

3

SITUONS CE MODULE PAR RAPPORT AU

PRÉCÉDENT

INTRODUCTION

DÉFINITION ÉVALUATION (retenue au 1er module)

« Porter un jugement de valeur sur une intervention en mettant en œuvre un dispositifcapable de fournir des informations scientifiquement valides et socialement légitimessur cette intervention ou sur n’importe laquelle de ses composantes, l’objectif étant defaire en sorte que les différents acteurs concernés, dont les champs de jugement sontparfois différents, soient en mesure de prendre position sur l’intervention pour qu’ilspuissent construire, individuellement ou collectivement, un jugement susceptible de setraduire en actions » (Brousselle et al., 2011, p.52)

4

SITUONS CE MODULE PAR RAPPORT AU PRÉCÉDENT

INTRODUCTION

4

Temporalité et impact

Court terme Moyen terme Long terme

Effets immédiats

Changements sur des capacités, l’accès à ou des processus

Effets intermédiaires

Changements de comportements, de pratiques collectives ou de rendement organisationnel

Impacts

Changements d’état, de condition, changements systémiques (ODD)

Contexte socio-politique et économique

Modéliser les changements

Recherche-action participativeApprendre du changement

Système de mesure partagé et indicateurs communsPremiers indicateurs de performanceSuivre le changement

Évaluation sommative

Évaluation formative

Évaluation développementaleÉvaluer le changement:

les finalités

Source: Boussiki, Rey, Saint-louis, (2019), adapté de Preskill et coll., 2014

2020-11-06

3

5

LES ÉTAPES D’UNE ÉVALUATION

INTRODUCTION

Étape 2Réalisation de

l’évaluation

Étape 3 Présentation et

dissémination des résultats

Étape 1Étude

préparatoire

ÉTUDE PRÉPARATOIRE- Planifier l’évaluation et

définir son ampleur, fixer les questions d’évaluation

- Comprendre l’intervention (sa raison d’être, sa théorie de changement…)

- Élaborer la stratégie d’évaluation (résumée dans la matrice d’évaluation)

RÉALISATION DE L’ÉVALUATION- Collecter les données tel

que prévu dans l’étude préparatoire

- Adapter la stratégie, au besoin

- Faire l’analyse des données récoltées

PRÉSENTATION ET DISSÉMINATION DES RÉSULTATS- Répondre aux questions d’évaluation dans un rapport d’évaluation- Communiquer les résultats aux parties prenantes

6

DE LA THÉORIE DU CHANGEMENT AUX TYPES

D’ÉVALUATION

PARTIE I

S1

2020-11-06

4

7

DES MOMENTS CLÉS ET DES FINALITÉS: RAPPEL

LES TYPES D’ÉVALUATION…

Mise à l’agenda

Choix de l’intervention

Que sait-on du

problème?

Comprendre

les causes du

problème

Analyse du

problème et

des scénarios

Théorie du

changement

Formulation de

l’intervention

Planification et

allocation des

ressources

Mise en œuvre

de l’intervention

Suivi de la mise

en œuvre

Adaptations et

poursuite de la

mise en œuvre

Évaluation des

effets prévus

Mesure du

rendement

Quels

changements?

Désirés et non

désirés

Scénarios des

solutions

PROGRA-

MMATION

MISE EN ŒUVRE

ET SUIVIÉVALUATION

DES EFFETS

DIAGNOSTIC

Documenter,

Évaluer,

Apprendre,

ÉVALUATION SOMMATIVE: porter un

jugement final sur l’intervention « Marche-t-elle » ou pas ? Faut-il la maintenir,

l’étendre ou l’abandonner ?

ÉVALUATION FORMATIVE: améliorer

l’intervention Qu’est-ce que je dois changer pour améliorer

l’intervention? Source: GOLDMAN et PABARI, 2020, p. 17

8

EN FONCTION DU MOMENT


8

INTERVENTION

Évaluation ex-ante ou a

priori

Évaluation ex-post ou a posterioriÉvaluation en

continu

Évaluation à mi parcours ou in itinere

2020-11-06

5

9

RAPPELONS QU’UNE DEMANDE D’ÉVALUATION PEUT ÊTRE

MOTIVÉE PAR DIFFÉRENTES INTENTIONS

INSTRUMENTALE Amélioration des programmes et des politiques

CONCEPTUELLE Meilleure compréhension de la mise en œuvre des politiques sur le terrain

PROCESSUS Engagement des parties prenantes

SYMBOLIQUE Justification de décision déjà prises

STRATÉGIQUE Changements organisationnels et décisions stratégiques

Source: BOURGEOIS, 2017


10

PLUSIEURS ÉLÉMENTS À PRENDRE EN

CONSIDÉRATION

Un momentUne ou

plusieurs finalités

Un ou plusieurs critères

Un type d’évaluation

Les intentions des parties prenantes


Les questions

d’évaluation

2020-11-06

6

11

POURQUOI LES CRITÈRES SONT

IMPORTANTS?

CRITÈRES

Le cœur du jugement évaluatif

Rend explicite ce

à quoi « on »

accorde de la valeur

Établit des priorités de

« E »

Lignes directrices

de la matrice de

« E »

Établit les limites de

« E »


12

L’INTERVENTION, SA CHAÎNE DE RÉSULTATS

ET SON CONTEXTE: RAPPEL


Intrants

Activités

Extrants

Effets

Impacts

Éléments de mise en œuvre de l’intervention

Chaîne de résultats de l’intervention

Temporalité

Hypothèses // Facteurs // Conditions de réussite…

S2

2020-11-06

7

13

DES CRITÈRES QUI PRENNENT NAISSANCE

DE LA RELATION DES ÉLÉMENTS DE

L’INTERVENTION ENTRE EUX

Intrants Activités Extrants EffetsRaison d’être Objectifs

Intervention

Efficience (opérationnelle)

Pertinence

Efficacité(opérationnelle)

Efficacité(stratégique)

Efficience(stratégique)

Utilité


CONCEPTION

MISE EN ŒUVRE

14

FAMILLE DE QUESTIONS


Question descriptive

Elle cherche à déterminer ce qui est. Elleprésente un portrait des différentséléments de l’intervention et de soncontexte à un moment donné.

Question normative

Elle compare ce qui est de ce quidevrait être, par exemple, la situationaprès intervention par rapport à unobjectif précisé ou en fonction d’uncritère de mérite.

• Le programme a-t-il atteint ses objectifs opérationnels ? (efficacité)

• Dans quelle mesure l’intervention répond-elle à un besoin prioritaire exprimé par la population ? (pertinence)

• Les effets sont-ils à la hauteur des ressources investies dans le projet? (efficience)

• Etc.

• Quels sont les objectifs du projet selon les points de vue des différentes parties prenantes?

• Quelles sont les principales activités du projet?

• Quels sont les effets du projet sur les participants?

• Etc.

S3

2020-11-06

8

15

DES QUESTIONS EN LIEN AVEC LA RAISON

D’ÊTRE ET LA CONCEPTION D’UNE

INTERVENTION

Quelle est la nature et l’ampleur du problème à corriger? De quelle nature est le problème? Quelle est la situation précise que l’on souhaite modifier ?

Quels sont les besoins de la population cible? De la clientèle visée ? Qui devrait bénéficier des services ?

Quelle est la chaîne de cause à effet qui va de la situation à modifier vers la situation désirée/souhaitée? Quelle situation finale désire-t-on trouver après l’intervention?

Quels sont les services requis: quelle ampleur et sur quelle période ?

L’intervention est-elle en adéquation avec les besoins ressentis par la population cible ou la population en générale ? A-t-on choisi le meilleur moyen d’intervention?

L’intervention est-elle en accord avec la mission organisationnelle et avec l’expertise de son personnel?

Est-ce que l’intervention respecte les lois et règlements en vigueur dans les conventions internationales?


16

DES QUESTIONS EN LIEN AVEC LA MISE EN

ŒUVRE

Intrants

Activités

Extrants

Effets

MISE EN ŒUVRE

Le projet est-il implanté selon les prévisions? Les activités ont-elles été réalisées tel que prévu ? L’intervention produit-elle les extrants escomptés ?

L’équipe de mise en œuvre de l’intervention était-elle bien organisée ? Les responsabilités sont-elles clairement définies ? Cette organisation permet-elle la réalisation des activités dans les meilleures conditions ?

Quels sont les obstacles à l’implantation ? Et quels sont les facteurs facilitants ? Quelles sont les différences entre les lieux d’implantation ?

Est-ce que les besoins, les possibilités et les contraintes des différentes catégories de population au sein de la population cible sont pris en compte?

Les activités ont-elles offert les mêmes chances aux différentes catégories de population d’y participer et d’en profiter?


2020-11-06

9

17

DES QUESTIONS EN LIEN AVEC LES EFFETS

Est-ce que le problème ou la situation à corriger par le projet a connu une amélioration ?

Quels sont les effets observables à court, moyen et long terme attribuables à l’intervention ? OU Peut-on dire que les changements observés sur le terrain sont liés à l’intervention évaluée ?

Est-ce que l’intervention a des effets indésirables sur leurs récipiendaires ? Produit-elle des résultats non prévus ? Est-ce que certains récipiendaires sont davantage affectés par l’intervention que d’autres ? Est-ce que l’intervention a renforcé des situations d'inégalité (au niveau du genre, de l'âge, du revenu, etc.)?

Augmentation de la disparité des ressources entre les femmes et les hommes

Renforcement des stéréotypes de genre

Qu’est ce qui explique que les résultats ont été atteints ou pas? Quels sont les facteurs qui ont contribués à l’obtention de ces effets?

Quelles sont les populations qui ont le plus bénéficié de l’intervention ?


18

FAISONS LE LIEN ENTRE LES CRITÈRES ET

LES QUESTIONS

Critères Principale question associéeSous-questions nécessaires pour répondre à la question principale

CARACTÈRE APPROPRIÉ

• Peut-on dire que le besoin à la base de l’intervention a été comblé ?

• Quels sont les besoins de la population cibles?

• Quels sont les effets souhaités de l’intervention?

COUVERTURE ÉQUITÉ

• L’ensemble de la population cible a-t-elle été atteinte ?

• Il y a –t-il des populations que l’on a pas pu atteindre?

• Qui est la population cible de l’intervention?

• Il y a –t-il des populations dans l’environnement de l’intervention qui n’ont pas été couverts par le projet et qui auraient dû/pû?


2020-11-06

10

19

FAISONS LE LIEN ENTRE DES CRITÈRES ET

LES QUESTIONS

Critères Principale question associéeSous-questions nécessaires pour répondre à la question principale

EFFICACITÉ • L’intervention a-t-elle atteint ses objectifs ? • Quels sont les objectifs du projet?• Quels sont les effets du projets?

EFFICIENCE

• Est-ce que le coût est raisonnable par rapport à l’ampleur des bénéfices obtenus ?

• Est-ce que les ressources sont employées de façon à optimiser la quantité et la qualité des services produits ?

• Est-il possible avec les mêmes ressources de produire plus de services ou des services de qualité supérieure ?

• Est-il possible de produire, avec moins de ressources, une même quantité de services de qualité identique ?

• Quels sont les coûts associés à l’intervention?

• Quels sont les résultats de l’intervention?

LES TYPES D’ÉVALUATION… S4-5

20

SÉLECTIONNER LES QUESTIONS


La question d’évaluation… #1 #2 #3 #4 #5 #6 …

… intéresse les parties prenantes ?

… réduit l’incertitude que l’on a sur l’intervention?

… permet de dégager une information importante ?

… a un intérêt continu (et non circonstanciel)?

… est essentielle à la réalisation de l’évaluation?

… a un potentiel d’impact sur la prise de décision ?

… peut être abordée avec les ressources disponibles, dans les délais et en tenant compte des méthodes et technologies disponibles ?

2020-11-06

11

22

PÉRIODE DE QUESTIONS

23

DES CRITÈRES À LA MATRICE D’ÉVALUATION

PARTIE I

2020-11-06

12

24

FORME DE LA MATRICE

LA MATRICE

Question d’évaluation : Libellé de la question

Variable à l’étude IndicateursOutils de collecte de

donnéesSource des données

Variable 1

Indicateur 1.1 Questionnaire Groupe de bénéficiaires A

Indicateur 1.2 Entrevues Équipe de mise en œuvre

Indicateur 1.2 Étude documentaire Documents C

Variable 2 Indicateur 2 Entrevues Groupe de bénéficiaires A

25

QU’EST-CE QU’UNE VARIABLE?

LA MATRICE

« Caractéristique observable ou mesurable qui peut prendre différentes valeurs tant quantitatives que qualitatives. »

(Secrétariat du Conseil du Trésor du Québec)

Ex.: Facteurs facilitants et obstacles à la mise en œuvre de l’intervention, division du travail, processus de gouvernance, effet sur le revenu de la population cible, etc.

Pour trouver vos variables, décliner les grandes questions d’évaluation en sous-questions

2020-11-06

13

26

VARIABLES EN LIEN AVEC LES EFFETS

LA MATRICE

RÉSULTATS/EFFETS CHANGEMENT (VARIABLES)

ULTIME: POURQUOI intervenir? QUELS changements d’état, de condition ou de bien-être les populations cibles ultimes connaîtront-ils?

Autonomisation, Sûreté, Santé, LibertéQualité de vie, Prospérité, Niveau de vie, Bien-être, dignité, sécurité (environnementale, économique, etc.)

Formulation de la variable: Santé des femmes, hommes, filles et garçons dans la communauté pour le résultat « Amélioration de la santé… »

INTERMÉDIAIRE: QUELS changements de comportements, de pratiques ou de performance les intermédiaires ou les populations cibles connaîtront-ils?

Prise de décision, Action sociale, Efficience,Comportement, Efficacité, Élaboration de politiques,Pratiques, Viabilité

Ex.: Utilisation de l’eau potable dans la communauté

IMMÉDIAT/DIRECT: QUELS changements de capacité les intermédiaires ou les populations cibles connaîtront-ils?

Connaissances, Opinions, CompétencesSensibilisation, Attitudes, Aspirations, Volonté, Motivation,Processus

Ex.: Accès à l’eau potable dans la communauté

27

VARIABLE EN LIEN AVEC LES HYPOTHÈSES

DE LA THÉORIE DU CHANGEMENT

LA MATRICE

• Contexte historique et culturel

• Contexte politique et législatif

• Contexte socio-économique

• Facteurs individuels

• Facteurs organisationnels

• Etc.

Exemples:

Capacité d’absorption des connaissances dela population cible;

Adhésion de l’entourage aux nouvellespratiques;

Perception sur l’égalité entre les hommeset les femmes; etc.

2020-11-06

14

28

QUELQUES EXEMPLES DE VARIABLES EN

LIEN AVEC LES QUESTIONS D’ÉGALITÉ ET

D’ÉQUITÉ

LA MATRICE

AUTONOMIE DU CORPS

• Protection légale contre les violences de genre et leurs conséquences

• Contrôle de la sexualité et des moyens de reproduction

AUTONOMIE AU SEIN DE LA FAMILLE ET DU MÉNAGE

• Liberté pour se marier et divorcer

• Droit de parenté des enfants en cas de divorce

• Pouvoir de décision et accès aux choix au sein de la famille

POUVOIR POLITIQUE

• Répartition du pouvoir de décision au sein d’une communauté

• Proportion des femmes aux postes de haute direction dans une organisation

RESSOURCES SOCIALES

• Accès à la santé

• Accès à l’éducation, la connaissance et l’information

RESSOURCES MATÉRIELLES

• Accès et contrôle de la terre

• Accès et contrôle de l’habitat

• Accès et contrôle du crédit

29

EXEMPLE EN LIEN AVEC LA MISE EN ŒUVRE

LA MATRICE

Questions d’évaluation: Quelle est la mise en œuvre réelle de l’intervention ? Quels sont les facteurs qui facilitent ou contraignent cette mise en œuvre ?

VARIABLES INDICATEURS MÉTHODE DE COLLECTE ET SOURCE

Adéquation des ressources disponibles aux besoins de l’équipe d’intervention

Niveau d’adéquation des ressources disponibles aux besoins de l’équipe d’intervention

Groupe de discussion auprès de l’équipe du ministère

Financement, rôles, compétences, participation, appréciation des intermédiaires dans le processus de sélection de projet

Description des modalités de financement

Perception des rôles, compétences et la participation des intermédiaires dans le processus de sélection de projet

Groupe de discussion auprès de l’équipe du ministère

Étude de cas avec les communautés incluant des entrevues avec les bénéficiaires et les intermédiaires

Communication de l’information sur l’intervention au sein des communautés

Moyens de communication de l’information sur l’intervention au sein des communautés

Perception sur l’adéquation des moyens utilisés

2020-11-06

15

31

QU’EST-CE QU’UN INDICATEUR?

LA MATRICE

Opérationnalisation de la variable en matière de mesure effective des observations

• L’indicateur vise à placer les objets d’étude dans des catégories. Les catégories correspondent aux différentes situations où peuvent se retrouver les objets par rapport à la variable.

• L’indicateur dit ce qu’on doit retrouver dans nos observations pour catégoriser un objet au sein d’une variable.

32

TYPE DE CATÉGORISATION DES

INDICATEURS

LA MATRICE

• Nominale (A, B, C) : Catégorie qualitative (p. ex. genres, nationalités).

• Ordinale (A > B > C) : Ordres de grandeur (p. ex. niveaux de scolarité, niveaux de satisfaction).

• Numérique à intervalles (A, A+1, A+2) : Intervalles entre les valeurs sont égaux. Soustractions et additions possibles (p. ex. degrés Celsius, dates).

• Numérique de rapport (1 M$, 2 M$) : Présence d’un zéro absolu. Toutes les opérations mathématiques sont possibles.

Trai

tem

en

tsst

atis

tiq

ues

Les catégories au sein des indicateurs doivent :

Être mutuellement exclusives.Être exhaustives.Suivre un principe de classement qui correspondau phénomène mesuré.Être formulées au même niveau de subdivision.

2020-11-06

16

35

RAPPEL: LES SOURCES DES DONNÉES

PROBANTES

LA MATRICE

Données statistiques

(enquête des ménages,

statistiques officielles, données administratifs, etc.)

Données descriptives, Observations

(expériences et connaissances intuitives des

individus)

Synthèses de la littérature scientifique

Méthodes économiques d’évaluation

ou mesure du rendement

Données issues de la

mise en œuvre de

l’intervention

Données sur les enjeux éthiques

ÉVALUATION DE PROGRAMME // ÉVALUATION DES POLITIQUES PUBLIQUES

GOLDMAN et PABARI, 2020, p. 15

36

LES SOURCES DES DONNÉES POUR LA

MATRICE

LA MATRICE

• La littérature grise et la littérature scientifique sur la problématique surlaquelle le projet veut intervenir

• Les documents de projet, incluant le cadre logique, le cadre de mesuredu rendement, le plan de mise en œuvre, etc.

• Les données de suivi et les rapports d’étapes

• Les rapports d’audit et d’inspection

• Les parties prenantes: les individus impliqués dans la mise en œuvre duprojet, les populations cibles du projet, les partenaires financiers, etc.

2020-11-06

17

37

COMMENT JUGE-T-ON QUE LES INFORMATIONS SONT SCIENTIFIQUEMENT

VALIDES?

LES DONNÉES PROBANTES…

DONNÉES ISSUES DES MÉTHODOLOGIES QUANTITATIVES

Validité interne: dans quelle mesure la méthodologiepermet de démontrer une relation de cause à effetentre des variables?

Qualité de l’interprétation: les donnéesstatistiques/quantitatives sont-elles correctementinterprétées?

Validité externe: est-ce que les constats de l’étude sontgénéralisables?

DONNÉES ISSUES DES MÉTHODOLOGIES QUALITATIVES

Crédibilité: les constats sont-ils reconnus par lesparticipants dont ils proviennent?

Rigueur/vérifiabilité: la mise en œuvre de laméthodologie (collectes, analyses et interprétations des

données) a-t-elle était correctement documentée?

Contribution: les constats permettent-ils de faireavancer la compréhension des processus dechangement (théorie du changement) en lien avecl’intervention?

Confirmabilité: les constats peuvent-ils être confirmésou corroborés par d’autres études ou sources?

Source: GOLDMAN et PABARI, 2020, p. 15-16 … ET SOCIALEMENT LÉGITIMES?

38

VALIDER SA MATRICE AVEC LES PARTIES

PRENANTES

LA MATRICE

La matrice peut être un outil pour informer les principaux intervenants sur la conception de l'évaluation, c’est un outil de travail ET un outil de communication

• On voit clairement le lien avec la théorie de changement (formulation des variables) ;

• C’est un outil de présentation de la stratégie d’évaluation aux principaux intervenants (par exemple un comité d’évaluation);

• Recueillir et intégrer les suggestions, le cas échéant ;

• Partager la matrice d’évaluation finale avec les principaux intervenants.

2020-11-06

18

39


40

PAUSE - 10 MINUTES

2020-11-06

19

41

ÉCHANGE AUTOUR D’UN CAS SUR

LES QUESTIONS D’ÉVALUATION

APARTÉ

Invitée:

Mme Eva Anstett

Consultante internationale

en évaluation

Conseillère scientifique du PIFED entre 2016 et 2019Membre de l’équipe du Centre de recherche et d’expertise en évaluation (CREXE) de l’ENAP entre 2011 et 2016Enseignante à l’ENAP

Description du programme à l’étude : DECOM

Un programme visant à réduire les inégalités entre les zones urbaines et les zones rurales notamment en termes de : - possibilités d’emplois/d’activités

génératrices de revenus- d’accès à du financement pour des

projets- D’accès à des compétences et à de

l’accompagnement - Présence d’un ensemble de petit

entreprenariat, (création de PME) et notamment d’entreprenariat féminin

42

Concrètement il s’agit d’un fonds (anciennement appelé «fonds de développement communautaire »), financé par le gouvernement et un bailleur de fonds international.

Ce fonds vise principalement à financer des projets déposés par des « porteurs » dans des communautés rurales sélectionnées (75% des dépenses). Il s’agit de petits projets de développement pour les communautés, pour générer de l’activité économique.

Le programme est administré par région. Dans chaque région une unité de coordination est chargée de recevoir les porteurs de projets, de les accompagner dans le montage du projet puis dans les suivis financiers. L’unité de coordination peut également faire appel à des experts ou mentors pour apporter un accompagnement technique aux différents projets, selon les besoins.

2020-11-06

20

Questions d’évaluation

EFFICACITÉ OPÉRATIONNELLE / MISE EN OEUVRE

Où est-ce que les objectifs de nombre de projets financés ont-ils été atteints et comment comprendre les disparités de de succès entre les régions ?

Le soutien financier des projets a-t-il été accompagné d’un soutien technique tel que prévu au démarrage du projet ?

EFFICACITÉ STRATÉGIQUE / EFFETS

Les activités génératrices de revenus créées et soutenues par le programme sont-elle viables et équitables ?

Ont-elles créé un mouvement d’entreprenariat féminin dans les zones rurales identifiées ?

Ont-elles contribué à la réduction des inégalités entre zones urbaines et zones rurales ?

44

Budget porté par le gouvernement et le

bailleur international

(ONG)

(dont locaux et ressources

matérielles mises à disposition par le gouvernement)

Offrir des services d’accompagnement et de mentorat aux porteurs de projet

Soutenir financièrement des projets d’activités

génératrices de revenus dans les communautés

rurales

Monter des structures de

soutien de projet dans les nouvelles

régions rurales sélectionnées

Structure de soutien de projet

opérationnelle dans chaque région

rurale prioritaire identifiée

300 projets soutenus au total dont au moins la moitié portés par

des femmes

L’ensemble des porteurs de projet

ont reçu un soutien adéquat

Capacités de financement pour

des activités économiques dans les régions rurales

du pays

Connaissances entrepreneuriales des citoyens dans les régions rurales

du pays

Activités génératrices de

revenus viables et stables dans les

régions rurales du pays

Développement économique des

régions rurales du pays

Inégalités entre régions rurales et régions urbaines

Suffisamment de projets adéquats sont déposés par des porteurs adhérant aux

objectifs du programmeDes experts et mentors compétents

peuvent être recrutésL’installation des structures de soutien et le principe du programme sont soutenus

par les autorités locales

Les besoins de financement et d’accompagnement dans

chaque région ont bien été diagnostiqués

Le budget annoncé est mobilisé à hauteur des engagements

Du personnel compétent est recruté pour le programme

Le contexte économique et politique permet la stabilité des

projets dans le temps

Théorie du changement simplifiée du programme DECOM

2020-11-06

21

45

QUESTIONS

Comment ont été choisies les questions d’évaluation?Pouvez-vous illustrer le lien entre les questions et lathéorie du changement de l’intervention?

Pouvez-vous nous expliquer ce qui a guidé vos choixméthodologiques pour répondre aux questionsd’évaluation?

46


2020-11-06

22

47

LES ÉTAPES D’UNE ÉVALUATION

CONCLUSION

Étape 2Réalisation de

l’évaluation

Étape 3 Présentation et

dissémination des résultats

Étape 1Étude

préparatoire

ÉTUDE PRÉPARATOIRE- Planifier l’évaluation et

définir son ampleur, fixer les questions d’évaluation

- Comprendre l’intervention (sa raison d’être, sa théorie de changement…)

- Élaborer la stratégie d’évaluation (résumée dans la matrice d’évaluation)

RÉALISATION DE L’ÉVALUATION- Collecter les données tel que prévu

dans l’étude préparatoire- Adapter la stratégie, au besoin- Faire l’analyse des données

récoltées

PRÉSENTATION ET DISSÉMINATION DES RÉSULTATS- Répondre aux questions d’évaluation dans un rapport d’évaluation- Communiquer les résultats aux parties prenantes

MERCI

2020-11-06

23

49

RÉFÉRENCESANSTETT Eva, Modules présentés aux PIFED 2016, 2017, 2018 et 2019

BOURGEOIS, Isabelle (2017). Évaluation : modèles et outils pour une utilisation plus stratégique, [en ligne], École nationale d’administration publique, http://archives.enap.ca/bibliotheques/2017/02/031402253.pdf

BROUSSELLE, Astrid, François CHAMPAGNE, André-Pierre CONSTANDRIOPOULOS et Zulmira HARTZ (2011). L’évaluation : concepts et méthodes, Montréal, Presses de l’Université de Montréal, 336 p.

GOLMAN, Ian et Mine PABARI (2020). Using Evidence in Policy and Practice: Lessons from Africa, Londres, Taylor & Francis Ltd, 254 p.

FORTIN, Marie-Fabienne (1996). Fondements et étapes du processus de recherche, 3e éd., Montréal, Chenelière Éducation, 536 p.

LOVE, A. (2004). “Implementation Evaluation”, dans Joseph Wholey , Harry P. Hatry et Kathryn Newcomer (éd.), Handbook of Practical Evaluation, 2e éd., San Francisco, Jossey Bass, 720 p.

MARCEAU Richard, LAMARI Moktar et Johann JACOB, Modules présentés aux PIFED de 2014

MARCEAU, Richard et Jean-Serge QUESNEL, Modules présentés aux PIFED de 2014 et 2015

MARCEAU, Richard, OTIS et Pierre SIMARD (1992). « La planification d’une évaluation de programme », dans Parenteau, Roland (éd.), Management public : comprendre et gérer les institutions de l’État, Sillery, PUQ, 640 p.

MARCEAU, Richard et Francine SYLVAIN (2014). Dictionnaire terminologique de l’évaluation : politiques, programmes, interventions, Québec, Éditions GID, 104 p.

MORRA IMAS, L.G. et RIST, R.C. (2009). Road to Results : Designing and Conducting Effective Development Evaluations. Washington, The World Bank, 592p.

PLATT, Garry (2002). “Smart Objectives: What They Mean and How to Set Them”, Training Journal, pp. 23-36.

RASSEL, Gary, BERNER Maureen, DEVANCE TALIAFERRO Jocelyn et Elizabethann O’SULLIVAN (2016). Research Methods for Public Administrators, 6e éd., New York, Pearson Higher Education, 544 p.

http://archives.enap.ca/bibliotheques/2017/02/031402253.pdf