validitÉ et validation : de quoi...

38
VALIDITÉ ET VALIDATION : DE QUOI PARLE-T-ON ? KARINE PAQUETTE-CÔTÉ Doctorat en éducation sous la direction de GILLES RAÎCHE PASCAL N’DINGA Séminaire Collectif pour le développement et les applications en mesure et évaluation Lundi 29 octobre 2012

Upload: dinhhanh

Post on 22-May-2018

213 views

Category:

Documents


1 download

TRANSCRIPT

VALIDITÉ ET VALIDATION : DE QUOI PARLE-T-ON ?

KARINE PAQUETTE-CÔTÉ Doctorat en éducation sous la direction de

GILLES RAÎCHE

PASCAL N’DINGA

Séminaire

Collectif pour le développement et les applications en mesure et évaluation

Lundi 29 octobre 2012

Peuples, sachez donc une fois que la nature a voulu vous préserver de la science, comme une mère arrache une arme dangereuse des mains de son enfant; que tous les secrets qu’elle vous cache sont autant de maux dont elle vous garantit, et que la peine que vous trouvez à vous instruire n’est pas le moindre de ses bienfaits.

Jean-Jacques Rousseau (1750) Discours sur les sciences et les arts

Paquette-Côté, K. UQÀM - Cdame 2012-10 2

Plan de la présentation

Validation

Sciences naturelles et sciences sociales Émergence de la psychologie différentielle Mental tests Premiers coefficients de validité

Validité

Épistémologie des sciences

Comment définir la validité ? Y a-t-il plusieurs validités ? Quel est l’aspect le plus important à considérer pour établir la validité de quelque chose ?

Débats et perspectives en 2012

Qu’est-ce que validation et valider signifient ? Quand les utiliser ? Comment valider ?

Vers un

consensus ?

Paquette-Côté, K. UQÀM - Cdame 2012-10 3

Sens commun et définition générale

VALIDITÉ

VALIDATION

« Qualité d'un test comme mesure effective de ce qu'il est censé mesurer, ou comme moyen d'atteindre réellement ce qu'il propose de découvrir » (MUCCH. Psychol. 1969).

Mucchielli-Bourcier, A. et Mucchielli, R. (1969). Lexique de la psychologie. Paris, France : Entreprise moderne d’édition.

« Action de valider; résultat de cette action. »

Valider : « Rendre ou déclarer valide, valable. […] P. ext. Justifier. Empr. au b. lat. validare « fortifier (au fig.), rétablir ».

Empr. au b. lat. validitas « force (du corps), solidité (au fig.) » avec infl. sém. de valider*

Paquette-Côté, K. UQÀM - Cdame 2012-10 4

XVIIe siècle

Épistémologie des sciences

Paquette-Côté, K. UQÀM - Cdame 2012-10 5

La révolution copernicienne, l’énonciation des lois de l’univers physique par Newton, et l’empirisme radical de Bacon font de la science une façon de comprendre la nature, au moyen de la mesure et de l’expérimentation.

Épistémologie des sciences

Malthus(1798) Essay on the Principles of Population La population augmente de façon exponentielle (géométrique) tandis que les ressources alimentaires augmentent de façon arithmétique.

Lamarck (1809) Philosophie Zoologique – Notion d’évolution Au niveau de l’espèce, les membres adultes d’une espèces qui ne sont pas ajustés adéquatement à leur environnement ne survivront pas et ne se reproduiront pas. Ainsi, les caractéristiques d’une espèce devraient changer au même rythme que changent les traits nécessaires à la survie.

1730-1800 Révolution agricole

1776-1783 Révolution américaine 1789-1798 Révolution française

1780-1820 Révolution industrielle en Angleterre

1781 1798 1809

Condorcet (1781) Essai sur l'application de l'analyse à la probabilité des décisions rendues à la pluralité des voix Adapter les méthodes des sciences naturelles à l’étude de l’humain. Statistiques au service de l’administration d’un État (arithmétique politique).

Arithmétique politique : c’est celle dont les opérations ont pour but des recherches utiles à l’art de gouverner les peuples (Diderot) Paquette-Côté, K. UQÀM - Cdame 2012-10 6

Quetelet (1835) Sur l’homme et le développement de ses facultés, ou Essai de physique sociale Ces lois ne sauraient être applicables à des individus. – Elles ne sont vraies que pour le corps social. – Ces lois sont généralement variables. – Nos efforts doivent tendre à reconnaître les causes dont elles dépendent, afin de pouvoir les modifier d’une manière convenable et d’en déduire les prévisions utiles.

XIXe siècle

Auguste Compte (Cours de philosophie positive 1830-1842)

2 façons objectives d’étudier les individus :

1) la phrénologie (relie les processus mentaux à la physiologie) ;

2) Par l’analyse des produits de l’esprit : les comportements sociaux (sociologie qu’il classe au dernier rang de la science, alors que la psychologie demeure un non sens métaphysique puisqu’elle ne peut être observée par les sens).

1835

Épistémologie des sciences

Paquette-Côté, K. UQÀM - Cdame 2012-10 7

Distribution normale des caractéristiques humaines

Désir de la psychologie de s’élever au rang de science.

Épistémologie des sciences

On peut mesurer les phénomènes humains (processus mentaux ou comportements sociaux) par :

- Les indicateurs qui lui sont associés (mesure indirecte)

- Leurs manifestations observables (mesure directe)

Avant la première moitié du XIXe siècle

À partir de la moitié du XIXe siècle

Paquette-Côté, K. UQÀM - Cdame 2012-10 8

Épistémologie des sciences

Hérédité, sélection artificielle et intelligence Galton (1869) Hereditary Genius: An Inquiry into its Laws and Consequences

Intelligence = acuité sensorielle Si l’acuité sensorielle est un don naturel, alors l’intelligence est héréditaire. Si l’intelligence est héréditaire, alors l’éminence ou la haute réputation des familles est un indicateur de hautes habiletés intellectuelles. Vérification : fréquence d’éminence parmi les enfants de parents éminents (juges, hommes d’État, commandants, hommes littéraires, scientifiques, poètes, musiciens, peintres, théologiens) comparé à celui d’enfants de la population générale. Conclusion : les enfants de parents éminents ont plus de chance de devenir eux-mêmes éminents que les enfants de parents non éminents. Il enjoignait le gouvernement à prendre en charge les frais d’éducation de leur progéniture. - Eugénisme : « l’amélioration des organismes vivants par l’eugénisme de reproduction

sélective »

1830-1870 Révolution industrielle en France, Pays-Bas et Belgique

1780-1820 Révolution industrielle en Angleterre

1776-1783 Révolution américaine 1789-1798 Révolution française

XIXe siècle

1869

Darwin (1869, cité dans Pearson, 1914, p.6)

Dans une lettre à Galton

You have made a convert of an opponent in one sense,

for I have always maintained that, excepting fools, men

did not differ much in intellect, only in zeal and

hard work; and I still think this is an eminently

important difference.

Paquette-Côté, K. UQÀM - Cdame 2012-10 9 Letter from Darwin to Galton. Disponible en ligne : http://galton.org/letters/darwin/correspondence.htm Aussi publiée dans Pearson, K. (1914). The life, letters and labours of Francis Galton, Vol. IIIB. Londres : Cambridge University Press.

Épistémologie des sciences

Hérédité, sélection artificielle et intelligence Galton (1874) English Men of Science: Their Nature and Nurture - Première utilisation du questionnaire en psychologie

(Hergenhahn, 2001)

- Administré à 200 collègues scientifiques de la Royal Society de Londres

- Exemples d’items : leur contexte politique et religieux / taille de leur chapeau / raisons de leur intérêt pour les sciences / croyez-vous que votre intérêt pour les sciences soit inné ?

- Remarque par les réponses que : - La plupart des scientifiques considéraient que leur

intérêt pour la science était héréditaire. - Une très grande proportion de scientifiques étaient

Écossais. - Ceux-ci faisaient l’éloge du système d’éducation

écossais, alors que les Anglais critiquaient fortement le système d’éducation Anglais.

- Il conclut que l’intelligence est héréditaire, mais qu’elle est alimentée par l’environnement.

- Il recommande de réformer les écoles anglaises pour les faire ressembler davantage aux écoles écossaises !

Anthropométrie des systèmes éducatifs

Particularisme historique (relativisme culturel) Boas (1893) – Anthropologue allemand-américain Remarks on the theory of Anthropometry [réagit à l’anthropométrie de Galton]

Chaque culture est le fruit d’un processus historique unique et doit être étudié sous cet angle.

Hérédité-Environnement (Nature-Nurture)

Sélection naturelle VS artificielle Candolle (1873) Histoire des savants et des sciences depuis deux siècles

Le climat, la tolérance religieuse, un gouvernement démocratique et une saine économie sont aussi importants dans la production des scientifiques que l’hérédité.

Conceptualisation, mesure et utilisation

Standards universitaires (9 sept. 1876, p. 1055-1056) –The economist Professor Andrews on universities (British Association for the Advancement of Science, Glasgow, 6 sept. 1876)

La multiplication des universités en Angleterre Questionne la valeur et l’équivalence des diplômes Et la place des tests pour l’évaluation des enseignements

Paquette-Côté, K. UQÀM - Cdame 2012-10 10

Conçoit 10 tests mentaux destinés à la population en général 50 tests devant être administrés aux étudiants universitaires.

Tests mentaux inspirés de Galton, mais incluant aussi des mesures inspirées du laboratoire de Wundt.

1890 Mental tests

The Grammar of Science (1892) Les lois de la nature sont relatives aux habiletés perceptives de l’observateur. "Law in the scientific sense is thus essentially a product of the human mind and has no meaning apart from man.“ Corrélation : Coefficient (r) de Pearson

Co-relations and their measurement, chiefly from anthropometric data

1888 Corrélation

Cambridge 2 ans

Source du portrait de Wissler : http://www.britannica.com/EBchecked/topic-art/289766/33782/Clark-Wissler

Épistémologie des sciences

Paquette-Côté, K. UQÀM - Cdame 2012-10 11

1890 Mental tests

A Statistical Study of Eminent Men (1903) « Ordre de mérite » The Organization of Scientific Men (1922) Palmarès des universités

Épistémologie des sciences

Paquette-Côté, K. UQÀM - Cdame 2012-10 12

XIXe-XXe siècle

L’évaluation des différences individuelles Binet et Henri (1895) La psychologie individuelle - Coupure avec ses prédécesseurs Galton

et Cattell : propose une mesure directe des habiletés cognitives plutôt que des mesures indirectes (mesures physiologiques et acuité sensorielle).

- Processus mentaux mesurés (constituant la conceptualisation de l’intelligence) :

mémoire, imagerie, imagination, attention, jugement esthétique, jugement moral, volonté et jugement spatial.

1895

Ne mesure pas le même attribut ! Sharp (1899) - Faibles intercorrérations dans le

test de Binet et Henri (1896) : ne mesure pas le même attribut.

Méthodes statistiques en usage en anthropométrie n’étaient pas appropriées pour une évaluation individuelle.

Épistémologie des sciences

Paquette-Côté, K. UQÀM - Cdame 2012-10 13

Validité

Validité critériée

Un score critérié obtenu en même temps que le score au test. - Utilisée principalement dans le but d’obtenir une mesure moins dispendieuse, plus simple ou moins risquée. Exemple :

Test d'aptitudes mécaniques -> performance actuelle comme machiniste Test de tendances névrotiques -> diagnostic clinique professionnel

Validité concomitante

Exemples tirés de : Bégin, J. Le diable de statmanie : site personnel de Jean Bégin, http://www.er.uqam.ca/nobel/r30574/

Validité prédictive

Kane, M. T. (2006). Validation. Dans R. L. Brennan (Dir.), Educational measurement (4e édition). Westport, Connecticut : Praeger Publishers. p. 18

Le score critérié est la performance future, qui n’est pas disponible au moment de l’administration du test.

Exemples : Test d'aptitudes mécaniques -> performance ultérieure comme machiniste Test d'aptitudes scolaires -> résultats scolaires au collégial

À partir de 1888

Paquette-Côté, K. UQÀM - Cdame 2012-10 14

Validité

« Depuis quelques années, l'expression de validité est devenue d'un emploi courant pour désigner exclusivement cette conformité plus ou moins grande de la prédiction à l'objet de cette prédiction (appelé brièvement le critérium), disons schématiquement de l'aptitude à la capacité. Et, pour mesurer simplement cette qualité, on s'est adressé tout naturellement au coefficient de corrélation (pearsonien) entre les notes du test et les valeurs correspondantes du critérium, en donnant à cet indice le nom de coefficient de validité. Ce coefficent a l'avantage de l'universalité (à condition toutefois d'admettre la linéarité des régressions) et, en tout cas, de la simplicité. »

(Fessard et Piéron, 1930, p.217)

Fessard, A. et Piéron, H. (1930). La notion de validité. L’année psychologique, 31(1), 217-228.

Validité critériée

Doute de la capacité du coefficient à fournir une assurance définitive de validité du test (coefficients différents entre les études).

À partir de 1888

Paquette-Côté, K. UQÀM - Cdame 2012-10 15

Validité

Problèmes : - Si le test est valide s’il est corrélé avec un critère externe, comment s’assurer de la

validité du critère utilisé ?

Validité critériée

Le contrôle de la validité critériée implique de contrôler la validité du critère lui-même.

Comment ?

La validité de critère est pertinente pour s’assurer de la validité d’une mesure secondaire, SEULEMENT SI la validité de la mesure primaire est déjà établie et que cette mesure est

disponible.

Kane, M. T. (2006). Validation. Dans R. L. Brennan (Dir.), Educational measurement (4e édition). Westport, Connecticut : Praeger Publishers. p. 18

À partir de 1888

Paquette-Côté, K. UQÀM - Cdame 2012-10 16

Validité

Validité de contenu

Kane, M. T. (2006). Validation. Dans R. L. Brennan (Dir.), Educational measurement (4e édition). Westport, Connecticut : Praeger Publishers. p. 19

Le critère sera jugé valide si le lien rationnel est établi entre les procédures utilisées pour générer le score critérié et les interprétations ou utilisations des scores proposées.

Comment ? S’assurer que le contenu du test (échantillon d’indicateurs ou d’observations) est

représentatif de l’ensemble des observations constituant le domaine; o À quel point les items font-ils partie de l’univers de généralisation et l’univers

de généralisation au domaine ? o À quel point les items représentent tous les aspects de l’univers ?

Les performances au test sont évaluées de façon appropriée et de façon juste et équitable (fairly);

L’échantillon des observations est suffisamment grand pour contrôler l’erreur d’échantillonnage.

Implique que le construit mesuré soit bien défini ! VALIDITÉ DE CONSTRUIT

Mais avant…

À partir de fin XIXe

Paquette-Côté, K. UQÀM - Cdame 2012-10 17

Validité

Validité critériée, validité de contenu et fidélité

Questionne l’équivalence des critères utilisés par différents auteurs.

Fessard, A. et Piéron, H. (1930). La notion de validité. L’année psychologique, 31(1), 217-228.

« Les efforts poursuivis en vue d’une définition rigoureuse du contenu des épreuves ont détourné l’attention d’une semblable nécessité de détermination en ce qui concerne les groupes humains auxquels s’adressent les tests adoptés. »

(Fessard et Piéron, 1930, p. 219-220)

« D’une race à l’autre, d’un milieu à l’autre, on doit s’attendre à des différences systématiques dans la composition des groupes et dans les tendances centrales. De plus, les dispersions peuvent énormément varier, et ce facteur a une grosse répercussion sur la valeur d’un coefficient de validité [coefficient de corrélation]. »

Commencent les questionnements autour des concepts de validité et de fidélité, ainsi que leur inter-influence.

Paquette-Côté, K. UQÀM - Cdame 2012-10 18

À partir de début XXe

« La validité d'un test — qualité externe, pour employer ce terme de validité dans son sens habituel, c'est-à-dire restreint — est sous la dépendance étroite de certaines qualités internes, d'un certain degré de validité intrinsèque, pourrait-on dire, sans lequel il est vain d'espérer atteindre, sinon par hasard, un bon coefficient de validité. »

Fessard, A. et Piéron, H. (1930). La notion de validité. L’année psychologique, 31(1), 217-228.

(Fessard et Piéron, 1930, p. 220)

La forme des distributions (courbe en cloche supérieure à toute autre); Pouvoir de discrimination aux différents niveaux d’aptitude; Nombre assez grand de questions pour chaque tâche; Gradation continue de leur difficulté; Marge d’erreur assez grande pour permettre aux sujets extrêmes de se

différencier; Homogénéité du groupe.

Validité

Validité et fidélité

Chercher à assurer la qualité interne du test (cohérence et précision de la mesure : fidélité) est NÉCESSAIRE et PRÉALABLE à l’obtention d’une bonne validité externe (critériée). Paquette-Côté, K. UQÀM - Cdame 2012-10 19

Fessard, A. et Piéron, H. (1930). La notion de validité. L’année psychologique, 31(1), 217-228.

(Fessard et Piéron, 1930, p. 220)

Validité

Validité et fidélité

Comment s’assurer de bien définir ce qu’on veut mesurer ?

VALIDITÉ DE CONSTRUIT

Problèmes : - « Avoir créé un instrument relativement précis pour mesurer on ne sait trop quoi ! »

Paquette-Côté, K. UQÀM - Cdame 2012-10 20

“By validity is meant the degree to which a test or examination measures what it purports to measure” (Ruch, 1924, p. 13)

Validité

Dans Newton (2012, p. 2)

Définition classique de la validité

Newton, P. E. (2012). Clarifying the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 1-29.

Paquette-Côté, K. UQÀM - Cdame 2012-10 21

Validité

Validité de construit

Comment s’assurer de bien définir ce qu’on veut mesurer ?

VALIDITÉ DE CONSTRUIT

Définir, spécifier, opérationnaliser le construit d’intérêt. En continu : élaboration d’arguments théoriques et accumulation de données, de

preuves empiriques qui permettent de mieux circonscrire le construit mesuré. Soutenir la force de la construction théorique. Que signifie le construit ? Quels liens l’unissent à d’autres construits ? Spécification du « domaine » théorique du construit

Paquette-Côté, K. UQÀM - Cdame 2012-10 22

Validité

Validité de construit

Comment ? Lien qui unissent à d’autres construits

→ Validité convergente : présence de corrélation avec d’autres construits (appuyé par la théorie, la littérature existante)

→ Validité discriminante : absence de corrélation avec des construit théoriquement indépendants

! ATTENTION ! Il faut contrôler la fidélité des tests utilisés pour s’assurer que l’absence de corrélation entre les mesures des construit ciblés n’est pas due à un manque de fidélité des instruments.

Validité factorielle (analyse factorielle) : Exploratoire : on explore la structure des données pour vérifier si on mesure le même construit Confirmatoire : on confronte les données observées au modèle théorique

Protocoles expérimentaux : la méthode, le traitement est inefficace ou le test ne mesure pas ce qu’il est censé mesurer ?

Bégin, J. Le diable de statmanie : site personnel de Jean Bégin, http://www.er.uqam.ca/nobel/r30574/ Paquette-Côté, K. UQÀM - Cdame 2012-10 23

“The validity of a test is measured by the extent to which it accomplishes the purpose claimed for it.” (Kelley, 1927, p. 30)

Validité

Définition classique de la validité

Kelley, T. L. (1927). Interpretation of educational measurements. Yonkers-on-Hudson, New York : World Book Companny.

Comment s’assurer que le test accomplit le but poursuivi par son utilisation ?

VALIDITÉ DE CONSÉQUENCE ET D’UTILISATION

Paquette-Côté, K. UQÀM - Cdame 2012-10 24

Messick, S. (1998). Test validity: a matter of consequence. Social Indicators Research, 45, 35-44.

Validité

Validité de conséquence et d’utilisation

Est-ce que le test remplit la fonction pour laquelle il a été créé? Quelle utilisation fait-on des résultats ? Quelles conséquences cette utilisation a-t-elle sur • 1) les personnes impliquées, • 2) la définition du construit.

Paquette-Côté, K. UQÀM - Cdame 2012-10 25

Deux questions qu’on a tendance à confondre : 1) Comment définir la validité ? 2) Comment démontrer la validité ?

Validation

Kane, M. (2012). All validity is construct validity. Or is it ? Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 60-70.

“The phrase validation of a test is a source of much misunderstanding. One validates, not a test, but an interpretation of data arising from a specified procedure” (Cronbach, 1971, p. 447).

Cronbach, L. J. (1971). Test validation. Dans R. L. Thorndike (Dir.), Educational Measurement (4e édition). Washington, District of Colombia : American council on education.

Paquette-Côté, K. UQÀM - Cdame 2012-10 26

La validation d'un test a pour but de préciser deux aspects fondamentaux • Ce que le test mesure • Avec quel degré de précision il le mesure

Bégin, J. Le diable de statmanie : site personnel de Jean Bégin, http://www.er.uqam.ca/nobel/r30574/

« Les types de validité, définis dans les ouvrages des années 50 et 60 [validité critériée, validité de contenu, validité de construit] sont aujourd’hui envisagés comme des moyens de validation servant à rassembler des arguments en faveur de telle ou telle inférence » « Seules sont valides les inférences en faveur desquelles suffisamment d’arguments et de données empiriques ont pu être rassemblées »

On ne peut pas affirmer qu’un test est valide en général !

(Laveault et Grégoire, 2002, p. 164).

Validation

Laveault, D. et Grégoire, J. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation (2e édition). Bruxelles, Belgique : De Boeck & Larcier.

Paquette-Côté, K. UQÀM - Cdame 2012-10 27

Validité apparente + Consonance cognitive

Externe Interne

Validité de conséquence et d’utilisation (peut avoir une incidence sur la validité de constuit)

Validité de construit (cohérence théorique) (implique validité prédictive, concomitante ou diagnostique,

factorielle)

Validité de contenu (représentativité) et généralisabilité

Fidélité de l’instrument et validité de la procédure

Figure adaptée de Paquette-Côté, K. (2010). Analyse de l’argumentation de la validité des inférences d’évaluation dans les politiques institutionnelles d’évaluation des apprentissages des établissements d’enseignement collégial québécois. Mémoire de maîtrise inédit. Montréal : Université du Québec à Montréal.

Paquette-Côté, K. UQÀM - Cdame 2012-10 28

1) C’est une mauvaise pratique de parler de validité en tant que propriété d’un test.

2) C’est une bonne pratique de décrire la validité en tant que propriété d’une interprétation.

3) C’est une bonne pratique de décrire la validité en tant qu’un concept unitaire.

4) C’est une bonne pratique de définir la validité de construit en tant que l’essence de toute validité.

Newton, P. E. (2012). Clarifying the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 1-29.

Trad. libre, p. 2

Paquette-Côté, K. UQÀM - Cdame 2012-10 29

Qu’est-ce qui devrait être valide dans le cas de la mesure du poids: la balance, le nombre qui apparaît sur le cadran ou les conclusions qu’on peut tirer à partir de la lecture du nombre sur le cadran?

Jean-guy Blais Université de Montréal, Gilles Leclerc Université de Montréal La validité de l’instrument, du score ou de l’utilisation du score? Le concept de

validité revisité

80e Congrès de l’Acfas (mai 2012). Colloque 524 - Les enjeux socio-éthiques et socio-politiques de l'évaluation et de la mesure

Paquette-Côté, K. UQÀM - Cdame 2012-10 30

1) C’est une mauvaise pratique de parler de validité en tant que propriété d’un test.

Trad. libre, p. 111

Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.

! Dire qu’un test est valide ou ne l’est pas ou demander strictement si un test est valide ou a été validé est vide de sens !

Propriété des items, des tests, des interprétations, des procédures et ainsi de suite.

Pro instrument : les qualités des items et des tests sont fondamentales à l’argumentation de la validité

Pro interprétation : les arguments de validité sont conditionnels

Paquette-Côté, K. UQÀM - Cdame 2012-10 31

Trad. libre, p. 111

Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.

! Ce sont les personnes qui évaluent et mesurent, pas les instruments ! Si le test est considéré comme l’ensemble de la procédure d’évaluation

(incluant l’instrument, la procédure d’administration, les procédures d’attribution des résultats et leur interprétation), aucun argument ne sépare les deux « camps ».

Si le test est considéré comme l’instrument seul, alors il n’est clairement qu’un seul des ingrédients d’une bonne mesure et d’une bonne évaluation, de même que seulement une partie des bases d’argumentation de la validité.

! C’est comme de déclarer la légitimité d’une élection strictement sur la base du bulletin de vote !

2) C’est une bonne pratique de décrire la validité en tant que propriété d’une interprétation.

Paquette-Côté, K. UQÀM - Cdame 2012-10 32

p. 112-114

Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.

! Il n’y a pas plusieurs validités, mais plusieurs aspects d’une même conception globale de la validité !

« Pour déterminer jusqu’à quel point un test est approprié pour l’utilisation qu’on en fait, il faut recueillir les informations au sujet de la dimension de la validité qui est appropriée pour cette utilisation. » (APA, AERA, & NCMUE, 1954, p. 16)

Toutefois, la question de savoir si la validité est un concept « tout ou rien » ou sur un continuum est encore source de débats.

3) C’est une bonne pratique de décrire la validité en tant qu’un concept unitaire.

Paquette-Côté, K. UQÀM - Cdame 2012-10 33

p. 112-114

Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.

! Les construits sont ouverts à la reconstruction ! Le cœur de la théorie de la validité de construit : la distinction entre la

façon dont on pense et on parle du monde VERSUS la façon dont le monde est réellement ! (Newton, 2012a, p. 5)

« Le construit est un moyen d’organiser l’expérience en catégories » (Cronbach, 1971, p. 464).

Il y a une distinction entre les phénomènes évalués et mesurés et la façon dont les professionnels de la mesure et de l’évaluation pensent et parlent de ces phénomènes.

Les scientifiques n’ont pas d’accès privilégié au monde réel. Toute production scientifique est affaire de consensus et de convention.

! Ce qui est aujourd’hui jugé valide ne le sera peut-être plus demain !

4) C’est une bonne pratique de définir la validité de construit en tant que l’essence de toute validité.

Paquette-Côté, K. UQÀM - Cdame 2012-10 34

1) Les gens évaluent en vue de prendre des décisions et, par conséquent, la validité est ultimement une propriété des procédures de prise de décision fondées sur l’évaluation.

2) La validité est une propriété d'une procédure qui décrit son potentiel pour soutenir une bonne mesure et, par conséquent, prendre de bonnes décisions.

3) Validité n'est pas un absolu, une propriété universelle d'une procédure et ne peut être revendiquée que sous certaines conditions et en termes de certaines conclusions.

4) Toute prétention à la validité nécessite une argumentation visant à démontrer que la procédure d'évaluation peut, en effet, être utilisée pour mesurer l'attribut en fonction de l'utilisation prévue des résultats de l’évaluation.

5) Cet argument doit être jugé en termes de force de telle sorte que, si elle est jugée suffisamment puissante, la procédure peut être déclarée valide; donc, la validité est finalement un concept tout-ou-rien.

Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.

Trad. libre, p. 110 Paquette-Côté, K. UQÀM - Cdame 2012-10 35

KARINE PAQUETTE-CÔTÉ Doctorat en éducation sous la direction de

GILLES RAÎCHE

PASCAL N’DINGA

Séminaire

Collectif pour le développement et les applications en mesure et évaluation

Lundi 29 octobre 2012

Internet : Bégin, J. Le diable de statmanie : site personnel de Jean Bégin, http://www.er.uqam.ca/nobel/r30574/

Paquette-Côté, K. UQÀM - Cdame 2012-10 36

Hergenhahn, B. R. (2001). An introduction to the history of psychology (4e édition). Belmont, Californie : Wadswoth/Thomson learning. http://archives.org/ http://galton.org

Histoire de la psychologie

Validité et validation Newton, P. E. (2012). Clarifying the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 1-29. Newton, P. E. (2012b). Questioning the Consensus Definition of Validity. Measurement: Interdisciplinary Research and Perspectives, 10(1-2), 110-122.

Quelques références…

KARINE PAQUETTE-CÔTÉ Doctorat en éducation sous la direction de

GILLES RAÎCHE

PASCAL N’DINGA

Séminaire

Collectif pour le développement et les applications en mesure et évaluation

Lundi 29 octobre 2012

Internet Archive : http://archives.org/ http://galton.org

Images du domaine public : http://wikimedia.org Master isolated images / FreeDigitalPhotos.net

Paquette-Côté, K. UQÀM - Cdame 2012-10 37

Validité et validation Lindquist, E. F. (1951). Educational Measurement. Washington, District of Colombia : American council on education. Thorndike, R. L. (1971). Educational Measurement (2e édition). Washington, District of Colombia : American council on education. Linn, R. L. (1989). Educational measurement (3e édition). New-York, New-Jersey : American Council on Education et Macmillan. Brennan , R. L. (2006). Educational measurement (4e édition). Westport, Connecticut : Praeger Publishers.

Quelques références…

[email protected] [email protected]

KARINE PAQUETTE-CÔTÉ Doctorat en éducation sous la direction de

GILLES RAÎCHE

PASCAL N’DINGA

Séminaire

Collectif pour le développement et les applications en mesure et évaluation

Lundi 29 octobre 2012

Paquette-Côté, K. UQÀM - Cdame 2012-10 38

Pour me contacter…