Tous les concepteurs de tests vantent la validité de leurs tests. Mais sont-ils vraiment valides?

La réponse à cette question variera, peut-être considérablement, en fonction des personnes qui y répondent et de la manière dont elles choisissent de définir la validité. Nous tenterons dans cet article de résumer simplement les concepts associés à cette dernière et d’en présenter les différents aspects. 

Vous constaterez en fin de compte que la validité est une question de degré de validité et qu’il s’agit d’un processus auquel les psychométriciens travaillent sans cesse.

Comment définir la validité ?

La validité est largement reconnue comme « la considération la plus fondamentale » dans le développement de mesures psychométriques (Association américaine pour la recherche en éducation [AERA], Association américaine de psychologie [APA] et Conseil national sur la mesure dans l'éducation [NCME], 2014, p. 11). L’objectif principal du psychométricien est d’élaborer des mesures valables, et aucun chercheur ou praticien qui se respecte ne se servirait sciemment d’un test invalide.

Or, il existe un nombre surprenant de conceptualisations de la validité, dont certaines ne sont même pas analogues. La variété des significations associées au terme validité fait que beaucoup la voient comme un concept compliqué. Cependant, dire qu’une mesure, ou une inférence fondée sur une mesure, est « valide » n’a de sens que si l’on offre une définition explicite de ce mot.

Pour résumer simplement les concepts associés à la théorie de la validité en psychométrie, il faut répondre à deux questions essentielles :

1. Est-ce que ce que je mesure est ce que je veux mesurer ?

2. Ma mesure est-elle utile ?

Pourquoi la validité est-elle si importante ?

Pour mieux saisir l’importance du concept de validité, il faut comprendre pourquoi nous avons besoin de nous assurer de la validité d’un test. Après avoir développé une théorie, conçu une mesure, collecté des données à l'aide de cette mesure et testé la théorie, vous pourrez, si cette dernière se confirme, utiliser votre mesure pour prendre des décisions. Il est donc essentiel que la mesure sur laquelle vous vous apprêtez à vous baser pour prendre ces décisions soit valide.

Or, il s'avère que déterminer ce qu’est une mesure psychométrique est une tâche plutôt difficile. La plupart des mesures portent sur des concepts que nous ne pouvons pas observer directement, tels que les attitudes, la santé mentale, les connaissances, les fonctions exécutives, les traits de personnalité, les préférences politiques, la culture, les préjugés cognitifs et les motivations. En effet, dans les cas où nous ne pouvons pas accéder directement au construit, nous devons observer des comportements théoriquement pertinents et en déduire l'existence et la nature de la construction sous-jacente (voir Borsboom, Mellenbergh et van Heerden, 2003).

En d’autres termes, les psychométriciens mesurent des comportements qui sont des approximations de ce qu’ils souhaitent mesurer.

Comment s’assurer qu’une mesure est valide ?

Les normes actuelles (The Standards) s’appuient largement sur le modèle unifié de Messick (1989), selon lequel la validité désigne la mesure dans laquelle les preuves et la théorie corroborent l'interprétation des résultats des tests pour les utilisations proposées des tests. La validité est donc le facteur le plus fondamental à prendre en compte lors de l'élaboration et de l'évaluation des tests. Le processus de validation consiste à accumuler des preuves pertinentes sur une base scientifique solide pour les interprétations de partitions proposées. Ce sont les interprétations des scores d’un test pour les utilisations proposées qui sont évaluées, pas le test lui-même. (AERA, APA, NCME, 2014, p. 11).

En somme, c’est l’accumulation des preuves au fil du temps qui démontre qu’un test est valide. 

Exemples du NEO PI 3 et du IPVI 3

Des tests comme le NEO PI 3 ou le IPVI 3 existent depuis plus de 30 et 50 ans respectivement. Des centaines de chercheurs, d’entreprises, de consultants et de psychologues ont démontré que la mesure du comportement observé correspond bien au comportement réel dans la vie quotidienne, ou s’avère une bonne approximation de ce dernier.

La validité est un jugement

Afin de prouver ces inférences, les psychométriciens utilisent les statistiques pour établir des liens entre ce qui est mesuré et ce qui doit être mesuré. 

En effet, la « position consensuelle » (Newton et Shaw, 2013, p. 13) adoptée dans les Normes actuelles (2014) apporte plusieurs autres précisions concernant la nature de la validité. Selon ces normes :

La validité n'est pas une question de tout ou rien, c'est une question de degré ; l'utilisation de deux tests peut être quelque peu valide dans les deux cas, mais l'un peut être plus valable que l'autre.

Autrement dit, il n’y a pas différents types de validité ; celle-ci est plutôt le jugement global unique de l'adéquation d'une interprétation ou d'une utilisation d'un test. Ainsi, il ne faut pas parler de validité X ou de validité Y. La validité est un jugement évaluatif unique.

Conclusion 

La validité est un processus continu dans lequel diverses sources de preuves de validité sont accumulées pour constituer un argument en faveur de la validité de l'interprétation et de l'utilisation prévues du test.