Il est monnaie courante de conférer aux sondages tous les défauts du monde, sauf peut-être ceux qu'il serait utile de dénoncer pour améliorer la discipline. Contrairement à la croyance populaire, les principaux défauts des sondages ne résident pas dans les techniques d'échantillonnage, les méthodologies employées ou les modes de recueil, parfaitement rodées depuis des décennies.

En réalité, dans une majorité de cas, le véritable fléau des sondages réside dans l'élaboration du questionnaire : souvent mal posées, mal formulées, à la syntaxe imparfaite, les questions peuvent engendrer de nombreux biais, dont l'effet de priming, particulièrement redoutable.

En Septembre 2009, Science et Avenir publie les résultats d'une expérience reposant sur l'administration d'un sondage aux lecteurs internautes du magazine. Le sondage est soumis aléatoirement en trois versions :

• sondage 1 : la question A est précédée d'affirmations préparatoires à effet négatif
• sondage 2 : la question A est précédée d'affirmations préparatoires à effet positif
• sondage 3 : la question A n'est pas posée
• dans les trois sondages, la question B est invariablement la même

Article à télécharger au format PDF (3 Mo)

Les résultats reposent sur les réponses spontanées de 530 internautes ayant répondu à un des trois sondages et sont statistiquement significatifs (test du khi-deux).

L'art du conditionnement négatif dans la formulation des questions

Il apparaît que le conditionnement négatif a fonctionné : la proportion des internautes n'ayant pas répondu "Pour" à la question B du sondage 1 est au moins deux fois plus forte que dans le sondage 2 et 3 (31% contre 15% et 14%).

En revanche, le conditionnement positif du sondage 2 n'a pas fonctionné : les résultats sont sensiblement les mêmes que ceux du sondage 3. Cette absence d'influence apparente peut s'expliquer par le fait que le grand public est déjà très largement exposé à un conditionnement positif implicite sur ce sujet dans la vie courante.

En psychologie, ce phénomène est appelé effet de priming : il s'agit de l'orientation inconsciente provoquée par des notions incluses volontairement pour influencer un jugement. Les plus cyniques diront que cette technique est utilisée dans les journaux télévisés, la presse ou la publicité. Mais elle peut s'immiscer dans n'importe quelle composante de la vie quotidienne à partir du moment qu'il est question de "convaincre".

D'autres biais à surveiller pour l'élaboration d'un questionnaire

L'article de Science et Avenir évoque également une autre forme d'influence, l'effet normatif. Elle vise à orienter le sondé vers l'opinion qui semble être la norme. Ainsi, si un sondage est entamé en expliquant que l'enquête est réalisée auprès de personne ayant un bon niveau culturel, cela peut engendrer un biais auprès des sondés ne considérant pas avoir un niveau culturel suffisant.

L'ordre des questions et surtout l'ordre des items d'une question sont des aspects sur lesquels il faut faire preuve de beaucoup de précaution. Une lassitude se crée en effet au fil des questions d'un sondage. C'est pour cette raison que sont mis en place des rotations de questions et/ou d'items rétablissant le caractère aléatoire de la perception qu'en ont les sondés. Le sondage de Slate.fr sur le jugement majoritaire est un bon exemple de ce qu'il ne faut pas faire : aucune question préliminaire et absence de rotation des items.

La formulation des questions engendre un biais très proche de celui de l'effet de priming : les questions d'actualité sont souvent précédées d'une phrase introductive précisant un contexte, une hypothèse, une mise en situation. Le choix d'un champ lexical décalé (par exemple, confinant au thème de la guerre s'il s'agit de sécurité ou de criminalité) peut provoquer une distorsion des résultats.

Enfin, en aval de l'élaboration d'un questionnaire et du recueil des résultats, se trouve le journaliste. Celui-ci, par son analyse et sa mission de synthèse, interprète les résultats : selon l'angle emprunté et les tournures employées, le propos tentant de reproduire le sens initial peut rapidement dériver vers un contre sens. Et même si le propos du journaliste ne dénature apparemment pas les résultats, il n'est jamais bon d'empiler les approximations.

L'analyse de sondage est un exercice périlleux

S'il est très important de bien étudier le contexte d'une question au moment de son élaboration, il est également primordial d'être vigilant au moment de l'analyse. En toute circonstance, il est toujours dangereux de rapprocher des questions, même apparemment parfaitement identiques, si elles sont issues de sondages différents. Par exemple, chaque institut propose son baromètre consacré à l'évolution de la cote de popularité des personnalités politiques (il ne sera pas vain d'y consacrer un article tout entier).

Comme nous avons déjà pu le constater avec la polémique sur les Roms en Septembre 2010, les biais peuvent potentiellement s'additionner : sondage incluant un effet de priming indéniable, question utilisant un champ lexical non neutre, analyse très approximative, rapport d'étude ignoré (quid des marges d'erreur ?) etc...

Rappelons donc qu'il est indispensable de lire les rapports de sondage, et qu'il ne sera jamais suffisant de s'en tenir au papier du journaliste. L'analyse de sondage est un exercice pour équilibriste expérimenté, et il serait vraiment profitable de prendre toutes les précautions nécessaires pour rendre à la discipline la crédibilité qu'elle mérite.