Etudes quantitatives et sondages : recueillir la bonne information et diminuer l’erreur de déclaratif

Dans un article précédent, j’ai évoqué les questions méthodologiques pour une étude quantitative de qualité. C’est-à-dire diminuer, tant que faire se peut, l’écart entre la réalité et la mesure. Cette erreur « totale », nous l’avions vu, combine une erreur d’échantillonnage et une erreur de déclaratif. Et l’erreur totale étant proportionnelle à la somme des carrés de ces deux erreurs, réduire l’une sans réduire l’autre a un effet quasiment nul sur l’erreur totale. Nous nous intéresserons ici à l’erreur de déclaratif.

L’erreur de déclaratif : qu’est-ce que c’est ?

Il s’agit de toutes les erreurs provoquant un écart entre ce que l’interviewé va déclarer et la réalité de ce qu’il est, de ce qu’il fait, de ce qu’il pense. Plusieurs facteurs peuvent en être la cause.

Les conditions et l’environnement de l’interview

En premier lieu, la façon de répondre à un questionnaire ne sera pas la même pour un interviewé selon, par exemple, qu’il répondra seul à un questionnaire (questionnaire administré, online par exemple) ou selon qu’il interagit avec un enquêteur, que ce soit par téléphone ou en face-à-face. Les deux présentent des avantages et des inconvénients spécifiques, renforcés ou minorés par la qualité du questionnaire et le professionnalisme de l’enquêteur.

A titre d’exemple, un questionnaire auto-administré permet à l’interviewé :

• De répondre à son rythme,
• De ne pas subir un œil extérieur potentiellement « juge » de ses réponses,
• De répondre, le plus souvent, au moment qu’il souhaite.

En revanche :

• Il peut aussi remplir son questionnaire avec une certaine désinvolture, à plusieurs, sauter les questions qui l’ennuient, remplir de façon mécanique sans vraiment lire les questions, etc. A ce titre, on portera une attention particulière à toute forme d’incentives supposés favoriser l’administration du questionnaire et à leurs effets pervers. En premier lieu, un questionnaire bien rempli c’est un questionnaire qui a intéressé l’interviewé ; et l’engagement constitue un facteur clé.
• Il ne bénéficie pas de l’aide éventuelle de l’intervieweur pour comprendre les questions,
• Il n’est pas relancé, recadré, etc.

A l’inverse, un questionnaire administré par un enquêteur va permettre de s’assurer d’une certaine directivité du recueil, d’un contrôle permanent de la pertinence des réponses recueillies au regard des objectifs des questions posées, d’une bonne compréhension des questions posées, etc. Et comme dans toute interaction humaine, l’enquêteur est susceptible, même inconsciemment, d’influencer les réponses. Il peut être impressionnant, trop empathique, séduisant, déprimant, etc.

La qualité du questionnaire

L’élaboration d’un questionnaire exige un savoir-faire certain. Des études d’opinion démontrent qu’un questionnaire permet, dans une certaine mesure, de forcer le trait, de « forcer » l’interviewé à se positionner sur des questions ne correspondant pas forcément ni à son niveau de connaissance de la question, ni à sa façon de penser, etc.

En tout état de cause, outre ce savoir-faire, un questionnaire devrait toujours être « piloté » en réel. C’est-à-dire testé en conditions réelles afin de tester sa capacité à refléter ce que veut déclarer l’interviewé : bonne et complète compréhension des questions, mais aussi des modalités de réponses ; le questionnaire est administré, puis repris question par question avec l’interviewé afin de mettre à jour ce qu’il a compris qu’on lui demandait, ce qu’il souhaitait répondre et pourquoi il a répondu de cette façon.

Dans les grandes lignes, les principaux écueils à éviter sont :

• Les questions biaisées qui induisent une réponse. Mais aussi les questionnaires biaisés, dans lesquels les premières questions posées, par exemple en modifiant le niveau de connaissance ou de conscience de l’interviewé vis-à-vis du sujet étudié, vont influencer les réponses ultérieures.
• Les questions trop compliquées, qui sont comprises mal ou partiellement.
• Les questions – et les modalités de réponses –  ambiguës.
• Les questions trop personnelles, sauf s’il y a un protocole d’étude spécifique.

Les points évoqués ici, comme ceux survolés dans un article précédent sur les questions d’échantillonnage, ne prétendent pas servir de guide pratique permettant à chacun de réaliser son propre questionnaire. Ils visent davantage à alerter sur les aspects potentiellement explicatifs de résultats décevants. La réalisation d’une bonne étude quanti est avant tout une question d’expertise et d’expérience.

Si cet article vous a plu, nous vous invitons à découvrir notre agence Conseil en Strategie Digitale et à télécharger les premières pages de la méthode « Acquisition Strategy Design : le guide ultime pour construire pas à pas son plan d’Acquisition »