Réaliser une étude quantitative de qualité, c’est, entre autres, appliquer une méthodologie qui réduira l’erreur, c’est-à-dire l’écart entre la réalité et la mesure réalisée. Laquelle erreur en combine deux autres de nature différente : échantillonnage et déclaratif.
Réduire l’une de ces deux erreurs en ignorant l’autre, est quasiment sans effet sur l’erreur totale : il faut donc garder ces deux leviers en tête lors de la conception d’une étude. Intéressons-nous ici à l’échantillon.
Contrairement à une idée reçue, la taille d’un échantillon ne dépend pas de celle de la population à étudier. Pour juger l’assaisonnement d’une soupe contenue dans un chaudron, une cuillerée suffit. Pour savoir ce que fait ou pense une population, c’est la même chose : un échantillon suffit. Mais de quelle taille ? Elle est déterminée par deux critères : la précision souhaitée pour les résultats, et le nombre de sous-populations à analyser dans cet échantillon.
Une étude quanti sert à fournir des statistiques. Des pourcentages pour telle ou telle question. Ces pourcentages sont indicatifs : en fait, le pourcentage obtenu se situe au centre d’un intervalle, l’intervalle de confiance. C’est ce qu’abusivement on appelle souvent la marge d’erreur. Plus l’échantillon est important, plus cet intervalle est étroit. Et donc, plus le résultat est précis.
Les statistiques obtenues vont être analysées globalement. Mais il est aussi souvent instructif de s’intéresser aux différentes sous-populations qui composent cet échantillon, de les comparer, de mettre au jour d’éventuelles différences significatives. Par exemple, les homme vs les femmes. Ou les catégories socio-professionnelles dites hautes, moyennes et basses. Pour décider de la taille d’un échantillon, il faut donc s’interroger sur le nombre et la nature des sous-populations soumises à l’analyse, afin que leur taille soit suffisante pour cet exercice.
La représentativité d’un échantillon, c’est sa capacité à offrir les mêmes caractéristiques que celles de la population qu’il est supposé représenter. Au moins sur les critères jugés structurants par rapport à ce que l’on cherche à éclairer. Par exemple, pour la population française, ces critères seront généralement les sexe, l’âge, la CSP, la région et la taille d’agglomération.
Contrairement à ce que l’on pense parfois, la représentativité d’un échantillon n’est pas liée à sa taille, mais à sa composition : la qualité prime sur la quantité. Si l’on revient à notre chaudron de soupe, s’il y a un grumeau dans la cuillerée que vous goûtez, vous n’aurez pas une bonne idée du goût réel de la soupe dans le chaudron. De la même façon, interroger les 200 occupants d’une caserne de pompiers parisienne ne donnera pas une idée réaliste de ce que pensent les parisiens sur un sujet. Les pompiers sont a priori peu représentatifs de la population parisienne.
Différentes méthodes peuvent intervenir pour constituer un échantillon représentatif. Les plus puristes opteront pour les méthodes probabilistes, selon lesquelles un échantillon est représentatif lorsque tout individu appartenant à la population étudiée a autant de chances d’appartenir à l’échantillon que de ne pas y appartenir. Mais d’autre méthodes sont couramment utilisées, le plus souvent pour des raisons de facilité de mise en œuvre. C’est par exemple le cas de la méthode des quotas : pour chacun des critères jugés structurants pour la population étudiée, on déterminera à l’avance le nombre d’interviews nécessaires pour être conforme à la structure de la population de départ. Par exemple, moitié d’hommes et moitié de femmes.
J’ai ici évoqué les grands principes contrôlant la qualité d’un échantillon, première source d’erreur. J’aborderai dans un prochain article le second grand type d’erreur : l’erreur de déclaratif. Car, rappelons-le, ne chercher à améliorer que l’un des deux, c’est finalement ne réduire qu’à la marge l’erreur totale. Et la qualité de nos résultats.
Si cet article vous a plu, nous vous invitons à découvrir notre agence Conseil en Strategie Digitale et à télécharger les premières pages de la méthode « Acquisition Strategy Design : le guide ultime pour construire pas à pas son plan d’Acquisition »