Ce texte donne les exemples les plus fréquents de biais de questionnement. Il complète notre méthode dite du questionnaire en 12 points ainsi que la méthode d'études Marketing en ligne sur Internet.

• Biais N°1 : Profils

• On les trouve souvent en début de questionnaire alors que leur place est à la fin !
• ennui causé par ce type de questions
• caractère impliquant de telles questions
• découragement causé par ces questions en tête de questionnaire
• Il en va de même pour toutes les questions impliquantes, où le questionné aurait l'impression que son avis serait moins important que ses coordonnées (et à cette peur se rajoute celle du spam). Un bémol sur les questions impliquantes utilisées à titre de filtrage en tête du questionnaire

   

• Biais N°2 : Questions sans pré-test

• si une question est mal formulée/comprise, les résultats seront sans doute inexploitables. Ce sera une question inutile ou pire, les conclusions vous mèneront sur des fausses pistes
• à l'inverse, il y aura toujours un effet d'interprétation des questions par les interviewés; le rôle de l'homme de Marketing est de minimiser cet effet

 

• Biais N°3 : Questions à double-détente

• il faut poser 2 questions (au-moins) dans ce cas; sinon la réponse "oui" ou "non" ne serait pas interprétable.

• Biais N°4 : Questions incluant la réponse (biaisées)

• cette question contient déjà l'opinion de l'intervieweur. L'interviewé sera tenté de réagir en fonction de cette opinion et non d'exprimer la sienne en dehors de cette influence
  
  
• Biais N°5 : Effets de halo

• les liens à des personnes ou des groupes chargés en image sont dommageables à la neutralité d'une question
• Biais N°6 : Le jargonnage

• si l'on ne s'adresse pas à un technicien, on a peu de chances d'être compris. Le grand-public ne sait pas ce qu'est le "spamming". Utiliser une périphrase du style "accepteriez-vous de recevoir des offres publicitaires dans votre boîte e-mail ?". En l'occurrence, le terme de "spamming" recouvrant tant de réalités différentes, il faudra poser plusieurs questions complémentaires (quel type d'offres, quelles origines, sollicitées, non sollicitées, opt-in, opt-out etc. )
  
  
• Biais N°7 : Questions imprécises

• la réponse ne sera pas exploitable car on n'est pas sûr que l'interviewé l'aura comprise d'une part et d'autre part car le terme est imprécis. A partir de combien d'e-mails et de quelle fréquence un envoi d'e-mails devient-il un "e-mailing"
  
  
• Biais N°8 : QCM masquant les alternatives

• le vélo
• la voiture
• la moto
• ici, l'interviewé qui préfère le métro ne pourra répondre. Il manque en outre une case "autre à préciser" indispensable
  
  
• Biais N°9 : Questions sur des échelles de temps ou de distances
  
  
• temps : longtemps, souvent, rarement, de temps en temps, …
• remplacer par : x fois/semaine, x fois/mois, x fois/jour etc.
• les distances en km ne sont pas forcément parlantes non plus. Il faut plus de temps pour faire 25 km en ville que 200 km sur une autoroute fluide.

• Biais N°10 : Biais dans les choix proposés
  
  
• Se méfier du "point neutre" dans une échelle de valeur (très positif, plutôt positif …)
• utiliser des échelles paires au lieu des échelles impaires qui incitent à choisir la réponse médiane
• ne garder la réponse médiane que si le sujet est très délicat, très technique et B2B

 

• Biais N°11 : QCM avec recoupements

• a. 1 heure et moins
• b. 1-3 heures
• c. 3 heures et plus
  
  
• il vaut mieux remplacer cette échelle par :
• a. moins d'1 heure
• b. de 1 heure à 3 heures (inclus)
• c. plus de 3 heures

 

• Biais N°12 : L'ordre des questions est très important
• surtout si votre questionnaire contient des filtres. Des réponses peuvent être induites par l'ordonnancement des questions
  
  
• Biais N°13 : Distinguer questions factuelles & d'opinions
• ne pas mélanger les 2 dans une même question

• Biais N°14 : Questions ouvertes & fermées
• en quanti, il faut privilégier les questions fermées au maximum. Les questions ouvertes sont plus difficiles à quantifier et nécessitent une opération de regroupement intermédiaire assez longue. En outre, en moyenne, 4 réponses sur 10 à une question ouverte sont considérées comme inappropriées
• mais il faut toujours laisser une place pour une zone de commentaires libres (ou plusieurs si nécessaire) afin de laisser le questionné s'exprimer. Ceci est indispensable dans toutes les formes de questionnaires auto-administrés
• Attention, sur Internet, les internautes utilisent les questions ouvertes comme un forum. Ils vont attendre également des réponses rapides et personnalisées de votre part
  
  
• Biais N°15 : Eviter les réponses imposées (=> case "sans opinion")
• si un problème n'évoque rien pour l'interviewé, celui-ci sera tenté de répondre au hasard pour ne pas paraître idiot. Ne jamais oublier la case "ne sait pas" ou "sans opinion" qui donne à l'interviewé une porte de sortie honorable.
  
  
• Biais N°16 : Eviter les mots impliquants

• cette question implique un sentiment fort et une réaction de la part de l'interviewé : "je ne veux pas que l'on voie que j'ai peur, alors je vais répondre …"
• par ailleurs le terme de bruit est trop vague pour désigner les nuisances sonores (terme plus édulcoré mais dont il faudra s'assurer de la compréhension dans le pré-test !)
• il vaut mieux retourner la question :

• impact très fort
• impact plutôt fort
• etc.
  
  
• Biais N°17 : Préserver l'anonymat des réponses
• c'est une obligation légale régie par la CNIL (en France), elle-même régie par une réglementation européenne de plus en plus contraignante (directive de 95 en voie de révision en 2001)
• ne pas rassurer les interviewés sur ce point implique en outre que vous risquez d'induire des comportements de défense
  
  
• Biais N°18 : Proposer plusieurs modalités de réponses & "autres à préciser"
• plus il y a de choix possibles, moins les réponses des interviewées seront biaisées, mais trop de choix tue le choix car il crée l'embarras
• se limiter aux choix les plus importants en laissant les autres pour la case "autres à préciser"
• la case "autres à préciser" est souvent omise dans les questionnaires mal conçus. Elle permet pourtant de se garantir des oublis qu'il n'est jamais possible d'écarter totalement dans un questionnaire, surtout lorsqu'on ne connaît pas toutes le réponses possibles
• Biais N°19 : Les doubles négations

• remplacer par "pensez-vous qu'il est possible que …
• à défaut, vous risquez de générer incompréhension et biais négatifs
  
  
• Biais N°20 : Les filtres
  
  
• inutile de garder les indésirables qui sont nombreux sur l'Internet

• Biais N°21 : Echelles inversées

• toujours utiliser le même ordre de progression
• toujours utiliser le même nombre de choix dans une échelle
• répéter le plus possible dans le tableau les significations de l'échelle afin de ne pas obliger l'interviewé à se reporter à une légende
  
  
• Biais N°22 : Explications sur les questions complexes
  
  
• un questionnaire auto-administré livre l'interviewé à lui-même
• il est possible de reproduire sur l'écrans le principe de la carte explicative utilisé dans les questionnaires en face à face ou postaux, grâce à l'introduction d'images dans les question