DECONSTRUIRE UN SONDAGE
DECONSTRUIRE UN SONDAGE
L’objet de cet article est de donner à tout à chacun une méthode, à l’aide d’un exemple, lui permettant de déconstruire la crédibilité de n’importe quel type de sondage politique. J’encourage donc tout à chacun d’en faire de même sur les sondages qu’il consulte et de mettre ses résultats en ligne.
Cet exemple est donné en complément de la parution de mes notes de lecture du Manuel anti-sondages.
Les instituts de sondage éditent une partie de la méthode et des données qui leur ont permis d’élaborer leur sondage. Une partie seulement, car il y a fort à parier qui si l’intégralité des méthodes et données étaient publiées, leur crédibilité, déjà pas forcément très élevée, rejoindrait les abysses. Mais cette seule partie de compte-rendu public peut déjà suffire à démasquer l’imposture dont ils font preuve.
Prenons un exemple (le premier sur lequel je suis tombé) : le « baromètre Métro réalisé par Opinionway » de novembre 2012 sur « Le palmarès de l’action gouvernementale et de l’opposition ». La méthode utilisée et les résultats obtenus sont disponiblesici.
Qui apprend-on (page 3)?
- Le sondage a été réalisé auprès de 1007 personnes, soit 0,002014% de la population française de plus 18 ans. A partir de là, un statisticien doit pouvoir calculer un taux d’erreur. Ce taux n’est pas donné et pour cause : étant donné le très faible pourcentage, il serait énorme. Tout juste Opinionway affirme-t-il que 2 à 3 points de marge d’erreur au plus sont possibles. Mais ces 2 à 3 points ne proviennent d’aucun calcul mathématique et sont donnés « au doigt mouillé ».
- L’échantillon, supposé représentatif, a été élaboré selon la « méthode des quotas ». Aucun détail n’est donné sur cette méthode. On remarquera, par exemple, que les revenus et le niveau scolaire, n’entre pas dans les « critères de représentativité ».
- Les sondés ont été interrogé par téléphone. Rien ne prouve donc que ceux qui ont répondu soient bien les supposés sondés : celui qui a répondu au téléphone et à l’enquête peut très bien être un enfant, un père, une grand-mère, un voisin ou un cousin de passage, ce qui accroît le doute sur la soi-disant « représentativité ».
Et c’est absolument tout sur la méthode ! Un peu léger, non ?
Examinons néanmoins quelques uns des résultats :
- La satisfaction des Français envers l’action du Président de la République (page 7) est détaillée selon la sympathie politique des sondés. On y retrouve le Modem (étonnamment le Front de Gauche et le Front National, qui ont pourtant réalisé des scores supérieurs aux Présidentielles et aux législatives, ne sont pas présents). M. Bayrou a obtenu 9,13% des voix au premier tour des Présidentielles de 2012 (et son parti a obtenu des résultats bien inférieurs aux Législatives). Avec un taux de participation de 80% à cette élection et en décomptant les Français qui ne sont pas inscrits sur les listes électorales, on peut estimer que M. Bayrou a obtenu environ 6% des voix des Français de plus de 18 ans. Sur ce sondage réalisé auprès de 1007 personnes, cela représente donc environ 60 personnes. Mais on peut aussi estimer qu’un certain nombre de sondés refusent de donner leur sympathie partisane par téléphone (ou en donne une qui soit fausse). Opinionway évalue donc la satisfaction des sympathisants MODEM pour M. Hollande à partir d’un échantillon d’environ 50 personnes ! Et prétend aboutir à un bon résultat à 2 ou 3 points près, alors qu’il suffit que seulement deux personnes changent d’avis, ou ait menti, pour que le résultat change de 4 points !
- Le palmarès de l’action des ministres (page 17) réserve également une autre surprise : si l’on en croit Opinionway, les Français connaissent remarquablement bien leur gouvernement, y compris les ministres dotés de portefeuilles obscurs : ils sont ainsi 54% à connaître l’action de Stéphane Le Foll, 65% pour Delphine Batho, 49% pour Geneviève Fioraso, 34% pour Victorin Lurel. Si vous avez une doute : essayez de mémoire (sans sauter immédiatement vers Wikipédia) de donner le portefeuille occupé par chacun de ces ministres qui viennent d’être cités, ou demander à vos amis … Pourquoi alors ces taux étonnement élevés ? La réponse est simples : les enquêteurs ont des consignes pour obtenir un maximum de réponses, quitte à forcer la main des sondés.
- L’imposture relevée plus haut sur l’opinion des sympathisants MODEM est ici encore plus éclatante : 34% des sondés se prononcent sur M Victorin Lurel (page 20). Si on reprend le calcul effectué plus haut pour la côte du Président de la République, on s’aperçoit alors que la côte de popularité de M. Lurel auprès du MODEM est effectuée auprès d’au maximum … 20 personnes ! 1 changement d’avis ou un mensonge de l’une d’elle et sa côte grimpe ou plonge de 5% ! Est-ce vraiment sérieux ?
On pourrait également poursuivre cette déconstruction en réalisant une comparaison avec les résultats obtenus par d’autres instituts pour le même type de sondage : les écarts seraient bien supérieurs aux 2 à 3 points de marge d’erreur annoncés par Opinionway.
Enfin, un dernier point pour ceux qui trouvent encore un caractère démocratique aux sondages. Si l’on compte qu’un sondage politique est effectué chaque jour de l’année, y compris les dimanches et jours fériés, ce qui serait déjà énorme, et que pour chacun de ces sondages 1000 Français seraient interrogés, nous aurions donc 365 000 Français d’interrogés chaque année (en supposant qu’à chaque fois, une personne différente est interrogée, ce qui est loin d’être le cas. En tablant sur une population française majeure de 50 millions de personnes, chacun d’entre nous serait interrogé en moyenne tous les 137 ans. C'est-à-dire qu’un Français sur deux ne serait jamais interrogé dans sa vie (et les hypothèses de départ sont très largement surévaluées ….). Retenez donc bien : en démocratie élective, vous donnez votre avis à chaque élection, en « démocratie sondagière » votre avis ne compte pas.
Origine de l'illustration : http://www.agoravox.fr/actualites/politique/article/sondage-sarkozy-malchanceux-le-79773