DECONSTRUIRE UN SONDAGE

DECONSTRUIRE UN SONDAGE

L’objet de cet article est de donner à tout à chacun une méthode, à l’aide d’un exemple, lui permettant de déconstruire la crédibilité de n’importe quel type de sondage politique. J’encourage donc tout à chacun d’en faire de même sur les sondages qu’il consulte et de mettre ses résultats en ligne.

Cet exemple est donné en complément de la parution de mes notes de lecture du Manuel anti-sondages.

Les instituts de sondage éditent une partie de la méthode et des données qui leur ont permis d’élaborer leur sondage. Une partie seulement, car il y a fort à parier qui si l’intégralité des méthodes et données étaient publiées, leur crédibilité, déjà pas forcément très élevée, rejoindrait les abysses. Mais cette seule partie de compte-rendu public peut déjà suffire à démasquer l’imposture dont ils font preuve.

Prenons un exemple (le premier sur lequel je suis tombé) : le « baromètre Métro réalisé par Opinionway » de novembre 2012 sur « Le palmarès de l’action gouvernementale et de l’opposition ». La méthode utilisée et les résultats obtenus sont disponiblesici.

Qui apprend-on (page 3)?

-          Le sondage a été réalisé auprès de 1007 personnes, soit 0,002014% de la population française de plus 18 ans. A partir de là, un statisticien doit pouvoir calculer un taux d’erreur. Ce taux n’est pas donné et pour cause : étant donné le très faible pourcentage, il serait énorme. Tout juste Opinionway affirme-t-il que 2 à 3 points de marge d’erreur au plus sont possibles. Mais ces 2 à 3 points ne proviennent d’aucun calcul mathématique et sont donnés « au doigt mouillé ».

-          L’échantillon, supposé représentatif, a été élaboré selon la « méthode des quotas ». Aucun détail n’est donné sur cette méthode. On remarquera, par exemple, que les revenus et le niveau scolaire, n’entre pas dans les « critères de représentativité ».

-          Les sondés ont été interrogé par téléphone. Rien ne prouve donc que ceux qui ont répondu soient bien les supposés sondés : celui qui a répondu au téléphone et à l’enquête peut très bien être un enfant, un père, une grand-mère, un voisin ou un cousin de passage, ce qui accroît le doute sur la soi-disant « représentativité ».

Et c’est absolument tout sur la méthode ! Un peu léger, non ?

Examinons néanmoins quelques uns des résultats :

-          La satisfaction des Français envers l’action du Président de la République (page 7) est détaillée selon la sympathie politique des sondés. On y retrouve le Modem (étonnamment le Front de Gauche et le Front National, qui ont pourtant réalisé des scores supérieurs aux Présidentielles et aux législatives, ne sont pas présents). M. Bayrou a obtenu 9,13% des voix au premier tour des Présidentielles de 2012 (et son parti a obtenu des résultats bien inférieurs aux Législatives). Avec un taux de participation de 80% à cette élection et en décomptant les Français qui ne sont pas inscrits sur les listes électorales, on peut estimer que M. Bayrou a obtenu environ 6% des voix des Français de plus de 18 ans. Sur ce sondage réalisé auprès de 1007 personnes, cela représente donc environ 60 personnes. Mais on peut aussi estimer qu’un certain nombre de sondés refusent de donner leur sympathie partisane par téléphone (ou en donne une qui soit fausse). Opinionway évalue donc la satisfaction des sympathisants MODEM pour M. Hollande à partir d’un échantillon d’environ 50 personnes ! Et prétend aboutir à un bon résultat à 2 ou 3 points près, alors qu’il suffit que seulement deux personnes changent d’avis, ou ait menti, pour que le résultat change de 4 points !

-          Le palmarès de l’action des ministres (page 17) réserve également une autre surprise : si l’on en croit Opinionway, les Français connaissent remarquablement bien leur gouvernement, y compris les ministres dotés de portefeuilles obscurs : ils sont ainsi 54% à connaître l’action de Stéphane Le Foll, 65% pour Delphine Batho, 49% pour Geneviève Fioraso, 34% pour Victorin Lurel. Si vous avez une doute : essayez de mémoire (sans sauter immédiatement vers Wikipédia) de donner le portefeuille occupé par chacun de ces ministres qui viennent d’être cités, ou demander à vos amis … Pourquoi alors ces taux étonnement élevés ? La réponse est simples : les enquêteurs ont des consignes pour obtenir un maximum de réponses, quitte à forcer la main des sondés.

-          L’imposture relevée plus haut sur l’opinion des sympathisants MODEM est ici encore plus éclatante : 34% des sondés se prononcent sur M Victorin Lurel (page 20). Si on reprend le calcul effectué plus haut pour la côte du Président de la République, on s’aperçoit alors que la côte de popularité de M. Lurel auprès du MODEM est effectuée auprès d’au maximum … 20 personnes ! 1 changement d’avis ou un mensonge de l’une d’elle et sa côte grimpe ou plonge de 5% ! Est-ce vraiment sérieux ?

On pourrait également poursuivre cette déconstruction en réalisant une comparaison avec les résultats obtenus par d’autres instituts pour le même type de sondage : les écarts seraient bien supérieurs aux 2 à 3 points de marge d’erreur annoncés par Opinionway.

Enfin, un dernier point pour ceux qui trouvent encore un caractère démocratique aux sondages. Si l’on compte qu’un sondage politique est effectué chaque jour de l’année, y compris les dimanches et jours fériés, ce qui serait déjà énorme, et que pour chacun de ces sondages 1000 Français seraient interrogés, nous aurions donc 365 000 Français d’interrogés chaque année (en supposant qu’à chaque fois, une personne différente est interrogée, ce qui est loin d’être le cas. En tablant sur une population française majeure de 50 millions de personnes, chacun d’entre nous serait interrogé en moyenne tous les 137 ans. C'est-à-dire qu’un Français sur deux ne serait jamais interrogé dans sa vie (et les hypothèses de départ sont très largement surévaluées ….). Retenez donc bien : en démocratie élective, vous donnez votre avis à chaque élection, en « démocratie sondagière » votre avis ne compte pas.

 Origine de l'illustration  : http://www.agoravox.fr/actualites/politique/article/sondage-sarkozy-malchanceux-le-79773 

Comments

[L'oeil de Brutus]

Merci pour votre intervention.


Quelques éléments supplémentaires :


1/ Sans vouloir rentrer dans les détails de la statistique (un dimanche matin, c'est un peu rude ...), Opinionway annonce un marge d'erreur de 2 à 3% mais n'indique nullement comment cela est calculé. Et il suffit de voir les résultats plus bas, ou encore plus simple, comparer avec un même sondage réalisé par un
autre institut pour voir que cela ne tient pas la route.

2/ Je crois que je n'ai pas été très clair là dessus. Je ne repproche pas aux instituts de ne pas donner le nom de la méthode utilisée (puisqu'ils le font) mais de ne pas la détailler. Exemple sur le critère de l'âge : Opinionway pourrait très bien indiquer que la population française adulte est constitutée à (les
chiffres sont donnés aléatoirement et uniquement à titre d'eemple) 20% de 18-30 ans, 40 % de 30-55ans, et 40% au delà de 55 ans, pui indiquer qu'il considère un sondage représentatif sur le
critère de l'âge à partir de moment ou son panel est constitué de ces mêmes pourcentages à un écart de 3% près et que sur le sondage en question le panel est constitué de tant de % de 18-30 ans,
tant de % de 30-55 ans, tant de % de 30-55 ans, etc. et de même manière pour les autres critères. Or, cela n'est pas fait et n'est jamais fait. Quel secret de frabrique pourrait-il y avoir la
dessous (la composition de la population française selon tous les critères est donné en source libre par l'INSEE) ? Ce manque de transparence suffit à rendre suspect la rigueur d'application de
la méthode.

Le FDG et EELV sont effectivement englobés avec le PS, NC avec l'UMP, le 3e logo "de droite" est illisible et je doute que ce soit celui du FN. En tout état de cause, si le FN est englobé avec le
reste de la droite c'est une aberration politique et si n'est pas du tout pris en compte (ce qui semble être le cas), c'est aussi une aberration. Bref, dans tous les cas cela n'est guère
rigoureux (tout en sachant que nous avons ici bien plus d'informations sur ce sondage que lors de sa parution dans Métro).
sur la question du MODEM, en-dessous du logo MODEM, il est bien écrit "MODEM" et non "Centriste indépendant". En tout état de cause, même si vous doublez le nombre de sondés qui se disent MODEM
(ou centristes indépendant) et alors même que j'ai déjà pris des hypothèses très généreuses, la côte de popularité de M. Hollande auprès d'eux serait mesurée avec 100 personnes, celle de M. Lurel
avec 40 ...

Que la fonction des ministres soit données aux sondés ne changent rien : l'immense majorité devait ignorer que, dans l'exemple donnée, M. Lurel remplissait cette fonction. En outre, de quels
élements diposez-vous pour juger, instantanément, de l'action du ministère de l'outre-mer ?

Je vous rejoins bien sur votre conclusion : les sondages sont un outil mathématiques et non un reflet de la socété. Mais tels qu'ils sont présentés, les sondages politiques n'ont même pas la
rigueur nécessaire à un outil mathématique !

[Joël Elisé]

En matière de sondage, quelques notions de statistiques sont nécessaires.


1. Le terme "marges d'incertitude" est à rapprocher de la notion d'intervalle de confiance. Et il est important de savoir ce que cela signifie pour saisir toute la portée des chiffres.


2. La méthodologie utilisée renvoie à des notions qui ne sont pas détaillées dans le document : "méthode des quotas, au regard des critères de sexe, d’âge, de catégorie socioprofessionnelle du
chef de famille, après stratification par région et catégorie d’agglomération" et "norme ISO 20252".


Les chiffres sont ce qu'ils sont. Leur interprétation, c'est autre chose...


D'autre part, la partition suivant la sympathie politique des sondés regroupe les formations politiques sous 3 vocables : gauche, modem (considéré comme le centre indépendant) et droite. En
observant l'infographie, on remarque, à gauche, les logos du PS, du FdG ou d'EELV, à droite, ceux de l'UMP, du NC et (on dirait) du FN.


Enfin, et je m'arrêterai là : "La satisfaction à l’égard de l’action des 18 Ministres a été mesurée sur la base du libellé de leur fonction exacte" (méthodologie p.4).


En conclusion, je dirai qu'il y a sans doute à s'interroger sur la pertinence de l'utilisation de sondages dans une démocratie ou, tout au moins, dans un régime qui veut en avoir les attributs.
Le fait de présenter un sondage pour ce qu'il semble être (un reflet de la société) et non pour ce qu'il est vraiment (un outil mathématique) est à mon sens le véritable danger de l'irruption du
sondage dans notre quotidien. Car, qu'on le veuille ou non, il influencera toujours celui qui le prendra pour ce qu'il n'est pas.