Sondage / Monde : encore un effort pour être transparent !

"Dominique Strauss-Kahn arrive en tête des intentions de vote pour le premier tour de l'élection présidentielle de 2012, selon un sondage Ipsos-Logica Business Consulting pour Le Monde et Europe1. Le Monde a choisi de procéder pour l'occasion à un décryptage le plus complet possible des méthodes utilisées." Les mots, solennels, sont en Une du Monde paru aujourd'hui. Mais le quotidien refuse de livrer les marges d'erreur et les résultats bruts du sondage qu'il publie.

On apprend effectivement de nombreuses choses dans l'article. C'est le directeur général délégué d'Ipsos France, Brice Teinturier, qui "a décidé, le 10 mars, de réaliser une enquête afin de confirmer, ou de corriger, la tendance tracée par Harris Interactive", dans son controversé sondage donnant Marine Le Pen en tête. Europe 1 a accepté d'en diffuser les résultats, et donc de les payer, et Le Monde s'est joint à l'initiative. Coût du sondage : "De l'ordre de 10 000 euros."

En détaillant le choix effectué des responsables politiques soumis à l'appréciation des sondés, Le Monde concède volontiers "qu'un tel sondage repose sur des choix discutables" : "Dans l'idéal, il faudrait tester toutes les candidatures et les configurations possibles. Cela conduirait à un questionnaire trop long et trop coûteux." On apprend aussi que 74 enquêteurs ont passé 7000 coups de fil pour obtenir "984 répondants", dont "847 ont exprimé une intention de vote", chaque entretien ayant duré seize minutes. On découvre aussi le principe qui préside à "l'administration" du formulaire : "Pour éviter de privilégier tel ou tel candidat socialiste, le nom de chacun a été présenté selon le principe d'une rotation aléatoire."

Mais cette salutaire transparence s'arrête là. Si l'article reconnaît qu'on évalue couramment les marges d'erreur "à 3 % pour un échantillon de 1 000 personnes", le quotidien se refuse à les donner dans le cas précis de son sondage. L'explication avancée est la même que celle classiquement utilisée par les sondeurs : le calcul de ces marges ne serait "statistiquement pertinent" que lorsque les sondages sont effectués sur un échantillon sélectionné de façon aléatoire (comme dans les pays anglo-saxons), et non pour un échantillon sur quotas.

Contradiction avec le Monde.fr et... une tribune publiée le même jour

Sur ce point précis, cet article vient donc contredire la tribune, publiée le même jour dans le même journal, des deux sénateurs ayant porté la proposition de loi visant à mieux contrôler la publication des sondages, votée à l'unanimité au Sénat mi-février. Jean-Pierre Sueur (PS) et Hugues Portelli (UMP) contredisent en effet cette " vulgate que les sondeurs entonnaient lorsque nous les recevions il y a un an " : "Ce n'est pas ce que disent les statisticiens. Nous avons publié en annexe à notre rapport d'information un texte de Pascal Ardilly (statisticien et spécialiste des sondages) qui précise les choses." Element-clé, qu'ils avaient encore martelé dans Ligne j@une.

Plus étonnant, l'article du Monde papier contredit également un récent article du Monde.fr, qui s'attachait justement à donner les marges d'erreurs sur de récents sondages. Le site du Monde s'appuyait, non sur des calculs hasardeux, mais sur le tableau que publie l'Ifop depuis la mi-février avec chacune des fiches détaillées de ses sondages (un exemple est ici), en détaillant les marges d'erreurs : dans le cas d’un échantillon de 1 000 personnes, si le pourcentage mesuré est de 20 %, la marge d’erreur atteint 2,5. Le vrai pourcentage est donc compris entre 17,5 % et 22,5 %.

Le Monde.fr, tout comme Sueur et Portelli, soulignait combien il était illusoire de vouloir départager des candidats dont les écarts étaient minimes. Or, Le Monde papier, sous la signature de Françoise Fressoz, la responsable de son service "France", écrit par exemple que "si François Hollande était candidat, il ferait 23 %" et qu'il pourrait "devancer au premier tour Mme Le Pen (21 %) et M. Sarkozy (21 %)". Or, l'écart entre les trois candidat est bien trop faible pour que l'on puisse en déduire quelque chose !

Dans son article de décryptage, le quotidien ne rend pas non plus publics les chiffres bruts obtenus par Ipsos, ni les méthodes de redressement employées : "Brice Teinturier n'a pas souhaité le faire dans le cas du sondage que nous publions. Comme ses confrères, il estime que l'obligation de communiquer leurs chiffres et leur méthodologie à la Commission des sondages est déjà une garantie de sérieux." Rappelons que la proposition de loi des sénateurs, si elle était votée, contraindrait simplement la Commission à publier sur son site ces données, déjà théoriquement consultables sur place. Le Monde conclut par une petite pique en direction du sondeur : "Aucun institut ne souhaite voir son savoir-faire - et éventuellement ses faiblesses - livré à ses concurrents." Mais ne semble pas prêt à remettre en question sa participation à une entreprise encore très floue.