La désignation de la première secrétaire du PS a été l’occasion pour beaucoup de découvrir les erreurs possibles dans les scrutins, à ne pas confondre avec les incertitudes des sondages, comme voulait nous le faire croire Tom Roud.
Commençons par dire tout le bien que je pense de Tom Roud, biologiste et membre de Café des Sciences. Il me fait l’honneur et le plaisir de venir commenter de temps en temps ici. Il me donne en réalité un prétexte pour revenir sur ces questions d’incertitudes, en m’appuyant en partie sur ce qu’il a écrit.
Donc, dans mon article du 23 novembre, « mauvais perdants », je cherchais des poux à Ségolène Royal et ses amis et il s’en est suivi une discussion avec notamment Emmeline et Protéos mais surtout Tom Roud et j’ai été le dernier commentateur en disant à Tom Roud que je n’étais pas d’accord avec le raisonnement du billet qu’il avait fait sur le sujet. Mais que je n’avais pas le temps de m’expliquer (vu l’heure affichée, je n’étais clairement pas en avance au boulot !). Plus d’un mois après, il est temps que je m’y mette !
Tom Roud explique que dans un sondage, il y a une marge d’erreur et que si on applique le sondage à une population de plus en plus grande, la marge d’erreur diminue en pourcentage et augmente en valeur absolue. En gros, si on a une marge de 30 voix sur un échantillon de 1000 sondés (soit 3%), en multipliant par 100 le nombre de sondés, on ne multiplie que par racine de 100 (soit 10) la marge d’erreur, qui passe à 300 voix, soit 0.3%.
Tout cela est juste. Là où je ne suis pas du tout d’accord avec l’exposé de Tom Roud, c’est qu’il présente cette marge d’erreur comme le fruit d’erreurs dans le recueil des données : par exemple le sondé a dit Aubry mais il pensait Royal, ou bien c’est le sondeur qui s’est trompé en notant Royal à la place d’Aubry. Expliquer les marges d’erreur des sondages par ce genre d’erreur, permet ensuite à Tom Roud de passer au cas du dépouillement lui même et de faire croire à ses lecteurs (et certainement à lui même car je ne doute pas de sa bonne foi) que, puisqu’il s’agit de même type d’erreurs, les ordres de grandeur sont les mêmes.
En réalité, le fait qu’un sondage donne le résultat avec une marge ne vient pas d’erreurs dans la prise de données mais du fait que rien ne nous permet de dire que l’échantillon soit identique à la population totale. Le terme de marge d’erreur est d’ailleurs fallacieux (il a induit Tom… en erreur !) il serait préférable de parler de marge d’incertitude.
Il faut, je m’en excuse, parler un peu statistiques. L’idée d’un sondage politique est qu’en interrogeant 1000 personnes, on aura une idée de la réalité, pas trop fausse, la notion de marge d’incertitude mesurant ce « pas trop fausse »
On va passer classiquement pour comprendre par le sac de billes contenant un grand nombre de billes noires et de billes blanches. Si j’en tire au hasard 100, et que j’en trouve 50 de chaque couleur, je vais me dire qu’il y a autant de billes de chaque couleur. C’est peut être vrai, mais pas forcément. Imaginons en effet qu’il y a effectivement exactement autant de billes de chaque couleur et que les 99 premiers tirages ont reflété cette réalité,et que donc j’ai eu 49 billes d’une couleur et 50 de l’autre : le dernier tirage a autant de chances de donner 1 bille noire qu’une bille blanche. Dit autrement, avec égalité de nombre de billes, sur 100 tirages, je peux aussi bien trouver 48/52 que 50/50.
Quiconque a joué aux cartes a pu observer que si on distribue un jeu de 52 cartes bien mélangés entre 4 joueurs, il n’arrive que rarement que chacun ait exactement un as, un roi, une dame, un valet etc. Généralement, on va trouver certaines cartes réparties à égalité entre les joueurs (un roi chacun par exemple) et d’autres inégalitairement (l’un a deux as et un autre pas du tout).
Reprenons mon sac de billes : si je fais deux tirages, j’ai une chance sur 4 d’avoir 2 noires, deux chances sur 4 d’avoir une blanche et une noire et une chance sur 4 d’avoir deux blanches. Si je passe à 4 tirages, la probabilité d’avoir 4 billes blanches passe à une sur 16 alors que la probabilité d’avoir deux blanches et deux noires est de 6 sur 16, la probabilité d’avoir une seule blanche est de 2 sur 16. En augmentant le nombre de tirages, on va obtenir la courbe de Gauss signalée par Tom Roud : les résultats les plus fréquents sont proches de la proportion réelle. Les résultats très éloignés peuvent se produire, mais leur probabilité est faible, ce qui se traduit par ce que note Tom Roud : il y a 95% de chances que l’écart entre le résultat trouvé et la proportion réelle soit inférieure ou égale à 3%, pour par exemple 100 tirages (je n’ai pas cherché le chiffre exact).
Les sondeurs font attention à éviter des biais : si je n’interroge que des militants de la fédération du Nord (qui vote principalement Aubry) ou de la Fédération des Bouches du Rhône (qui vote massivement Royal) je trouverais un résultat proche du poids de chaque candidate dans la dite fédération mais pas proche du niveau national : les sondeurs essaient par divers moyens d’éviter ce genre de biais. Mais c’est un autre sujet.
Comme Tom Roud le note, la marge absolue d’erreur augmente en augmentant la taille de l’échantillon. Mais pas à l’infini, parce que le nombre de votants n’est pas infini. Si je tire une carte au hasard dans un jeu de 52 cartes et que je tombe sur le 6 de carreau, si je ne la remet pas dans le jeu, au prochain tirage, j’ai une chance sur 51 de tirer n’importe quelle autre carte, mais aucune de tirer le 6 de carreau. Et j’ai 4 chances sur 51 de trouver un 7 mais seulement 3 chances sur 51 de tirer un 6. De la même manière, si mon sondage touche 99% des électeurs, ma marge d’incertitude est seulement sur le 1% restant. Dit autrement, s’il y a 200 000 électeurs, et que j’ai une marge de 30 voix sur 1000 sondés, elle passe à 300 pour 100 000 sondés, mais elle revient à 30 pour 199 000 sondés. Ceci pour dire qu’on ne peut pas extrapoler l’incertitude du sondage sur l’incertitude sur le vote réel.
L’erreur matérielle est d’un autre ordre. Au moment d’un dépouillement, il peut se glisser des erreurs. Progressivement, on s’est attaché à diminuer le nombre d’erreurs (et de fraudes) par des procédures de contrôle : par exemple on commence par compter les bulletins et à les répartir par paquets de 100 puis on distribue les paquets par table. A la table, les dépouilleurs doivent recompter le nombre d’enveloppes . Quand ils ont fini le dépouillement d’un paquet, ils vérifient que le total obtenu est égal à 100. Au final, la marge d’erreurs matérielles est très faible, et comme je l’ai vu écrire très justement par un commentateur, le consensus consiste à dire qu’on accepte le résultat obtenu dans ces conditions. En réalité, si le résultat est très serré, on commence par tout vérifier une nouvelle fois. Le juge peut annuler une élection s’il y a des faits anormaux (par exemple distribution de tract le jour du scrutin), qui peuvent avoir faussé celui-ci d’une valeur supérieure à la marge entre le vainqueur et le vaincu.
Voilà, voilà.
Beau sujet pour un lendemain de Noël, non ?
Les commentaires récents