Problème de votes

Sur ce sujet, un mot clé pour tomber sur de bons articles, c'est 'Paradoxe de Condorcet'.

Si tu as 50 livres, ton objectif n'est probablement pas de classer ces 50 livres du premier au dernier. Mais uniquement de sortir un 'TOP 5' , voire un 'TOP 10'.
Quand on doit choisir un 'Livre préféré' (unique), une méthode efficace, c'est par élimination.
On demande à chaque votant de classer les livres ; il attribue la note 1 à son livre préféré, la note 2 à son 2ème livre préféré etc etc et il ne donne pas de note aux livres qu'il n'a pas lus, ou aux livres qu'il ne souhaite pas départager.
Au moment du dépouillement, on procède par élimination : Quel est le livre qui a eu le moins de fois la note 1. On retire ce livre de la liste. Et pour tous les bulletins qui avaient mis ce livre en n°1, on remonte les notes d'un cran.
Et on recommence, ainsi de suite jusqu'à ce qu'il n'en reste qu'un.

Si on veut établir un classement des 5 meilleurs livres (et pas simplement le livre préféré), il faut probablement adapter cet algorithme.

Autre méthode, plus simple à mettre en place : Chaque votant dispose de 20 points par exemple, il peut donner ses 20 points à 1 seul livre, ou répartir ses 20 points sur 20 livres différents, ou toute combinaison intermédiaire.
Et à la fin, on compte tout simplement le nombre de points attribués à chaque livre.

Le mot-clé « paradoxe de Condorcet » souligné par lourrran te conduira rapidement au théorème d'Arrow : même avec un petit nombre de conditions très raisonnables quand on les prend indépendamment, il n'est pas possible de construire une fonction de choix qui les respecte toutes. Voici une vidéo courte et parlante (oui, c'est la moindre des choses pour une vidéo depuis les années 1930, enfin, vous voyez ce que je veux dire) par Barbara Schapira ; voir aussi, sur le même site, cet article de Jean-Yves Briend, cet exposé d'Antoine Rolland, une série de trois articles de Rémi Peyre : I, II, III. Ce n'est pas sans lien avec le lemme des mariages présenté par Frédéric Le Roux, Jérôme Buzzi et Sylvain Barré.

Tout ça pour dire qu'il te faut faire un choix et que chaque choix soulèvera des objections.

Mes deux centimes : si tout le monde note tous les livres, je crois qu'il faut rééchelonner les notes de sorte que chaque votant mette la même moyenne et le même écart-type. La question de la moyenne est secondaire : on n'influe pas le classement en ajoutant ou en retranchant un point à toutes les notes d'une personne qui vote. À la limite, si une personne met la même note à tout le monde, elle n'a aucun rôle dans le processus. Quelqu'un qui ne met que deux types de notes, des 1 et des 5 (ou des 0 et des 20, selon l'échelle), en revanche, a de facto un poids plus fort que quelqu'un qui met le même classement avec des 2 et des 3 (ou des 9 et des 11).

Comme il n'est pas raisonnable de laisser aux personnes qui votent la mission de faire en sorte que leur propre écart-type à telle valeur, il vaut mieux faire un traitement a posteriori. En pratique, c'est très facile avec un tableur ou, sur le web, un petit script javascript. En théorie, une fonction affine fait l'affaire : pour transformer une liste de notes $(x_1,\dots,x_n)$ en une liste dont la moyenne est $m$ et l'écart-type est $s$, on calcule la moyenne empirique et l'écart-type empirique \[\bar{x}=\frac1n\sum_{k=1}^nx_k\quad\text{et}\quad
\bar\sigma=\sqrt{\frac{1}n\sum_{k=1}^n(x_k-\bar{x})^2},\] puis on remplace chaque note $x_k$ par \[y_k=m+\frac{s}{\bar{\sigma}}(x_k-\bar{x}).\]

Oui, on change les votes mais on ne change ni le classement, ni les écarts relatifs des notes données à chaque livre. Par exemple, s'il y a trois livres et si la note de départ est sur 20, les deux personnes suivantes votent à l'identique après modification : \[\begin{array}{c|c|c|c|}
\text{livre}&A&B&C\\\hline
\text{jury}\ 1&8&12&14\\\hline
\text{jury}\ 2&11&13&14\\\hline\end{array}\]En fixant la moyenne à $12$ et l'écart-type à $2$, tous deux attribueraient 9,33 à $A$, 12,53 à $B$ et 14,14 à $C$.

La première chose à constater, c'est que si on ajoute un nombre fixé à toutes les notes d'une personne, on ne change rien à l'avis de cette personne : on ne change pas le classement ni les écarts entre deux notes. Cela veut dire que la seule chose qui compte, ce sont les écarts entre les notes. Or, si une personne est peu expansive et met des notes serrées, son avis pèsera moins que si une personne est emphatique et met des notes très dispersées. C'est donc pour homogénéiser le poids des avis des jurés que l'on multiple toutes les notes par un nombre fixé.

lourrran a écrit:

Faire en sorte que chaque votant ait le même écart-type, ça donne une prime aux votes extrêmes.

Bien au contraire, ce procédé neutralise les votes extrêmes en renforçant l'expressivité des personnes modérées. Dans l'exemple ci-dessus, un troisième juré qui croit noter $(2,14,20)$ mettra, après rectification, les mêmes notes $(9{,}32\,;\,12{,}53\,;\,14,14)$ que les deux autres.

Je ne dis pas que le système est meilleur que le vote par points que tu proposes. En particulier, si tous les jurés n'ont pas lu tous les livres, c'est un problème parce qu'il vont mettre des notes au hasard. C'est d'ailleurs un vrai problème, au sens où un vote par points n'est pas plus légitime dans cette situation et ne correspond pas à leurs préférences « réelles », celles qu'ils auraient exprimées s'ils avaient tout lu.


En revanche, dans un système où tout le monde donne une note à tout le monde, il faut veiller à ce que les écarts-types des différentes personnes qui votent soient comparables à défaut d'être égaux.

La situation typique où cela a son importance, c'est celle des concours de recrutement (écoles, CAPES ou agrégation, etc.). Si les notes d'une épreuve sont très ramassées, à la limite si elles sont toutes égales, c'est comme si les candidat.e.s n'avaient pas passé l'épreuve. À l'inverse, s'il y a une épreuve avec un écart-type gigantesque, elle va compter beaucoup plus que les autres. Autrement dit, la pondération a priori des épreuves n'a de sens que si les écart-types sont comparables.

Au passage, cet effet est pris en compte par certains jurys de concours, qui donnent pour consigne aux différentes commissions de faire en sorte que l'écart-type de leur épreuve soit aussi proche que possible de [tel nombre].

On choisit $s$ et $m$ à sa guise. On peut prendre pour $m$ la moyenne de tous les votes mais cela ne change rien de prendre $m=0$. (Enfin, rien... L'auteur d'un livre qui apprend qu'il a reçu une note négative pourrait se froisser...)

Une multiplication de toutes les notes par une constante, cela revient à changer d'unité. Par exemple, si on divise toutes les notes par $2$, c'est pareil que de passer d'une note sur $20$ à une note sur $10$, ou d'appeler désormais « demi-point » ce qu'on appelait « point » juste avant. On voit bien que ça ne change rien d'essentiel.

C'est la raison pour laquelle la valeur de $s$ est arbitraire. Si le vote doit être comparé à d'autres votes, il faut s'entendre. Si par exemple seul le classement compte, ça n'a pas d'importance : en multipliant tout par $s$, on ne change pas l'ordre des notes ; en termes plus chics, l'application $x\mapsto sx$ est strictement croissante.

Par votant, les deux. C'est là l'idée, de « relativiser » les notes de chaque votant pour que chacun.e ait les mêmes moyenne et écart-type (de façon analogue, on modifierait les notes de chaque épreuve pour un concours).

Math Coss a écrit:

http://www.les-mathematiques.net/phorum/read.php?13,1754008,1754230#msg-1754230
Au passage, cet effet est pris en compte par certains jurys de concours, qui donnent pour consigne aux différentes commissions de faire en sorte que l'écart-type de leur épreuve soit aussi proche que possible de [tel nombre].

Dans le cadre d'un concours/examen, oui, il faut cette harmonisation. Si on regarde l'épreuve de chimie organique par exemple, le correcteur 1 va évaluer 100 candidats, le correcteur 2 va également évaluer 100 candidats, mais le premier groupe de 100 candidats et le 2nd groupe sont disjoints. Si on ne faisait pas cette harmonisation, certains candidats seraient avantagés.
Mais ici, tous les juges évaluent tous les candidats. Si un juge considère que tous les livres se valent plus ou moins, il va donner des notes concentrées autour de la moyenne. C'est son choix, pourquoi modifier son jugement.
Certes, en échange, ça permet de régler le problème des ex-aequos.

Voici une liste de 5 séries de notes de 0 à 20 portant sur 8 livres (tirée au hasard jusqu'à observer le phénomène voulu) :

[ 5, 18,  3,  0, 12,  8,  0,  3]
[ 3,  2, 17,  5, 20, 19, 17, 14]
[13, 15,  5, 15,  4, 18, 12, 10]
[17, 16, 20, 18,  1, 12, 19, 10]
[ 3,  9, 11,  0, 19, 15,  8, 20]

Si je ne me suis pas trompé, les moyennes « brutes » et « normalisées » sont :

8.2 12.0 11.2 7.6 11.2 14.4 11.2 11.4
9.4 12.0 10.7 9.1 10.5 13.3 11.1 11.0

et les classements « brut » et « rectifié » sont, en numérotant les livres de 0 à 7 :

[3, 0, 2, 4, 6, 7, 1, 5]
[3, 0, 4, 2, 7, 6, 1, 5]

Les livres 6 et 7 sont intervertis dans le classement ; pour 2 et 4, on peut discuter parce qu'ils sont ex aequo en « brut ».

Voici une situation « plus petite » avec 3 votes sur 3 livres :

[2,10,18]
[12,9,9]
[12,9,9]

Après renormalisation, les notes deviennent :

[ 5.1, 10.0, 14.9]
[15.7  7.2  7.2]
[15.7  7.2  7.2]

Avec les notes brutes, le premier votant arrivait à faire passer le film 2 en tête à lui tout seul ; avec les notes rectifiées, c'est le film 0 qui gagne.


@Gérard : « Pourquoi les bloquer ? » C'est une question de choix du système de vote et il n'y a donc pas de réponse définitive. Pour moi, le deuxième exemple ci-dessus est une source d'interrogation : est-ce que les votants 1 et 2 ont des avis plus mesurés que le votant 0 ou est-ce qu'ils ont des avis aussi tranchés mais qu'ils les transcrivent différemment ?

Voici une anecdote. Dans une association, les membres devaient choisir des films dans un panel. Dans les séances de visionnage, ils regardaient les films, les notaient et en discutaient. Il arrivait fréquemment que des membres s'accordaient parfaitement à l'oral mais transcrivaient leurs avis en notes très différentes. La source principale de divergence était l'amplitude des notes. Pour moi, c'est un argument en faveur de la « normalisation » systématique (laquelle, pour l'anecdote, n'a jamais été pratiquée dans l'association en question...).

Encore une fois, c'est là un choix « politique » entre plusieurs solutions dont la théorie d'Arrow dit qu'elles sont nécessairement imparfaites.