Proposition de mode de notation simple et complet des offres

[claude pomero]

 Tentons une synthèse de la notation équitable et simple des offres, à la lumière de nos discussions et de la jurisprudence récente du CE sur les notes négatives:

-Notation des critères qualitatifs (tous, sauf prix): on divise la note donnée par la note maximum attribuable, puis on multiplie par la pondération.
-Notation du prix: on applique la formule N(P)= (PMax-P)/estim.
-on ajoute les points obtenus: le gagnant obtient le plus de points.

C'est tout!

Exemple:
Marché estimé à 200 k€; trois critères: Prix 60%; VT 30 %; Environnement 10%
3 offres, A, B et C

Offre A 150 k€; note VT: 4 sur 5 et note env.: 1 sur 5
Offre B 170 k€; note VT :1 sur 5 et note env.: 5 sur 5
Offre C 110 k€; note VT: 2 sur 5 et note env. :2 sur 5

Offre A: note VT: 4/5  *0,30= 0,24, soit 24 points ; Note env. 1/5   *0,10= 0,02 soit 2 points;  Note prix: (170-150)/200= 0,1 soit 10 points;    total A= 36 points
Offre B: note VT: 1/5  *0,30= 6 points ; Note env. 5/5   *0,10= 10 points;  Note prix: (170-170)/200= 0 points ;   total A= 16 points
Offre C: note VT: 2/5  *0,30= 12 points ; Note env. 2/5   *0,10= 4 points ; Note prix: (170-110)/200= 30 points ;   total A= 46 points.  A gagne le marché.

On remarque que 0,01en note équivaut à 1 point.  Ce point vaut 1/100° de l'estimation (dans cet exemple: 200 k€/100= 2 000 €)

Commentaires:

La valeur égale de chaque point, quel que soit le critère qui en est à l'origine, est respectée: on peut donc légitimement ajouter ces points de même valeur pour déterminer l'offre la plus avantageuse.
Exemple: écart de prix entre A et B=20 k€, soit la valeur de 10 points à 2 000 €; on vérifie que la note du prix entre A et B est bien de 10 points. Note env. de l'offre B est 5/5, soit toute la valeur accordée à ce critère de 10% de 200 k€= 20 000 €= 10 points à 2 000 €: on vérifie que la note env. de B est bien de 10 points.
La notation des offres est donc équitable.
Il ne peut pas y avoir de note négative (voir avis récent du CE interdisant les notes négatives), puisque l'offre acceptable la plus chère est notée zéro: les autres notes sont forcément au dessus.
Pour noter les critères qualitatifs, peu importe sur combien sont notées les offres. En divisant la note par le maximum possible de notation, on obtient la fraction de note accordée à l'offre, qu'il suffit de multiplier la pondération.  exemple pour la VT de l'offre A: si elle était notée sur 15 et non pas sur 5, elle aurait obtenu 12/15 et la note 12/15 * 0,30=0,24 soit 24 point: valeur de la note identique.
On remarque qu'il n'y a plus de pondération du critère prix: celle ci intervient par l'espace qu'elle laisse aux autres critères. Ici, les autres critères auraient pu rapporter 40 points au maximum, à ajouter aux points du prix des offres.  Si la pondération du prix avait été 30% au lieu de 60%, 70 points auraient pu s'ajouter au maximum à la note prix, ce qui peut changer complètement les résultats.  dans l'exemple choisi, si la VT avait été pondérée à 60% au lieu de 30%, l'offre A aurait obtenu 60 points au total et aurait largement gagné.Pourtant la note du prix n'a pas changé...
Il faut noter que le total des points peut dépasser 100 dans certaines notations, si par exemple l'offre la plus chère est très élevée, tout en restant acceptable: ne vous en étonnez pas!
L'utilisation de l'estimation est souvent critiquée par le fait qu'elle est plus ou moins fiable: qu'on se rassure, une mauvaise estimation n'a que peu de conséquences sur le résultat final, parce que c'est l'écart de prix qui compte et non pas la valeur absolue des points obtenus...dans l'exemple, si l'estimation avait été du montant de l'offre la plus chère, soit 170 k€ au lieu de 200 k€, les écarts entre le gagnant C et le challenger B passent de 10 points à 13 points. Cette différence de 3 points est à comparer avec la note gagnante de 46 points: elle représente moins de 7% pour une diminution de l'estimation de 15%.


Si vous voulez mettre dans le RC le mode de notation du prix, voici une formule qui doit être acceptable:

"NOTATION DU CRITÈRE "PRIX"
Le critère "prix" sera noté en donnant la note zéro à l'offre acceptable la plus chère Pmax.  les autres notes seront obtenues par la formule N(P)= (Pmax - P)/ estim. estim. est l'estimation administrative du marché".

Cette proposition de notation vous convient-elle?

[ktorz]

Pour ma part, sans prendre position sur la méthode de calcul de la note du critère prix dans votre exemple, je trouve un peu sauvage l'obtention de Zéro au + cher alors qu'il est bien en dessous de l'estimation annoncée.
Mais cela n'engage que moi 
Je reste encore sur la méthode classique de notation du prix : prix le - cher / prix analysé

[Bulldog04]

Mettre zéro au critère prix est pour moi un non sens tout comme se servir de l'estimation administrative du marché (pas un non sens mathématique mais un non sens idéologique). Quant à noter un critère sur 100 et avoir des notes qui peuvent dépasser 100 je n'en parle même pas.
Même avis que Ktorz pour moi le critère prix ne se juge que selon la formule (montant de l'offre la moins disante/montant de l'offre jugée) x valeur de pondération = nbre de points obtenus sur 100.

[speedy]

je ne crois pas que cette formule soit la meilleure surtout avec cette présentation lapidaire ...
je redis encore une fois que pour signifier quelque chose la méthode de notation globale par pondération nécessite le respect de quelques bases dont :
- une notation croissante pour des performances croissantes
- une même plage de notation pour tous les critères

or avec cette formule
- vous mettez 20  au meilleur prix mais sans l'engagement de mettre 20 au meilleur sur chaque autre critère !....
- vous ne mettrez que rarement une note inférieure à la moyenne sur ce critère prix !
donc je préfère de loin les méthodes linéaires et je m'interroge pour les bornes de la plage de notation
c'est ainsi que je suis arrivé à soutenir les courbes en S ... tout en reconnaissant que les formules purement linéaire ont leur intérêt ...
la courbe que vous soutenez est une hyperbole qui masque une survalorisation des prix faibles .... c'est une superpondération masquée, vous n'aviez pas "Transparence" dans les principes de base ?

[hpchavaz]

la courbe que vous soutenez est une hyperbole qui masque une survalorisation des prix faibles ....

Cela est une réponse à  ktorz et Bulldog04

A/ sur la proposition de claude pomero
1/ sur la formule
la formule donne une droite. droite dont la pente est connue à l'avance (1/est) mais qui est ancrée qu'une fois le Pmax connu pour donner 0 à Pmax

Bref c'est cela ressemble beaucoup à ce que j'ai décrit il y a qqs semaines suite à la jurisprudence Guadeloupe si ce n'est que j'ancre la droite en donnant la notemax au prixmin

c'est bien l'idée de la formule :	note	=	NoteMax	Prix min – prix offre	+ NoteMax	qui translate la droite en donnant la noteMax au prix min
				estimation

2/Sur les plages de notation, je suis à peu près d'accord d'accord avec speedy :
Accord : il faut qu'elles soient identiques
Désaccord :
- pour speedy (et bien d'autres) : ces plages ont vocation à être potentiellement couvertes pas les offres.
- pour moi (je suis assez seul) : non, mais je supporte assez bien voir plus loin.

3/Sur la façon d'exprimer le poids, je suis partagé.

La pratique habituelle un total des poids valant 100% est facile à comprendre.

Mais exprimer les poids en fonction de celui du prix est aussi séduisant.
Quand :
- la note prix varie de 0 à notemax pour des prix dont la différence est l'estimation
- les plage sont identiques
cela  permet de rapidement comprendre la pondération, exemple : prix 100 VT 20 => la variation sur la VT peut compenser un écart de prix de 20% de l'estimation.

C'est pour cela que je supporte d'être isolé sur ma position concernant les plages de notation.

B/ Le recours à l'estimation
Pour  Bulldog04
a) Mettre zéro au critère prix est pour moi un non sens"
en quoi cela n'aurait pas de sens ?, je veux bien débattre mais il faut pour cela avoir vos arguments.
b) "... un non sens tout comme se servir de l'estimation administrative du marché"
Je ne vois pas en je ne vois pas en quoi cela n'aurait pas de sens, cette estimation a été faite et sans doute avec un certain soin, en quoi cela cela serait un non sens de l'utiliser.
Je vous propose donc de développer en détail vos arguments.

C/ Formules en prix mini / Prix offre
Les défauts de ces formules ayant été exposés à de multiples  reprises, je ne vais faire court :
Les résultats sont à peu près imprévisibles.

[speedy]

2/Sur les plage de notationJe suis à peu près d'accord d'accord avec speedy,
accord : il faut qu'elles soient identiques
Désaccord :
- pour speedy (et bien d'autres) : ces plages ont vocation à être potentiellement couvertes pas les offres.
- pour moi (je suis assez seul) : non, mais je supporte assez bien voir plus loin.

je ne me suis pas fait comprendre totalement :
je ne suis pas un inconditionnel de la couverture automatique de la plage mais par une approche identique sur l'ensemble des critères
donc si sur un critère je m'engage à mettre 20/20 au meilleur sur les autres aussi , mais si techniquement je ne peux mettre moins de 10/20 sans réfléchir je devrais aussi limiter ma plage de notation sur les autres critères ....

or en pratique quand on utilise une échelle de notation exécrable,  très mauvais, mauvais, passable, bon, très bon, excellent je ne vois que rarement pour ne pas dire jamais ni exécrable ni excellent .... mais avec la formule Pmini/oifre je vois 20/20 et il faut avoir plus de 2 fois le prix mini pour avoir moins de 10/20 .....

[claude pomero]

Bref c'est cela ressemble beaucoup à ce que j'ai décrit il y a qqs semaines suite à la jurisprudence Guadeloupe si ce n'est que j'ancre la droite en donnant la notemax au prixmin


En étudiant la réponse de hpchavaz sur la formule de prix qu'il propose, je me suis aperçu avec horreur de la rédaction exacte de l'arrêt du CE:

"9. Considérant, en cinquième lieu, que les pouvoirs adjudicateurs ne peuvent, lorsqu'ils choisissent d'évaluer les offres par plusieurs critères pondérés, recourir à des méthodes de notation conduisant à l'attribution, pour un ou plusieurs critères, de notes négatives ; qu'en effet une telle note, en se soustrayant aux notes obtenues sur les autres critères dans le calcul de la note globale, serait susceptible de fausser la pondération relative des critères initialement définie et communiquée aux candidats..."

Cela veut dire, pour un juriste je pense, que les formules elles-mêmes sont interdites si elles peuvent conduire à des notes négatives (même si une attribution de marché ne comprend pas de notes négatives...)

Ceci veut-il donc dire en clair (les juristes le confirmeront?), que toute analyse des offres utilisant une formule linéaire traditionnelle, quelle qu'elle soit, peut conduire à l'annulation du marché?

La formule de hpchavaz citée plus haut est comme les autres, puisqu'elle peut conduire à des offres négatives...

C'est pourquoi il est urgent de développer des notations linéaires sans offres négatives, même si elles présentent des inconvénients de présentation...

[claude pomero]

Bref c'est cela ressemble beaucoup à ce que j'ai décrit il y a qqs semaines suite à la jurisprudence Guadeloupe si ce n'est que j'ancre la droite en donnant la notemax au prixmin

j'ai fait une erreur de présentation: je reposte le message...
En étudiant la réponse de hpchavaz sur la formule de prix qu'il propose, je me suis aperçu avec horreur de la rédaction exacte de l'arrêt du CE:

"9. Considérant, en cinquième lieu, que les pouvoirs adjudicateurs ne peuvent, lorsqu'ils choisissent d'évaluer les offres par plusieurs critères pondérés, recourir à des méthodes de notation conduisant à l'attribution, pour un ou plusieurs critères, de notes négatives ; qu'en effet une telle note, en se soustrayant aux notes obtenues sur les autres critères dans le calcul de la note globale, serait susceptible de fausser la pondération relative des critères initialement définie et communiquée aux candidats..."

Cela veut dire, pour un juriste je pense, que les formules elles-mêmes sont interdites si elles peuvent conduire à des notes négatives (même si une attribution de marché ne comprend pas de notes négatives...)

Ceci veut-il donc dire en clair (les juristes le confirmeront?), que toute analyse des offres utilisant une formule linéaire traditionnelle, quelle qu'elle soit, peut conduire à l'annulation du marché?

La formule de hpchavaz citée plus haut est comme les autres, puisqu'elle peut conduire à des offres négatives...

C'est pourquoi il est urgent de développer des notations linéaires sans offres négatives, même si elles présentent des inconvénients de présentation...

[hpchavaz]

Cela veut dire, pour un juriste je pense, que les formules elles-mêmes sont interdites si elles peuvent conduire à des notes négatives (même si une attribution de marché ne comprend pas de notes négatives...)
C'est pourquoi il est urgent de développer des notations linéaires sans offres négatives, même si elles présentent des inconvénients de présentation...

en formule linéaire vous courrez
. soit (1) le risque d'avoir des notes négatives
. soit (2) celui d'avoir des notes au dessus de la note "maximun".

Avec l'écrétage façon speedy vous pouvez régler le 2.

[claude pomero]

je ne crois pas que cette formule soit la meilleure surtout avec cette présentation lapidaire ...
je redis encore une fois que pour signifier quelque chose la méthode de notation globale par pondération nécessite le respect de quelques bases dont :
- une notation croissante pour des performances croissantes
- une même plage de notation pour tous les critères

or avec cette formule
- vous mettez 20  au meilleur prix mais sans l'engagement de mettre 20 au meilleur sur chaque autre critère !....
- vous ne mettrez que rarement une note inférieure à la moyenne sur ce critère prix !
donc je préfère de loin les méthodes linéaires et je m'interroge pour les bornes de la plage de notation
c'est ainsi que je suis arrivé à soutenir les courbes en S ... tout en reconnaissant que les formules purement linéaire ont leur intérêt ...
la courbe que vous soutenez est une hyperbole qui masque une survalorisation des prix faibles .... c'est une superpondération masquée, vous n'aviez pas "Transparence" dans les principes de base ?

Speedy indique:
"or avec cette formule
- vous mettez 20  au meilleur prix mais sans l'engagement de mettre 20 au meilleur sur chaque autre critère !....
- vous ne mettrez que rarement une note inférieure à la moyenne sur ce critère prix !
donc je préfère de loin les méthodes linéaires et je m'interroge pour les bornes de la plage de notation"

Il est à préciser que le meilleur prix n'a pas 20; seule l'offre la plus chère a zéro, les autres notes sont liées aux prix inférieurs proposés, avec la valeur du point comme juge de paix...
Chaque offre peut donc avoir une note prix d'autant plus élevée que son offre est basse par rapport à l'offre la plus chère.
Les autres critères ont des notes liées à la qualité de la réponse aux besoins: il n'y a aucune raison de mettre la note maximum à une offre qui ne répond pas parfaitement aux besoins...
La formule est linéaire, comme l'a précisé hpchavaz.  la plage de notation n'est pas fermée vers le haut: les notes peuvent donc aller pour le prix, de zéro à des très grandes valeurs: 200 ou 300 par exemple, si le prix maximum est extrèmement élevé!

en pratique, les notes prix devraient être entre zéro et 30 ou 50 ou 80...
Naturellement toutes les notes des critères sont croissantes quand les performances sont croissantes, même le prix!

[R.J]

En étudiant la réponse de hpchavaz sur la formule de prix qu'il propose, je me suis aperçu avec horreur de la rédaction exacte de l'arrêt du CE:

"9. Considérant, en cinquième lieu, que les pouvoirs adjudicateurs ne peuvent, lorsqu'ils choisissent d'évaluer les offres par plusieurs critères pondérés, recourir à des méthodes de notation conduisant à l'attribution, pour un ou plusieurs critères, de notes négatives ; qu'en effet une telle note, en se soustrayant aux notes obtenues sur les autres critères dans le calcul de la note globale, serait susceptible de fausser la pondération relative des critères initialement définie et communiquée aux candidats..."

Cela veut dire, pour un juriste je pense, que les formules elles-mêmes sont interdites si elles peuvent conduire à des notes négatives (même si une attribution de marché ne comprend pas de notes négatives...)

Ceci veut-il donc dire en clair (les juristes le confirmeront?), que toute analyse des offres utilisant une formule linéaire traditionnelle, quelle qu'elle soit, peut conduire à l'annulation du marché?

La formule de hpchavaz citée plus haut est comme les autres, puisqu'elle peut conduire à des offres négatives...

C'est pourquoi il est urgent de développer des notations linéaires sans offres négatives, même si elles présentent des inconvénients de présentation...

Je vais tâcher de faire mon juriste ....

"9. Considérant, en cinquième lieu, que les pouvoirs adjudicateurs ne peuvent, lorsqu'ils choisissent d'évaluer les offres par plusieurs critères pondérés, recourir à des méthodes de notation conduisant à l'attribution, pour un ou plusieurs critères, de notes négatives ; qu'en effet une telle note, en se soustrayant aux notes obtenues sur les autres critères dans le calcul de la note globale, serait susceptible de fausser la pondération relative des critères initialement définie et communiquée aux candidats..."

Ce n'est pas la méthode de transformation qui est critiquée à mon sens. C'est la seule apparition des notes négatives (ou débordant du cadre).

Le Conseil ne considère pas que c'est la méthode de notation qui fausse la pondération, mais bien la note négative. Dès lors, toute formule respectant les principes de la commande publique qui n'aboutit pas dans les faits à attribuer des notes hors champ me semble pouvoir être défendue.

D'où mon interrogation sur la manière d'anticiper le "hors champ".

[R.J]

Au fond.

Cette dernière méthode de Claude Pomero me plaît plus que d'autres ... Ce doit être un effet de relaxation suite au week-end.

Plus sérieusement :

0 au plus cher (avec élimination des offres inacceptables), ça fait un parallèle avec 0 au soumissionnaires qui répond au cahier des charges a minima, sans plus value. Ça commence à ressembler à une notation des différents critères sur une base similaire. Un plafond financier au delà duquel l'offre est inacceptable ; un plancher technique en dessous duquel l'offre est irrégulière.

Sur la VT, on part bien de 0 en ajoutant des points sur la plus value. Ça ressemble donc à une logique de notation similaire des critères.

Reste le point du dépassement de la plage de notation qui ne me semble pas valable. Mais ça rejoint l'idée de correction des formules (S ou écrêtage).

Au fond, on se rapproche de l'idée de Japarthur avec prix idéal et anti-idéal, sachant qu'attribuer la note min au plus cher après élimination des inacceptables se rapproche de l'idée de l'anti-idéal en mettant une borne plus mouvante (mais les écarts ne changeant pas, la question devient pédagogique). Reste la question de l'idéal et de sa fixation a priori ... et de la viabilité de l'offre qui dépasserait l'idéal en étant présumée régulière. C'est à ce niveau que l'écrêtage trouve sa place à mon sens. Surtout en présence d'une OAB qui serait justifiée.

[hpchavaz]

Globalement nous sommes à peu près d'accord.

		Claude popero		hpc
ancrage		prixleplushaut => 0		prixleplusbas => notemax
		(anti ideal)		(ideal)
pb potentiel		dépassement de note max pour prix bas		note négative pour prix hauts
solution		"courbe en S" ?		exclusion cf speedy

Personnellement, je n'arrive pas à trouver une logique à une courbe en S alors que l'exclusion des offres beaucoup trop onéreuses ne me pose pas de problème.

[Naydje]

pour moi y'a un problème dans l'exclusion des offres trop haute et je pense que speedy sera d'accord : il faudra prouver que le budget de l'administration ne pourra pas financer l'opération, la notion d'offre inacceptable n'est pas simplement une offre supérieure à l'estimation ou X fois supérieur à la médiane, moyenne ou offre la plus basse

autant pour les OAB, c'est plus simple d'éliminer autant pour les offres très chères cela me semble risqué

[claude pomero]

Au fond.

Cette dernière méthode de Claude Pomero me plaît plus que d'autres ... Ce doit être un effet de relaxation suite au week-end.

Plus sérieusement :

0 au plus cher (avec élimination des offres inacceptables), ça fait un parallèle avec 0 au soumissionnaires qui répond au cahier des charges a minima, sans plus value. Ça commence à ressembler à une notation des différents critères sur une base similaire. Un plafond financier au delà duquel l'offre est inacceptable ; un plancher technique en dessous duquel l'offre est irrégulière.

Sur la VT, on part bien de 0 en ajoutant des points sur la plus value. Ça ressemble donc à une logique de notation similaire des critères.

Reste le point du dépassement de la plage de notation qui ne me semble pas valable. Mais ça rejoint l'idée de correction des formules (S ou écrêtage).

Au fond, on se rapproche de l'idée de Japarthur avec prix idéal et anti-idéal, sachant qu'attribuer la note min au plus cher après élimination des inacceptables se rapproche de l'idée de l'anti-idéal en mettant une borne plus mouvante (mais les écarts ne changeant pas, la question devient pédagogique). Reste la question de l'idéal et de sa fixation a priori ... et de la viabilité de l'offre qui dépasserait l'idéal en étant présumée régulière. C'est à ce niveau que l'écrêtage trouve sa place à mon sens. Surtout en présence d'une OAB qui serait justifiée.

RJ, avec hpchavaz, bloquent sur cette histoire de dépassement de plage de notation.


il est sûr que c'est plus pédagogique de noter sur 100, puisque le total des pondération est 100: prenons une pondération du prix classique, de 60 par exemple. Noter le moins disant à 60 est dans la même logique que noter un autre critère au maximum lorsqu'il donne toute satisfaction. La note maximum possible pour une offre est bien de 100.

Pourtant hpc fait remarquer que seuls comptent les écarts entre les notes...
Arithmétiquement, il n'y a aucune raison de noter sur 100, puisque le critère prix est une échelle semi-ouverte.
Noter 40 le moins disant et 20 le suivant revient au m^me que noter 250 le moins disant et 230 le suivant...

La question est donc: l'intérêt pédagogique de la notation sur 100, qui conduit à des notes négatives, doit il être prépondérant sur une notation équitable des offres qui pourrait dépasser 100?
La solution de l'écrêtage ne peut pas être retenue, puisqu'elle conduit à des notes égales pour des prix 'd'offres différents.  Surtout que dans la solution de notation proposée, ce seraient les offres les plus compétitives qui seraient écrêtées!

Le problème que pose cet arrêt du CE doit trouver une solution opérationnelle, je pense? fût-ce au prix d'un déficit de pédagogie...