ANALYSE DE 38 METHODES D’ATTRIBUTION DES MARCHES

[claude pomero]

HP  Chavaz a posté le 22 août dans la rubrique « préparation du marché », dans le fil N°1 : « critère prix : formule », un très intéressant article (en anglais) qui présente une étude comparative de 38 formules utilisées pour déterminer l'offre la plus avantageuse.  Cet article de 51 pages détermine les risques d'emploi de certaines formules dans la juste attribution du marché.

Les auteurs proposent 5 aspects permettant d' analyser ces formules:

1)   -la notation relative ou absolue; une notation absolue n'utilise que des valeurs indépendantes des offres.
La notation relative utilise des valeurs provenant des offres, comme le prix du moins-disant.
La notation relative peut conduire à l'inversion des résultats lorsque on supprime 1 ou plusieurs offres, ce qui peut être le cas par exemple  si le moins-disant est déclaré OAB, ou si le lauréat ne peut pas justifier des documents relatifs à sa candidature ;

2)   -les courbes d'iso-utilité, qui représentent l'ensemble des soumissions obtenant toutes la même note en employant une même formule, avec des qualités et prix divers : par exemple, un mode de notation qui donne 60 points à deux offres de prix et qualité différentes, le prix compensant la qualité pour l'une d'elles.
Les auteurs soulignent le risque d'utiliser des formules dont les courbes d'iso-utilité ne sont pas des droites, soit 14 formules sur 33 étudiées. Ils estiment en effet que l'équivalence de valeur entre les critères n'est alors pas respecté.

3) -le risque d'attribuer le marché à des offres extrêmement élevées : une dizaine des 28 formules analysables posent problème sur cet aspect.

4) - la représentativité des qualités et des prix pour chaque formule : favorisent-elles le prix au détriment de la qualité, ou le contraire, ou bien traitent-elles de manière équilibrée les deux composantes selon les poids respectifs de chacun, tels qu'ils ont été choisis ?

Analyse de la formule de notation classique

La formule de notation classique (l'offre la moins chère divisée par l'offre à noter et multipliée par le poids du critère prix, plus la note « qualité » de l'offre ) a été prise en compte dans cette étude sous le numéro 1 parmi les 38 formules étudiées.
1)   On note que cette formule classique peut conduire à l'inversion des résultats si l'on supprime l'offre moins disante.  Exemple :
Marché à 60%: prix  et 40%: qualité
Offre            Prix                            Note qualité   Note prix                Note totale
Offre A   100 €                                   5                 60                65 points
Offre B     150 €                            10                 40                50 points
Offre C   200 €                                 22                 30                52 points
            
            

Si l'on supprime l'offre A :
Offre             Prix         Note qualité          Note prix                   Note totale
Offre B          150 €                  10                         60                       70points
Offre C          200 €                 22                         45                         67 points
            

La suppression de l'offre A a inversé les résultats entre les offres B et C : C a perdu le marché, alors qu'elle était classée devant B lorsque l'offre A existait...
.
2)   -Les auteurs montrent que la formule classique présente des courbes d'iso-utilité concaves et non droites, en page 39. On remarque d'ailleurs d

3)   –la formule classique présente des risques importants d'attribuer le marché à des offres de prix très élevé : il suffit de se souvenir de l'exemple choisi dans un autre fil où le vélo valant le prix de 3 ferrari avait la meilleure note totale...
4)   –la formule classique favorise les critères « qualité » au détriment du prix pour les offres plus chères,  en conservant une note constante à la note qualité alors que la note du prix diminue en fonction de son rapport avec l'offre la moins disante.

La formule classique de notation des offres présente donc tous les aspects négatifs cités par les auteurs dans leur comparaison des 38 formules d'attribution qu'ils ont étudiés.

La formule « Avantages »
- Celle-ci ne présente aucun aspect négatif cité parmi ceux traités dans cet article.

En particulier, l'inversion des résultats lorsque l'offre la moins disante (ou une autre) est supprimée n'a jamais lieu : la raison en est que la valeur de l'ensemble des critères « qualité » ne se modifie pas dans chaque nouveau calcul avec les prix des offres restantes ; ceci se démontre très facilement (1).
- Les courbes d'iso-utilité sont des droites ;
- Les offres de prix très élevé sont sanctionnées (voir l'exemple des bicyclettes)
- Les critères « prix » et « qualité » sont pris en compte de manière équilibrée du fait du calcul du rapport qualité-prix.

Cet article a le mérite de tenter de déterminer des critères de validité de nombreuses formules d'attribution des marchés. 

(1)  la note de l'offre A, la moins disante, est A/A x KA; avec KA = note qualité de A= %prix + %C1 x note de A sur critère C1+..
la note de B est A/B x KB
la note de C est A/C x KC
Si la note de B est supérieure à celle de C, on a:
A/B x KB > A/C x KC, ce qui s'écrit: KB > B/C x KC, car A, B, C, KB, KC sont tous positifs
Si l'on supprime l'offre A, la note de B est -elle toujours supérieure à celle de C?
Dans ce cas, on peut écrire que:
B/B x KB> B/C x KC, ce qui s'écrit aussi: KB > B/C x KC; c'est la même formule que ci-dessus, ce qui vérifie que la note de B reste toujours supérieure à C.

[hpchavaz]

HP  Chavaz a posté le 22 août dans la rubrique « préparation du marché », dans le fil N°1 : « critère prix : formule », un très intéressant article (en anglais) qui présente une étude comparative de 38 formules utilisées pour déterminer l'offre la plus avantageuse.  Cet article de 51 pages détermine les risques d'emploi de certaines formules dans la juste attribution du marché.
...

Lien vers le message cité par Claude "Bilblio : P S Stilger & alter - A Comparative Study of Formulas for Choosing"

1/ La formule « Avantages »
- Celle-ci ne présente aucun aspect négatif cité parmi ceux traités dans cet article.
2/En particulier, l'inversion des résultats lorsque l'offre la moins disante (ou une autre) est supprimée n'a jamais lieu : la raison en est que la valeur de l'ensemble des critères « qualité » ne se modifie pas dans chaque nouveau calcul avec les prix des offres restantes ; ceci se démontre très facilement (1).
- Les courbes d'iso-utilité sont des droites ;
- Les offres de prix très élevé sont sanctionnées (voir l'exemple des bicyclettes)
- Les critères « prix » et « qualité » sont pris en compte de manière équilibrée du fait du calcul du rapport qualité-prix. Grimaçant

1/ Vite dit car si les courbes d'iso-utilité sont bien des droites, elles ne sont pas parallèles.

Conséquence :

Kp =   50%,   Kqc = 50% et Nmax = 10

Cas 1 :
Ent   P   Qc   N
O1    50€    0   0,5
O2   100€   10   0,5

La qualité "critère" vaut 50€

Cas 2 :
Ent   P   Qc   N
O1   100€    0   0,5
O2   200€    10   0,5

La qualité "critère" vaut 100€


2/ Explication encore plus simple :
Po intervient comme facteur multiplicatif de toutes les notes (*), il peut être éliminé sans que cela change l'ordre des notes. Une fois ceci fait la notation devient absolue et empêche de ce simple fait que la présence d'une 3 ème offre vienne changer l'ordre entre les notations de deux autres offres.

*) La présence de PO ne s'explique que pour une raison "esthétique"

[claude pomero]

1/ Vite dit car si les courbes d'iso-utilité sont bien des droites, elles ne sont pas parallèles.

Conséquence :

Kp =   50%,   Kqc = 50% et Nmax = 10

Cas 1 :
Ent   P   Qc   N
O1    50€    0   0,5
O2   100€   10   0,5

La qualité "critère" vaut 50€

Cas 2 :
Ent   P   Qc   N
O1   100€    0   0,5
O2   200€    10   0,5

La qualité "critère" vaut 100€


2/ Explication encore plus simple :
Po intervient comme facteur multiplicatif de toutes les notes (*), il peut être éliminé sans que cela change l'ordre des notes. Une fois ceci fait la notation devient absolue et empêche de ce simple fait que la présence d'une 3 ème offre vienne changer l'ordre entre les notations de deux autres offres.

*) La présence de PO ne s'explique que pour une raison "esthétique"

1) le but n'est pas qu'elles soient parallèles, mais droites. d'ailleurs, aucune courbe représentée P. 39 n'est parallèle.  Les droites iso-utilité de la formule "avantages" passent toutes par zéro et leur pente représente le rapport qualité/prix.
Votre explication du non-changement de l'ordre des offre est effectivement la bonne, car Po ne joue qu'un rôle de constante dans la formule "Avantages".
Ceci dit, Po n'a pas seulement un rôle esthétique: il définit l'échelle de notation, qui permet des notes allant de cent à zéro pour l'ensemble des notes; 100 est obtenu par l'offre la moins chère qui a aussi toutes les notes maximum aux critères "qualité";  zéro ne peut jamais être atteint, il faudrait une offre de prix infini!! mais la note peut devenir très petite, par exemple pour un moins disant à 1 000 € et une offre à 1 000 000 €: la note peut être de 0.001...
Notons au passage que la note ne pouvant jamais être négative, l'arrêt du conseil d'Etat sur le CG de Guadeloupe de 2013, qui interdit toute formule pouvant conduire à des notes négatives, est toujours respecté.

[hpchavaz]

1/

le but n'est pas qu'elles soient parallèles, mais droites. d'ailleurs, aucune courbe représentée P. 39 n'est parallèle.  

Je voulais simplement attirer l'attention sur une évidence mathématique : la valeur de la qualité technique varie

Ce n'est pas bloquant, ce n'est pas contraire aux propriétés que recommande l'article mais cela doit être noté.


2/

Ceci dit, Po n'a pas seulement un rôle esthétique: il définit l'échelle de notation, ...

Rien ne vous oblige à avoir une notation, la réglementation ne parle que de pondération des critères.

[claude pomero]

1/ J

2/ Rien ne vous oblige à avoir une notation, la réglementation ne parle que de pondération des critères.

Oui, mais la règlementation demande aussi à attribuer le marché à l'offre économiquement la plus avantageuse...
Comment faire sans notation, sachant qu'il n'est plus possible de ne pas utiliser le critères prix (ou coût)?
la méthode des prix réduits n'est plus applicable.
La pondération donne l'importance des critères mais il faut bien noter le critère?

[hpchavaz]

La méthode des prix réduits n'est plus applicable.

Je pense que vous appeler "méthode des prix réduits" ce qui s'appelle "méthode des prix corrigés" ie P + Q
Pourquoi donc elle ne serait plus applicable ?

Si P + Q est écrit de la façon suivante(*): - P + V_VT Nv/NMAX avec V_VT valorisation (monétisation) de la valeur technique,
alors les critères sont pondérés

• pondération du prix : -1
• pondération de la valeur technique V_VT

Cela ne me semble pas plus difficile, personnellement je trouve cela beaucoup plus facile, à défendre que la méthode que vous proposez qui nécessite :
- soit de tordre le sens du critère prix, avec toutes les difficultés de compréhension que vous rencontrez dans les échanges sur cette méthode
- soit de défendre une méthode en Q/P, ce que je préferais faire dans un tel cas


*) on peut chercher d'autres présentations :

• changement de sens  : P - V_VT Nv/NMAX et attribution au Pc le plus bas
• translation : - P + V_VT (Nv/NMAX-1)
• combinaison des deux : P + V_VT (1- Nv/NMAX), présentation qui a ma préférence

[claude pomero]

Je pense que vous appeler "méthode des prix réduits" ce qui s'appelle "méthode des prix corrigés" ie P + Q
Pourquoi donc elle ne serait plus applicable ?

Si P + Q est écrit de la façon suivante(*): - P + V_VT Nv/NMAX avec V_VT valorisation (monétisation) de la valeur technique,
alors les critères sont pondérés

• pondération du prix : -1
• pondération de la valeur technique V_VT

Cela ne me semble pas plus difficile, personnellement je trouve cela beaucoup plus facile, à défendre que la méthode que vous proposez qui nécessite :
- soit de tordre le sens du critère prix, avec toutes les difficultés de compréhension que vous rencontrez dans les échanges sur cette méthode
- soit de défendre une méthode en Q/P, ce que je préferais faire dans un tel cas

comment écrit-on concrètement la pondération du marché que vous proposez, dans l'avis publié?
-1 = -100%; doit-on écrire que le poids du critère prix est -100%?
Pondération de la valeur technique: 30 000 €; doit on écrire cette valeur comme pondération du critère VT?
sinon, comment rédiger?


-la méthode que vous proposez qui nécessite :
- soit de tordre le sens du critère prix, avec toutes les difficultés de compréhension que vous rencontrez dans les échanges sur cette méthode
Pourquoi parlez-vous de "tordre le sens du critère prix?  Quel est donc son sens habituel?
Pour moi, le sens du critère "prix" est la représentation du poids du cahier des charges, obligatoire, dans l'estimation du marché qui comprend donc en outre les poids financiers accordés aux autres critères "qualité".
Critère "prix": il mesure le respect du cahier des charges dans l'offre;
-critère VT: il mesure la qualité des propositions des candidats vis-à vis des besoins estimés;
-etc..
C'est vrai que cette définition du critère prix est discutée, mais le considérer comme un critère "qualité" (puisqu'il fait partie de la pondération du marché) permet de réaliser facilement le calcul du rapport qualité/prix, qui est l'objectif final...

[hpchavaz]

comment écrit-on concrètement la pondération du marché que vous proposez, dans l'avis publié?
-1 = -100%; doit-on écrire que le poids du critère prix est -100%?
Pondération de la valeur technique: 30 000 €; doit on écrire cette valeur comme pondération du critère VT?
sinon, comment rédiger?

Pour l'avis, la pondération est renvoyée au RC

Pour le RC :
le "rapport qualité" prix est calculé en appliquant la formule pondérée suivante :
  P + V_VT (1- Nv/NMAX)
avec V_VT (valorisation de la valeur technique) égale à 30000

Pourquoi parlez-vous de "tordre le sens du critère prix?  Quel est donc son sens habituel?
Pour moi, le sens du critère "prix" est la représentation du poids du cahier des charges, obligatoire, dans l'estimation du marché qui comprend donc en outre les poids financiers accordés aux autres critères "qualité".
Critère "prix": il mesure le respect du cahier des charges dans l'offre;
-critère VT: il mesure la qualité des propositions des candidats vis-à vis des besoins estimés;
-etc..

Il pourrait être soutenu que la pondération du critère prix doit s'appliquer au prix or ce n'est pas le cas dans la méthode que vous proposez.

[claude pomero]

Il pourrait être soutenu que la pondération du critère prix doit s'appliquer au prix or ce n'est pas le cas dans la méthode que vous proposez.
[/quote]
La pondération du prix est la part du cahier des charges dans l'estimation:
Comment appliquer la pondération du critère prix au prix?
- Il suffit de prendre en compte la pondération du prix comme critère qualité...

Si j'osais une comparaison, pour moi la pondération du critère prix est le coéfficient d'une matière au bac et les prix des offres sont les notes obtenues dans cette matière.
Pondération prix: 60 points = coéfficient de la matière "prix" = 6
le moins cher obtient 10/10, soit 60 points
Celui deux fois plus cher obtient 5/10 x 60 = 30 points
De même, la matière "valeur technique" serait de coefficient 4;  une copie parfaite obtiendrait ces 40 points et une copie moyenne 20 points..
Si le moins cher a une copie moyenne, il est noté 80 points.
La note maximum possible serait de 100 points, avec une moyenne à 60 points (et non pas à 50) si la pondération du prix est 60%. Pour 60 points, on en a "pour son argent". Au dessus, l'acheteur est gagnant par rapport au prix qu'il va payer; en dessous, il perd de l'argent pour une offre plus chère qui a moins de qualité..!

[claude pomero]

Il pourrait être soutenu que la pondération du critère prix doit s'appliquer au prix or ce n'est pas le cas dans la méthode que vous proposez.

La pondération du prix est la part du cahier des charges dans l'estimation:
Comment appliquer la pondération du critère prix au prix?
- Il suffit de prendre en compte la pondération du prix comme critère qualité...

Si j'osais une comparaison, pour moi la pondération du critère prix est le coéfficient d'une matière au bac et les prix des offres sont les notes obtenues dans cette matière.
Pondération prix: 60 points = coéfficient de la matière "prix" = 6
le moins cher obtient 10/10, soit 60 points
Celui deux fois plus cher obtient 5/10 x 60 = 30 points
De même, la matière "valeur technique" serait de coefficient 4;  une copie parfaite obtiendrait ces 40 points et une copie moyenne 20 points..
Si le moins cher a une copie moyenne, il est noté 80 points.
La note maximum possible serait de 100 points, avec une moyenne à 60 points (et non pas à 50) si la pondération du prix est 60%. Pour 60 points, on en a "pour son argent". Au dessus, l'acheteur est gagnant par rapport au prix qu'il va payer; en dessous, il perd de l'argent pour une offre plus chère qui a moins de qualité..!

OOps!  je me trompe moi-même dans l'application des formules:
Le candidat deux fois plus cher obtient aussi 60 points en note critère "prix", puisqu'il s'engage à respecter totalement le cahier des charges!
La comparaison n'est pas valable avec les coefficients de matières d'examen, car c'est la note "qualité" qui est recherchée et pas le rapport "qualité/prix"

[hpchavaz]

Claude j'ai parfaitemnt compris la méthode mais je maintiens que parler de pondération du prix par un terme figurant au numérateur alors que le prix est au dénominateur est à tout le moins osé.

[claude pomero]

Claude j'ai parfaitemnt compris la méthode mais je maintiens que parler de pondération du prix par un terme figurant au numérateur alors que le prix est au dénominateur est à tout le moins osé.

[/On ne parle pas de "pondération du prix" au numérateur mais de pondération du CRITERE PRIX, au même titre que celle des autres critères; C'est toute l'ambiguïté du terme" critère prix" qui n'a aucun rapport avec le prix des offres présentées..

Si ce critère s'appelait "respect du cahier des charges" ou "réalisation du cahier des charges", tout le monde admettrait que les offres soient notées 10/10 si elles respectent le cahier des charges!
Mais le mot "prix" introduit une notion qui crèe toute la difficulté...
-Avez vous remarqué que le critère "environnement" ou délai" ou Qualité technique de l'offre" ne pose aucun problème de compréhension?
Chacun comprend que la notation du délai est d'autant meilleure que ce délai proposé est court.
Mais ou diable trouve-t-on la moindre définition de "critère prix"
A croire que ça va de soi...

[hpchavaz]

1/

On ne parle pas de "pondération du prix" au numérateur mais de pondération du CRITERE PRIX, au même titre que celle des autres critères; C'est toute l'ambiguïté du terme" critère prix" qui n'a aucun rapport avec le prix des offres présentées..

Soutenir que le prix ne fait pas partie du critère prix est osé.

2/

Mais ou diable trouve-t-on la moindre définition de "critère prix"

Si la directive ne parle pas du critère prix mais simplement du prix, en revanche le DRM parle dans son article 62 au II-2 du "critère du prix" effectivement sans le définir.

[claude pomero]

1/ Soutenir que le prix ne fait pas partie du critère prix est osé.

2/Si la directive ne parle pas du critère prix mais simplement du prix, en revanche le DRM parle dans son article 62 au II-2 du "critère du prix" effectivement sans le définir.

Le critère "prix" est un des critères qui définissent la qualité de l'offre: ce critère mesure le respect du cahier des charges.
Sa note est donc maximum pour les candidats qui s'engagent dans l'AE à réaliser intégralement le cahier des charges.
La note devient éliminatoire si elle est inférieure à 10 pour une offre qui, malgré la signature de l'AE, indiquerait dans ses documents de réponse une clause ne respectant pas le cahier des charges (exemple: le délai indiqué dans l'offre est supérieur au délai maximum indiqué dans le cahier des charges).
Le prix des offres est utilisé dans un second temps pour déterminer le rapport Q/P, Q étant la somme des notes qualité (y compris celle du critère prix)
Ceci pose d'ailleurs la question de la notation des variantes:
comment noter une offre variante qui s'affranchit du cahier des charges sur un ou plusieurs aspects?
La théorie (art.58 du décret) dit que l'acheteur mentionne les exigences minimales que les variantes doivent respecter.
Si ces exigences minimales sont de niveau inférieur au cahier des charges, comment noter l'offre?
Exemple: un bâtiment est demandé avec un niveau d'isolation élevé. les variantes sont autorisées mais doivent respecter la règlementation; une offre parvient avec ce niveau d'isolation règlementaire, très inférieur à celui demandé dans le cahier des charges: comment noter cette offre bon marché??

la pondération du prix pour ces variantes pourrait être abaissée au niveau de l'économie financière possible.
Le "prix dans les marchés publics" de la DAJ dit bien en 5.3 que "l'acheteur doit anticiper, dans la mesure du possible, la production de variantes (et l'inventivité des soumissionnaires) lors de l'établissement des critères"
Ceci est une piste, mais peut-on proposer une pondération différente pour les offres de base et les variantes?
Je pense que la solution passe par des cahiers des charges fonctionnels, avec interdiction de variantes puisqu'elles peuvent s'exprimer dans cette configuration.

[humanisto]

Bonjour à vous deux,

Pour avoir lu pas mal de fils de discussion sur les formules de calcul des notes, je pense que vous êtes les plus experts sur la question de toute la communauté Agorapublix. Aussi, je me permets de vous soumettre une autre formule de calcul des notes. Elle est, en fait, on ne peut plus simple : je divise le nombre de points de qualité par le prix. Je fais donc un rapport qualité/prix, au sens strict. Cela me permet donc de connaître, pour chaque offre, combien il y a point de qualité par euro investi (ou, pour des commodités visuelles, par dizaine de milliers d'euro investis).

La seule difficulté tenait à ce que cette division ne permettait pas d'appliquer de pondération. Après moultes réflexions et prises de tête mathématique (je suis juriste, à la base, donc les maths, c'est loin pour moi), j'en suis arrivé à la conclusion qu'il fallait que je monte à la puissance le nombre de point de qualité et le prix. La puissance à prendre en compte étant la pondération de chacun de ces critères.
Exemple :
Si on a la qualité à 60% et le prix a 40%, le rapport qualité/prix de chaque offre correspond à
Rapport = (nombre de points de qualité)^60 / (prix)^40

Pour des raisons de commodité, je préfère ne pas appliquer de puissance au prix (l'entreprise pouvant ne pas comprendre pourquoi je bouge son prix) et n'appliquer la puissance qu'à la qualité (c'est plus facile d'expliquer au service technique pourquoi je modifie la note qualité). Dans ce cas, je fais l'opération suivante :
Rapport = (nombre de points de qualité)^(60/40) / prix
Dans la mesure où j'applique ceci à toutes les offres, les écarts entre les offres demeurent les mêmes que j'applique la puissance aux deux critères ou seulement à la qualité.

Enfin, pour des raisons de communication auprès des entreprises, je leur donne une note sur 100, décroissant proportionnellement en fonction du meilleur rapport qualité/prix. Dans les lettres de rejet, je mets donc :
"Pour le critère 'Qualité', votre offre a obtenu le score de 10 points, soit 31,62 points après pondération. Au vu du prix que vous avez proposé, votre rapport Qualité/Prix était donc de 2,04 points de qualité par dizaine de milliers d'euro, alors que celui de l'offre retenue était de 4,06 points de qualité par dizaine de milliers d'euro. Proportionnellement au mieux disant, vous avez donc obtenu la note de 50,20/100."

Etant donné que vous êtes des experts en la matière, j'aurai aimé avoir votre avis.


PS : je vous mets en pièce jointe une note plus détaillée sur cette formule ainsi qu'un exemple vérifiant la cohérence de la formule.