Méthode de notation : pondérer la note globale pondérée ?

[Piko]

Bonjour,

Je vous transmets un tableau de notes élaboré par un service, qui ne me semble pas être en adéquation avec ce que j'ai lu ici : https://www.marche-public.fr/Marches-publics/Definitions/Entrees/Methode-notation-offres-criteres.htm

Dans le tableau, les calculs sont par le service.
J'ai ajouté les sous-totaux qui débouchent sur une note de 94/100, alors que le service indique une note sur 30 (sauf erreur de ma part). Ensuite, j'applique à mon total /100 la pondération de la valeur technique 60 %, ce qui donne une note finale de 56,4/60 pour ce critère (v. en vert dans le tableau).
A contrario, le service pondère le total qui a déjà été pondéré, ce qui donne 5,78/18 (sauf erreur).

Qui a raison ?

[speedy]

tout le monde a tort,
normalement vous notez sur 10 donc la note finale doit être sur 10  sinon vous introduisez des pondérations occultes non annoncées ...
Ici vous annoncez plusieurs niveaux de pondération
   pondération VT 60% prix 40%
   pour obtenir la note VT avant pondération vous avez trois critères que vous appelez SC1 à 3 avec des pondérations de 40%, 30% et 30% qui font 100%
   ces SCi sont eux mêmes obtenus par des items eux mêmes pondérés !

évidemment que l'on s'y perd !
la simplicité aurait voulu annoncer 10 critères techniques au lieu d'un seul avec l'affichage direct de la pondération réelle dans la note finale, ce qui aurait mis en évidence que les items 2 à 5 de SC3 pèsent chacun moins de 5%, seuil que je considère minimum pour être affiché séparément ....


je trouve  Note VT avant pondération 9,64 sur 10 et donc note VT pondérée 5,78 sur 10
je joins le tableau Excel qui contient les formules employées.


ce serait intéressant d'avoir la rédaction du RC sur la notation et pondération ...

[Piko]

Merci pour le fichier excel  En le lisant en pensant que tout le monde a tort, je vois quand même que le résultat final donne raison au service. Dans ce cas, je ne comprends pas en qoi il a tort 
Je ne comprends pas cette méthode, pour moi c'est une usine à gaz.

Voici l'extrait du RC anonymisé.

[Vivaelparaguay]

Une autre chose m'interpelle un peu :


"Ce critère est évalué au regard des démarches actuelles du candidat et celles qu'il prendra dans le cadre spécifique de l'exécution de la prestation"

N'est-ce pas risqué de prendre en compte des éléments qui ne sont pas liés à l'exécution du marché ?

[Piko]

Bonne question.

Concrètement, on demande si le candidat prend des mesures sur l''égalité H/F dans son entreprise. On ne regarde pas ce qu'il fait concrètement et nous ne jugeons pas la qualité non plus, mais seulement s'il fait quelque chose ou non.

Avec la méthode :
Oui : 1 point / non : 0 point ;
ou, il prend 1 mesure sur un sujet du questionnaire (ex : crèche d'entreprise pour favoriser l'équilibre travail/vie perso) : 1 point. Et s'il prend 2 mesures, 2 points.

[speedy]

Merci pour le fichier excel  En le lisant en pensant que tout le monde a tort, je vois quand même que le résultat final donne raison au service. Dans ce cas, je ne comprends pas en qoi il a tort 
Je ne comprends pas cette méthode, pour moi c'est une usine à gaz.

Voici l'extrait du RC anonymisé.

pas compris comment vous pouvez dire que le service à raison .... nous n'avons pas les mêmes résultats  ....  94/100 n'est pas égal à 9,64 sur 10
par contre en rouge le résultat pourrait être correct mais il est annoncé sur 30 au lieu de sur  10 .... ça aura un impact certain quand ce sera comptabilisé pour la note finale globale pondérée .....

[speedy]

j'ai répondu sur la méthodologie de notation/pondération et je suis entièrement d'accord sur les remarques concernant les éléments même des items pour certains décorrélés des prestations du marché ....

[hpchavaz]

A/ Note technique VT

Sur VT je ne vois pas d'usine à gaz.

Je confirme le calcul de Speedy : 9.64 pour la note sur VT

Cependant, je me garde bien de parler de note VT avant ou après pondération, la pondération intervenant dans la note globale pondérée.

Incidemment, introduire comme dans le fichier "La bonne méthode de notation - Copie" une notion de "Note globale" pour la note technique me semble source de potentielle confusion.


B/ RSE - Plus gênant
Dans le "rc" on lit

3 : RSE - Performance environnementale & sociétale de l'offre (10 %)
Ce sous-critère est évalué au regard de la note technique 4 à remettre par le candidat (v. article 12 supra). Il est composé des items suivants :
- Item 1 : Equilibre entre la vie privée et la vie professionnelle - 25 points
- Item 2 : Mesures structurelles dans l'entreprise - 15 points
Ce critère est évalué au regard des démarches actuelles du candidat et celles qu'il prendra dans le cadre spécifique de Critère l'exécution de la prestation. Les points de chaque item sont additionnés puis le total est pondéré à 10 %.

a) La réponse à la question de Vivaelparaguay se trouve sans doute dans la note technique 4,

b) Concernant la notation sur ce critère rien n'explique comment pas comment les points obtenus/ 40 points "pondérés à 10%" s'incorpore dans la note pondérée globale.
Sans doute le nombre de points sur 40 va être ramené à une note sur 10 mais c'est contraire à la lettre du RC.

Cela donne l'impression d'un copier-coller à la va-vite d'autant plus que le critère RSE est le seul où l'on passe par des points.


Bref, au global, une usine à gaz avec des incendies allumés.

[speedy]

A/ Note technique VT

Sur VT je ne vois pas d'usine à gaz.

Je confirme le calcul de Speedy : 9.64 pour la note sur VT

.....
Bref, au global, une usine à gaz avec des incendies allumés.

sur le deuxième onglet du fichier joint j'ai fait apparaitre la pondération réelle de chaque item , ce serait plus lisible,  plus transparent et plus compréhensible pour les candidats

[hpchavaz]

Je ne suis pas du tout certain que faire remonter les éléments au niveau de critère :
- contribue à la sécurité juridique
- ni même soit plus clair pour les acteurs.

[speedy]

Je ne suis pas du tout certain que faire remonter les éléments au niveau de critère :
- contribue à la sécurité juridique
- ni même soit plus clair pour les acteurs.

suis étonné et .... soupçonne un peu de mauvaise foi pour le deuxième point   

[Piko]

Merci à tous, je vais regarder le tableau de speedy, voir si je le comprends mieux (je n'en suis pas encore au stade de réflexion de hpchavaz) 

Pour le critère RSE, réflexion en cours... c'est la 1è tentative à ce sujet, je vais réfléchir à la méthode de notation en prenant en considération vos différents messages 

[Vivaelparaguay]

Pour moi si on doit apprécier la RSE de cette façon là, c'est au stade de la candidature (et là, ça sera rarement pertinent, à voir selon l'ampleur du marché et la nature des prestations).

Sinon au stade de l'offre, on tombe pleinement dans les éléments de notation sans rapport avec l'objet du marché qui sont sanctionnés par la jurisprudence. On peut rédiger un critère "RSE" on environnemental de façon vraiment vague pour laisser les candidats proposer tout ce qui leur passe par la tête, mais alors il faut absolument prendre soin d'écrire que les éléments relatifs à la politique générale de l'entreprise ne seront pas pris en compte, et qu'on s'attachera seulement aux propositions concrètes qui concernent les prestations objet du marché.

[hpchavaz]

suis étonné et .... soupçonne un peu de mauvaise foi pour le deuxième point  

Même pas :

1/ Sur le risque juridique : en gardant les niveaux (critère, sous-critères, items) on peut avoir une décision qui prend en compte que l'Acheteur n'était pas tenu de faire apparaitre sa méthode notation et en tire une application moins rigoriste sur la mise en œuvre. Je pense avoir déjà vu quelque chose de ce genre.

2/ Sur la clarté
Je pense que pour qu'il est pour beaucoup de lecteurs plus clair de lire


...
3/ Pertinence de la démarche qualité (30 %)
Ce sous-critère est évalué au regard de la note technique 3 à remettre par le candidat (v. article 12 supra). Il est composé des items suivants, chacun noté sur 10. Une moyenne est ensuite établie et pondérée :
- Item 1 : Pertinence de la méthodologie proposée pour l'évaluation des XXXX (organisation, critères d'évaluation, restitution et mesures correctives mises en place) - 30 %
- Item 2 : Pertinence des méthodes de reporting proposées et du contrôle des données pour la restitution de l'activité - 20 %
- Item 3 : Pertinence des modalités d'organisation pour le maintien du label « XXXX » pour le dispositif XXXXX - 20 %
- Item 4 : Pertinence de la méthode de veille scientifique (type de sources, information du pouvoir adjudicateur sur les nouveautés...) - 15 %
- Item 5 : Pertinence des modalités de mises à jour des guides d'aide à l'arrêt (types de sources, périodicité...) - 15 %
...

que de lire quand les items deviennent des sous-critères de la VT
...
- SC 6 : Pertinence de la méthodologie proposée pour l'évaluation des XXXX (organisation, critères d'évaluation, restitution et mesures correctives mises en place) -  9,0 %
- SC 7 : Pertinence des méthodes de reporting proposées et du contrôle des données pour la restitution de l'activité -  6,0 %
- SC 8 : Pertinence des modalités d'organisation pour le maintien du label « XXXX » pour le dispositif XXXXX - 6,0 %
- SC 9 : Pertinence de la méthode de veille scientifique (type de sources, information du pouvoir adjudicateur sur les nouveautés...) -  4,5 %
- SC 10 : Pertinence des modalités de mises à jour des guides d'aide à l'arrêt (types de sources, périodicité...) -  4,5 %
...

Ou encore que de lire quand les items deviennent des critères
...
- C 7 : Pertinence de la méthodologie proposée pour l'évaluation des XXXX (organisation, critères d'évaluation, restitution et mesures correctives mises en place) -  5,4 %
- C 8 : Pertinence des méthodes de reporting proposées et du contrôle des données pour la restitution de l'activité -  3,6 %
- C 9 : Pertinence des modalités d'organisation pour le maintien du label « XXXX » pour le dispositif XXXXX - 3,6 %
- C 10 : Pertinence de la méthode de veille scientifique (type de sources, information du pouvoir adjudicateur sur les nouveautés...) -  2,7 %
- C 11 : Pertinence des modalités de mises à jour des guides d'aide à l'arrêt (types de sources, périodicité...) -  2,7 %
...

[speedy]

alors il faut allez jusqu'au bout et ne pas indiquer de pondération des items et surtout ne pas écrire dans le paragraphe notation mais comme descriptif du mémoire technique disant que le mémoire technique attendu pourrait contenir des infos sur blablabla  .....

quand je me rends compte qu'un item pèse  moins de 5% par les cascades annoncées je considère que le recours est beaucoup trop facile car réclamer  5 fois 0,5 à 1  point  sur 10 est plus facile que réclamer  2 ou 3 points sur 10 ...