Echelle "type" de notation

[Bobleponge]

Bonjour,
Je suis à la recherche d'une échelle "type" d'évaluation de critère de 0 à 10.
L'idée est d'assortir l'évaluation de l'offre à un niveau de qualité global "texte", lui-même associé à une note sur 10.
L'exercice semble simple mais j'avoue ne rien avoir trouvé de parfaitement satisfaisant.
Merci d'avance de vos partages

[speedy]

L'idée est d'assortir l'évaluation de l'offre à un niveau de qualité global "texte", lui-même associé à une note sur 10.

c'est quoi "un niveau de qualité global "texte", " ?

voir aussi : http://agorapublix.com/forum3/index.php?topic=33958.0

[Piko]

Qualité global 'texte', ça sent la maîtresse d'école qui regarde l'orthographe et la syntaxe.
Si c'est cela, c'est pour le moins risqué.

[Mathieu]

je propose :

10 : psartek cousin
9 : vraiment très bien
8 : très bien
7 : bien
6 : moyen
5 : bof
4 : très bof
3 : vraiment très bof
2 : nazebroque
1 : tout pourrave
0 : shein

plus sérieusement, je ne vois pas l'intérêt de standardiser une correspondance appréciation textuelle => note, ça ne remplacera jamais une analyse des offres pertinente et cohérente (ça pourrait même conduire certains à se dire qu'il n'y a pas besoin d'en rajouter au commentaire standard !!)

[Ponta]

Vous n'avez pas eu de marché de maîtrise d'oeuvre ou d'AMO qui vous ont fait des analyses avec ce genre d'échelle ?

Dans les DCE que je récupère auprès d'autres structures, j'en vois de plus en plus. Essayez de prendre ces échelles des grandes structures par exemple.

[fanchic]

Comme MATHIEU, il faut savoir que l'échelle type ne doit pas remplacer une véritable appréciation littérale sur la valeur de l'offre analysée.
Néanmoins, l'échelle permet de guider l'acheteur et offrir à celui-ci des espaces de comparaison.

L'analyse des critères qualitatifs non mathématiques est complexe et se heurte à des concepts dont les nuances ne sont pas toujours aisément visibles.

Il convient :
1. de vérifier la conformité de l'offre : est-elle conforme aux exigences minimales du CdC? Si elle n'atteint pas les exigences, elle ne survit pas à ce niveau d'analyse
2. de vérifier la crédibilité de l'offre : autrement dit, le contenu des pièces de l'offre est-il crédible : eu égard aux justifications mentionnées, eu égard aux capacités globales de l'entreprise évaluée lors de la phase "candidature" (il est donc privilégié de réaliser la phase d'analyse des candidatures avant l'offre), eu égard aux contraintes de l'achat
3. d'évaluer la performance de l'entreprise : quelles sont ses plus-values par rapport aux exigences minimales.
Ces plus-values sont elles utiles, inutiles, moyennement utiles, extrêmement utiles

L'échelle de notation pourrait donc ressembler à cela (attention version bêta) :

Offre apportant des plus-values inutiles ou aucune plus-value ou des plus-values non crédibles 0pts
Offre apportant des plus-values symbolique ou marginale à la crédibilité suspecte 1pts
Offre apportant des plus-values symbolique ou marginale mais crédibles ou moyennement utiles, utiles voir très utiles et à la crédibilité suspecte 2pts
Offre apportant des plus-values moyennement utiles mais crédibles ou utiles voir très utiles mais à la crédibilité moyenne 5pts
Offre apportant des plus-values utiles et crédibles 7pts
Offre apportant des plus-values très utiles et crédibles 10pts

A travailler : le vocable "utile" que j'ai retenu ici qui pourrait être remplacé. J'ai pensé à ce terme eu égard à la notion d'utilité économique

[Bobleponge]

Bonjour et merci bcp pour vos retours.
L'idée est effectivement, puisqu'il faut convertir une appréciation littérale en valeur numérique, de partir de l'appréciation détaillée et argumentée, d'y faire correspondre un niveau d'appréciation type qui lui même se traduit en une note. 
J'avoue que parmi les deux échelles proposées j'aurai plutôt tendance à me tourner vers cette proposée par Fanchic. Je trouve la suggestion intéressante d'évaluer en termes les offres en termes de plus-value / crédibilité.

[hpchavaz]

Il me parait nécessaire au moins en interne d'aller au dela de la simple labellisation des notes

Proposition

• Note 0 : Tout juste conforme - simple satisfaction du cahier des charges :
  La note de zéro correspond à une offre qui satisfait de manière minimale au cahier des charges établi par l'autorité contractante. Cela signifie que les exigences techniques et fonctionnelles sont respectées sans pour autant apporter de valeur ajoutée ou de caractéristiques particulières allant au-delà du strict nécessaire. Cette note reflète la conformité sans amélioration, une offre qui répond exactement aux attentes de base, sans défaut, mais sans plus-value.
  
• Note 1 - Faible : L'offre, bien que conforme, présente des lacunes significatives qui peuvent impacter la qualité globale du projet. Ces lacunes peuvent être dues à une insuffisance dans la compréhension des besoins, des omissions dans la proposition, ou un manque de détail dans la méthodologie proposée. Il est nécessaire d'apporter des améliorations substantielles pour répondre correctement aux exigences du cahier des charges.
  
• Note 2 - Satisfaisant : L'offre répond aux besoins de manière adéquate, mais laisse place à des améliorations. Les aspects essentiels sont couverts, mais certaines parties de l'offre pourraient être mieux développées pour apporter plus de valeur ajoutée. Par exemple, des améliorations dans la qualité des matériaux, la clarté de la méthodologie, ou l'intégration des meilleures pratiques pourraient renforcer l'offre. Ces améliorations seraient souhaitables pour optimiser l'adéquation de l'offre aux attentes du marché sans toutefois compromettre la conformité minimale requise.
  
• Note 3 - Bon : L'offre répond bien aux besoins et présente plusieurs atouts significatifs. Les éléments clés du cahier des charges sont bien couverts, et l'offre se distingue par des points positifs notables qui renforcent sa qualité globale. Ces atouts peuvent inclure une méthodologie bien structurée, des solutions techniques pertinentes, ou des caractéristiques qui apportent une valeur ajoutée par rapport aux attentes standards. Toutefois, il reste encore des marges d'amélioration pour atteindre l'excellence, notamment en optimisant certains aspects spécifiques qui pourraient mieux répondre aux objectifs globaux du marché.
  
• Note 4 - Très bon : L'offre répond pleinement aux besoins et présente de nombreux atouts qui la distinguent. Elle va au-delà de la simple satisfaction des exigences en offrant des avantages considérables tels qu'une méthodologie particulièrement robuste, une innovation notable dans la réalisation, ou une qualité des matériaux supérieure. Ces atouts apportent une valeur ajoutée tangible, augmentant l'efficacité et la qualité globale du projet. L'offre présente des caractéristiques qui se démarquent, sans toutefois atteindre la perfection ou l'optimisation absolue de l'ensemble des aspects requis. Cette note reflète une proposition qui, bien qu'excellente, peut encore être perfectionnée sur certains détails mineurs pour atteindre l'excellence absolue.
  
• Note 5 : Excellent : La note maximale représente une offre qui répond de manière optimale aux attentes de l'autorité contractante, sans toutefois inclure des caractéristiques non requises qui pourraient être qualifiées de "sur-qualité". L'objectif est d'éviter de valoriser des offres qui dépassent les attentes de manière disproportionnée, en risquant d'entraîner des coûts inutiles ou une complexité excessive qui ne contribue pas directement à l'objectif du marché.
  

[fanchic]

Très beau travail HP!

J'essaierai de me l'approprier en utilisant les terminologies CCP pour éviter toute ambiguité comme "éléments clés du CdC" ou "omissions dans la proposition"

Mais j'apprécie beaucoup des qualificatifs comme "tangibles" ou "robuste"

[hpchavaz]

C'est une base :
- Il faut tout remettre au regard de la définition du critère
- Le 5 n'est aps très satisfaisant : la surqualité n'est pas pas nécessairement nuisible elle est inutile utile à l'autorité contractante.

[hpchavaz]

En reprenant l'ensemble de mon approche:

Guide pour la Notation des Critères Qualitatifs

1. Introduction

Dans le cadre de la commande publique, il est dans la pratique quasi systématiquement nécessaire d'évaluer des critères qualitatifs qui ne peuvent pas être mesurés de manière directe. Ces critères incluent, par exemple, la qualité de la méthodologie, l'efficacité des solutions proposées, et sont évalués selon l'analyse qu'en fait l'autorité contractante, ou plus exactement les personnes auxquelles elle a confié la charge de cette évaluation.

Pour garantir des résultats aussi fiables que possible et impartiaux, il est essentiel, au-delà de la formation des évaluateurs, de suivre une méthodologie rigoureuse reposant sur l'utilisation de grilles d'évaluation précises. Enfin, pour limiter les biais, il est nécessaire que l'évaluation ne soit pas confiée à une seule personne, mais qu'elle soit discutée en collégialité.

Cette note présente un guide pour l'évaluation des critères qui fiabilise l'identification de l'offre économiquement la plus avantageuse.

2. Principes pour la notation des critères

2.1. Utilisation d'une Échelle Graduée au lieu de Paliers Prédéfinis

L'utilisation de paliers prédéfinis pour la notation peut être préjudiciable si les critères d'évaluation ne sont pas suffisamment détaillés. Les paliers risquent alors de ne pas refléter la complexité ou les nuances des offres, entraînant une évaluation schématique ou injuste. Ainsi, la grille de notation vise à définir une échelle. Les échelons sont des repères, les notes données pouvant être intermédiaires entre ces repères pour prendre en compte la diversité des offres. Quand le nombre de critères est réduit ou que la méthode porte sur un critère fortement pondéré, cela est même sans doute une nécessité juridique.

2.2. Recours à une Grille de Notation Absolue

Pour assurer la rigueur, l'équité et le respect de la pondération, et pour que la notation soit aussi objective que possible, chaque offre doit être notée indépendamment des autres, sans comparaison directe. Ainsi, la qualité d'une offre est évaluée selon ses propres mérites et les critères établis, et non par rapport aux autres. Cela garantit que la suppression ou l'ajout d'une offre ne modifie pas la notation, assurant ainsi équité et stabilité. De plus, les notes restent cohérentes et ne biaisent pas la pondération lors du calcul de la note globale. En évitant les comparaisons, on préserve l'objectivité et on réduit le risque d'influences subjectives.

2.3. Précaution dans la Définition des Niveaux de Notation

Il est crucial de définir précisément chaque niveau de notation et de fournir des directives claires aux évaluateurs pour garantir une évaluation équitable et représentative. Une évaluation trop rigide risque de ne pas refléter les nuances des offres, faussant ainsi la détermination de l'offre économiquement la plus avantageuse.

2.4. Définition des Bornes de la Notation

Afin de respecter la pondération des critères, il est particulièrement nécessaire que les définitions des bornes haute (maximum) et basse (0) de la page de notation soient définies de façon à être en adéquation avec l'ensemble de la méthode de notation. La suite de la note correspond au cas où la méthode d'agrégation est celle de la moyenne pondérée, ce qui est le cas général.

Note 0: Tout Juste Conforme - Simple Satisfaction du Cahier des Charges

La note de zéro correspond à une offre qui satisfait de manière minimale au cahier des charges établi par l'autorité contractante. Cela signifie que les exigences techniques et fonctionnelles sont respectées sans pour autant apporter de valeur ajoutée ou de caractéristiques particulières allant au-delà du strict nécessaire. Cette note reflète la conformité sans amélioration, une offre qui répond exactement aux attentes de base, sans défaut, mais sans plus-value.

En effet, la qualité d'une offre a deux composantes :

• La première composante de la qualité est celle assurée par le simple respect du cahier des charges, quand celui-ci n'est pas purement fonctionnel, ce qui dans la pratique correspond à la totalité des cas. Cette composante est commune et identique à toutes les offres conformes.
• La seconde composante provient de l'entreprise et son analyse repose sur l'offre.

Note Maximale: Excellent

L'offre répond de manière excellente en apportant des solutions assurant un niveau élevé de qualité sur tous les aspects évalués. Elle se distingue par une méthodologie bien pensée, des ressources techniques de qualité, et une compréhension approfondie des besoins. Si elle inclut des caractéristiques superflues ("sur-qualité"), cela n'est pas au détriment de sa fiabilité.

L'objectif est de récompenser une réponse alignée sur les attentes sans coûts ou complexités inutiles, tout en évitant de valoriser des offres qui dépassent les attentes de manière disproportionnée, risquant d'entraîner des coûts ou une complexité non justifiés.

2.5. Notation des Échelons Intermédiaires

Pour la définition des échelons intermédiaires, la latitude est plus grande. On pourrait essayer de répliquer une sorte d'échelle totale régulière, mais comment mesurerait-on cette régularité ? De plus, il n'est pas certain que cette régularité corresponde réellement aux souhaits de l'autorité. En effet, il se pourrait qu'une sorte de loi des effets décroissants conduise à moins valoriser les écarts entre des offres très qualitatives, alors qu'à l'autre extrémité, un avantage certes faible peut, comparativement, avoir beaucoup d'utilité pour l'autorité.

En revanche, il semble pertinent d'éviter d'utiliser le qualificatif de « Moyen ». En effet, on ne sait pas bien si « moyen » est relatif à la moyenne des offres (mais lesquelles : les offres en cours d'analyse, ou bien celles que l'on s'imaginait en droit d'attendre ?), ce qui contredirait le principe de l'échelle absolue, ou si ce « moyen » vient qualifier une offre se voyant attribuer la note moyenne, ce qui n'apporte pas grand-chose, ou encore si « moyen » doit être compris comme dans le langage courant, c'est-à-dire mieux que passable mais certainement pas « bon ».

3. Grille de Notation Proposée

Cette échelle correspond à une notation sur 5.

Note	Description
0 - Tout juste acceptable - simple satisfaction du cahier des charges	Au regard du critère, les exigences techniques et fonctionnelles du cahier des charges sont respectées sans pour autant apporter de valeur ajoutée ou de caractéristiques particulières concernant le critère allant au-delà du strict nécessaire. Cette note reflète la conformité sans amélioration, une offre qui répond exactement aux attentes de base, sans défaut, mais sans plus-value.
1 - Faible	Au regard du critère, l'offre, bien que conforme, présente des lacunes significatives. Ces lacunes pourraient impacter la qualité globale du projet. Elles peuvent être dues à une insuffisance dans la compréhension des besoins, des omissions dans la proposition, ou un manque de détail dans la méthodologie proposée. Il pourrait être apporté des améliorations substantielles.
2 - Satisfaisant	Au regard du critère, l'offre est adéquate, mais laisse place à des améliorations. Les aspects essentiels sont couverts, mais certaines parties de l'offre pourraient être mieux développées pour apporter plus de valeur ajoutée. Ces améliorations seraient souhaitables pour optimiser l'adéquation de l'offre aux attentes du marché.
3 - Bon	Au regard du critère, l'offre présente plusieurs atouts significatifs qui renforcent sa qualité globale. Ces atouts peuvent inclure une méthodologie bien structurée, des solutions techniques pertinentes, ou des caractéristiques qui apportent une valeur ajoutée par rapport aux attentes standards. Toutefois, il reste encore des marges d'amélioration pour atteindre l'excellence, notamment en optimisant certains aspects spécifiques.
4 - Très bon	Au regard du critère, l'offre présente de nombreux atouts qui la distinguent. Ces atouts apportent une valeur ajoutée tangible, augmentant l'efficacité et la qualité globale du projet. L'offre présente des caractéristiques qui se démarquent, sans toutefois atteindre la perfection ou l'optimisation absolue de l'ensemble des aspects requis. Cette note reflète une proposition qui, bien qu'excellente, peut encore être perfectionnée sur certains détails mineurs pour atteindre l'excellence.
5 - Excellent	Au regard du critère, l'offre répond de manière excellente en apportant des solutions assurant un niveau élevé de qualité sur tous les aspects évalués. Elle se distingue par une méthodologie bien pensée, des ressources techniques de qualité, et une compréhension approfondie des besoins. Si elle inclut des caractéristiques superflues ("sur-qualité"), cela n'est pas au détriment de sa fiabilité..

[Bobleponge]

Waou le level ! Merci