Fable et Commande publique

[hpchavaz]

C'est le début des vacances, ce qui me laisse un peu de temps libre, et j'espère que vous en aurez également de votre côté.

Début juin, j'ai pu brièvement accéder à Fable 5, le dernier LLM d'Anthropic, avant qu'il ne soit rapidement bloqué par Trump.

J'en ai profité pour le tester en le lançant sur un des aspects de la commande publique qui m'intéresse le plus.

Voici les trois notes issues de ces sessions, pour lesquelles je n'ai malheureusement plus les instructions d'entrée en raison du retrait du modèle :

• Méthodes d'identification de l'offre économiquement la plus avantageuse : Cette note examine le cloisonnement entre la théorie (enchères à scores, critique empirique des formules relatives comme la formule linéaire classique) et le droit européen et français.
  
  Elle met en lumière un angle mort : des méthodes économiquement défectueuses restent parfaitement régulières aux yeux du juge.
  Le contenu demande à être vérifié, mais correspond à ma compréhension.
  
  
• Méthodes de choix OEPA - Approfondissement : résultats et conclusions des sources académiques : Ce document rassemble des fiches de lecture traitant des pathologies des fonctions d'agrégation.
  
  Il documente des phénomènes tels que le "rank reversal" (renversement de classement), l'asymétrie d'information et le risque statistique de favoritisme lié aux critères multiparamètres. Je pense avoir déjà présenté certains des résultats.
  
  
• L'achat public comme portefeuille récurrent : Cette note est celle qui m'intéresse le plus, car, si elle est la plus spéculative, elle traite des conséquences de deux caractéristiques de la commande publique qui me semblent complètement ignorées des réflexions menées sur les méthodes de choix : l'unicité budgétaire et la récurrence des achats.
  
  Des contraintes de portefeuille, il est tiré l'hypothèse de cinq conditions de cohérence (dont la quasi-linéarité locale et l'usage exclusif de la notation absolue), ce qui corroborerait mon intuition.
  
  Cependant, en dehors du caractère hypothétique du résultat, ce qui me gêne le plus est que n'ayant plus accès à la session, je ne sais pas dans quelle mesure le "résultat" n'est pas forcé par les instructions.

Si vous voulez voir un peu ce dont Fable 5 est capable même quand il est sans doute, comme ici, très très mal utilisé, et si vous aimez vous prendre la tête sur les méthodes de choix, allez-y.

[fanchic]

Merci HP

J'ai lu le premier document et avoue ne pas avoir tout bien compris.
Ce que j'en retire :
- Les formules de types Note = Pmin/P x pondération sont pathologiques car dépendent d'une donnée inconnue de tous les participants (acheteur compris) au moment de la soumission
- Etrangement si le droit n'oblige pas la publication de la méthode de notation, pour le CCV c'est l'inverse
C'est quand même bien incongru!
- La monétisation de la qualité semble être la bonne méthode

[fanchic]

Je reviens sur le 3ème rapport : "Portefeuille et récurrence".

J'avoue encore ne pas avoir très bien compris.
A priori le rapport prix / qualité ne devrait pas être déterminé pour un seul marché mais en fonction du portefeuille global détenu par l'acheteur.

Autrement dit, si je veux sur un marché viser plus de qualité quitte à payer plus cher, je devrais trouver des solutions d'économies sur d'autres marchés du portefeuille géré. Il faut donc raisonner global.

On revient également en page 5 sur la notion de notation relative (noter le prix ou un autre critère en fonction d'une valeur qui n'est connue qu'une fois les offres reçues : offre la moins chère, médiane, moyenne qualité la meilleure parmi les offres reçues...)
Cette notation relative ne survivrait encore moins en prenant en compte l'ensemble du portefeuille car la comparaison entre plusieurs marchés serait impossible.
Par exemple : dans un marché A, si l'offre la moins chère qui obtient 100/100 coûte 200K, il peut paraître étrange que dans un marché B, l'offre la moins chère coûte 1,5M

[hpchavaz]

Rappel : Le troisième rapport est beaucoup plus spéculatif latif que le premier.

"A priori le rapport prix / qualité ne devrait pas être déterminé pour un seul marché mais en fonction du portefeuille global détenu par l'acheteur", est, à ce stade, une intuition qui correspond à l'idée suivante :

Quand les préférences de l'Acheteur sont telles qu'il est indifférent entre une modification des caractéristiques de l'offre et une autre modification des caractéristiques, cette indifférence devrait s'appliquer à l'ensemble de ses achats dans lesquels ces deux modifications sont possibles.

Le prix n'est qu'une des caractéristiques mais à toutefois la particularité d'être pratiquement toujours présent.

"Rapport prix / qualité" signifie ici la valeur des paramètres du rapport prix / qualité, c'est à dire les paramètres permettant de déterminer l'offre économiquement la plus avantageuse.

[hpchavaz]

Cette notation relative ne survivrait encore moins en prenant en compte l'ensemble du portefeuille car la comparaison entre plusieurs marchés serait impossible.
Par exemple : dans un marché A, si l'offre la moins chère qui obtient 100/100 coûte 200K, il peut paraître étrange que dans un marché B, l'offre la moins chère coûte 1,5M

Presque :

1. Les notations absolues ne sont pas idla même chose la monétarisation. Mais si le prix est noté de façon absolue alors il possible de calculer la valeur monétaire de chacun des critères faisant l'objet d'une notation absolue.

2. Détail : Ce n'est pas le fait qu'une notation soit absolue qui joue, il suffit que la notation soit-elle que les écarts de notes soient absolus.
Exemple : J'avais une notation linéaire absolue du prix, pouvant conduire à des notes négatives. Après la décision du Conseil d'État (cars du département de la Guadeloupe) ayant conclu à l'illégalité des notations conduisant à des notes négatives, j'ai modifié la formule en l'a translatant de façon à ce que le le prix le plus bas obtienne la note maximale. La note si on est plus absolue à strictement parler, mais les écarts entre les notes le sont.

3. Il faudrait que je vérifie mais il me semble que les notations doivent être linéaires. Mon hésitation provient du fait que que l'on passe par des utilités.

[speedy]

je ne suis pas un fan de la notation absolue .... 
il faut désigner un gagnant (et un seul hormis les quelques  cas spécifiques des multi attributaire ) donc ce qui est important à mes yeux ceux sont les écarts de note et  je suis pour une notation plutôt linéaire...

en conclusion je défends toujours ma notation du prix par une courbe anti-logistique , voir mes nombreuses interventions sur le sujet 
rappel courbe basée sur la médiane des offres classées, quasi linéaire pour la plupart du temps pour les offres entre  -30% et +30% à cette médiane...  note proche du maxi pour une offre proche de zéro et note zéro pour une offre d'un montant infiniment grand ...

[hpchavaz]

Notation absolue et notation linéaire sont effectivement deux  notions orthogonales que j''ai en partie un peu confondues dans les messages précédents. 

Ce qui importe, ce sont bien, comme l'indique speedy, les écarts entre les notes.