Transparence méthodologique
Aucun scoring n'est parfait. Voici les 12 arbitrages que nous assumons, documentés et argumentés.
Version 1.0 — Dernière mise à jour : 18/04/2026
Publi-Score est le score de qualité des publications scientifiques. Avant de confronter notre méthodologie au public — chercheurs, journalistes, épidémiologistes — nous avons identifié et documenté ses limites réelles.
Ces 12 arbitrages ne sont pas des défauts : ce sont des choix de conception délibérés, assumés et argumentés. Chaque fois qu'une validation empirique est planifiée, elle est indiquée explicitement.
Les 12 compromis assumés
Cliquez sur un compromis pour lire l'objection et notre réponse.
Ce que nous vérifions
7 protocoles de validation empirique pour transformer nos hypothèses en données.
| # | Objectif | Protocole |
|---|---|---|
| 1 | Reproductibilité du scoring IA | 20 publications × 5 exécutions (température 0). Cible : écart intra-publication < 2 pts, corrélation avec un panel de 3 experts r > 0.85. |
| 2 | Calibration des pondérations | Panel de 5 à 10 experts (épidémiologistes, biostatisticiens). Comparer 3 grilles (actuelle, poids égaux, poids des experts). Corrélation de Spearman des classements. |
| 3 | Écart score rapide vs. complet | Comparaison du score rapide (métadonnées seules) au score complet (texte intégral) sur 52 publications notées dans les deux modes (novembre 2026, grille v2.0.0). Résultat : le score rapide est conservateur. Il est en moyenne 9 points plus bas que le score complet, et son palier est égal ou inférieur à celui du score complet pour 51 publications sur 52 (98 %). Une publication sur deux descend d'un palier en mode rapide, une seule monte. Écart moyen 11 points, écart maximal 34 points. |
| 4 | Biais de sélection du catalogue | Distribution palier × conclusion sur le corpus. Cible : au plus 60% d'une même conclusion, au moins 2 publications par palier (A-E). Résultat (novembre 2026, 164 publications notées de A à E) : conclusion la plus fréquente positive à 55,5 %, chaque palier compte au moins 2 publications. Cibles atteintes ; le palier A, avec 2 publications, reste au minimum et sera remesuré après chaque nouvelle notation. |
| 5 | Robustesse du min() vs alternatives | 12 publications de test × 4 variantes : min(A,B), moyenne(A,B), pondérée(A×0.6, B×0.4), géométrique(√AB). Résultat : 1 seul changement de palier (C→B), exactement le cas de blanchissement attendu (conflits d'intérêts masqués par le prestige d'une grande revue). min() validé. |
| 6 | Sensibilité du scoring IA au prompt | 3 variantes de prompt (concis, détaillé, avec exemples) × 10 publications. Mesurer la variance entre prompts. |
| 7 | Effet du h-index sur les jeunes chercheurs | Identifier dans le corpus les publications de chercheurs ayant moins de 5 ans de carrière. Comparer le score avec et sans h-index (2 pts). Si l'écart dépasse 2 pts, envisager une réduction supplémentaire. |
Pour comprendre les règles de scoring dans leur ensemble :
Voir la méthodologie complète