Grid v1
Methodological transparency
No scoring is perfect. Here are the 11 trade-offs we assume, documented and argued.
Version 1.0 — Last updated: 18/04/2026
Publi-Score is a methodological reliability score for scientific publications. Before confronting our methodology with the public — researchers, journalists, epidemiologists — we identified and documented its real limitations.
These 11 trade-offs are not bugs: they are deliberate design choices, assumed and argued. Whenever an empirical validation is planned, it is explicitly indicated.
The 11 assumed trade-offs
Click on a trade-off to read the objection and our response.
What we will verify
7 planned empirical validation protocols to turn hypotheses into data.
| # | Objective | Protocol | Timing | Objections |
|---|---|---|---|---|
| C1 | Reproductibilité du scoring IA | 20 articles × 5 runs (température 0). Cible : écart intra-article < 2 pts, corrélation avec panel de 3 experts r > 0.85 | Avant scoring IA | O6.2-O6.4 |
| C2 | Calibration des pondérations | Panel 5-10 experts (épidémiologistes, biostatisticiens). Comparer 3 grilles (actuelle, poids égaux, poids experts). Corrélation Spearman des classements | Post-MVP | O10.1-O10.3 |
| C3 | Écart score rapide vs. complet | Corpus ~25 articles. Mesurer : écart moyen/max, % d'articles changeant de palier, seuil d'alerte | Sprint 3 | O5.3 |
| C4 | Biais de sélection du catalogue | Distribution palier × conclusion sur corpus final. Cible : max 60% d'une conclusion, ≥ 2 articles par palier (A-E) | Sprint 3 | O9.1 |
| C5 | Robustesse du min() vs alternatives | 12 articles mock × 4 variantes : min(A,B), moyenne(A,B), pondérée(A×0.6, B×0.4), géométrique(√AB). Résultat : 1 seul changement de palier (pfizerVaccine C→B) — cas de blanchissement COI attendu. min() validé. | ✅ Terminé | O3.1-O3.3 |
| C6 | Sensibilité du scoring LLM au prompt | 3 variantes de prompt (concis, détaillé, avec exemples) × 10 articles. Mesurer variance inter-prompt | Conception prompt IA | O6.3 |
| C7 | Effet du h-index sur jeunes chercheurs | Sur le corpus, identifier articles de chercheurs < 5 ans carrière. Comparer score avec/sans h-index (2 pts). Valider que le poids résiduel est adéquat. Si écart > 2 pts → envisager réduction supplémentaire | Sprint 3 ou post-MVP | O1.2 |
To understand the scoring rules in their entirety:
See the full methodology