Transparence méthodologique
Aucun scoring n'est parfait. Voici les 11 compromis que nous assumons, documentés et argumentés.
Version 1.0 — Dernière mise à jour : 18/04/2026
Publi-Score est un score de fiabilité méthodologique pour les publications scientifiques. Avant de confronter notre méthodologie au public — chercheurs, journalistes, épidémiologistes — nous avons identifié et documenté ses limites réelles.
Ces 11 trade-offs ne sont pas des bugs : ce sont des choix de design délibérés, assumés et argumentés. Chaque fois qu'une validation empirique est planifiée, elle est indiquée explicitement.
Les 11 compromis assumés
Cliquez sur un compromis pour lire l'objection et notre réponse.
Ce que nous allons vérifier
7 protocoles de validation empirique planifiés pour transformer les hypothèses en données.
| # | Objectif | Protocole | Timing | Objections |
|---|---|---|---|---|
| C1 | Reproductibilité du scoring IA | 20 articles × 5 runs (température 0). Cible : écart intra-article < 2 pts, corrélation avec panel de 3 experts r > 0.85 | Avant scoring IA | O6.2-O6.4 |
| C2 | Calibration des pondérations | Panel 5-10 experts (épidémiologistes, biostatisticiens). Comparer 3 grilles (actuelle, poids égaux, poids experts). Corrélation Spearman des classements | Post-MVP | O10.1-O10.3 |
| C3 | Écart score rapide vs. complet | Corpus ~25 articles. Mesurer : écart moyen/max, % d'articles changeant de palier, seuil d'alerte | Sprint 3 | O5.3 |
| C4 | Biais de sélection du catalogue | Distribution palier × conclusion sur corpus final. Cible : max 60% d'une conclusion, ≥ 2 articles par palier (A-E) | Sprint 3 | O9.1 |
| C5 | Robustesse du min() vs alternatives | 12 articles mock × 4 variantes : min(A,B), moyenne(A,B), pondérée(A×0.6, B×0.4), géométrique(√AB). Résultat : 1 seul changement de palier (pfizerVaccine C→B) — cas de blanchissement COI attendu. min() validé. | ✅ Terminé | O3.1-O3.3 |
| C6 | Sensibilité du scoring LLM au prompt | 3 variantes de prompt (concis, détaillé, avec exemples) × 10 articles. Mesurer variance inter-prompt | Conception prompt IA | O6.3 |
| C7 | Effet du h-index sur jeunes chercheurs | Sur le corpus, identifier articles de chercheurs < 5 ans carrière. Comparer score avec/sans h-index (2 pts). Valider que le poids résiduel est adéquat. Si écart > 2 pts → envisager réduction supplémentaire | Sprint 3 ou post-MVP | O1.2 |
Pour comprendre les règles de scoring dans leur ensemble :
Voir la méthodologie complète