Les modes de scoring
Comment Publi-Score calcule le score selon les données disponibles. Données empiriques sur 18 articles.
Tableau comparatif
| ⚡ Rapide | 🔬 Partiel IA (abstract) | 📝 Complet manuel | 🤖 Complet IA (PDF) | |
|---|---|---|---|---|
| Entrée | PMID/DOI | PMID uniquement | PMID + PDF | PMID + PDF |
| Couverture critères | ~53/100 | ~85/100 | 100/100 | 100/100 |
| Couverture intégrité | ~80% | ~80% | 100% | 100% |
| Durée | ~2–5 sec | ~30–60 sec | ~10–30 min | ~30–60 sec |
| Objectivité | ✅ Auto | ✅ LLM | ⚠️ Biais humain | ✅ LLM |
| Publié au catalogue | ✅ | ✅ | ❌ | ✅ |
| Compte requis | Non | Oui (gratuit) | Non | Oui (gratuit) |
| Quota | Illimité | Partagé avec Complet IA (même enveloppe) | Illimité | 5/mois (gratuit) |
Ce que le mode rapide couvre (et ne couvre pas)
✓ Ce qu'il couvre
- • §2.3 Impact bibliométrique — 100% (citations, h-index)
- • §2.6 Fraîcheur — ~69% (date publication)
- • §2.1 Niveau de preuve — ~57% (type d'étude, randomisation)
- • Rétractations — 100% (API PubMed + Retraction Watch)
- • Signaux d'alerte — 100% (journaux prédateurs, EoC)
Total : ~53% des critères · ~80% intégrité
⚠ Ce que le mode rapide ne couvre pas
- • Analyse ITT réelle (intention de traiter)
- • Conformité au protocole pré-enregistré
- • Partage des données brutes
- • Rapport bénéfice/risque clinique
- • §2.7 Qualité rédactionnelle — 0% (nécessite le PDF)
~47% des critères non évaluables sans PDF
Le mode Partiel IA sans PDF
Le mode Partiel IA (abstract) utilise uniquement l'abstract et les métadonnées de l'article — sans PDF. L'IA évalue tous les critères accessibles via ces sources, soit ~85% du score total.
~85%
critères couverts
+3 pts
∆ moyen vs complet avec PDF : 3 pts (mesuré sur 18 articles du corpus)
1/12
1 seul changement de palier sur 12 articles (TOGETHER : B→A)
0/3 pts
critère non évaluable sans PDF
Pourquoi ~85% et pas 100% ?
- • §2.7 Qualité rédactionnelle (3 pts) — évalue la clarté de présentation des résultats, tableaux et figures. Inaccessible sans le PDF intégral : 0 pt systématiquement.
- • §2.4 Reproductibilité & transparence — certains sous-critères (partage code, données brutes) sont partiellement inférables depuis l'abstract, mais sans certitude. L'IA les note prudemment.
Ce mode produit un score détaillé avec justifications par critère — il est juste partiel, non dégradé. Il reste nettement plus fiable que le mode rapide (~53%) et s'active automatiquement quand le PDF n'est pas en open access.
Activation : fallback auto si PDF OA indisponible. Mesuré sur 18 articles, clusters COVID-19 et Vaccination — corpus de calibration Publi-Score.
Données empiriques
Mesuré sur 18 articles, clusters COVID-19 et Vaccination — corpus de calibration Publi-Score.
4 cas critiques de surévaluation en mode rapide
Ces 4 articles figurent parmi les plus consultés du corpus. Le mode rapide leur attribue un palier A ou B, alors que le mode Complet IA révèle un palier D.
| Article | ⚡ Rapide | 🔬 Partiel IA (abstract) | 🤖 Complet IA (PDF) | Écart R→C | Raison principale |
|---|---|---|---|---|---|
| Polack/Pfizer — NEJM 2020 | A | E | D | −51 pts | COI industriel majeur + délai éditorial court non capturé |
| Voysey/AZ — Lancet 2021 | B | D | D | −38 pts | COI AstraZeneca + design adaptatif + données non partagées |
| Hammond/Paxlovid — NEJM 2022 | B | E | D | −37 pts | Essai industrie seul + données brutes non disponibles |
| Molnupiravir — NEJM 2022 | B | D | D | −33 pts | Essai Merck/Ridgeback — données non publiques |
Pourquoi le mode rapide surévalue : il normalise sur les critères accessibles via APIs. §2.3 (impact bibliométrique) pèse ~14 pts et est maximal pour les articles NEJM/Lancet — or ces articles sont souvent des essais industriels (Pfizer, AZ, Merck) dont le COI fort n'est visible qu'à l'analyse approfondie.
Quel mode choisir ?
| Contexte | Mode recommandé |
|---|---|
| Première exploration, veille | ⚡ Rapide |
| Décision clinique, citation, enseignement | 🤖 Complet IA (PDF) |
| PDF indisponible (NEJM, Lancet…) | 🔬 Partiel IA (abstract) |
| Apprentissage personnel, exploration méthodologique | 📝 Complet manuel |