Modos de puntuación
Cómo Publi-Score calcula la puntuación según los datos disponibles. Datos empíricos sobre 18 artículos.
Tabla comparativa
| ⚡ Rápido | 🔬 Parcial IA (abstract) | 📝 Completo manual | 🤖 Completo IA (PDF) | |
|---|---|---|---|---|
| Entrada | PMID/DOI | Solo PMID | PMID + PDF | PMID + PDF |
| Cobertura de criterios | ~53/100 | ~85/100 | 100/100 | 100/100 |
| Cobertura de integridad | ~80% | ~80% | 100% | 100% |
| Duración | ~2–5 sec | ~30–60 sec | ~10–30 min | ~30–60 sec |
| Objetividad | ✅ Auto | ✅ LLM | ⚠️ Sesgo humano | ✅ LLM |
| Publicado en el catálogo | ✅ | ✅ | ❌ | ✅ |
| Cuenta requerida | No | Sí (gratuito) | No | Sí (gratuito) |
| Cuota | Ilimitado | Compartido con Completo IA (misma cuota) | Ilimitado | 5/mes (gratuito) |
Lo que cubre el modo rápido (y lo que no cubre)
✓ Lo que cubre
- • §2.3 Impacto bibliométrico — 100% (citas, h-index)
- • §2.6 Actualidad — ~69% (fecha de publicación)
- • §2.1 Nivel de evidencia — ~57% (tipo de estudio, aleatorización)
- • Retractaciones — 100% (API PubMed + Retraction Watch)
- • Señales de alerta — 100% (revistas predadoras, EoC)
Total: ~53% de los criterios · ~80% integridad
⚠ Lo que el modo rápido no cubre
- • Análisis ITT real (intención de tratar)
- • Conformidad con el protocolo pre-registrado
- • Compartir datos brutos
- • Relación beneficio/riesgo clínico
- • §2.7 Calidad editorial — 0% (requiere el PDF)
~47% de los criterios no evaluables sin PDF
El modo Parcial IA sin PDF
El modo Parcial IA (abstract) utiliza únicamente el abstract y los metadatos del artículo — sin PDF. La IA evalúa todos los criterios accesibles desde estas fuentes, cubriendo ~85% de la puntuación total.
~85%
criterios cubiertos
+3 pts
∆ promedio vs. completo con PDF: 3 pts (medido en 18 artículos del corpus)
1/12
Solo 1 cambio de nivel en 12 artículos (TOGETHER: B→A)
0/3 pts
criterio no evaluable sin PDF
¿Por qué ~85% y no 100%?
- • §2.7 Calidad editorial (3 pts) — evalúa la claridad de presentación de resultados, tablas y figuras. Inaccesible sin el PDF completo: siempre 0 pt.
- • §2.4 Reproducibilidad y transparencia — algunos subcriterios (código compartido, datos brutos) son parcialmente inferibles desde el resumen, pero sin certeza. La IA los puntúa con prudencia.
Este modo produce una puntuación detallada con justificaciones por criterio — es parcial, no degradado. Sigue siendo mucho más fiable que el modo rápido (~53%) y se activa automáticamente cuando el PDF no está en acceso abierto.
Activación: alternativa automática si PDF OA no disponible. Medido en 18 artículos, clústeres COVID-19 y Vacunación — corpus de calibración Publi-Score.
Datos empíricos
Medido en 18 artículos, clústeres COVID-19 y Vacunación — corpus de calibración Publi-Score.
4 casos críticos de sobrevaloración en modo rápido
Estos 4 artículos están entre los más consultados del corpus. El modo rápido les asigna un nivel A o B, mientras que el modo Completo IA revela un nivel D.
| Artículo | ⚡ Rápido | 🔬 Parcial IA (abstract) | 🤖 Completo IA (PDF) | Dif. R→C | Razón principal |
|---|---|---|---|---|---|
| Polack/Pfizer — NEJM 2020 | A | E | D | −51 pts | COI industrial mayor + retraso editorial corto no capturado |
| Voysey/AZ — Lancet 2021 | B | D | D | −38 pts | COI AstraZeneca + diseño adaptativo + datos no compartidos |
| Hammond/Paxlovid — NEJM 2022 | B | E | D | −37 pts | Ensayo solo de la industria + datos brutos no disponibles |
| Molnupiravir — NEJM 2022 | B | D | D | −33 pts | Ensayo Merck/Ridgeback — datos no públicos |
Por qué el modo rápido sobreestima: normaliza sobre los criterios accesibles vía APIs. §2.3 (impacto bibliométrico) pesa ~14 pts y es máximo para artículos NEJM/Lancet — que suelen ser ensayos industriales (Pfizer, AZ, Merck) cuyo fuerte COI solo es visible con análisis en profundidad.
¿Qué modo elegir?
| Contexto | Modo recomendado |
|---|---|
| Primera exploración, monitoreo | ⚡ Rápido |
| Decisión clínica, citación, enseñanza | 🤖 Completo IA (PDF) |
| PDF no disponible (NEJM, Lancet…) | 🔬 Parcial IA (abstract) |
| Aprendizaje personal, exploración metodológica | 📝 Completo manual |