Modos de puntuación
Cómo Publi-Score calcula la puntuación según los datos disponibles. Datos empíricos medidos en 28 artículos paired del corpus de referencia (50 artículos, distribución gaussiana neutra μ=50/σ=20).
Metodología vigente: v1.2 (desde el 22/8/2026)
¿Qué es una versión de metodología?
Tabla comparativa
| ⚡ Rápido | 🔬 Parcial IA (abstract) | 📝 Completo manual | 🤖 Completo IA (PDF) | |
|---|---|---|---|---|
| Entrada | PMID/DOI | Solo PMID | PMID + PDF | PMID + PDF |
| Cobertura de criterios | ~53/100 | ~85/100 | 100/100 | 100/100 |
| Cobertura de integridad | ~80% | ~80% | 100% | 100% |
| Duración | ~2–5 sec | ~30–60 sec | ~10–30 min | ~30–60 sec |
| Objetividad | ✅ Auto | ✅ LLM | ⚠️ Sesgo humano | ✅ LLM |
| Publicado en el catálogo | ✅ | ✅ | ❌ | ✅ |
| Cuenta requerida | No | Sí (gratuito) | No | Sí (gratuito) |
| Cuota | Ilimitado | Compartido con Completo IA (misma cuota) | Ilimitado | 5/mes (gratuito) |
Lo que cubre el modo rápido (y lo que no cubre)
✓ Lo que cubre
- • §2.3 Impacto bibliométrico — 100% (citas, h-index)
- • §2.6 Actualidad — ~69% (fecha de publicación)
- • §2.1 Nivel de evidencia — ~57% (tipo de estudio, aleatorización)
- • Retractaciones — 100% (API PubMed + Retraction Watch)
- • Señales de alerta — 100% (revistas predadoras, EoC)
Total: ~53% de los criterios · ~80% integridad
⚠ Lo que el modo rápido no cubre
- • Análisis ITT real (intención de tratar)
- • Conformidad con el protocolo pre-registrado
- • Compartir datos brutos
- • Relación beneficio/riesgo clínico
- • §2.7 Calidad editorial — 0% (requiere el PDF)
~47% de los criterios no evaluables sin PDF
El modo Parcial IA sin PDF
El modo Parcial IA (abstract) utiliza únicamente el abstract y los metadatos del artículo — sin PDF. La IA evalúa 24 subcriterios sobre 26 (92% de cobertura, 2 subcriterios restantes no evaluables: compartir datos brutos y compartir código). Fidelidad 60% vs modo completo (65% concordancia × 24/26 subcriterios, medido sobre 28 artículos paired del corpus de referencia).
60%
Fidelidad (concordancia × cobertura)
24/26
Subcriterios evaluables (92%)
65%
Concordancia con PDF (prom. niveles)
2/26
criterio no evaluable sin PDF
¿Por qué 60% y no 100%?
- • El abstract no contiene todo — algunos elementos del PDF siguen inaccesibles (figuras, tablas, métodos detallados, referencias). La IA evalúa lo que puede documentar a partir del abstract, pero se mantiene prudente cuando falta información.
- • §2.4 Reproducibilidad y transparencia — los subcriterios « compartir datos brutos » y « compartir código » requieren examinar el PDF (secciones Data Availability) o repositorios asociados. Inaccesibles desde el abstract solo: siempre 0 pt.
Este modo produce una puntuación detallada con justificaciones por criterio — es parcial, no degradado. Fidelidad = Concordancia × Cobertura = 65% × 24/26 = 60%. Nivel cercano en 86% de casos. Se activa automáticamente cuando el PDF no está en acceso abierto.
Activación: alternativa automática si PDF OA no disponible. Medido sobre un corpus representativo de 50 artículos temáticos (COVID, Salud Mental, Nutrición, Cardio, Onco, Infeccioso, MetaEpistemo, Genética — distribución equilibrada de niveles A→E reflejando la ciencia médica ordinaria).
Modo Rápido algorítmico
El modo Rápido utiliza únicamente los metadatos públicos (PubMed, OpenAlex, Semantic Scholar…) y reglas algorítmicas — sin IA. Evalúa los 13 subcriterios accesibles vía bases de datos públicas sobre 26 (50% de cobertura). Fidelidad 40% vs modo completo (76% concordancia × 13/26 subcriterios, medido sobre 28 artículos apareados del corpus de referencia).
40%
Fidelidad (concordancia × cobertura)
13/26
Subcriterios evaluables (50%)
76%
Concordancia con PDF (prom. niveles)
13/26
subcriterios PDF-only no evaluables
¿Por qué 40% de Fidelidad?
Fidelidad = Concordancia × Cobertura. El modo Rápido alcanza 76% de concordancia con el modo completo (PDF) sobre el corpus apareado n=28 (nivel cercano en 100% de los casos, nivel exacto en 52%) — excelente estabilidad gracias a las señales cuantitativas de las bases públicas (citaciones, revista, h-index). Pero solo cubre 13/26 subcriterios (50% de cobertura). Fidelidad = 76% × 50% = 38% → redondeado 40%.
El modo rápido sigue siendo útil para orientación inmediata (nivel cercano en 100% de los casos, nivel exacto en 52%). Pero para decisión clínica, el modo completo (PDF) sigue siendo la referencia.
Cómo medimos la Fidelidad
Fidelidad = Concordancia × Cobertura. Esta fórmula mide hasta qué punto un modo reproduce la puntuación de referencia (PDF completo), teniendo en cuenta tanto la precisión (concordancia) como el alcance analizado (cobertura).
Descomposición
- Concordancia = promedio (nivel estricto + nivel ±1) — % de acuerdo con la puntuación PDF de referencia
- Cobertura = número de subcriterios evaluables / 26 (cuadrícula total)
- Fidelidad = producto de ambos, expresado en %
Cálculos detallados (3 modos)
- PDF completo (IA) — referencia: 100% × 26/26 = 100%
- Resumen (IA): 65% × 24/26 = 60%
- Metadatos (Rápido): 76% × 13/26 = 40%
Detalles de concordancia
- Nivel estricto: % de artículos con la misma letra (A/B/C/D/E)
- Nivel ±1: % de artículos a ≤1 nivel de distancia (ej. B vs C, o C vs D — cercano pero no exacto)
- Concordancia = (nivel_estricto + nivel_±1) / 2
Corpus de medición (distribución representativa)
Medición realizada sobre un corpus equilibrado de 50 artículos temáticos, que refleja la distribución natural de la ciencia médica ordinaria:
- ~10% artículos excelentes (nivel A — estudios raros con full transparency, pre-registration, open data)
- ~28% artículos buenos (nivel B — diseño sólido, COI manejables)
- ~18% artículos mediocres (nivel C — nivel decisional)
- ~29% artículos débiles (nivel D — limitaciones metodológicas importantes)
- ~10% artículos muy débiles (nivel E — poco utilizables)
Esta distribución proviene de un modelo gaussiano centrado en 50/100, que refleja la ciencia médica ordinaria tras el filtrado peer-review. Medir la fidelidad sobre un corpus desequilibrado daría una estimación no representativa del uso real.
Datos empíricos
Medido sobre un corpus representativo de 50 artículos temáticos (COVID, Salud Mental, Nutrición, Cardio, Onco, Infeccioso, MetaEpistemo, Genética — distribución equilibrada de niveles A→E reflejando la ciencia médica ordinaria).
4 casos críticos de sobrevaloración en modo rápido
Estos 4 artículos están entre los más consultados del corpus. El modo rápido les asigna un nivel A o B, mientras que el modo Completo IA revela un nivel D.
| Artículo | ⚡ Rápido | 🔬 Parcial IA (abstract) | 🤖 Completo IA (PDF) | Dif. R→C | Razón principal |
|---|---|---|---|---|---|
| Polack/Pfizer — NEJM 2020 | A | E | D | −51 pts | COI industrial mayor + retraso editorial corto no capturado |
| Voysey/AZ — Lancet 2021 | B | D | D | −38 pts | COI AstraZeneca + diseño adaptativo + datos no compartidos |
| Hammond/Paxlovid — NEJM 2022 | B | E | D | −37 pts | Ensayo solo de la industria + datos brutos no disponibles |
| Molnupiravir — NEJM 2022 | B | D | D | −33 pts | Ensayo Merck/Ridgeback — datos no públicos |
Por qué el modo rápido sobreestima: se basa únicamente en los criterios accesibles vía bases de datos públicas. El criterio §2.3 (impacto bibliométrico) pesa unos 10 puntos y es máximo para artículos publicados en NEJM/Lancet — que suelen ser ensayos financiados por la industria (Pfizer, AZ, Merck) cuyos conflictos de interés importantes solo son visibles con un análisis en profundidad del texto completo.
¿Qué modo elegir?
| Contexto | Modo recomendado |
|---|---|
| Primera exploración, monitoreo | ⚡ Rápido |
| Decisión clínica, citación, enseñanza | 🤖 Completo IA (PDF) |
| PDF no disponible (NEJM, Lancet…) | 🔬 Parcial IA (abstract) |
| Aprendizaje personal, exploración metodológica | 📝 Completo manual |