Pega un PMID en Publi-Score. Se calcula la puntuación. Pero al mirar el distintivo de modo, ve: 🔬 IA Parcial (resumen).
El artículo está en el New England Journal of Medicine o en The Lancet — detrás de un muro de pago. Publi-Score no tuvo acceso al PDF. La IA trabajó únicamente con el resumen y los metadatos públicos.
Pregunta legítima: ¿vale algo esta puntuación?
Respuesta corta: sí — con una limitación precisa, documentada y visible. Este artículo explica exactamente qué puede y qué no puede evaluar la IA sin el PDF.
Lo que la IA lee sin el PDF
Incluso sin acceso al PDF, Publi-Score consulta varias fuentes públicas antes de llamar a la IA:
- PubMed — resumen completo, términos MeSH, estado de retractación, tipo de estudio declarado
- Crossref — DOI, fechas de envío y aceptación, licencia
- OpenAlex — citas, factor de impacto, cuartil, h-index de los autores
- ClinicalTrials.gov / PROSPERO — existencia y fecha de pre-registro
- Semantic Scholar — PDF en acceso abierto disponible o no, citas influyentes
- Retraction Watch — señal de retractación independiente de PubMed
La IA (Claude Haiku para la extracción, Claude Sonnet para la puntuación) recibe el resumen completo y todos estos metadatos. Evalúa cada criterio de la cuadrícula con lo que tiene — indicando explícitamente lo que no puede concluir.
24 subcriterios sobre 26 evaluados
De los 26 subcriterios de la cuadrícula Publi-Score, el modo IA Parcial evalúa 24. Un resumen estructurado contiene mucha más información de la que parece — metodología, tamaño de efecto, intervalos de confianza, diseño, conclusiones de los autores — y la IA Sonnet extrae estos elementos con justificaciones por subcriterio.
✓ §2.1 Nivel de evidencia — ~90% cubierto
Tipo de estudio, aleatorización, presencia de grupo control, tamaño de muestra — estos elementos suelen estar en el resumen o recuperarse via ClinicalTrials.gov.
✓ §2.3 Impacto bibliométrico — 100% cubierto
Citas, factor de impacto, h-index de los autores — recuperados completamente via APIs públicas. Sin necesidad de PDF.
✓ §2.6 Actualidad — ~95% cubierto
Fecha de publicación, plazo entre envío y aceptación — disponibles via Crossref.
✓ §2.2 Calidad metodológica — cubierto
Análisis estadístico, gestión de sesgos, ITT, doble ciego, cálculo de potencia — la IA Sonnet extrae estos elementos del resumen estructurado con justificaciones, manteniéndose prudente cuando falta información.
✓ §2.5 Pertinencia clínica — cubierto
Relación beneficio/riesgo, recomendaciones prácticas, efectos adversos — extraídos de la conclusión y de la discusión resumida.
✓ §2.7 Calidad editorial — cubierto
Conformidad con las guías de reporte (CONSORT, PRISMA…) y detección de spin — inferibles desde la estructura y el lenguaje del resumen.
Los 2 subcriterios que solo el PDF revela
Dos subcriterios siguen siendo imposibles de evaluar sin el PDF — son elementos factuales que nunca aparecen en el resumen:
§2.4 Compartición de datos brutos
La compartición de datos requiere examinar la sección « Data Availability » del PDF y verificar la existencia del repositorio referenciado (Zenodo, Dryad, OSF…). El resumen casi nunca menciona esta información.
§2.4 Compartición del código
Lo mismo para el código fuente de los análisis — disponibilidad GitHub/GitLab, licencia, versión utilizada. Información factual no presente en el resumen.
Estos 2 subcriterios permanecen en cero en el modo IA Parcial, sin penalización para el artículo — es una ausencia de información, no un fracaso.
60% de Fidelidad — datos reales sobre corpus representativo
Nuestro corpus de referencia comprende 50 artículos temáticos (COVID, Salud Mental, Nutrición, Cardio, Onco, Infeccioso, Meta-epistemología, Genética — distribución equilibrada de niveles A/B/C/D/E reflejando la ciencia médica ordinaria). 28 de ellos disponen de una referencia IA Completo (PDF) medible — los otros 22 son artículos bloqueados sin depósito en PMC o con resumen demasiado corto. Sobre este sub-corpus paired (n=28), comparamos cada puntuación IA Parcial con la IA Completo del mismo artículo. Medición:
12.8 pts
∆ medio absoluto entre IA Parcial e IA Completo
12/28
artículos con nivel exacto (A/B/C/D/E idéntico)
24/28
artículos con un nivel de diferencia máximo
Lectura: la puntuación IA Parcial da el nivel exacto en 43% de los casos, el nivel cercano (±1) en 86% de los casos. Concordancia = promedio de ambos niveles = (43% + 86%) / 2 = 65%.Cobertura = 24/26 subcriterios evaluables = 92%.Fidelidad = concordancia × cobertura = 65% × 92% = 60%.
Ejemplo — Moncrieff et al., Molecular Psychiatry 2022
Esta umbrella review que cuestiona la hipótesis serotoninérgica de la depresión obtiene:
- Modo IA Completo (PDF): 47/100 → nivel C
- Modo IA Parcial (resumen): 35/100 → nivel D
Diferencia de un nivel (12 pts) — típica de umbrella reviews donde el resumen sintetiza decenas de meta-análisis sin entrar en detalle metodológico. El modo Parcial sigue siendo muy útil para orientar (nivel cercano) — para decisión clínica o cita precisa, el PDF sigue siendo la referencia.
Medición del 2026-04-28, corpus de distribución n=50, sub-corpus apareado n=28. Δ medio firmado = +11.8 pts, Δ medio absoluto = 12.8 pts.
IA Parcial ≠ puntuación degradada
La confusión viene de la palabra « parcial ». Describe la cobertura del análisis, no la calidad de la puntuación.
En el modo IA Parcial, la IA produce justificaciones detalladas por criterio, exactamente igual que en el modo IA Completo: para cada subcriterio, explica por qué ha atribuido determinada puntuación, citando los elementos del resumen o los metadatos que guiaron su decisión. No es una nota global aproximada — es un análisis estructurado con trazabilidad completa.
Comparación de los dos modos IA
| 🔬 IA Parcial (resumen) | 🤖 IA Completo (PDF) | |
|---|---|---|
| Entrada | Resumen + metadatos | PDF completo + metadatos |
| Cobertura de subcriterios | 92% (24/26) | 100% (26/26) |
| Fidelidad (concordancia × cobertura) | 60% (65% × 24/26) | 100% (referencia) |
| Justificaciones por criterio | ✅ Sí | ✅ Sí |
| §2.4 Compartir datos/código | 2 subcriterios NA | Evaluados |
| Activación | Automática si PDF no disponible | PDF en acceso abierto requerido |
| Tiempo | ~30–60 seg | ~30–60 seg |
| Publicado en catálogo | ✅ Sí | ✅ Sí |
¿Cuándo usar el modo IA Parcial?
Este modo se activa automáticamente cuando Publi-Score no encuentra un PDF en acceso abierto. No hay nada que elegir — pero puede interpretarlo:
- Nivel cercano en 86% de los casos: el resultado es fiable para orientar una lectura o un cribado bibliográfico.
- Si tiene acceso al PDF a través de su institución: puede subir el PDF para pasar al modo IA Completo — la puntuación se recalculará sobre el 100% de los criterios.
- Para una decisión clínica o una cita: prefiera el modo IA Completo si el PDF es accesible. La diferencia media de 12.8 pts debe interpretarse caso por caso, y la compartición de datos brutos/código (§2.4) solo es verificable con el PDF.
El modo IA Parcial es una puntuación completa sobre lo que es accesible — no una puntuación incompleta del artículo. La limitación es explícita, documentada y visible en cada justificación de criterio. Esa transparencia es lo que lo distingue de una calificación opaca.
Analizar un artículo (con o sin PDF) →
Comprender todos los modos de puntuación: publi-score.ai/methodology/modes-scoring