Cuadrícula v2.0.0
Transparencia metodológica
Ninguna puntuación es perfecta. Aquí están los 12 compromisos que asumimos, documentados y argumentados.
Versión 1.0 — Última actualización: 18/04/2026
Publi-Score es la puntuación de calidad para publicaciones científicas. Antes de confrontar nuestra metodología con el público — investigadores, periodistas, epidemiólogos — identificamos y documentamos sus límites reales.
Estos 12 compromisos no son defectos: son elecciones de diseño deliberadas, asumidas y argumentadas.
Los 12 compromisos asumidos
Haga clic en un compromiso para leer la objeción y nuestra respuesta.
Lo que verificamos
7 protocolos de validación empírica para transformar nuestras hipótesis en datos.
| # | Objetivo | Protocolo |
|---|---|---|
| 1 | Reproducibilidad de la puntuación por IA | 20 publicaciones × 5 ejecuciones (temperatura 0). Objetivo: diferencia intrapublicación < 2 pts, correlación con un panel de 3 expertos r > 0,85. |
| 2 | Calibración de las ponderaciones | Panel de 5 a 10 expertos (epidemiólogos, bioestadísticos). Comparar 3 cuadrículas (actual, pesos iguales, pesos de los expertos). Correlación de Spearman de las clasificaciones. |
| 3 | Diferencia entre puntuación rápida y completa | Comparación de la puntuación rápida (solo metadatos) con la puntuación completa (texto íntegro) en 52 publicaciones calificadas en ambos modos (noviembre de 2026, cuadrícula v2.0.0). Resultado: la puntuación rápida es conservadora. Es en promedio 9 puntos inferior a la completa, y su nivel es igual o inferior al de la puntuación completa en 51 de 52 publicaciones (98%). Una de cada dos publicaciones baja un nivel en modo rápido; solo una sube. Diferencia media 11 puntos, diferencia máxima 34 puntos. |
| 4 | Sesgo de selección del catálogo | Distribución nivel × conclusión en el corpus. Objetivo: como máximo un 60% de una misma conclusión, al menos 2 publicaciones por nivel (A-E). Resultado (noviembre de 2026, 164 publicaciones calificadas de A a E): la conclusión más frecuente es positiva con un 55,5%, y cada nivel cuenta con al menos 2 publicaciones. Objetivos alcanzados; el nivel A, con 2 publicaciones, está en el mínimo y se volverá a medir tras cada nueva calificación. |
| 5 | Robustez del min() frente a alternativas | 12 publicaciones de prueba × 4 variantes: min(A,B), media(A,B), ponderada(A×0,6, B×0,4), geométrica(√AB). Resultado: un único cambio de nivel (C→B), exactamente el caso de blanqueo esperado (conflictos de interés ocultos tras el prestigio de una gran revista). min() validado. |
| 6 | Sensibilidad de la puntuación por IA al prompt | 3 variantes de prompt (conciso, detallado, con ejemplos) × 10 publicaciones. Medir la varianza entre prompts. |
| 7 | Efecto del índice h en los investigadores jóvenes | Identificar en el corpus las publicaciones de investigadores con menos de 5 años de carrera. Comparar la puntuación con y sin índice h (2 pts). Si la diferencia supera 2 pts, considerar una reducción adicional. |
Para entender las reglas de puntuación en su conjunto:
Ver la metodología completa