Memoria y resultados Workshop: Reproducibilidad y retos futuros de la Red Española de Reproducibilidad (SPRN) en el Ecosistema Global de Investigación del 21 de mayo de 2026

Desde la apertura de inscripciones al workshop el 5 de mayo, hasta la celebración del evento el 21 de mayo, la web de la SPRN  recibió un total de 438 sesiones. De ellas, 180 sesiones se dirigieron hacia la landing del evento, lo que representa el 41,1% del tráfico web registrado durante ese periodo (Figura 2). El propio día del evento se registraron 89 sesiones en la web de la SPRN, de las cuales 41 fueron hacia la landing del workshop. Esto equivale al 46,1% del tráfico web de ese día, lo que indica que la página del evento funcionó como punto de referencia durante la jornada, para consultar información práctica, acceder a detalles del programa o recuperar el enlace de la retransmisión (Figura 2).

En cuanto al seguimiento a través del streaming de YouTube , la retransmisión del evento registró 281 visualizaciones el mismo día del evento. Posteriormente, el contenido continúa acumulando reproducciones, alcanzado las 379 visualizaciones a 30 de junio.

En general, la respuesta del público fue muy positiva, tanto en el aula como en el seguimiento online. Y a posteriori, el workshop sigue generando impacto.

3. Perfil de participantes

Análisis demográfico, disciplinar y profesional 

La muestra analizada corresponde a personas inscritas en el evento que asistieron de manera presencial o virtual y que, además, cumplimentaron la Encuesta a integrantes de la Red Española de Reproducibilidad (SPRN). Los resultados deben interpretarse como una caracterización de los asistentes que además participaron activamente en la encuesta, no como una descripción exhaustiva del conjunto completo de personas vinculadas a la red o al evento.

En términos de edad, las respuestas muestran una participación concentrada principalmente en perfiles de carrera intermedia (Figura 3). El grupo más numeroso corresponde a personas de entre 35 y 44 años, seguido por el tramo de 45 a 54 años. Los rangos de 25 a 34 y de 55 a 64 años aparecen representados en la misma proporción, mientras que no se identifican participantes por debajo o por encima de esos tramos. La limitada presencia de perfiles más jóvenes apunta a un reto relevante, especialmente si se tiene en cuenta el relevante papel de las nuevas generaciones en la transformación del sistema científico. 

Figura 3. Distribución por edad de los asistentes al workshop.

Respecto a la identificación por género, la muestra está compuesta mayoritariamente por hombres, seguida de mujeres, mientras que una proporción menor se identifica como persona no binaria u otra identidad (Figura 4). 

Figura 4. Distribución por género de los asistentes al workshop.

En cuanto al origen disciplinar, las personas encuestadas proceden de áreas de investigación variadas. Destacan especialmente las Tecnologías de la Información y de las Comunicaciones, seguidas por Ciencias Sociales, Derecho y Economía, Psicología y Ciencias de la Educación, e investigación interdisciplinar (Figura 5). Esta distribución resulta especialmente interesante porque combina áreas tradicionalmente vinculadas al debate sobre reproducibilidad, como la psicología, con otros ámbitos a priori menos representados, pero en los que esta preocupación parece estar igualmente adquiriendo relevancia, aunque pueda expresarse de formas distintas.

La presencia de perfiles procedentes de diferentes disciplinas permite recordar que la reproducibilidad no se reduce a un único campo ni puede abordarse desde una lógica homogénea, idea que se debatió a lo largo del evento. Sus retos varían en función del tipo de datos que se generan, los métodos utilizados, las formas de análisis, los estándares de publicación o las prácticas habituales de cada comunidad científica. 

Figura 5. Distribución por disciplina de los asistentes al workshop.

Finalmente, el análisis de la etapa profesional muestra una presencia destacada de perfiles ya consolidados en el evento, especialmente R4 y R3. Y con una proporción menor, encontramos investigadores en etapas R1 y R2 (Figura 6). Al poner estos datos en relación con la distribución por edad, se aprecia que los early career researchers siguen estando poco representados en la muestra. Junto con lo ya comentado anteriormente, uno de los objetivos futuros de la red debería ser reforzar la llegada de la reproducibilidad a estos grupos todavía menos representados, especialmente estudiantes de doctorado, personal investigador novel y perfiles en etapas iniciales de carrera. Durante el evento se insistió precisamente en la importancia de hacer que la reproducibilidad no quede limitada a comunidades ya sensibilizadas o a perfiles consolidados, sino que cale también entre quienes están comenzando a construir sus formas de investigar ya que serán los encargados de promover y sostener la reproducibilidad en el futuro. 

Señalar también que se han detectado trayectorias no convencionales (Figura 6). Aunque minoritaria, también apunta a una comunidad abierta a recorridos profesionales diversos dentro y fuera de la academia.

Figura 6. Distribución por etapa investigadora de los asistentes al workshop.

4. Anexo. Resumen de las charlas

El encuentro reunió a la comunidad de la futura Spanish Reproducibility Network (SPRN) para definir su propósito, estructura y líneas de trabajo, a la vez que se compartieron experiencias internacionales y disciplinares sobre reproducibilidad, ciencia abierta, evaluación de la investigación y gestión de datos. A lo largo de la jornada se identificaron retos comunes (tiempo, financiación, incentivos académicos y barreras técnicas) y se cerró con un ejercicio de cocreación para priorizar acciones concretas de la red. Durante el evento se creó un documento de notas compartidas en el siguiente enlace.

Objetivos iniciales y contexto de la red

La sesión se abrió con una explicación del motivo de creación de la Red Española de Reproducibilidad: 

• Conectar reproducibilidad, integridad científica y ciencia abierta, 
• Compartir herramientas, metodologías y buenas prácticas,
• Apoyar especialmente a investigadores jóvenes mediante formación, mentoría y colaboración,
• Favorecer cambios reales en la cultura investigadora,
• Reforzar la confianza en la ciencia y en sus resultados,
• Construir una comunidad de práctica interdisciplinar, queremos abrazar todas las disciplinas, y que toda la comunidad piense en clave de reproducibilidad, independientemente de su disciplina.

Se subrayó que la iniciativa nace desde el Open Science Lab de la Universidad Carlos III de Madrid como un espacio facilitador y no como un proyecto cerrado, con la intención de integrarse en la Global Federation of Reproducibility Networks.

Los asistentes al workshop fueron principalmente, los fundadores de la SPRN, personas que se dedican a reproducibilidad en España (y que fueron identificadas por distintos medios desde la SPRN) e investigadores jóvenes.

Se hace mención al último libro del investigador y asistente al workshop Lluis Montoliù “Impostores de la ciencia, Historias reales de fraude y engaño en la ciencia”, en el que ya en el prefacio se hace mención a la reproducibilidad.

También se explicó que el taller estaba pensado como un primer encuentro para “saber quiénes somos, qué hacemos y qué queremos ser de mayores”. 

Los objetivos principales del workshop son: (1) construir comunidad, (2) conectar investigadores, universidades, infraestructuras, agencias y responsables de políticas científicas, (3) aprender de otras RNs y debatir sobre  los retos de la reproducibilidad en España y su relación con la ciencia abierta (ANECA tiene que hablar más de reproducibilidad y convertirla en una exigencia y símbolo de la calidad de la ciencia; plantear cómo medir la reproducibilidad, porque lo que no se puede medir, no se puede evaluar) y la reforma de la evaluación (CoARA).  

El objetivo final del día era una cocreación sobre la forma y prioridades futuras de la red. Se insistió en que la red debía ser bilingüe o, al menos, flexible lingüísticamente, dada la presencia de personas que trabajan en España pero no necesariamente en español, así como la participación prevista de comunidades latinoamericanas.

1. Keynote presentation: Reproducibility (and Replication) as a Collective Responsibility: Building Open and Ethical Research Communities. 

Flavio Azevedo. Assistant professor. Co-founder & director of FORRT. Utrecht University, Netherlands.

“RNs are the best thing that happened for Open Science local communities and it starts here in this room.”

Flavio Azevedo abrió el bloque internacional con una introducción conceptual sobre reproducibilidad y replicación. Explicó que, para un descubrimiento científico, (1) la reproducibilidad consiste en repetir los mismos pasos (con los mismos datos, procesos y diseño) que hizo el investigador/a original del hallazgo, para alcanzar los mismos resultados, y (2) la replicación ocurre cuando un investigador independiente intenta seguir el mismo tipo de razonamiento que el hallazgo original, utilizando nuevos datos y adaptando el diseño a un nuevo contexto si fuera necesario.

Su intervención defendió que la reproducibilidad y la replicación son esenciales para una ciencia robusta, generalizable e íntegra: una ciencia capaz de traspasar las fronteras culturales y temporales, capaz de resistir al escrutinio e impulsar el conocimiento. El objetivo último de la ciencia es la acumulación de conocimiento.

Flavio presentó el proyecto FORRT como una comunidad internacional e interdisciplinar de ciencia abierta que da protagonismo a investigadores en etapas tempranas y ofrece un amplio ecosistema de recursos: bases de datos de replicaciones, catálogos, herramientas de exploración, recursos educativos, manuales, journals especializados, programas de mentoría y una federación de redes. 

FORRT reunió a más de 250 personas para crear una definición consensuada de reproducibilidad (y de otros 600 términos, ver glosario). FORRT organiza la ciencia abierta en 11 clusters, incluyendo la justicia social, que juega un papel esencial en la ciencia abierta y la reproducibilidad, centrándose en: a quién citan los investigadores (citation politics), qué jerarquías apoyan y cuál es la rueda académica del privilegio.

Recursos principales de FORRT: El FORRT Replication Hub:

• Catálogo de replicaciones/reproducciones reconocido por la ONU y UNESCO: FORRT Library of Reproduction and Replication Attempts (FLoRA).
• FLoRA Annotator, FReD Explorer, FReD R Package: permite explorar y descubrir estudios de replicación/reproducción.
• Handbook for Reproduction and Replication Studies, 
• Replicate This: web para nominar la replicación de estudios. 
• Replication Research (R2) Diamond Open Access Journal, para publicar replicaciones. Incluye un programa de mentoría.
• Alianza de revistas de replicación.

Otros recursos: base de datos de recursos de ciencia abierta, glosario (falta la traducción al español; para contribuir, escribe a opensciencelab@uc3m.es), recursos educativos de ciencia abierta (ejemplo) y planes educativos, primer chatbot de open science, libro de replicaciones en psicología social, resúmenes de investigación para el Sur Global (que no tiene acceso a ciertos artículos).

La futura “joya” de FORRT es la iniciativa “lighthouse”, orientada a ofrecer un punto único de consulta sobre si un hallazgo ha sido reproducido, replicado, retractado o comentado.

FORRT publicó una review sobre los cambios tras las crisis de replicabilidad. Observan cambios en cómo se hace la investigación, cambios en la comunidad científica y cambios en el enfoque top-down. También cuenta con una review sobre el impacto de la ciencia abierta en la enseñanza, con argumentos para defender la ciencia abierta en educación.

En la discusión, Flavio habló de la importancia de la diversidad para hacer ciencia de alta calidad. Alertó sobre la necesidad de financiar iniciativas como FORRT de forma estable y sobre el riesgo de modelos “de ciencia abierta cerrada” o con intereses comerciales (no sólo for profits) que puedan desvirtuar la misión original.

2. Panel. Reproducibility Networks. International and European Approaches. Lessons learned and inspiration.

Gloria González Curto. French Network for Reproducible Research. INRIA.

La representante de la Red Francesa de Reproducibilidad explicó que la red francesa se inserta en un ecosistema muy consolidado de ciencia abierta: acuerdos nacionales de publicación, repositorios institucionales y una base legal fuerte desde la “Digital Republic Act” de 2016, que garantiza el autoarchivo y el acceso abierto por defecto a datos financiados con recursos públicos.

La red francesa se presentó como un grupo informal, con comité directivo y grupos de trabajo especializados, financiación específica y una misión principal centrada en la formación en reproducibilidad. Se destacó:

• Composición de la red: Miembros en todas las regiones de Francia, pero aún no se han creado nodos locales. Diversidad de disciplinas; 50% personal técnico y 50% profesores; mayoría investigadores senior (se está intentando solucionar la falta de investigadores noveles). La comunidad con fuerte componente computacional y técnico.
• Cuentan con desarrolladores de entornos de software reproducibles (Guix, Nix, {rix}), y colaboran con Software Heritage para preservar código y asignar identificadores persistentes.
• Organizan talleres y recursos formativos en francés e inglés, el “Annual Reproducible Days”
• 2 MOOC: sobre investigación reproducible e investigación reproducible II.
• REWIRE: proyecto europeo, inició en septiembre de 2026 (3 años), coordinado por OPENAire, trabajará en la adopción de reproducibilidad computacional a lo largo del ciclo de investigación a diferentes niveles (investigadores, comunidades de referencia, infraestructuras, entidades financiadoras, revistas). Objetivos: adopción de data management plan que incluya reproducibilidad, desplegar Gix en centros computacionales y Ro-Crate. Habrá un programa de formación y un network toolkit (para crear comunidad y sostenibilidad). 

Oleksandr Berezko. Ukrainian Reproducibility Network (UARN). Lviv Polytechnic National University.

Oleksandr Berezko describió la Ukrainian Reproducibility Network como una iniciativa nacida en el contexto de la reforma nacional de ciencia abierta y fortalecida por proyectos como Open4UA (Open Science for Ukrainian Higher Education System). Indicó que la red surgió inicialmente con un pequeña beca desde el proyecto TIER2 y con apoyo de referentes internacionales, y que hoy forma parte de la Global Federation of Reproducibility Networks (GFRN).

La red ucraniana se estructura como grupo informal con un steering committee y apoyo de la ONG INOSI (Institute for Open Science and Innovation) para cuestiones formales. Sus prioridades actuales son:

• Principales objetivos: promoción, incidencia política y formación;
• Creación de recursos educativos en ucraniano;
• Participación en metaciencia;
• Encuestas nacionales sobre reproducibilidad, evaluación e intersección entre propiedad intelectual y ciencia abierta.

También destacó la representación de la UARN en diferentes grupos de trabajo ministeriales y en particular, el establecimiento de un estándar nacional para los data stewards.

Entre las actividades de la UARN se mencionó:

• Educar e involucrar a la comunidad académica ucraniana en la ciencia abierta y reproducible.
• Ofrecer capacitación práctica a través de cursos y eventos enfocados en la reproducibilidad de la investigación.
• Crear y compartir recursos educativos abiertos que promuevan la transparencia y las mejores prácticas en la investigación.
• Iniciar y participar en proyectos de investigación.
• Fomentar la investigación en metaciencia a través de la comunidad UARN para generar evidencia local para la reforma.
• Dar forma a políticas nacionales e institucionales para fortalecer el ecosistema de investigación de Ucrania.
• Contribuir globalmente al movimiento internacional de investigación-sobre-la-investigación para un mayor impacto.

Por último, varios miembros de la UARN participan en el proyecto TRUSTparency.

Fabio Molo. Swiss Reproducibility Network (SwissRN). Coordinator of the Global Federation of Reproducibility Networks. Center for Reproducible Science and Research Synthesis.

Fabio Molo presentó la Swiss Reproducibility Network como una red:

• Inspirada en la UKRN.
• Organización informal (para cuestiones formales, trabajan a través de Centre national de la recherche scientifique, CNRS) que opera en tres regiones lingüísticas.
• Con 19 nodos locales, 5 grupos de trabajo (pre-registro, evaluación de la investigación e incentivos, datos de investigación abiertos, reproducibilidad computacional y formación) y membresía institucional. 
• Cuenta con un mínimo de financiación base del Swiss National Science Foundation (que puede o no renovarse anualmente), complementada por contribuciones en especie y pequeñas becas competitivas.

La misión principal de la SwissRN es involucrar y capacitar a los investigadores de toda Suiza para hacer que la investigación sea rigurosa, transparente y reproducible.

Evolución: La red fue evolucionando gracias a una misión estable, con un aumento gradual del nº de nodos locales y miembros institucionales. Progresivamente la red ha centrado el foco en los datos FAIR, la reproducibilidad computacional y las actividades de formación El grupo de trabajo más activo es el grupo de evaluación de la investigación y su reforma.

Entre sus actividades principales mencionó talleres, seminarios, journal clubs, el evento Research on Research, pequeñas conferencias, materiales formativos.

En relación a influencia política:  SwissRN es miembro de CoARA y abogan por una reforma de la evaluación de la investigación, especialmente en las universidades locales. También tienen un rol como consejeros para la Swiss National Science ORD policy.

Cuentan con la Swiss RN Academy, un espacio específico para early career researchers.

Barreras: 

• Conseguir la participación de las instituciones locales es complicado. Hay que dejar claro desde el principio (1) qué puede ofrecer SwissRN a una institución, (2) cuál es el rol de los responsables de los nodos locales dentro de la institución y (3), generalmente, tener en cuenta que la participación de una institución local requiere la aprobación del consejo de administración. 
• No tienen financiación estable, por lo que aprenden de instituciones similares como el 3R consortium.

A nivel de colaboración internacional, Fabio explicó el papel de la Global Federation of Reproducibility Networks (GFRN) como una federación de 23 redes nacionales con el propósito de proteger la reputación de las redes serias frente a iniciativas oportunistas y frente a usos políticos nocivos de la reproducibilidad. 

La GFRN es complementaria a otras colaboraciones científicas como MERRI, Metascience Alliance, FORRT, RoRI, etc.

Actualmente la GFRN está estableciendo los términos de referencia (como organización regida por normas), eligiendo una junta directiva, estableciendo canales de comunicación dentro y fuera de la GFRN y realizando reuniones presenciales.

La oficina de coordinación de la federación va rotando entre países (actualmente acogida por la SwissRN (Fabio Molo y Barbara Templ).

3. Panel. ¿Por qué es importante la reproducibilidad en el contexto de la Integridad Académica y de la Evaluación de la Investigación?

• Irene Ramos-Vielba. ANECA. Miembro del Comité de dirección (SB) de CoARA
• Albert Banchs. IMDEA Networks. Universidad Carlos III de Madrid. Comité Español de Ética de la Investigación.
• Núria Benítez Monforte. Responsable Unidad de Ciencia Abierta y Área Estratégica en CERCA (Centres de Recerca de Catalunya).
• Karunya Srinivasan. Alumna de Doctorado en Informática. UC3M. Junior Researcher.

Moderador: Lluis Montoliu. Centro Nacional de Biotecnología (CNB-CSIC). Comité Español de Ética.

En el segundo panel surgieron varias tensiones recurrentes en torno a la evaluación científica, el coste de reproducir y el impacto emocional y material de estas prácticas.

Evaluación y cambios en ANECA / CoARA

Se discutió el papel de los paneles de evaluación y la necesidad de formar a los evaluadores para que apliquen los criterios de forma coherente con CoARA y con el espíritu de la ciencia abierta. 

En relación a los centros CERCA, Núria Benítez indicó que la evaluación de los centros CERCA puede generar un efecto cascada sobre las personas, porque aunque CERCA evalúa a los centros, dichos centros, una vez acreditados, reciben más financiación desde la Generalitat de Catalunya (y son los centros los que deciden a quién promocionan o qué prácticas incentivan). Dicho proceso de evaluación consta de miembros del comité que leen la memoria del centro, entrevistan al equipo y visitan el centro, y también evaluadores remotos que revisan artículos y proyectos concretos. Entre las contribuciones aceptadas en la evaluación, además de artículos, están también iniciativas de divulgación científica, trabajo con escuelas, museos, canales de YouTube, podcasts, acciones con primaria y secundaria, etc. La idea que se remarcó fue que ese diseño de evaluación permite valorar la calidad científica sin depender sólo del prestigio del lugar de publicación, y que puede empujar a los centros a incorporar prácticas como ciencia abierta, integridad y reproducibilidad. 10 puntos adicionales que se le piden a centros (CERCA Evaluation Guidelines 2025-2028 )

En relación a ANECA, Irene Ramos puntualizó que ANECA ya ha reformado los programas de sexenios y acreditación, ampliando el tipo de contribuciones valorables (datasets, software, metodologías, preprints, informes, etc.) y exigiendo currículum narrativo.

Se insistió en que parte de la presión por publicar proviene más de inercias comunitarias y de sistemas de promoción internos de universidades que de ANECA en sí. También se señaló la necesidad de que otros sistemas de contratación universitaria evolucionen en la misma dirección.

Coste de reproducibilidad y coste de no reproducir

Se expuso el coste (en tiempo y dinero) de reproducir estudios. Se puso el ejemplo de experimentos caros en biomedicina y de la necesidad de verificar materiales biológicos, así como el de estudios en telecomunicaciones o IA que requieren infraestructura muy costosa.

Frente a la idea de que reproducir “cuesta demasiado”, varios ponentes argumentaron que también hay que medir el coste de no reproducir: errores científicos, desperdicio de recursos, decisiones equivocadas y problemas de legitimidad social. Desde una perspectiva económica, se defendió que el sistema debe considerar el coste social de no hacer ciencia reproducible.

Por otro lado, faltan guías claras para usar IA de forma reproducible. Se señala que la IA está entrando rápido en investigación, pero todavía no hay estándares suficientemente definidos para asegurar reproducibilidad.

4. Ideas, experiencias e iniciativas de miembros de la Red Española de Reproducibilidad (SPRN). PARTE 1: Experiencias disciplinares.

Reproducibilidad en la Psicología Experimental: necesidades, inquietudes y posibles soluciones. Manuela Ruzzoli. Ikerbasque researcher. Basque Center on Cognition Brain and Language (BCBL)

Manuela Ruzzoli compartió dos experiencias personales con registered reports y estudios multicéntricos en psicología/cognición, mostrando que implementar prácticas abiertas puede generar una carga de trabajo muy alta, retrasos largos y tensión emocional. 

En su caso, un estudio (una replicación teórica de oscilaciones de la fase alfa) con registered report tardó años en completarse (desde 2016 a 2019) y el proceso se volvió especialmente difícil por la falta de transparencia sobre revisores y por la resistencia de algunos evaluadores a la lógica del formato.

• La escritura de STAGE 1 tardó un año: los editores lo rebotaban porque no se podía hacer un power analysis dado que la literatura previa era inútil. Finalmente solicitaron los datos directamente a investigadores de un estudio similar.
• STAGE 1 llega a revisores, que respondieron que el approach no era novedoso, que no iba a tener ningún impacto y que el efecto había sido replicado muchas veces.
• Se recibe el Principle of Acceptance
• Realizan la replicación y el resultado es null effect (no replican el efecto). Los revisores hicieron varias críticas pero finalmente se publicó la replicación. Este artículo tiene muchas citas ya que es uno de los primeros que encuentra null effect.

La segunda experiencia es un estudio manylabs (replicación de un estudio con varios laboratorios) iniciado en 2021 y aún en proceso. En este caso, los revisores fueron más amables. 

Su intervención concluyó que la open science no siempre reduce el estrés o la carga mental, especialmente para investigadores en etapas tempranas o sin estabilidad contractual. Aun así, defendió que la solución pasa por cambiar la estructura de incentivos y reconocer la carga del open research a nivel emocional y profesional (el trabajo invisible, ver artículo).

Red federada de reproducibilidad en investigaciones con real-world data sanitario. Kiko Núñez. Senior Health Data Scientist. AI/ML Researcher. Hospital Virgen de la Macarena. Sevilla.

Kiko Núñez presentó la infraestructura OHSIRIS (Open Health Space Infrastructure for Research and Industrial Services), una espacio de datos sanitarios a nivel nacional, en construcción, orientado a facilitar investigación reproducible y reutilización segura de datos clínicos.

Actualmente la red cuenta con 7 organizaciones, 8 millones de pacientes registrados (total ~200 mil millones de registros).

Características principales del espacio de datos

• Ecosistema colaborativo y abierto que proporciona un medio para que diversos participantes compartan, utilicen datos y presten servicios de forma segura, confiable y conforme a las normativas, con el fin de impulsar la innovación y el impacto económico y social.
• Marco de gobernanza transparente y datos custodiados por las instituciones, sin moverlos fuera del hospital.
• Tiene arquitecturas interoperables (semántica estandarizada) que permita estudios multicéntricos.

Usos previstos de los datos recogidos (investigación e innovación)

• Estimación de tamaños muestrales para estudios o ensayos clínicos.
• Estudios de viabilidad (precisos y realistas) en ensayos clínicos sin necesidad de revisar historias clínicas.
• Análisis coste-efectividad de proyectos o ensayos clínicos.
• Construcción de cohortes sintéticas.
• Análisis de factores ambientales.
• Casos de uso de desarrollo de fármacos, evaluación tecnológica e investigación clínica.

Origen: Esta red se apoyó en el nodo español de OHDSI (Observational Health Data Sciences and Informatics), que es una de las redes colaborativas más destacadas de Europa. Su objetivo es estandarizar historias clínicas utilizando el modelo de datos común OMOP CDM. De los hospitales que formaban parte de ese nodo es donde nació la semilla de OHSIRIS, pues dichos centros ya conocían OMOP y estaban acostumbrados a trabajar en estudios de investigación en red. La idea es usar también otros modelos de datos (como HealthDCAT-AP) y actualmente también utilizan catálogos de metadatos.

Kiko resaltó que la reproducibilidad en salud se ve frenada por la heterogeneidad entre centros, la complejidad regulatoria, las diferencias en comités de ética y la desconfianza institucional. Su propuesta fue que la red OHSIRIS pueda convertirse en una infraestructura al servicio de estudios de reproducibilidad en salud.

Fronteras de la reproducibilidad en la IA médica. Sergio Carreras. Alumno de Doctorado. Departamento de Bioingeniería. IGT Research Group. Universidad Carlos III de Madrid.

Sergio Carreras describió las fronteras de la reproducibilidad en inteligencia artificial para imagen médica, subrayando que este campo tiene restricciones muy específicas.

Principales retos señalados

• 26% de las investigaciones con IA son reproducibles. 
• 97% de los estudios de IA clínica no son reproducibles por falta de transparencia: cuando se publica un modelo, no reportan los datos para entrenarlo, las fuentes de los datos, qué código han sido utilizados o los hiperparámetros de los modelos.
• 55% de los estudios de IA clínica no declaran código o base de datos.
• Los algoritmos de IA requieren un gran nº de datos. No obstante, los modelos de imagen médica se entrenan con muy pocos datos, debido a varias razones: (1) los datos médicos son privados, sensibles y están en silos, (2) los modelos están muy especializados.
• La anonimización es limitada en imagen médica, por lo que los datos son básicamente pseudonimizables.
• Mientras que la meta principal de los algoritmos de IA es ser generalizables, que generalicen lo más posible, los datos son especializados, y la gran mayoría de modelos de IA de imagen médica son específicos (un modelo de segmentación de corazón no sirve para segmentar los pulmones).
• Existe un fuerte “domain shift” entre hospitales (un algoritmo entrenado en una población no rinde al recibir un dato externo), lo que dificulta la generalización.

Estrategias para mejorar reproducibilidad y replicabilidad

• Bases de datos públicas e infraestructuras abiertas: CANCER imaging archive, OSF, EUCAIM, zenodo.
• Challenges y competiciones con datos y código abiertos: Grand Challenge, Kagel y los Challenges de MICCAI.
• Uso de datos sintéticos, aunque con reservas por calidad y trazabilidad;
• Publicación del modelo junto con su documentación (en Gitlab, Github, Hugging Face) y uso de librerías de código abierto (Pytorch, MONAI.)
• Adopción de checklists específicos como CLAIM (Checklist for Artificial Intelligence y Medical Imaging) y otras guías de transparencia.

Su conclusión fue que, en IA médica, gran parte de las publicaciones no incluyen las características necesarias para poder ser reproducibles (aunque está cambiando la tendencia) y la reproducibilidad depende de estándares de transparencia muy estrictos y de adaptar los métodos al hecho de que los datos son altamente específicos y sensibles.

Flujos de trabajo de datos preparados para la IA para la investigación reproducible en ciencias sociales y humanidades. Joan Giner. Barcelona Supercomputing Center (BSC). SSH.

Joan argumentó que la reproducibilidad ya no es un «extra» o una buena práctica, sino que tiene que ser parte de todo el diseño de IA. En las ciencias sociales y las humanidades, los agentic-AI influirán cada vez más en las decisiones de la administración pública y las políticas: si estos sistemas no pueden reproducirse ni cuestionarse, no deberían implementarse en contextos de importancia social.

Describió la labor del Centro de Supercomputación de Barcelona para facilitar la reproducibilidad de los flujos de trabajo mediante la incorporación de «cápsulas de reproducibilidad», metadatos, pruebas de validación y procesos estandarizados en el propio flujo de trabajo, en lugar de pedir a los investigadores que añadan la reproducibilidad al final. En particular, Joan Giner y su equipo están montando un AI data-ready workflow for social science and Humanities (SS&H) y acaban de recibir un proyecto europeo (AI4Social) para expandir dicho workflow al ecosistema de social science en Europa.

En relación a la validación, tienen un enfoque de human validation: el investigador acude con un experimento y el equipo de Joan propone un experimento de validación con humanos que justifica el papel de la IA en esa validación. 

Entre sus ejemplos se incluyen:

• Un estudio a gran escala sobre el uso de la IA en 220 millones de artículos científicos y validado por 4 expertos. (Fricción con el IP, que no quería publicar los datos ni la cápsula de reproducibilidad del proyecto porque se le había terminado la financiación.)
• Un trabajo sobre manuscritos catalanes medievales utilizando modelos lingüísticos y anotaciones realizadas por expertos. El workflow se compartió con Luxemburgo y están conectando fenómenos históricos en diferentes idiomas (sin embargo, hubo fricción con los expertos anotadores, que tenían dudas con ciertas partes del modelo).

Croissant: a metadata format for ML-ready datasets

Obstáculos:

• Desconexión entre quien quiere hacer buena ciencia y los IPs que usan el HPC, que rechazan seguir la metodología que permita reproducibilidad dada su complejidad. Los AI-assisted workflows son la solución que impulsan desde el BSC.
• Desafío estructural. Necesitamos herramientas (como MetaSyn) e infraestructura (como COOMPs) que permitan reproducibilidad (también en los entornos del HPC).

Hizo hincapié en que la infraestructura de reproducibilidad debería reducir la complejidad tanto para los investigadores como para los ingenieros (incluso para los políticos), y que los workflows de IA deberían permitir un botón de «reproducir este resultado» respaldado por datos y metadatos adecuados.

5. Ideas, experiencias e iniciativas de miembros de la Red Española de Reproducibilidad (SPRN). PARTE 2: Experiencias disciplinares

Interfaz de reproducibilidad y cultura de la investigación. Katharina Miller. iRISE Project. Miller International Knowledge (MIK).

Katharina Miller planteó la reproducibilidad como parte de la cultura de la investigación, la ética y la igualdad. Basándose en el proyecto iRISE (improving Reproducibility In SciencE), un proyecto situado en la interfaz entre reproducibilidad y cultura de la investigación, defendió que la reproducibilidad no puede separarse de los marcos de inclusión, igualdad de género y lucha contra la discriminación: “cuando se reproduce algo, el objeto a reproducir tiene que ser justo”.

Dentro del proyecto iRISE, Katharina trabajó en la tarea de “identificar áreas de infrarrepresentación entre investigadores y participantes en la investigación” dentro del WP3 “Cultura de la investigación”. 

Señaló que el marco jurídico de la UE ya abarca la discriminación, la interseccionalidad, el acoso y la desigualdad de acceso, y que estas cuestiones deberían influir en cómo se define y regula la reproducibilidad. En particular, el marco jurídico de la UE abarca: 

• Directiva Igualdad Racial (2000/43)
• Igualdad en el Empleo (2000/78)
• Igualdad de Género (2004/113 y 2006/54)
• Prohibición de discriminación
• Igualdad de trato
• Interseccionalidad

Destacó la existencia de discriminación en investigación, en forma de sesgos en el diseño de estudios, exclusión de ciertos grupos, infrarrepresentación femenina, desigualdad en autorías, dinámicas de poder o discriminación indirecta.

¿De qué manera afecta la discriminación a la reproducibilidad científica? En la calidad metodológica, en la transparencia, falta de datos inclusivos y de diversidad en muestras, fiabilidad de resultados y ciencia abierta. 

Los desafíos identificados en el proyecto fueron: la brecha norte-sur, la infrarrepresentación de mujeres y minorías, el acceso desigual a financiación y los sesgos que se reproducen en la evaluación y promoción científica. 

Señaló que la reproducibilidad mejora cuando los equipos son diversos y menos jerárquicos, ya que eso ayuda a detectar sesgos, errores y limitaciones metodológicas. Por eso vinculó la reproducibilidad con la necesidad de muestras más inclusivas, mejor distribución de autorías, más transparencia y entornos de trabajo con seguridad psicológica.

Como soluciones, propuso equipos diversos, políticas inclusivas, formación en sesgos, evaluaciones éticas continuas, participación de grupos vulnerables y una gobernanza responsable. 

ReproducibiliTea: la experiencia de ReproducibiliTeaUM. Rubén López Nicolás. Basic Psychology and Methodology. Universidad de Murcia.

Rubén López Nicolás presentó ReproducibiliTea, iniciativa que nace en 2018 en como respuesta a la crisis de replicabilidad, para mejorar la forma en la que hacemos ciencia. El objetivo principal de ReproducibiliTea es generar espacios para debatir todas estas ideas innovadoras que emergieron de la “revolución de la credibilidad”, dentro del campo de la metaciencia. 

El nodo de Murcia (ReproducibiliTeaUM) es una comunidad estable, abierta y sin presiones, articulada en torno a sesiones mensuales al estilo de un club de lectura sobre metaciencia y ciencia abierta. Sus fundadores son los investigadores de la Universidad de Murcia: Rubén López, Alejandro Sandoval y Miriam Tortajada. El nodo se puso en marcha en 2023, ya que en aquel momento no existía ningún nodo activo dedicado a la reproducibilidad en España, y ahora cuenta con unos 60 miembros y un espacio en Discord para el debate continuo. Identificó tres objetivos implícitos:

• Crear una comunidad.
• Sensibilizar sobre el impacto de las prácticas de investigación cuestionables, atrayendo especialmente investigadores en los inicios de su carrera y a estudiantes, lo cual es estratégicamente importante, ya que es en esta etapa cuando se forjan los hábitos científicos.
• Aumentar la visibilidad de las cuestiones relacionadas con la reproducibilidad y la ciencia abierta, con presencia en redes sociales.

La dinámica de cada journal club empieza con (1) la elección de una lectura (paper, preprint, informe etc), seguido de una (2) discusión horizontal sin ponentes principales, para finalmente (3) conectar la lectura escogida con la práctica particular a la disciplina propia de cada asistente al journal, para adaptar las ideas de la metaciencia a las limitaciones disciplinarias reales, de modo que el movimiento no se convierta en «un brindis al sol», sino que tenga efectos prácticos.

Iniciativas para la adopción de los principios FAIR en Software y Aprendizaje Automático. Daniel Garijo. Profesor Titular. Ontology Engineering Group. Universidad Politécnica de Madrid.

Daniel Garijo presentó el papel de los principios FAIR como pieza clave de la reproducibilidad, no tanto como objetivo en sí mismo, sino como infraestructura de metadatos para hacer encontrables, accesibles, interoperables y reutilizables los recursos científicos.

Los principios FAIR vienen de la San Francisco Declaration on Research Assessment donde se recomienda eliminar el uso de métricas basadas en publicaciones, como los Journal impact Factors, en financiación y promoción, y evaluar la investigación en sus propios méritos, en vez de basarse en la revista en la que se publica. También se recomienda considerar el valor e impacto de todos los outputs de investigación (incluyendo datasets, software, modelos).

FAIR no se limita a datos: también aplica a software (FAIR4RS), workflows, objetos de investigación (FAIROs), ontologías (FAIR semantic artefacts) y modelos de machine learning (FAIRML).

Los metadatos, que son decisivos para que los recursos de investigación puedan ser interpretados y reutilizados por humanos y máquinas. 

Al aplicar la IA: si los metadatos son de mala calidad, dará lugar a resultados incorrectos en el entrenamiento de modelos de IA; los datos de mala calidad darán lugar a resultados de IA erróneos, independientemente de su “FAIRness”; software con malos metadatos será más dificil de usar y reusar por los agentes de IA; modelos con metadatos malos serán difíciles de auditar y reusar.

Daniel habló de dos iniciativas:

Codemeta estándar de metadatos (basado en schema.org) para software de investigación e intenta que los repositorios de software tengan una descripción legible por humanos y máquinas, de distintos aspectos FAIR (cómo citar el software, cuál es la función del software, etc.). Codemeta contiene además crosswalks, que permiten moverse a diferentes estándares de metadatos gracias a un mapeo que establece equivalencias entre ellos.

FAIR for ML y Croissant extienden este enfoque a modelos y datasets de machine learning, para poder interoperar los datos entre los distintos modelos. 

Se destacó que FAIR ayuda a la reproducibilidad porque mejora la documentación, el provenance y la interoperabilidad, aunque no resuelve por sí mismo la cuestión de la calidad de lo que se publica. 

Research Agora: reproducibilidad reconociendo el trabajo que no cabe en el ‘paper’. Isabel Barriuso. COO & Co-founder Research Agora.

Isabel Barriuso presentó Research Agora, una plataforma creada para dar salida al “research waste” y reconocer el trabajo invisible que no llega a los artículos tradicionales.

Se explicó que en muchos doctorados se generan enormes volúmenes de datos que nunca se publican, de manera que una parte muy grande del esfuerzo investigador queda fuera del registro científico formal. Hasta el 85% de los recursos destinados a investigación acaban siendo research waste. 

La evaluación está cambiando y poniendo en valor la calidad sobre la cantidad, valorando contribuciones más allá del artículo científico convencional. Sin embargo, muchas veces cuesta implementarlo y no hay mucho conocimiento ni herramientas para hacerlo.

Research Agora propone convertir los resultados no publicables en contribuciones reconocidas, los “marbles”, a través de un entorno colaborativo: un nuevo tipo de publicación, breve, revisada por pares y en abierto, enlazada a un paper ya publicado. 

Con ello se reduciría el research waste, se usaría para dar una medida de la calidad y del impacto de los artículos que ya están publicados, y se aliviaría el problema de la reproducibilidad. 

Se presentan 5 tipos de marbles:

• Reportes de réplicas de experimentos;
• Intentos de réplica fallidos;
• Métodos alternativos que confirman hallazgos;
• Hipótesis nuevas derivadas de resultados publicados: resultados preliminares/ exploratorios
• Hipótesis nuevas derivadas de resultados publicados: resultados negativos/nulos.

Formulario de envío de marble:

• Se envía un marble con el DOI del artículo relacionado;
• Se eligen figuras o secciones específicas del trabajo al que aplica;
• Una vez enviado el marble, desde la plataforma se asignan 3 revisores para la revisión por pares (proceso de revisión de doble ciego para evitar sesgos). 
• Los autores revisan la publicación, implementan los comentarios de los revisores.
• Una vez los revisores aprueben la publicación, Research Agora publica la marble en la en la plataforma, enlazando al artículo relacionado, incluyendo todo el proceso de revisión por pares y las versiones de forma abierta, de forma que los revisores reciben reconocimiento por su trabajo.

Gracias a este sistema, los revisores reciben reconocimiento por su trabajo y los autores del marble reciben reconocimiento por el trabajo invisible. Por otro lado, los autores del artículo enlazado tienen una medida de la reproducibilidad y el impacto de su investigación, que va más allá de las citaciones y el impact factor de la revista donde publicaron.

Los revisores de Research Agora  pertenecen a una comunidad de expertos abierta a toda la comunidad investigadora (actualmente participan más de 40 instituciones en alrededor de 15 países) y animan a los early careers a formar parte de la comunidad de revisores, ya que reconocerán dicho trabajo. 

El objetivo de Research Agora es conseguir que el perfil del/a investigador/a vaya más allá de las publicaciones tradicionales y tenga en cuenta todas sus contribuciones.

Isabel aclaró que la plataforma busca colaborar con instituciones y financiadores para alinearse con COARA y no extraer presupuesto de los proyectos de investigación. También explicó las dificultades de operar como empresa en un entorno donde la financiación para iniciativas no comerciales es escasa.

Sistematizar los patrones anómalos de publicación mediante fuentes de datos abiertas. Alberto Martín. Profesor Titular. Universidad de Granada.

Alberto Martín Martín ofreció una perspectiva histórica sobre la reproducibilidad en bibliometría y sobre el control de las fuentes de datos científicos.

Evolución histórica de la bibliometría como disciplina:

• SCI (Science Citation Index) nace en 1964 como índice impreso.
• Web of Science y Scopus consolidan el modelo de acceso cerrado y de pago.
• En 2004 surge Google Scholar y permite el acceso gratuito, pero no permite extracción masiva ni trazabilidad completa.
• En 2017 la ISSI (International Society for Scientometrics and Informetrics) publica un documento reclamando fuentes abiertas de datos que permitan análisis bibliométricos de calidad y reproducibilidad real.

Apertura de datos y nuevos ecosistemas

• Crossref y la Initiative for Open Citations (I4OC) impulsaron metadatos abiertos y citas reutilizables. Esto mejoró también la cobertura del índice Open Citations, el cual tenía un índice de citas basado en Crossref.
• Microsoft Academic Graph (2015-2021) permitió crear un ecosistema de herramientas de búsqueda y análisis en torno a datos reutilizables. Tras su desaparición, OpenAlex asumió parte de ese rol, convirtiéndose en una de las bases de datos abiertas de metadatos bibliométricos más relevantes. Cuenta con 470 millones de publicaciones.

Alberto constató el cambio en ANECA a la hora de evaluar los sexenios con recursos de ciencia abierta, dado que había recibido recientemente la aprobación de un sexenio donde aportó dos publicaciones no convencionales: un preprint y un informe.

Planteó la pregunta de si realmente podemos decir que exista un “registro académico” si las instituciones de investigación dependen de organizaciones externas para proporcionar datos básicos sobre su actividad: Alberto defendió que los repositorios institucionales deberían ser el punto de entrada de la producción científica, y no el último lugar al que llega la publicación. Según su argumento, la comunidad académica debería controlar mejor la documentación científica, la gobernanza de metadatos y la posibilidad de corregir errores. Propuso también que iniciativas como OpenAIRE y repositorios institucionales jueguen un papel más activo como infraestructura base del registro académico.