Antes de la pandemia de COVID, la revisión por pares era el corazón palpitante de la publicación científica. Para que los estudios ingresaran al cuerpo de conocimiento científico, la expectativa era que los investigadores los enviaran a revistas académicas, las cuales enviarían los artículos a otros expertos para su edición y revisión antes de publicarlos.
Pero es un proceso que no se adaptaba bien a la urgencia de la pandemia de COVID, cuando las primeras investigaciones podrían salvar vidas. La revisión por pares a menudo lleva meses y exige grandes cantidades de trabajo no remunerado por parte de los científicos que analizan los artículos. A principios de 2020, un número creciente de científicos comenzó a publicar investigaciones en bases de datos de acceso abierto, llamadas servidores de preprints, antes de que esos preprints se revisaran formalmente.
Una nueva investigación sugiere que las normas científicas siguen operando en servidores de preimpresión. Como escribió la médica y reportera Trisha Pasricha en el El Correo de Washington durante el fin de semana, “cuando un grupo de autores pone cualquier estudio en el dominio público… están poniendo su reputación en juego”.
Los preprints, que a menudo se denominan “investigación preliminar” en las noticias, ya habían ganado popularidad en campos de adopción temprana como genómica y neurociencia—pero las presiones de tiempo de la pandemia les dieron una nueva primacía. Durante el primer año de la pandemia, Los servidores de preimpresión albergaron 7000 artículos sobre el COVID, mientras que las revistas publicaron alrededor de 12.500 artículos formales. (Hubo cierta superposición). A diferencia de muchas revistas, los servidores de preimpresión son gratuitos para que cualquiera pueda acceder, y los investigadores no tienen que pagar para publicar. Muchos de esos primeros artículos terminan pasando por una revisión por pares: el cofundador de dos servidores de preimpresión clave escribió recientemente en Twitter
Eso ha sido una fuente de controversia. Para los críticos de los preprints, son un depósito de ciencia cuestionable. “La limitación es que cualquier idiota puede publicar cualquier cosa idiota en una plataforma que no tiene una revisión por pares previa a la publicación”, como dijo un ex editor de una revista. New York Times columnista el mes pasado. Pero según dos nuevos análisis compartidos en la revista (revisada por pares) PLOS Biología, los preprints en su conjunto contienen gran parte de la misma información e interpretaciones que la investigación revisada por pares.
En un papel, un biólogo computacional desarrolló una herramienta para analizar miles de preprints previos a la pandemia y trabajos revisados por pares en busca de diferencias lingüísticas. En el segundo, un grupo de científicos examinó manualmente los 184 artículos publicados como preprints y con revisión por pares desde diciembre de 2020 hasta abril de 2020.
Ambos análisis encontraron que los cambios entre los preprints y las publicaciones revisadas rara vez involucraron revisiones completas de las conclusiones de un artículo. La mayoría de las veces, los investigadores encontraron solo pequeñas ediciones gramaticales. “Creo que lo que provocan nuestros hallazgos es una reevaluación del papel de la revisión por pares”, dice Jonathon Coates, investigador postdoctoral en inmunología en el Instituto de Investigación William Harvey y autor de la segunda revisión. “¿Es la cantidad de tiempo y dinero [both scientists and taxpayers] poner en revisión por pares vale la pena?
Para el análisis computacional a gran escala, David Nicholson, candidato a doctorado en la Facultad de Medicina de la Universidad de Pensilvania, comenzó con una pregunta amplia: “¿Cómo usa la gente los preprints?” Pero el equipo de Nicholson pronto se dio cuenta de que la herramienta que él había desarrollado también podría usarse para medir cómo la revisión por pares afecta la escritura científica. “La revisión por pares lleva mucho tiempo y es larga, pero ¿también equivale a los cambios que podríamos ver en los documentos?” él dice.
El equipo de Nicholson comparó 3 millones de artículos en la biblioteca de investigación de acceso abierto del Instituto Nacional de Salud con los 98 000 artículos publicados hasta febrero de 2020 en el servidor de preimpresión BioRxiv. (BioRxiv y su spin-off específico para medicamentos, MedRxiv, albergan la gran mayoría de los preprints de COVID). También compararon los preprints con sus versiones publicadas para analizar los cambios.
“Lo que David ve es que las cosas que cambiaron son marcas tipográficas, como el símbolo de más o menos, el guión, así como palabras como ‘adicional’, ‘suplementario’ y ‘archivo'”, dice Casey Greene, un biólogo computacional de la Facultad de Medicina de la Universidad de Colorado y autor del artículo. “Eso sugiere que las personas probablemente no están cambiando drásticamente el texto a medida que lo publican, sino que están agregando soporte adicional a las afirmaciones clave y sus cosas se están escribiendo”.
Mientras tanto, la segunda revisión más granular mostró cómo se veían esos pequeños cambios en la práctica. El equipo de Coates encontró solo un caso en el que los autores habían invertido una conclusión durante la revisión por pares, aunque el 17 por ciento de los artículos sobre COVID y el 7 por ciento de los artículos que no eran sobre COVID tenían “cambios importantes” en sus conclusiones. “Una de las cosas que notamos entre la preimpresión y el papel no es una diferencia en la conclusión, sino cómo se redactó la conclusión”, dice Coates. Por ejemplo, se cambiaría un sustantivo o se reduciría la certeza. “El proceso de revisión por pares dice, sí, tienes razón, pero baja un poco el tono de tu lenguaje”, agrega Coates.
La conclusión, argumentan Coates y sus coautores, no es confiar repentinamente en la confiabilidad de las preimpresiones. Es estar igualmente dispuesto a cuestionar el trabajo revisado por pares. “Debe confiar en la literatura revisada por pares tanto como confía en una preimpresión”, dice. “Eso, creo, se reduce al sentido común. Cada vez que lea un documento, debería estar haciendo su propia revisión por pares; deberías preguntarle a otras personas qué piensan”.
[Related: How to tell science from pseudoscience]
MedRxiv y BioRxiv detectan trabajos plagiados, no científicos y obviamente falsos. Y proyectos como el club de revisión de preprints, un grupo de inmunólogos principiantes en universidades, ha surgido para proporcionar revisiones estandarizadas de trabajos que no se han publicado formalmente. Otras investigaciones de mala calidad, como un artículo que afirma que el SARS-CoV-2 se derivó de alguna manera del VIH,fue eliminado rápidamente de BioRxiv.
La revisión por pares tampoco siempre ha sido un escudo perfecto. Un artículo ahora desacreditado pero ampliamente citado sobre la hidroxicloroquina que funciona como tratamiento para COVID se publicó en el Revista internacional de agentes microbianos. El objetivo del proceso es filtrar el plagio o la lógica defectuosa, no necesariamente decidirse por las respuestas correctas.
Durante la pandemia, las revistas científicas se han adaptado de alguna manera. Se acortaron los tiempos de publicación de las investigaciones relacionadas con el COVID, y Coates dice que era menos probable que los revisores pidieran experimentos y resultados adicionales, en reconocimiento de que era físicamente difícil ingresar a un laboratorio durante los cierres. La destacada editorial de revistas Taylor & Francis también comenzó a vender opciones de “publicación acelerada” a los autores potenciales—cobrando $7,000 para publicar artículos de tres a cinco semanas después de la presentación.
En última instancia, los servidores de preimpresión quitan el poder de decisión de las revistas científicas y se lo dan a los investigadores. “Simplemente cambia cuando se comparte la investigación”, dice Coates. “En lugar de esperar a que un editor y algunos revisores aleatorios digan que es aceptable compartir esto, el científico toma esa decisión”.
Eso es particularmente valioso para los investigadores principiantes como él. “[Preprint servers] cocinar ese año entre haber terminado la investigación y publicarla, para que podamos solicitar subvenciones”, dice Coates. Es más, ellos hacer que los estudios sean accesibles a un público más amplio. “También es muy bueno para el público en general porque si está interesado en investigar un poco, puede leerlo en lugar de pagar hasta $10,000 solo para tener acceso a una revista”, explica.
este par de PLOS Biología papers es en sí mismo una demostración de cómo los preprints pueden cambiar la naturaleza del diálogo científico. Los equipos separados publicaron su trabajo como preprints en BioRxiv la primavera pasada. En lugar de repetir el trabajo del otro, decidieron publicar el panorama general al mismo tiempo.
Sin esa colaboración, dice Coates, también es probable que el trabajo de su grupo no hubiera sido revisado formalmente por pares: no tenían el dinero para pagar las tarifas de publicación, que el laboratorio de Greene terminó dispuesto a cubrir.