En febrero, un absurdo pene de rata generado por IA se coló de alguna manera en un ya retraído Fronteras en biología celular y del desarrollo artículo. Ahora bien, esa extraña parodia parece ser simplemente un ejemplo particularmente ruidoso de un problema más persistente que se está gestando en la literatura científica. Actualmente, las revistas se encuentran en una encrucijada sobre cuál es la mejor manera de responder a los investigadores que utilizan herramientas de IA generativa populares pero objetivamente cuestionables para ayudar a redactar manuscritos o producir imágenes. Detectar evidencia del uso de IA no siempre es fácil, pero un nuevo informe de 404 Medios Esta semana muestra lo que parecen ser docenas de artículos publicados parcialmente generados por IA escondidos a plena vista. ¿Los muertos regalan? Jerga comúnmente pronunciada y generada por computadora..
404 Medios Buscó la frase generada por IA “A partir de mi última actualización de conocimientos” en la base de datos pública de Google Scholar y, según se informa, encontró 115 artículos diferentes que parecían haberse basado en resultados de modelos de IA copiados y pegados. Esa cadena de palabras es uno de los muchos giros de frases que a menudo producen grandes modelos de lenguaje como ChatGPT de OpenAI. En este caso, la “actualización de conocimientos” se refiere al período en el que se actualizaron los datos de referencia de un modelo. Charlar. Otras frases comunes de IA generativa incluyen “Como modelo de lenguaje de IA
Varios de los artículos citados por 404 Medios pareció copiar el texto de IA directamente en artículos revisados por pares que pretendían explicar temas de investigación complejos como el entrelazamiento cuántico y el Rendimiento de las baterías de metal litio.. También se encontraron otros ejemplos de artículos de revistas que parecían incluir la frase común de IA generativa “No tengo acceso a datos en tiempo real”. compartido en X, anteriormente Twitter, durante el fin de semana. Al menos algunos de los ejemplos revisados por ciencia pop parecía estar en relación con la investigación sobre modelos de IA. En otras palabras, las declaraciones de la IA eran parte del material del tema en esos casos.
Se pone peor. Aparentemente, si busca “a partir de mi última actualización de conocimientos” o “no tengo acceso a datos en tiempo real” en Google Scholar, aparecen toneladas de artículos generados por IA. Esta es realmente la peor línea de tiempo. pic.twitter.com/YXZziarUSm
– La vida después de mi doctorado. (@LifeAfterMyPhD) 18 de marzo de 2024
Aunque varias de estas frases aparecieron en revistas reconocidas y de buena reputación, 404 Medios afirma que la mayoría de los ejemplos que encontró procedían de pequeñas, las llamadas “fábricas de papel”, que se especializan en publicar artículos rápidamente, a menudo pagando una tarifa y sin escrutinio científico ni revisión escrupulosa por pares. Los investigadores han afirmado que la proliferación de estas fábricas de papel ha contribuyó a un aumento de hallazgos académicos falsos o plagiados en años recientes.
Las afirmaciones poco fiables generadas por IA podrían dar lugar a más retractaciones
Los ejemplos recientes de texto aparente generado por IA que aparecen en artículos de revistas publicados se producen en medio de un aumento en las retractaciones en general. Un reciente Naturaleza análisis de los artículos de investigación publicados el año pasado encontraron más de 10.000 retractaciones, más que cualquier año medido anteriormente. Aunque la mayor parte de esos casos no estaban relacionados con contenido generado por IA, durante años los investigadores preocupados han temido que un mayor uso de estas herramientas pudiera conducir a más contenido falso o engañoso pasando el proceso de revisión por pares. En el vergonzoso caso del pene de rata, las imágenes extrañas y las etiquetas sin sentido producidas por la IA, como “disilicado” y “testtomcels”, lograron pasar desapercibidas o no reportadas por múltiples críticos.
Hay buenas razones para creer que los artículos enviados con texto generado por IA pueden volverse más comunes. En 2014, las revistas IEEE y Springer combinaron eliminado más de 120 artículos Se descubrió que incluía lenguaje sin sentido generado por IA. La prevalencia del texto generado por IA en las revistas casi ha seguramente aumentó en la década Desde entonces, herramientas más sofisticadas y más fáciles de usar, como ChatGPT de OpenAI, han obtenido una adopción más amplia.
Una encuesta de 2023 entre científicos realizada por Naturaleza encontró que 1.600 encuestados, o alrededor del 30% de los encuestados, admitió haber usado herramientas de inteligencia artificial para ayudarlos a escribir manuscritos. Y aunque frases como “Como algoritmo de IA” son reveladoras que exponen el origen del modelo de lenguaje grande (LLM) de una oración, muchos otros usos más sutiles de la tecnología son más difíciles de erradicar. Los modelos de detección utilizados para identificar texto generado por IA tienen demostrado frustrantemente inadecuado.
Quienes apoyan permitir el texto generado por IA en algunos casos dicen que puede ayudar hablantes no nativos expresarse más claramente y potencialmente reducir las barreras lingüísticas. Otros argumentan que las herramientas, si se usan responsablemente, podrían acelerar los tiempos de publicación y aumentar la eficiencia general. Pero publicar datos inexactos o hallazgos inventados generados por estos modelos corre el riesgo de dañar la reputación de una revista a largo plazo. Un artículo reciente publicado en Informes actuales sobre osteoporosis Al comparar los informes de artículos de revisión escritos por humanos y generados por ChatGPT, se encontró que los ejemplos generados por IA a menudo eran más fáciles de leer. Al mismo tiempo, los informes generados por IA también fueron lleno de referencias inexactas.
“ChatGPT fue bastante convincente con algunas de las declaraciones falsas que hizo, para ser honesto”, dijo en un reciente artículo Melissa Kacena, profesora de la Facultad de Medicina de la Universidad de Indiana y autora del artículo. entrevista con Tiempo. “Usaba la sintaxis adecuada y las integraba con declaraciones adecuadas en un párrafo, por lo que a veces no había señales de advertencia”.
Las revistas deberían acordar estándares comunes en torno a la IA generativa
Los principales editores aún no están de acuerdo sobre si permitir o no el texto generado por IA en primer lugar. Desde 2022, las revistas publicadas por Ciencia ha sido estrictamente prohibido el uso de texto o imágenes generados por IA que no son aceptados primero por un editor. Naturalezapor otro lado, emitió una declaración el año pasado dijo que no permitirían imágenes o videos generados por IA en sus revistas, pero haría permitir texto generado por IA en ciertos escenarios. JAMA actualmente permite texto generado por IA pero requiere que los investigadores revelen cuándo aparece y qué modelos específicos se utilizaron.
Estas divergencias de políticas pueden crear una confusión innecesaria tanto para los investigadores que envían trabajos como para los revisores encargados de examinarlos. Los investigadores ya tienen un incentivo para utilizar las herramientas a su disposición para ayudar a publicar artículos rápidamente y aumentar el número total de trabajos publicados. Un estándar acordado en torno al contenido generado por IA en grandes revistas establecería límites claros a seguir por los investigadores. Las revistas más establecidas también pueden separarse aún más de las fábricas de papel menos escrupulosas al trazar líneas firmes en torno a ciertos usos de la tecnología o prohibirla por completo en los casos en que intentan hacer afirmaciones fácticas.