Un nuevo estudio ha revelado una verdad inquietante sobre las métricas de citas que se usan comúnmente para medir el nivel de impacto e influencia de los científicos en sus respectivos campos de investigación.
Las métricas de citas indican con qué frecuencia los colegas hacen referencia formal a la producción de la investigación de un científico en las notas de pie de página de sus propios documentos, pero un análisis exhaustivo de esta red de enlaces muestra que el sistema está comprometido por un patrón oculto de comportamiento que a menudo pasa desapercibido.
Específicamente, entre los 100,000 científicos más citados entre 1996 y 2017, hay un bolsillo sigiloso de investigadores que representan "auto-citas extremas y 'granjas de citas' (grupos relativamente pequeños de autores que citan los documentos de los demás)". explicar a los autores del nuevo estudio
Ioannidis ayuda a administrar el centro de innovación de meta-investigación de Stanford, llamado Métrica, que analiza identificar y resolver problemas sistémicos en investigación científica.
Uno de esos problemas, dice Ioannidis, es cómo las auto-citas comprometen la confiabilidad de las métricas de citas en su conjunto, especialmente en manos de auto-citas extremas y sus grupos asociados.
"Creo que las granjas de autocitación son mucho más comunes de lo que creemos", dijo Ioannidis Naturaleza. "Aquellos con más del 25 por ciento de autocitación no necesariamente tienen un comportamiento poco ético, pero puede ser necesario un escrutinio más detallado".
La cifra del 25 por ciento a la que se refiere Ioannidis son aquellos científicos que autorreferen el 25 por ciento de las citas que hacen referencia a su trabajo (o el de sus coautores).
Ser una cuarta parte de su propia base de fanáticos puede parecer una gran cantidad de citas personales, pero ni siquiera es tan raro, revela el estudio.
Entre los 100,000 científicos más citados para el período de 1996 a 2017, más de 1,000 investigadores auto-citaron más del 40 por ciento de sus citas totales, y más de 8,500 investigadores tuvieron más del 25 por ciento de auto citas.
No hay ninguna sugerencia de que ninguna de estas citas personales sea necesariamente o automáticamente poco éticas o injustificadas o egoístas en sí mismas. Después de todo, en algunos casos, su propia investigación científica publicada puede ser la mejor y más relevante fuente para vincular.
Sin embargo, los investigadores detrás del estudio sugieren que la prevalencia de casos extremos revelados en su análisis degrada el valor de las métricas de citas en su conjunto, que a menudo se usan como un indicador de la posición de un científico y la calidad de la producción (sin mencionar la empleabilidad).
"Con proporciones muy altas de autocitas, aconsejaríamos no usar ninguna métrica de citas, ya que las tasas extremas de autocitas pueden anunciar también otras características espurias". los autores escriben.
"Estos deben examinarse caso por caso para cada autor, y simplemente eliminar las citas personales puede no ser suficiente".
Está lejos de ser la primera vez que los investigadores destacan problemas serios con la forma en que calificamos los productos del esfuerzo científico.
En los últimos años, los científicos han identificado defectos técnicos ocultos dentro de los sistemas de citas, reveló deficiencias en cómo clasificamos las revistas científicasy descubierto serias preocupaciones sobre las solicitudes de citas.
Otros han notado extrañas fallas de citas eso no debería existir en absoluto, y observó otros tendencias sistémicas inquietantes eso arroja una sombra sobre el valor de una cita.
En medio de este desastre, Ioannidis y su equipo esperan sus nuevos datos "ayudarán a lograr un uso más matizado de las métricas" que permite a la comunidad en su conjunto identificar y reducir más fácilmente el impacto inadecuado de las granjas de citas y auto-citas.
Mientras tanto, otros sugieren que la forma de solucionar esto es alejarse de las métricas cuantitativas en su conjunto y, en cambio, centrarse en un enfoque cualitativo para corregir lo que está mal aquí.
"Cuando vinculamos el avance profesional y prestamos demasiada atención a las métricas basadas en citas, incentivamos la auto cita", dijo el psicólogo Sanjay Srivastava de la Universidad de Oregon, que no participó en el estudio. Naturaleza.
"En última instancia, la solución debe ser realinear la evaluación profesional con el criterio de expertos, no duplicar las métricas".
Los hallazgos se informan en PLOS Biology.