Según los últimos resultados de la investigación, la presencia de guiones simples en los títulos de los trabajos académicos afecta negativamente las estadísticas de citas, independientemente de la calidad de los artículos. El fenómeno se aplica a todas las áreas temáticas principales. Por lo tanto, el recuento de citas y el impacto de la revistalos factores, comúnmente utilizados para evaluaciones de profesores en universidades de todo el mundo, no son confiables.
Este descubrimiento revolucionario plantea un desafío fundamental para la regla del juego en la determinación de las contribuciones de artículos, revistas y profesores. Se presenta en un artículo titulado "Pruebas de robustez metamórfica: exposición de defectos ocultos en estadísticas de citas y factores de impacto de revistas"por Zhi Quan Zhou, TH Tse y Matt Witheridge, publicado recientemente en Transacciones IEEE en Ingeniería de Software , el diario principal en el campo.
TH Tse es profesor honorario de ciencias de la computación en la Universidad de Hong Kong HKU. Zhi Quan Zhou recibió el doctorado de HKU y actualmente es profesor asociado de ingeniería de software en la Universidad de Wollongong, Australia. Matt Witheridge esestudiante de doctorado en la Universidad de Wollongong.
Scopus y Web of Science son los dos principales sistemas de indexación de citas. Scopus proporciona las estadísticas de citas para respaldar el Ranking Mundial de Universidades del Times Higher Education y el Ranking Mundial QS de la Universidad. Web of Science proporciona el factor de impacto de la revista que respalda el ranking de los principalesrevistas. Debido a la importancia de estos dos sistemas de indexación, es esencial asegurar su calidad. En particular, las pruebas de robustez se refieren a la verificación de la capacidad de los sistemas para manejar entradas erróneas o situaciones inesperadas. Por ejemplo, ¿puede el sistema de indexaciónmanejar una cita correctamente si hay un error tipográfico menor al citar el título del artículo?
El profesor Tse y los miembros del equipo propusieron un método innovador denominado "prueba de robustez metamórfica" para verificar Scopus y Web of Science. El estudio en profundidad descubrió defectos de robustez en ambos sistemas que podrían producir recuentos erróneos de citas para artículos con guiones en los títulos,por lo que los factores de impacto de la revista calculados posteriormente son problemáticos.
En 2015, Letchford y sus colegas realizaron un estudio a gran escala sobre Scopus, y descubrieron que los documentos con títulos más cortos tendían a ser citados más que aquellos con títulos más largos. Sus resultados se informaron ampliamente en los medios internacionales incluidos ciencia y Naturaleza .
Por el contrario, el profesor Tse y el equipo actual encuentran que en realidad es el número de guiones en el título lo que sirve como el factor más dominante para el recuento de citas. Por lo general, el número de guiones se correlaciona con la longitud del título de un documento, por lo tantodando la interpretación errónea de que la cita cuenta depende de la longitud del título.
Las prácticas de citas varían según las áreas temáticas. Las publicaciones en ciertos campos pueden tener recuentos de citas sistemáticamente más altos que en otros campos. Por ejemplo, uno puede argumentar que los documentos en química donde los títulos de los documentos a menudo llevan guiones como parte de la nomenclatura química solo recibenun número relativamente limitado de citas, lo que da lugar a una falsa correlación negativa entre guiones y citas. Por lo tanto, el equipo llevó a cabo estudios centrados en revistas en áreas temáticas específicas. Los resultados indicaron que los guiones afectan negativamente el recuento de citas de los documentos, incluso si el estudio essolo limitado a alguna disciplina en particular.
Para construir sobre los hallazgos a nivel de artículo y disciplina, el equipo investigó el impacto de los guiones en los títulos en papel a nivel de revista. El factor de impacto de la revista JIF es una métrica común para determinar la frecuencia de citas de una revista académica.se usa con frecuencia para representar la importancia relativa de una revista dentro de su campo. Un estudio de ingeniería de software en todo el campo revela que las revistas con mayor clasificación JIF están publicando un menor porcentaje de artículos con títulos con guiones.
El equipo realizó además un análisis de la validez de la investigación para evitar caer en la trampa de equiparar la correlación con la causalidad.
"Nuestros resultados cuestionan la creencia común de la academia, los gobiernos y los organismos de financiación de que los recuentos de citas son una medida confiable de las contribuciones y la importancia de los documentos. De hecho, pueden distorsionarse simplemente por la presencia de guiones en los títulos de los artículos,lo que no tiene relación con la calidad de la investigación. Del mismo modo, nuestros resultados también desafían la validez de los factores de impacto de la revista ", dijo el profesor Tse.
"Estos sorprendentes resultados son de interés no solo para los profesores que buscan la tenencia o el ascenso, sino también para la alta gerencia como presidentes, decanos y jefes. Son aplicables a todas las facultades de cualquier universidad", agregó.
Nota del editor : El Grupo de Web of Science ha emitido a respuesta al papel :
Nos ha llamado la atención que IEEE Transactions on Software Engineering publicó recientemente un documento preimpreso sobre el Factor de impacto de la revista, titulado "Pruebas de robustez metamórfica: exposición de defectos ocultos en estadísticas de citas y factores de impacto de la revista" escrito por Zhi Quan Zhou,TH Tse y Matt Witheridge.
El documento afirma que "la inclusión de guiones en los títulos de los documentos impide el recuento de citas". Una característica clave del Informe de citas de la revista es que utilizamos citas vinculadas y no vinculadas para calcular el Factor de impacto de la revista. No confiamos en el título del artículo paraunifique los registros de "cita a la fuente" en la Web of Science, ya que este campo puede ser ambiguo y propenso a errores, por lo que los guiones por sí solos en el título de un artículo de referencia citado no impedirán que una referencia citada se vincule a una fuente.
Por lo tanto, los guiones en el título del artículo no tienen impacto en el recuento de citas dentro del Informe de citas de la revista o el Factor de impacto de la revista.
Nuestra respuesta completa, en forma de una carta al Editor de Transacciones IEEE sobre Ingeniería de Software, se puede descargar aquí .
Fuente de la historia :
Materiales proporcionado por La Universidad de Hong Kong . Nota: El contenido puede ser editado por estilo y longitud.
Referencias de revistas :
Cita esta página :