El número de veces que los artículos académicos son citados por publicaciones posteriores se encuentra entre las medidas tradicionales utilizadas para evaluar la posición académica y la productividad académica. Pero no todas estas citas son positivas, y un artículo publicado esta semana en la revista Actas de la Academia Nacional de Ciencias encuentra que hasta una de cada 50 citas en una de las principales revistas de inmunología fueron de naturaleza crítica.
Estas citas negativas pueden señalar limitaciones, inconsistencias o fallas en trabajos anteriores. El estudio encontró que estas citas negativas eran más propensas a criticar los artículos de alta lectura, y que las críticas se centraron en secciones específicas de los documentos. Las citas negativas tendieron aprovienen de académicos cercanos a los autores de los artículos originales en disciplina académica y distancia social, pero al menos a 150 millas de distancia geográficamente.
La investigación, realizada por autores del Instituto de Tecnología de Georgia, la Universidad de Toronto y el Instituto de Tecnología de Massachusetts, puede ser la primera en cuantificar y examinar sistemáticamente estas citas negativas. Los autores esperan expandir su estudio a otras disciplinas, y creenen última instancia, el trabajo podría conducir a un nuevo examen de cómo se usan las citas en la academia.
"Dado que confiamos tanto en estas métricas de citas como medidas de calidad, es importante tener en cuenta que la intención de estas citas no es homogénea", dijo Alexander Oettl, profesor asistente en el Scheller College of Business de Georgia Tech y unode los tres coautores del estudio: "La crítica es realmente la piedra angular de la empresa científica, sin embargo, es difícil obtener medidas precisas sobre el grado en que realmente se produce la crítica de los trabajos académicos. Las citas negativas son realmente diferentes de las citas objetivas".
Los investigadores, que también incluyen a Nicola Lacetera de la Universidad de Toronto y Christian Catalini del MIT, comenzaron con 15,731 artículos de texto completo que habían sido publicados en el Journal of Immunology, la principal revista académica en ese campo. De esos artículos,extrajeron 762,355 citas, que se referían a 146,891 artículos publicados únicos.
Comenzando con un proceso manual, crearon un conjunto de citas que se utilizó para capacitar a un programa de procesamiento de lenguaje natural que clasificó el resto de las citas como objetivas o negativas. El proceso identificó 18.304 citas negativas, aproximadamente el 2.4 por ciento del totalcitas estudiadas.
"La mayoría de estas citas negativas parecen estar en desacuerdo con las secciones 'resultados' y 'discusión' de los documentos, por lo que en realidad no están tratando de anular la teoría", dijo Oettl. "Pueden estar tratando de restringir los resultados,observe inconsistencias con otras investigaciones, señale fallas estadísticas o corrija otros problemas "
En su estudio, los autores señalan la relativa rareza de estas citas negativas, y especulan que podrían demostrar un "papel limitado y poco influyente" para la crítica en la ciencia, o mostrar dudas para criticar.
"Hacer estas citas negativas no tiene costo", señaló Oettl. "Podría haber un daño a la reputación al hacer estas citas negativas, y si su crítica resulta ser falsa, esto podría tener un gran impacto en su reputación dentro del campo. Sineste costo, tal vez podríamos ver más críticas abiertas apareciendo en las revistas "
Los investigadores encontraron que si bien las citas negativas tendían a provenir de científicos cercanos al tema académico limitado, era más probable que las críticas involucraran la distancia geográfica.
"Vemos que la probabilidad de hacer una cita negativa es mucho, mucho más baja si está ubicado junto al científico cuyo trabajo está siendo criticado", dijo Oettl. "Eso potencialmente habla del componente social, el costo social decrítica: no quieres criticar a alguien con quien te encuentres en el campus. Otra posible interpretación es que estos problemas pueden transmitirse cara a cara entre los científicos que se encuentran cerca uno del otro geográficamente ".
En el estudio, los documentos frecuentemente citados tenían más probabilidades que los documentos menos leídos de obtener citas negativas, lo cual es lógico, dijo Oettl. "Estos son típicamente documentos más influyentes, por lo que esto puede tener más que ver con que más personas leanellos y más un incentivo para que los académicos tengan problemas con documentos importantes ", explicó." Además, los documentos menos importantes pueden recibir menos escrutinio, ya que señalar las limitaciones y las deficiencias del trabajo trivial no cambiará drásticamente la frontera científica ".
La replicación de trabajos previos ayuda a garantizar la precisión de la investigación, y las críticas a los estudios publicados pueden conducir a una corrección que hace que la ciencia sea más sólida. ¿Pero el sistema de publicación científica actual fomenta suficiente discusión?
"La visión pesimista es que solo una de cada 50 citas es de naturaleza negativa, por lo que posiblemente no haya tanto debate como quisiéramos para una discusión saludable", dijo Oettl. "Pero por otro lado, para cuandoun manuscrito importante lo imprime, ha sido sometido a una gran cantidad de críticas. Ahora tenemos alguna evidencia de la medida en que las críticas, en forma de citas negativas, ocurren dentro de los manuscritos científicos ".
Los investigadores eligieron la inmunología porque tenían acceso a los documentos, que tenían un formato consistente. Encontraron un número similar de citas negativas en un pequeño conjunto de documentos relacionados con las matemáticas, pero esperan expandir su trabajo para determinar si sus hallazgos se aplican aotras disciplinas. En última instancia, esperan que el trabajo pueda cambiar la forma en que se usan las citas en la ciencia.
"Queríamos presentar una metodología para ayudar a los futuros académicos a pensar acerca de cómo podemos expandir esta infraestructura de clasificación y atraer metadatos adicionales a las citas que hacemos", dijo Oettl. "Nuestro documento es muy descriptivo, pero identifica algoque nadie ha demostrado realmente antes: que estas citas negativas se comportan de manera muy diferente a las demás ".
Aunque el estudio actual se centró en una sola disciplina, la inmunología, "realmente nos gustaría ver este trabajo y metodología expandidos a otras disciplinas", dijo Oettl. "Sin embargo, en última instancia, nos importa el papel que juegan estas citas negativas en ayudardebate científico y en el avance de la frontera científica "
Fuente de la historia :
Materiales proporcionado por Instituto de Tecnología de Georgia . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cite esta página :