Un equipo de científicos dirigido por un astrónomo de la Universidad Estatal de Michigan descubrió que un nuevo proceso de evaluación de proyectos de investigación científica propuestos es tan efectivo, si no más, que el método tradicional de revisión por pares.
Normalmente, cuando un investigador presenta una propuesta, la agencia de financiación pide a varios investigadores en ese campo en particular que evalúen y hagan recomendaciones de financiación. Un sistema que a veces puede ser un poco voluminoso y lento, no es una ciencia exacta.
"Como en todos los esfuerzos humanos, este tiene defectos", dijo Wolfgang Kerzendorf, profesor asistente en los departamentos de Física y Astronomía de MSU, y Matemática Computacional, Ciencia e Ingeniería.
detallado en la publicación Astronomía de la naturaleza Kerzendorf y sus colegas probaron un nuevo sistema que distribuye la carga de trabajo de la revisión de propuestas de proyectos entre los proponentes, conocido como el enfoque de "revisión distribuida por pares".
Sin embargo, el equipo lo mejoró al usar otras dos características novedosas: uso del aprendizaje automático para unir a los revisores con las propuestas y la inclusión de un mecanismo de retroalimentación en la revisión.
Básicamente, este proceso consta de tres características diferentes diseñadas para mejorar el proceso de revisión por pares.
Primero, cuando un científico presenta una propuesta de evaluación, primero se le pide que revise varios de los documentos de sus competidores, una forma de disminuir la cantidad de documentos que se le pide que revise.
"Si reduce la cantidad de revisiones que cada persona tiene que hacer, pueden pasar un poco más de tiempo con cada una de las propuestas", dijo Kerzendorf.
En segundo lugar, mediante el uso de computadoras, aprendizaje automático, las agencias de financiación pueden vincular al revisor con propuestas de campos en los que son expertos. Este proceso puede eliminar el sesgo humano de la ecuación, lo que resulta en una revisión más precisa.
"Básicamente miramos los documentos que los lectores potenciales han escrito y luego les damos a estas personas propuestas que probablemente sean buenas para juzgar", dijo Kerzendorf. "En lugar de que un revisor informe su experiencia, la computadora hace el trabajo".
Y en tercer lugar, el equipo introdujo un sistema de retroalimentación en el que la persona que presentó la propuesta puede juzgar si la retroalimentación que recibió fue útil. En última instancia, esto podría ayudar a la comunidad a recompensar a los científicos que constantemente proporcionan críticas constructivas.
"Esta parte del proceso no carece de importancia", dijo Kerzendorf. "Una buena y constructiva revisión es un poco extra, una recompensa por el trabajo que pones al revisar otras propuestas".
Para hacer el experimento, Kerzendorf y su equipo consideraron 172 propuestas presentadas que solicitaban el uso de los telescopios en el Observatorio Europeo Austral, un observatorio terrestre de 16 naciones en Alemania.
Las propuestas fueron revisadas tanto de la manera tradicional como usando la revisión por pares distribuida. ¿Los resultados? Desde un punto de vista estadístico, era aparentemente indistinguible
Sin embargo, Kerzendorf dijo que este era un experimento novedoso que probaba un nuevo enfoque para evaluar la investigación de revisión por pares, uno que podría marcar la diferencia en el mundo científico.
"Si bien pensamos de manera muy crítica sobre la ciencia, a veces no nos tomamos el tiempo para pensar críticamente sobre la mejora del proceso de asignación de recursos en la ciencia", dijo. "Este es un intento de hacer esto".
Fuente de la historia :
Materiales proporcionado por Universidad Estatal de Michigan . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :