Un curso sobre pensamiento crítico en la Universidad de California, Berkeley, co-enseñado durante los últimos tres años por un experto en políticas públicas y un físico ganador del Premio Nobel, ha generado una nueva propuesta para eliminar las fuentes de sesgo en la investigación y mejorarconfianza en los estudios publicados.
La investigación en ciencias sociales se quedó boquiabierta recientemente cuando se demostró que los autores de varios estudios manipularon datos. Pero el problema más frecuente en las ciencias sociales hoy en día no es el fraude real, sino un sesgo sutil y generalmente inadvertido que distorsiona las conclusiones de los estudiosy a menudo los hace irrepetibles.
En un comentario en la edición del 8 de octubre de Naturaleza , Robert MacCoun, ex profesor de derecho y política pública de UC Berkeley que ahora está en la Facultad de Derecho de Stanford, y Saul Perlmutter, profesor de física de Berkeley que ganó el Premio Nobel de Física 2011 por el descubrimiento de la energía oscura, proponen queLos científicos empíricos en los campos de la biología, la psicología y las ciencias sociales adoptan algunas de las técnicas de análisis ciego que ahora son comunes en algunos campos de la física.
"Cada vez hay más pruebas de que una gran fracción de los resultados publicados en muchos campos, incluida la medicina, no se sostienen bajo los intentos de replicación, y que la proporción de resultados publicados 'estadísticamente significativos' es demasiado buena para ser cierta,dados los tamaños de muestra existentes ", dijo MacCoun." ¿Qué está causando esto? Muchos factores, pero gran parte tiene que ver con sesgos de confirmación que apilan el mazo a favor de una hipótesis preferida ".
Perlmutter dijo que la física de partículas y la cosmología, campos que emplean aceleradores de partículas y telescopios para formular algunas de las mismas preguntas físicas fundamentales, adoptaron el análisis ciego hace más de una década para evitar que las expectativas de los experimentadores afecten sus conclusiones. Esto sucediódespués de que el fallecido físico Richard Feynman y otros notaron que los estudios se confirmaban entre sí con más frecuencia de lo que cabría esperar, lo que sugiere un sesgo de confirmación en los estudios publicados.
"Existe evidencia clara en la literatura de que las personas tienden a buscar los errores en sus análisis solo cuando obtienen un resultado o efecto sorprendente", dijo Perlmutter. "Esto lleva a que las personas reexaminen sus análisis, y dado que haya menudo enfoques alternativos y / o errores ocultos sutiles, las conclusiones finales generalmente terminan más en línea con los resultados anteriores ".
"Además, también existe un sesgo hacia la interpretación de las fluctuaciones aleatorias en los datos como significativas si respaldan alguna teoría que usted tiene", dijo. "En el análisis ciego, no deja que nadie que esté trabajando en el análisis veacualquiera de los resultados científicos relevantes hasta que hayan depurado todas sus técnicas de análisis y hayan verificado todos los cálculos y las decisiones analíticas que desean verificar "
Ocultar datos de investigadores
El análisis ciego no es lo mismo que los estudios doble ciego en medicina, donde los experimentadores y el paciente se mantienen en la oscuridad sobre qué medicamento recibió el paciente, para no influir en sus observaciones u obtener un efecto placebo.
En cambio, en un análisis a ciegas, la computadora o un colega oculta la identidad de los datos o cambia sus valores en una cantidad oculta mientras se realiza, depura y finaliza el análisis de la computadora. Como resultado, los investigadores no saben cómode sus decisiones sobre el análisis y sus verificaciones y depuración afectará el resultado. Solo al final se informa a los investigadores de la verdadera identidad de los datos.
"Obliga a las personas a pensar en cualquier fuente de errores, ya sea que obtengan o no un resultado sorprendente", dijo Perlmutter. "El cegamiento podría ser tan poco tecnológico como pedirle a su colega en el pasillo que aleatorice las etiquetas en los diferentesgrupos en tu experimento "
Debido a que los físicos de partículas y algunos cosmólogos comenzaron a usar el análisis ciego antes que la mayoría de los científicos en otros campos, dijo Perlmutter, estaba intrigado al saber que los científicos sociales ya no estaban usando la técnica.
curso "Grandes Ideas"
Esta comprensión se produjo mientras él y MacCoun estaban enseñando un curso de pregrado, "Sentido y sensibilidad y ciencia", con el profesor de filosofía John Campbell. Debutó en 2013 y enseñó cada primavera, este curso de "Grandes ideas" se centra en el pensamiento crítico,las fuentes de autoridad de la ciencia en una sociedad democrática y las formas en que nos engañamos al resolver problemas.
Una vez que MacCoun y Perlmutter se dieron cuenta de que el análisis ciego utilizado en física podría ayudar a eliminar muchas fuentes de sesgo de los investigadores de la investigación en ciencias sociales, los dos escribieron un capítulo del libro y luego fueron invitados a ser coautores de un comentario Naturaleza . En su artículo de la revista, abordan los argumentos contra el análisis ciego: que es demasiado problema o que pondría en peligro a los pacientes durante los ensayos clínicos, e instan a la difusión de las mejores prácticas para que sea ampliamente accesible.
"El análisis ciego es particularmente valioso para temas de investigación altamente politizados y para preguntas empíricas que surgen en litigios", dijo MacCoun, señalando que algunos laboratorios forenses ya están comenzando a adoptar métodos simples de análisis ciego ". Y en algunos casos, los testigos expertos podríanaplicar sus métodos analíticos preferidos a los datos cegados, lo que aumentaría enormemente la credibilidad de sus conclusiones "
Los dos también proponen que las agencias de financiación ofrezcan subvenciones complementarias para alentar a los investigadores a incorporar y probar métodos de cegamiento en sus proyectos de investigación financiados, y que los proveedores de software estadístico consideren incorporar algoritmos de cegamiento en sus paquetes de análisis de datos.
Fuente de la historia :
Materiales proporcionado por Universidad de California - Berkeley . Original escrito por Robert Sanders. Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cite esta página :