Durante la última década, los científicos sociales han estado desempacando una "crisis de replicación" que ha revelado cómo los hallazgos de un número alarmante de estudios científicos son difíciles o imposibles de repetir. Se están realizando esfuerzos para mejorar la confiabilidad de los hallazgos, pero los investigadores de psicología cognitivaen la Universidad de Massachusetts, Amherst dice que no se ha prestado suficiente atención a la validez de las inferencias teóricas hechas a partir de los resultados de la investigación.
Utilizando un ejemplo de su propio campo de investigación de memoria, diseñaron una prueba para la precisión de las conclusiones teóricas hechas por los investigadores. El estudio fue encabezado por el profesor asociado Jeffrey Starns, el profesor Caren Rotello y la estudiante de doctorado Andrea Cataldo, quien ahoracompletaron su doctorado. Compartieron la autoría con 27 equipos o investigadores individuales de psicología cognitiva que se ofrecieron como voluntarios para presentar sus conclusiones de investigación de expertos para los conjuntos de datos que les enviaron los investigadores de la Universidad de Massachusetts.
"Nuestros resultados revelan una variabilidad sustancial en los juicios de los expertos sobre los mismos datos", afirman los autores, sugiriendo un grave problema de inferencia. Los detalles se publicaron recientemente en la revista Métodos y prácticas avanzadas en ciencias psicológicas .
Starns dice que probar objetivamente si los científicos pueden hacer inferencias teóricas válidas mediante el análisis de datos es tan importante como asegurarse de que estén trabajando con patrones de datos replicables. "Queremos asegurarnos de que estamos haciendo una buena ciencia. Si queremos que las personas seancapaces de confiar en nuestras conclusiones, entonces tenemos la obligación de ganar esa confianza al demostrar que podemos sacar las conclusiones correctas en una prueba pública ".
Para este trabajo, los investigadores primero realizaron un estudio en línea para evaluar la memoria de reconocimiento de palabras, "una tarea muy estándar" en la que las personas deciden si vieron o no una palabra en una lista anterior. Los investigadores manipularon la fuerza de la memoria presentando elementos una vez, dos o tres veces y manipularon el sesgo se recuerda la disposición general para decir cosas al indicar a los participantes que tengan mucho cuidado para evitar ciertos tipos de errores, como no identificar un elemento previamente estudiado.
Starns y sus colegas estaban interesados en un complicado problema de interpretación que surge en muchos estudios de reconocimiento, es decir, la necesidad de corregir las diferencias en el sesgo al comparar el rendimiento de la memoria entre poblaciones o condiciones. Desafortunadamente, esta situación puede surgir si hay memoria para la poblaciónde interés si es igual, mejor o peor que los controles. Los investigadores de reconocimiento utilizan una serie de herramientas de análisis para distinguir estas posibilidades, algunas de las cuales existen desde la década de 1950.
Para determinar si los investigadores pueden usar estas herramientas para distinguir con precisión la memoria y el sesgo, los investigadores de UMass crearon siete conjuntos de datos de dos condiciones y los enviaron a contribuyentes sin etiquetas, pidiéndoles que indiquen si las condiciones eran o no iguales o diferentesniveles de la fuerza de la memoria o manipulaciones de sesgo de respuesta. Rotello explica: "Estos son el mismo tipo de datos con los que se enfrentarían en un experimento en sus propios laboratorios, pero en este caso sabíamos las respuestas.variar la intensidad de la memoria, sesgo de respuesta, ¿ambos o ninguno? '"
Los investigadores voluntarios de psicología cognitiva podrían usar cualquier análisis que consideren apropiado, agrega Starns, y "algunas técnicas múltiples aplicadas, o técnicas muy complejas y de vanguardia. Queríamos ver si podían hacer inferencias precisas y si podíanCalcule la incertidumbre. Podrían decir: 'Creo que hay un 20 por ciento de posibilidades de que solo haya manipulado la memoria en este experimento', por ejemplo ".
Starns, Rotello y Cataldo estaban interesados principalmente en la probabilidad reportada de que la fuerza de la memoria fuera manipulada entre las dos condiciones. Lo que encontraron fue "una enorme variabilidad entre los investigadores en lo que dedujeron de los mismos conjuntos de datos", dice Starns.En la mayoría de los conjuntos de datos, las respuestas variaron del 0 al 100 por ciento en los 27 respondedores ", agrega," eso fue lo más impactante ".
Rotello informa que aproximadamente un tercio de los que respondieron "parecían estar bien", un tercio hizo un poco mejor que adivinar, y un tercio "llegó a conclusiones engañosas". Ella agrega: "Nuestras mandíbulas cayeron cuando vimos¿Cómo es que los investigadores que han usado estas herramientas durante años podrían llegar a conclusiones completamente diferentes sobre lo que está sucediendo? "
Starns señala: "Algunas personas hicieron muchas más llamadas incorrectas de lo que deberían haber hecho. Algunas conclusiones incorrectas son inevitables con datos ruidosos, pero hicieron esas inferencias incorrectas con demasiada confianza. Pero algunos grupos hicieron tan bien como se puede esperar".. Eso fue algo alentador "
Al final, los investigadores de UMass Amherst "tuvieron una gran fiesta de revelación" y dieron a los participantes la opción de eliminar sus respuestas o eliminar sus nombres del documento, pero ninguna lo hizo. Rotello comenta: "Estoy tan impresionado de que estuvieran dispuestosponer todo en la línea, a pesar de que los resultados no fueron tan buenos en algunos casos ". Ella y sus colegas señalan que esto demuestra un fuerte compromiso para mejorar la calidad de la investigación entre sus pares".
Rotello agrega: "El mensaje aquí no es que los investigadores de memoria sean malos, sino que esta herramienta general puede evaluar la calidad de nuestras inferencias en cualquier campo. Requiere trabajo en equipo y apertura. Es tremendamente valiente lo que hicieron estos científicos, para ser públicamentemal. Estoy seguro de que fue humillante para muchos, pero si no estamos dispuestos a equivocarnos, no somos buenos científicos ". Además," nos sorprendería si los problemas de inferencia que observamos son únicos. Asumimosque otras disciplinas y áreas de investigación están en riesgo de este problema "
Fuente de la historia :
Materiales proporcionados por Universidad de Massachusetts en Amherst . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cita esta página :