Es difícil subestimar la importancia de los datos de la encuesta: nos dicen quiénes somos y, en manos de los responsables políticos, qué hacer.
Durante mucho tiempo, Brady West, experto en metodología de encuestas de la Universidad de Michigan, Ann Arbor, había demostrado que los beneficios de los datos de la encuesta coexistían con la falta de capacitación sobre cómo interpretarlos correctamente, especialmente cuando se trataba de secundariaanálisis: los investigadores vuelven a analizar los datos de la encuesta que habían sido recopilados por un estudio anterior.
"En mi trabajo de consultoría para organizaciones y empresas, la gente entraba y decía: 'Bueno, aquí está mi estimación de la frecuencia con que ocurre algo en una población', como la tasa de una enfermedad o las preferencias por un partido político.Y querrían saber cómo interpretar eso. Yo respondía: "¿Ha tenido en cuenta la ponderación en los datos de la encuesta que está utilizando, o, ha tenido en cuenta el diseño de la muestra?" Y yo diría, probablemente 90por ciento del tiempo, me miraban y no tenían idea de lo que estaba hablando. Nunca habían aprendido los principios fundamentales de trabajar con datos de encuestas en sus clases estándar de Introducción a las estadísticas ".
Como metodólogo de encuestas, West se preguntó si su experiencia era indicativa de un problema sistémico. No había mucho en la literatura académica para responder la pregunta, por lo que él y sus colegas, Joseph Sakshaug y Guy Aurelien, tomaron muestras de 250 artículos, informesy presentaciones, todas disponibles en línea, todas realizando análisis secundarios de los datos de la encuesta, para ver si estos errores analíticos eran, de hecho, comunes.
"Fue bastante impactante", dice West. "Solo aproximadamente la mitad de estos análisis afirmaron tener en cuenta la ponderación, el impacto de los diseños de muestra en las estimaciones de varianza fue ampliamente mal entendido y no hubo signos de mejora en estos problemas con el tiempo".Pero posiblemente lo peor de todo es que estos problemas fueron tan frecuentes en la literatura revisada por pares en su muestra como lo fueron en los informes técnicos y las presentaciones de la conferencia. "Eso es lo que realmente me sorprendió más", dice West.el proceso no detectaba estos errores "
Un ejemplo alarmante de lo que puede suceder cuando calcula una estimación pero ignora la ponderación de la encuesta se puede encontrar en la Encuesta Nacional de Graduados Universitarios NSCG 2010 ". Esta es una gran encuesta nacional de graduados universitarios, y literalmente dicen ensu documentación indica que están sobremuestreando individuos con títulos en ciencias e ingeniería ", dice West." Si se tiene en cuenta la ponderación, que corrige este sobremuestreo, aproximadamente el 30 por ciento de las personas obtienen títulos en ciencias e ingeniería; si se olvida deponderación, extrapola la sobremuestra a toda la población y, de repente, el 55 por ciento de las personas tienen títulos de ciencia e ingeniería ".
Irónicamente, un mejor muestreo de las poblaciones poco estudiadas puede estar exacerbando el problema. "Hay mucho interés en las poblaciones subrepresentadas, como los hispanos", dice West. "Por lo tanto, muchas encuestas nacionales exceden estos grupos y otroscrear una muestra lo suficientemente grande como para que los investigadores estudien adecuadamente. Pero cuando el Investigador Joe promedio toma todos los datos, no solo los datos de la subpoblación en la que están interesados, sino todos, blancos, afroamericanos e hispanos, y luegointentan analizar todos esos datos colectivamente, es cuando el sobremuestreo puede tener un efecto horrible en la imagen general si esa característica del diseño de la muestra no se tiene en cuenta correctamente en la estimación ".
Hay muchas herramientas de software fáciles de usar que pueden explicar fácilmente las complejidades de muestreo y ponderación asociadas con los datos de la encuesta, pero el hecho de que no se estén utilizando habla del problema subyacente.
"Este problema se origina en el hecho de que a las personas que publican estos artículos simplemente no se les dice nada de esto en su capacitación", dice West. "Hemos sabido sobre la importancia de la ponderación de encuestas durante casi un siglo, perode alguna manera, cómo manejar los datos de encuestas ponderadas no ha penetrado en las clases de estadísticas que los investigadores toman a nivel de pregrado o posgrado. Gastamos una fortuna en realizar encuestas nacionales, y quién sabe cuánto malinterpretar esos datos nos está costando ".
Para resolver ese problema, West está ayudando a diseñar un MOOC curso en línea abierto y masivo en la Universidad de Michigan introduciendo estadísticas con el software Python. La ponderación y los análisis de encuestas correctos se enseñarán en el primer curso de esa especialización ".realmente nos estamos enfocando en asegurarnos de que antes de saltar a cualquier análisis de los datos de la encuesta, tenga una comprensión realmente firme de cómo se recopilaron los datos y de dónde provienen ".
Fuente de la historia :
Materiales proporcionado por Asociación Americana de Estadística . Nota: El contenido puede ser editado por estilo y longitud.
Referencia del diario :
Cite esta página :