Trolls de encuestas, encuestas voluntarias y la nueva era de la ciencia de las encuestas
Aquí Yves. Uno de mis trabajos de verano en la universidad fue realizar investigaciones mediante encuestas, por lo que tengo un sesgo de la vieja escuela en cuanto al valor de este tipo de recopilación de información y la importancia de hacerlo bien. El siguiente artículo describe cómo este proceso puede corromperse, ya sea por accidente de diseño.
Por Teresa Carr, periodista de investigación radicada en Colorado y autora de Undark’s Cuestiones de hecho Columna. Publicada originalmente en oscuro
El pasado mes de diciembre, una iniciativa conjunta encuesta Según la encuesta, realizada por The Economist y la organización de encuestas YouGov, se ha descubierto una sorprendente tendencia antisemita entre la juventud estadounidense. Uno de cada cinco jóvenes estadounidenses cree que el Holocausto es un mito, y el 28 por ciento piensa que los judíos en Estados Unidos tienen demasiado poder.
“Nuestra nueva encuesta arroja un resultado alarmante” declarado The Economist. Los resultados inflamaron el discurso sobre la guerra entre Israel y Hamás. social medios de comunicación y fue noticia internacional.
Había un problema: la encuesta estaba casi segura de que estaba equivocada. La encuesta de The Economist/YouGov era una llamada encuesta de participación voluntaria, en la que los encuestadores a menudo pagan a personas que han reclutado en línea para que respondan las encuestas. Según un estudio reciente análisis Según un informe del Pew Research Center, una organización sin fines de lucro, dichas encuestas están plagadas de “encuestados falsos” que responden preguntas de manera hipócrita por diversión o para completar la encuesta lo más rápido posible y ganar su recompensa.
En el caso de la encuesta sobre antisemitismo, el análisis de Pew sugirió que los métodos del equipo de The Economist/YouGov habían arrojado cifras enormemente infladas. En una encuesta más rigurosa que planteaba algunas de las mismas preguntas, Pew descubrió que sólo el 3 por ciento de los jóvenes estadounidenses estaba de acuerdo con la afirmación de que “el Holocausto es un mito”.
Estos son tiempos extraños para la ciencia de las encuestas. Las encuestas tradicionales, que se basan en respuestas de un grupo seleccionado al azar que representa a toda la población, siguen siendo el estándar de oro para medir la opinión pública, dijo el politólogo de Stanford Jon Krosnick. Pero a medida que se ha vuelto más difícil llegar a las personas por teléfono, las tasas de respuesta se han desplomado y la ejecución de esas encuestas se ha vuelto exponencialmente más costosa. Mientras tanto, han proliferado encuestas en línea más baratas y menos precisas.
«Desafortunadamente, el mundo está viendo muchos más métodos no científicos que se presentan como si fueran científicos», dijo Krosnick.
Mientras tanto, algunos encuestadores defienden esos métodos de participación voluntaria y dicen que las encuestas tradicionales tienen sus propios problemas serios. El muestreo aleatorio es un gran método científico, coincidió el colega de Krosnick en Stanford, Douglas Rivers, científico jefe de YouGov. Pero hoy en día, dijo, sufre la realidad de que casi todos los contactados se niegan a participar. Los encuestadores subestimaron sistemáticamente el apoyo a Donald Trump en 2016 y 2020, señaló, porque no lograron escuchar a suficientes votantes. Si bien los controles de calidad laxos para los encuestados más jóvenes, cada vez más estrictos, llevaron a resultados engañosos en la encuesta sobre antisemitismo, el historial general de YouGov es bueno, dijo Rivers: «Somos competitivos con cualquiera que esté haciendo encuestas electorales».
Sin embargo, siguen proliferando titulares tan escandalosos como inverosímiles: el 7 por ciento de los adultos estadounidenses pensarLa leche con chocolate proviene de vacas marrones; el 10 por ciento de los graduados universitarios pensar La jueza Judy está en la Corte Suprema; y el 4 por ciento de los adultos estadounidenses (alrededor de 10 millones de personas) bebió o hizo gárgaras blanqueador para prevenir el Covid-19. Y aunque YouGov es una de las encuestadoras opt-in más respetadas, algunos de sus hallazgos (un tercio de los jóvenes millennials no estoy seguroLa Tierra es redonda, por ejemplo. ¡Pon a prueba tu credulidad!
En medio de un mar de estudios, es difícil distinguir los hallazgos sólidos de los que se disuelven bajo el escrutinio. Y esa confusión, dicen algunos expertos, refleja problemas profundamente arraigados con los nuevos métodos en el campo, desarrollados en respuesta a una era moderna en la que una muestra representativa del público ya no contesta el teléfono.
Es probable que la cambiante evolución de la ciencia de las encuestas reciba nueva atención a medida que se intensifican las elecciones de 2024, sobre todo porque las consecuencias de encuestas fallidas o engañosas pueden ir mucho más allá de las ciencias sociales. Este tipo de «cebo de clics en las encuestas» erosiona la autoestima de la sociedad, dijo el politólogo Sunshine Hillygus de la Universidad de Duke: «socava la confianza de la gente en que el público estadounidense es capaz de autogobernarse».
El veterano encuestador Gary Langer compara los métodos tradicionales de encuestas aleatorias, conocidos como encuestas de probabilidad, con sumergir un cucharón en una olla de sopa minestrone bien revuelta. “Podemos mirar adentro y ver algunos frijoles cannellini, un poco de escarola y trozos de tomate”, dijo. «Obtenemos una buena representación de lo que hay en la sopa».
No importa si el bote es del tamaño del Yankee Stadium, dijo. Si el contenido está bien mezclado, un cucharón es suficiente para determinar lo que contiene. Por eso, las encuestas de probabilidad de 1.000 personas pueden, en teoría, representar lo que piensa todo el país.
El problema es que obtener una muestra verdaderamente representativa es prácticamente imposible, dijo Douglas Rivers de YouGov, quien señaló que hoy en día una buena tasa de respuesta a una encuesta aleatoria es del 2 por ciento.
Pew dedica un gran esfuerzo a mantener un panel aleatorio de unas 10.000 personas dispuestas a participar en las encuestas. Para el reclutamiento anual más reciente, la organización envió cartas a una selección aleatoria de 13.500 direcciones residenciales obtenidas del Servicio Postal de Estados Unidos, y recibió alrededor de 4.000 respuestas, según la investigadora de Pew Courtney Kennedy. Solo invitan a una cuarta parte de los encuestados a participar en el panel. De lo contrario, explicó Kennedy, el panel estaría desbordado por el tipo de personas más dispuestas a participar en las encuestas. Al final, terminaron con 933 nuevos reclutas.
Algunos grupos —en particular los jóvenes, las personas de color y aquellos que no fueron a la universidad— son generalmente más reacios a participar en las encuestas, dijo Kennedy: ahí es donde pierden al representante perfecto. Como cualquier otro encuestador, dijo, Pew ajusta sus datos, dando más peso a las respuestas de aquellos subrepresentados en la muestra, de modo que los resultados representen al país en términos de demografía como edad, género, raza, nivel educativo y afiliación política.
Pero esos métodos de ponderación son imperfectos. Y las personas en una encuesta todavía no son representativas al menos en un sentido: son los estadounidenses que están dispuestos a responder al mensaje de un encuestador. Esas dificultades han provocado una revolución silenciosa en la investigación por encuestas durante las últimas dos décadas.
En 2000, casi todos los encuestadores simplemente llamaban a la gente por teléfono, según un estudio de Pew de 2023. estudiar Pero el uso de llamadas telefónicas por sí solas se desplomó a partir de 2012, mientras que las encuestas en línea con opción de participación, como la de The Economist/YouGov, una de las principales formas de lo que se conoce como encuestas no probabilísticas, se dispararon.
Las encuestas no probabilísticas no revuelven el caldero para que cada ingrediente tenga la misma probabilidad de ser seleccionado, sino que recogen lo que se conoce como una muestra de conveniencia de los encuestados, que normalmente se recluta en línea. Las encuestadoras que optan por participar difieren en la forma en que reclutan y seleccionan a los participantes, y no siempre son transparentes en cuanto a sus métodos. Una vez que han reunido a un grupo de participantes, los encuestadores pueden ponderar la muestra para que coincida con la población estadounidense en general. Pero es mucho más difícil ponderar con precisión las encuestas no probabilísticas, ya que hay menos información sobre cómo se comparan las personas que optan por participar en las encuestas con el público en general.
«El muestreo probabilístico tiende a producir muestras más representativas que los enfoques no probabilísticos», escribió Kennedy en un correo electrónico.
Sin embargo, las encuestas no probabilísticas suelen ser mucho más baratas que las de probabilidad. Como los estadounidenses han dejado de usar sus teléfonos fijos y de responder a llamadas de desconocidos en sus móviles, contactar con la gente requiere mucho más tiempo y esfuerzo que antes. Como resultado, según la politóloga de la Universidad de Duke Sunshine Hillygus, si bien puede costar tan solo un dólar por respuesta realizar una encuesta breve en línea con opción de participación, puede costar entre 50 y 500 veces más que eso una encuesta de muestra aleatoria de alta calidad.
Para crear un grupo de personas que participen en encuestas de suscripción voluntaria, las empresas de sondeos reclutan a través de anuncios que aparecen en las redes sociales, los motores de búsqueda de Internet e incluso durante los videojuegos, ofreciendo dinero en efectivo o recompensas por completar las encuestas, dijo Kennedy. YouGov, por ejemplo, paga a las personas en puntos: de 500 a 1.000, por ejemplo, por completar una encuesta corta. Con 25.000 puntos, puede canjearlos por una tarjeta de regalo de $15; con 55.000 puntos, gana $50 en efectivo.
Pew y otras empresas de encuestas que realizan encuestas aleatorias también pagan a las personas una pequeña cantidad por responder a una encuesta ocasional. Pero con las encuestas con opción de participación, responder a una encuesta puede convertirse en un trabajo de tiempo completo o parcial para muchas personas. El sitio web de búsqueda de empleo Indeed, por ejemplo, incluye en su guía de empleo empresas que pagan por encuestas. Y en la comunidad de Reddit Beer Money, que tiene 1,3 millones de miembros, la gente suele hablar de los pros (flexibilidad horaria) y los contras (salario escaso; que los excluyan con frecuencia) de responder encuestas a cambio de dinero.
Algunas de esas encuestas son para investigación académica. (Muchos artículos de psicología, por ejemplo, confiar (en encuestados pagos reclutados a través de plataformas como Amazon Mechanical Turk). Otros ayudan a las empresas con estudios de mercado o alimentan el insaciable mercado de los medios de comunicación para las encuestas.