¿Los ensayos de control aleatorios respaldan las reformas políticas del mundo real?

Megan T. Stevenson es un investigador activo en la literatura sobre justicia penal y economía.. También ha notado un hecho desconcertante: cuando nos fijamos en los estudios publicados que utilizan métodos de ensayos de control aleatorios para evaluar formas de reducir la delincuencia, la mayoría de los estudios no muestran un efecto significativo, y de aquellos que sí muestran un efecto significativo, el efecto a menudo no se replica en estudios de seguimiento. Ella reflexiona sobre este hallazgo en “Causa, efecto y estructura del mundo social” (próximamente en el Revisión de derecho de la Universidad de Boston cuando estén ultimando los últimos números de 2023, pp. 2001-2027, pero ya disponibles en el sitio web de la Revista).

(Para aquellos que no están familiarizados con la idea de un “ensayo de control aleatorio”, la idea básica es que un grupo de personas se divide aleatoriamente. Algunas obtienen acceso al programa o a la intervención o son tratadas de cierta manera, mientras que otras no. Debido a que el grupo se dividió al azar (y se puede verificar de varias maneras si parece ser aleatorio), un investigador puede comparar los resultados entre el grupo tratado y el no tratado. Este método es, por supuesto, similar a los ensayos con medicamentos, cuando se divide al azar. Se forma un grupo y algunos reciben la medicación mientras que otros reciben un placebo. Este enfoque a veces se denomina metodología «estándar de oro», porque es sencillo y persuasivo. Pero, por supuesto, ningún método es infalible. Siempre se pueden hacer preguntas como: «¿Fue ¿Fue realmente aleatorio?» «¿Hubo alguna persona carismática involucrada en el tratamiento de una manera que no se trasladará a proyectos futuros?» «¿El tamaño de la muestra fue lo suficientemente grande como para obtener un resultado confiable?» «¿El investigador estudió un grupo de tratamientos, en varios grupos, pero luego sólo publican los pocos resultados que parecían estadísticamente significativos?”)

Como ejemplo de la evidencia sobre intervenciones para reducir el crimen, Stevenson escribe (notas a pie de página omitidas):

En 2006, dos criminólogos publicaron un artículo de encuesta de cada ECA de los cincuenta años anteriores en el que: (1) había al menos 100 participantes, (2) el estudio incluía una medida de delincuencia como resultado, y (3) el estudio fue escrito en inglés. Los autores descubrieron 122 estudios que evaluaron intervenciones como:

  • Programas de asesoramiento/terapia;
  • Supervisión legal penal, incluida la libertad condicional intensiva;
  • Programas heterosexuales asustados;
  • Programas de trabajo/formación laboral;
  • Pruebas de drogas, asesoramiento sobre abuso de sustancias y tribunal de drogas;
  • Desvío juvenil;
  • Vigilancia de los “puntos críticos”; y
  • Campamentos de entrenamiento.

Tenga en cuenta que estas intervenciones incluyen aquellas asociadas con un marco duro contra el crimen (p. ej., programas para asustar a los heterosexuales y campos de entrenamiento), así como aquellas que brindan apoyo y recursos (p. ej., programas y asesoramiento para el trabajo/capacitación laboral). Tenga en cuenta además que la inclusión en este análisis requirió que el estudio fuera escrito y difundido para que pudiera ser descubierto por los autores de la encuesta, un filtro que probablemente ya haya eliminado muchos de los resultados no estadísticamente significativos. Sin embargo, sólo 29 de los 122 estudios (24%) encontraron impactos estadísticamente significativos en la dirección deseada.

Stevenson también revisa una serie de estudios más recientes. Pero la probabilidad de obtener resultados exitosos sigue siendo baja y, lo que es peor, las posibilidades de que un resultado exitoso no sea replicado en un estudio futuro parecen altas.

Como señala Stevenson, este hallazgo recuerda lo que PPeter Rossi hace varias décadas llamó: “tLa ley de hierro de la evaluación: El valor esperado de cualquier evaluación del impacto neto de cualquier programa social a gran escala es cero”. Aquí no quiero discutir si podrían existir algunos contraejemplos sólidos a la evaluación pesimista de Stevenson. En cambio, ¿qué sugiere Stevenson que se debería aprender de este desalentador patrón de hallazgos? Parafrasearía sus argumentos de esta manera.

Si bien es atractiva la idea de que un tratamiento relativamente pequeño alterará fundamentalmente un resultado desagradable como el delito (por ejemplo, un programa de capacitación laboral o vigilancia policial en “puntos críticos”), a menudo hay razones subyacentes por las que las personas toman las decisiones que toman. Stevenson escribe: «Eso no significa que las acciones humanas nunca tengan un impacto, sino más bien que el tipo de intervenciones discretas y de alcance limitado que son el dominio principal de la investigación empírica de inferencia causal generalmente tienen un impacto limitado o no replicable».

Los efectos positivos de algunas políticas pueden ser tan obvios que no se estudian mediante un ensayo aleatorio. Por ejemplo, alimentar a los hambrientos logra el objetivo de alimentar a los hambrientos. Se podrían estudiar otros posibles efectos de dicha política sobre la delincuencia, la participación en la fuerza laboral o la dinámica familiar, y ahí es donde el ensayo de control aleatorio no encuentra efectos positivos de manera confiable. Pero los hambrientos sí fueron alimentados. Stevenson escribe:

Hay un viejo cliché que dice que si le das un pescado a un hombre, comerá durante un día; Si le enseñas a pescar, comerá toda la vida. Estos sentimientos forman la base de muchas de las intervenciones analizadas en este estudio. Estas intervenciones, diseñadas para brindar a las personas los recursos para prosperar por sí mismas, rara vez tienen un impacto grande o duradero. El cliché es erróneo, al menos cuando se trata de intervenciones de alcance limitado y conservación de sistemas. Sin embargo, sigue existiendo una forma sencilla y obvia de aliviar el daño: simplemente dar a la gente lo que necesita. Si tienen hambre, dales de comer. Si necesitan refugio, dales un hogar. Si necesitan trabajo, dales un trabajo.

Es posible que los efectos de ciertas decisiones políticas nunca se estudien mediante un ensayo de control aleatorio, porque las políticas son muy amplias. Quizás cambiar la vida de las personas requiera un conjunto de políticas sostenidas durante un largo período de tiempo y luego evaluadas después de un período aún más largo. Cuando la gente pide un cambio “sistémico”, presumiblemente tiene en mente un conjunto de cambios que no pueden captarse dividiendo un grupo al azar y tratando a una parte del grupo de una manera específica pero limitada. Pero, por supuesto, el cambio sistémico puede ser muy difícil de evaluar de antemano y puede tener resultados buenos o malos.

Finalmente, Stevenson pregunta a la comunidad de investigación en ciencias sociales si está dando demasiado énfasis al método “estándar de oro” de los ensayos controlados aleatorios, en lugar de buscar evidencia de la experiencia del mundo real. Su sensación es que los investigadores pueden tender a seguir la metodología de los ensayos de control aleatorio porque creen que es más probable que den como resultado artículos publicados, en lugar de porque sea la mejor manera de obtener una respuesta persuasiva. Para decirlo de otra manera, la evidencia persuasiva para una política puede provenir de una variedad de métodos, y los ensayos de control aleatorios son sólo uno de esos métodos.

El artículo de Stevenson me hizo pensar en Una reciente ola de investigación sobre algunos de los programas sociales implementados hace varias décadas.. Por ejemplo, el programa de cupones para alimentos se implementó, condado por condado, durante el período de 1961 a 1974. El orden en que se seleccionaron los condados estuvo determinado por consideraciones prácticas y políticas y, a efectos prácticos, puede considerarse en gran medida aleatorio. (es decir, ningún grupo en particular estuvo sistemáticamente sobrerrepresentado al estar cubierto anteriormente por el programa de sello en los pies). A esto a veces se le llama “cuasi-experimento”, refiriéndose a la idea de que algunas familias eran elegibles aleatoriamente para recibir cupones de alimentos y otras no, pero ese patrón no fue diseñado por nadie. Sin embargo, un investigador puede venir más tarde y aprovechar la aleatorización. En este caso, resulta que los niños menores de cinco años que estaban en condados que recibieron cupones de alimentos antes tuvieron efectos positivos a largo plazo en la salud de los adultos, sus ingresos y menores tasas de criminalidad, entre otros factores.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *