Rechazo al pesimismo sobre los ensayos controlados aleatorios

En enero, publiqué sobre un artículo que estaba recibiendo atención en mi mundo. Megan T. Stevenson es un investigador activo en la literatura sobre justicia penal y economía.. Ella sostiene que cuando se analizan los estudios publicados que utilizan métodos de ensayos de control aleatorios para evaluar formas de reducir la delincuencia, la mayoría de los estudios no muestran un efecto significativo, y de aquellos que sí muestran un efecto significativo, el efecto a menudo no lo es. t replicado en estudios de seguimiento. Ella reflexiona sobre este hallazgo en “Causa, efecto y estructura del mundo social” (próximamente en el Revisión de derecho de la Universidad de Boston cuando estén ultimando los últimos números de 2023, pp. 2001-2027, pero ya disponibles en el sitio web de la Revista).

Este ensayo resulta desalentador. Así, los editores de Ciudad vital revista en línea Pidió a una docena de científicos sociales que reaccionaran. Estas son algunas de las reacciones de algunos de los ensayos que me llamaron la atención:

Al estudiar políticas para problemas de larga data, como reducir el crimen o mejorar la educación, debemos esperar que los resultados sean a menudo negativos, porque así es la realidad, un caso presentado por Sharon Gleid. Ella escribe:

La mayoría de las ideas nuevas fracasan. Cuando se prueban, muestran resultados nulos y, cuando se replican, los hallazgos aparentes desaparecen. Esta es una verdad que de ninguna manera se limita a la política social. Los ECA de ciencias sociales se basan en la investigación médica, pero menos del 2% de todos los medicamentos investigados por académicos en ensayos preclínicos finalmente se aprueban para su venta. Un estudio reciente encontró que sólo 1 de cada 5 medicamentos que tuvieron éxito después de los ensayos de la Etapa 1 lograron pasar el proceso de aprobación de la FDA.

Incluso después de que se aprueba la venta de los medicamentos al finalizar el complejo proceso de la FDA (que involucra múltiples ECA), a menudo surge nueva evidencia que pone en duda esos resultados iniciales. Hay una 1 en 3 posibilidades que un medicamento aprobado es Se le asigna una advertencia de recuadro negro o una precaución similar después de la aprobación.. Y en la mayoría de los casos, la eficacia de un fármaco en entornos del mundo real, donde lo prescriben médicos acosados ​​y lo toman pacientes distraídos, es mucho menor que su efectividad en entornos de pruebadonde el equipo de investigación se centra singularmente en garantizar que el ensayo cumpla con las condiciones del patrocinador, o donde un investigador académico se centra en publicar un artículo de primera clase. La mayoría de las veces, las nuevas ideas y productos tampoco funcionan en el mundo físico, y eso es muy bueno, o estaríamos cambiando todo todo el tiempo…

Por el contrario, la mayoría de los problemas de las ciencias sociales son muy, muy antiguos, y las ideas que tenemos para abordarlos generalmente emplean tecnologías que han existido durante mucho tiempo. Nuestros antepasados ​​no eran todos tontos: si estas estrategias tuvieran éxito, es casi seguro que ya se habrían implementado (y muchas lo han hecho, por lo que las damos por sentado). Operar cerca del margen factible significa reconocer que, incluso cuando funcionan, es probable que las intervenciones tengan efectos muy modestos. … Sería preocupante si existieran intervenciones de justicia penal importantes y efectivas que hayamos pasado por alto durante siglos. Quizás deberíamos comenzar nuestro análisis reconociendo que nos apoyamos en los hombros de siglos de reformadores sociales y estamos operando bastante cerca del margen factible.

Es inverosímil esperar un cambio transformador a partir de un ensayo aleatorio, pero los beneficios incrementales pueden ser reales y significativos. argumenta Aaron Chalfin.

[W]¿Por qué deberíamos esperar que los experimentos aleatorios produzcan evidencia de un cambio social transformacional? Ese parece un estándar imposible dado que nuestro mundo está moldeado por la naturaleza humana y una variedad de limitaciones sociales y políticas implacables. Si el cambio es difícil y la mayoría de las intervenciones no logran cambiar el mundo de manera transformadora, entonces es lógico que la evidencia de ensayos controlados aleatorios (ECA) refleje esta verdad aparentemente fundamental. El hecho de que la mayor parte de la evidencia de los ECA esté asociada con impactos modestos, en el mejor de los casos, coincide con nuestra comprensión de la estructura del mundo social y sirve como señal de que la evidencia de la investigación, en lugar de estar sujeta a sesgos de los investigadores, es creíble. … ¿Es una mejora del 5% o del 10% en un problema determinado una transformación, o la única transformación verdadera es un resultado mucho mayor que eso? Más concretamente, ¿por qué la transformación, que está en el ojo de quien mira, es el estándar al que debemos adherirnos? … De hecho, muchas de las cosas que probamos no hacen mucha diferencia. Pero al mismo tiempo, los ECA también han conducido a un aprendizaje genuino, tanto sobre lo que falla como sobre lo que tiene éxito.

Las reformas incrementales positivas ocurren con el tiempo y, de hecho, pueden ser mejores que lanzarse a un cambio de gran alcance desconocido. argumentan Philip J. Cook y Jens Ludwig.

En estos tiempos hiperpolarizados, existe una opinión cada vez mayor de que la calidad de vida no se puede mejorar mediante intervenciones políticas modestas que sean limitadas en cuanto a alcance y escala. Desde este punto de vista, las intervenciones deben ser audaces y amplias, o el status quo inevitablemente se reafirmará. Por supuesto, la base empírica para intervenciones “audaces y amplias” a menudo es inexistente, por lo que lo que realmente se defiende es un salto gigante hacia lo desconocido, lo que podríamos llamar, a falta de un término mejor, el “sólo se vive una vez”. (YOLO) enfoque de la política. No estamos de acuerdo.

Ludwig y Cook señalan ejemplos de éxito, incluida la extensión gradual de la asistencia obligatoria a la escuela K-12, o un programa en Chicago que redujo la violencia entre los hombres jóvenes con una combinación de asesoramiento conductual y mentores.

Tal vez el método del ensayo de control aleatorio no debería considerarse como la metodología “estándar de oro” para la evidencia causal, como argumentó Anna Harvey.

Para aquellos que no están familiarizados con la idea de un “ensayo de control aleatorio”, la idea básica es que un grupo de personas se divide al azar. Algunos obtienen acceso al programa o a la intervención o reciben un trato determinado, mientras que otros no. Debido a que el grupo se dividió al azar, un investigador puede simplemente comparar los resultados entre el grupo tratado y no tratado. Este enfoque a veces se denomina metodología “estándar de oro”, porque es sencillo y persuasivo. Pero claro, ningún método es infalible. Siempre se pueden hacer preguntas como: «¿Fue realmente aleatorio?» “¿Hubo alguna persona carismática involucrada en el tratamiento de una manera que no se trasladará a proyectos futuros?” «¿El tamaño de la muestra fue lo suficientemente grande como para obtener un resultado confiable?» “¿El investigador estudió varios tratamientos, en varios grupos, pero luego solo publicó los pocos resultados que parecían estadísticamente significativos?”

Harvey señala que existen varios métodos “cuasi-experimentales” en los que la aleatoriedad no está diseñada por un estudio de investigación, sino que surge de una situación. Por ejemplo, algunos programas públicos se implementan en diferentes lugares en diferentes momentos, y si el lanzamiento es aleatorio, se pueden comparar entre esos lugares. A veces, un programa está configurado para que todos aquellos que estén por encima de un determinado puntaje puedan ingresar a un programa, mientras que otros por debajo de ese puntaje no pueden. Comparar a aquellos que están apenas por encima del punto de referencia con aquellos que apenas están por debajo de él, que probablemente sean bastante similares en otros aspectos, puede ofrecer una comparación útil. Se puede observar una determinada línea de tendencia antes y después de un evento determinado y ver si ha cambiado.

Los estudios pueden generar beneficios para los participantes en términos de exponerlos a conocimientos y experiencias que de otro modo no habrían tenido. argumenta John Maki.

No puedo pensar en una reforma en la que haya trabajado en la que el proceso no fuera tan valioso, o incluso más, que los resultados que produjo. Por ejemplo, cuando dirigí la agencia de investigación y concesión de subvenciones para la seguridad pública del estado de Illinois de 2015 a 2019, mis colegas y yo creamos una oportunidad de financiación de varios años para que las ciudades de tamaño mediano implementaran programas basados ​​en evidencia para reducir la violencia armada. El premio también requirió que los beneficiarios se reunieran periódicamente con mi personal y expertos en la materia para hablar sobre sus experiencias. Si bien la financiación terminó hace varios años, todavía tengo noticias de personas que formaron parte del programa. No hablan tanto de los resultados que produjo su trabajo sino de las relaciones que construyeron con expertos que de otro modo nunca habrían conocido, lo que aprendieron sobre cómo trabajar con investigadores y donantes estatales, y lo que aprendieron sobre cómo involucrar mejor a su comunidad.