Por qué los algoritmos muestran la violencia hacia los niños

Era el año 2022 y Cai, que entonces tenía 16 años, estaba navegando en su teléfono. Dice que uno de los primeros videos que vio en sus redes sociales era de un perro adorable. Pero luego todo dio un giro.

Dice que “de la nada” le recomendaron videos de alguien atropellado, un monólogo de un influencer que compartía opiniones misóginas y clips de peleas violentas. Se preguntó: ¿por qué yo?

En Dublín, Andrew Kaung trabajaba como analista de seguridad de los usuarios en TikTok, cargo que ocupó durante 19 meses, desde diciembre de 2020 hasta junio de 2022.

Cai afirma que él y un colega decidieron examinar qué usuarios del Reino Unido estaban siendo recomendados por los algoritmos de la aplicación, incluidos algunos jóvenes de 16 años. Poco antes, había trabajado para la empresa rival Meta, propietaria de Instagram, otro de los sitios que utiliza Cai.

Cuando Andrew vio el contenido de TikTok, se alarmó al descubrir que a algunos adolescentes se les mostraban publicaciones que presentaban violencia y pornografía y promovían opiniones misóginas, le dice a BBC Panorama. Dice que, en general, a las adolescentes se les recomendaba contenido muy diferente en función de sus intereses.

TikTok y otras empresas de redes sociales utilizan herramientas de inteligencia artificial para eliminar la gran mayoría de contenido dañino y marcar otros contenidos para que los revisen moderadores humanos, independientemente de la cantidad de vistas que hayan tenido. Pero las herramientas de inteligencia artificial no pueden identificar todo.

Andrew Kaung dice que durante el tiempo que trabajó en TikTok, todos los videos que no fueron eliminados o marcados a moderadores humanos por IA (o reportados por otros usuarios a moderadores) solo serían revisados ​​nuevamente de forma manual si alcanzaban un cierto umbral.

Dice que en un momento dado se estableció que el número de visualizaciones fuera de 10.000 o más. Temía que esto significara que algunos usuarios más jóvenes estaban siendo expuestos a vídeos dañinos. La mayoría de las principales empresas de redes sociales permiten que se registren personas de 13 años o más.

TikTok afirma que el 99% del contenido que elimina por infringir sus normas es eliminado por la IA o por moderadores humanos antes de que alcance las 10.000 visualizaciones. También afirma que lleva a cabo investigaciones proactivas sobre los vídeos con menos de esa cantidad de visualizaciones.

Andrew Kaung afirma que, cuando trabajó en Meta entre 2019 y diciembre de 2020, había un problema diferente. Afirma que, si bien la mayoría de los videos fueron eliminados o marcados para los moderadores por herramientas de inteligencia artificial, el sitio dependía de que los usuarios denunciaran otros videos una vez que ya los habían visto.

Dice que planteó sus inquietudes mientras estaba en ambas empresas, pero que se encontró con una inacción principalmente por temor a la cantidad de trabajo que implicaba o el costo. Dice que posteriormente se hicieron algunas mejoras en TikTok y Meta, pero dice que los usuarios más jóvenes, como Cai, quedaron en riesgo mientras tanto.

Varios ex empleados de las empresas de redes sociales le dijeron a la BBC que las preocupaciones de Andrew Kaung eran consistentes con su propio conocimiento y experiencia.

Los algoritmos de todas las principales empresas de redes sociales han estado recomendando contenido dañino a los niños, incluso de manera involuntaria, según le dice el regulador británico Ofcom a la BBC.

“Las empresas han hecho la vista gorda y han tratado a los niños como tratan a los adultos”, afirma Almudena Lara, directora de desarrollo de políticas de seguridad en línea de Ofcom.

TikTok le dijo a la BBC que tiene configuraciones de seguridad para adolescentes “líderes en la industria” y emplea a más de 40.000 personas que trabajan para mantener seguros a los usuarios. Dijo que solo este año espera invertir “más de $2 mil millones (£1.5 mil millones) en seguridad”, y del contenido que elimina por infringir sus reglas, el 98% lo hace de manera proactiva.

Meta, propietaria de Instagram y Facebook, dice que tiene más de 50 herramientas, recursos y funciones diferentes para brindarles a los adolescentes “experiencias positivas y apropiadas para su edad”.

Cai le dijo a la BBC que intentó usar una de las herramientas de Instagram y una similar en TikTok para decir que no estaba interesado en contenido violento o misógino, pero dice que le siguieron recomendando.

Le interesa la UFC, el Ultimate Fighting Championship. También se encontró viendo videos de influencers controvertidos cuando se los enviaban, pero dice que no quería que le recomendaran este contenido más extremo.

“Se te mete una imagen en la cabeza y no puedes sacártela de ahí. [It] “Te mancha el cerebro y piensas en ello durante el resto del día”, dice.

A las chicas que conoce y que tienen su misma edad les han recomendado vídeos sobre temas como música y maquillaje en lugar de violencia, dice.

Mientras tanto, Cai, que ahora tiene 18 años, dice que todavía le envían contenido violento y misógino tanto en Instagram como en TikTok.

Cuando nos desplazamos por sus Reels de Instagram, encontramos una imagen que se burla de la violencia doméstica. Muestra a dos personajes uno al lado del otro, uno de los cuales tiene moretones, con el texto: “Mi lenguaje del amor”. Otra muestra a una persona atropellada por un camión.

Cai dice que ha notado que los videos con millones de “me gusta” pueden ser persuasivos para otros jóvenes de su edad.

Por ejemplo, dice que uno de sus amigos se sintió atraído por el contenido de un influencer controvertido y comenzó a adoptar puntos de vista misóginos.

Su amigo “fue demasiado lejos”, dice Cai. “Empezó a decir cosas sobre las mujeres. Es como si tuvieras que darle a tu amigo una dosis de realidad”.

Cai dice que ha comentado publicaciones para decir que no le gustan y, cuando ha marcado «me gusta» en videos sin querer, ha intentado deshacerlo con la esperanza de que eso restablezca los algoritmos. Pero dice que ha terminado con más videos ocupando sus feeds.

Entonces, ¿cómo funcionan realmente los algoritmos de TikTok?

Según Andrew Kaung, el combustible de los algoritmos es la interacción, independientemente de si esta es positiva o negativa. Eso podría explicar en parte por qué los esfuerzos de Cai por manipular los algoritmos no funcionaron.

El primer paso que deben dar los usuarios es especificar algunos gustos e intereses al registrarse. Andrew afirma que parte del contenido que los algoritmos ofrecen inicialmente a, por ejemplo, un joven de 16 años, se basa en las preferencias que ellos mismos dan y en las preferencias de otros usuarios de una edad similar en una ubicación similar.

Según TikTok, los algoritmos no se basan en el género del usuario, pero Andrew dice que los intereses que los adolescentes expresan cuando se registran suelen tener el efecto de dividirlos en función del género.

El ex empleado de TikTok dice que algunos chicos de 16 años podrían estar expuestos a contenido violento «de inmediato», porque otros usuarios adolescentes con preferencias similares han expresado interés en este tipo de contenido, incluso si eso solo significa pasar más tiempo en un video que capta su atención por un poco más de tiempo.

Los intereses indicados por muchas adolescentes en los perfiles que examinó –“cantantes pop, canciones, maquillaje”– hicieron que no se les recomendara este contenido violento, afirma.

Dice que los algoritmos utilizan “aprendizaje de refuerzo”, un método en el que los sistemas de IA aprenden por ensayo y error, y se entrenan para detectar comportamientos ante diferentes vídeos.

Andrew Kaung dice que están diseñados para maximizar la participación al mostrarte videos que esperan que mires por más tiempo, comentes o les des «Me gusta», todo para que vuelvas por más.

El algoritmo que recomienda contenido a la página “Para ti” de TikTok, dice, no siempre diferencia entre contenido dañino y no dañino.

Según Andrew, uno de los problemas que identificó cuando trabajaba en TikTok fue que los equipos involucrados en el entrenamiento y codificación de ese algoritmo no siempre sabían la naturaleza exacta de los videos que recomendaba.

“Ven la cantidad de espectadores, la edad, la tendencia, ese tipo de datos muy abstractos. No necesariamente estarían expuestos al contenido”, me dice el exanalista de TikTok.

Por eso, en 2022, él y un colega decidieron analizar qué tipos de vídeos se recomendaban a una variedad de usuarios, incluidos algunos jóvenes de 16 años.

Dice que les preocupaba el contenido violento y dañino que se mostraba a algunos adolescentes, y propuso a TikTok que actualizara su sistema de moderación.

Querían que TikTok etiquetara claramente los videos para que todos los que trabajaban allí pudieran ver por qué eran dañinos (violencia extrema, abuso, pornografía, etc.) y contratar más moderadores que se especializaran en estas diferentes áreas. Andrew dice que sus sugerencias fueron rechazadas en ese momento.

TikTok afirma que en ese momento contaba con moderadores especializados y que, a medida que la plataforma ha crecido, ha seguido contratando a más. También afirmó que separó diferentes tipos de contenido dañino (en lo que llama colas) para los moderadores.

Panorama: ¿Podemos vivir sin nuestros teléfonos?

¿Qué ocurre cuando se les quita el teléfono inteligente a los niños durante una semana? Con la ayuda de dos familias y muchas cámaras remotas, Panorama lo descubre. Y ante los llamados a prohibir el uso de teléfonos inteligentes a los niños, Marianna Spring habla con padres, adolescentes y personas de las redes sociales para investigar si el contenido que se les envía a sus canales les está haciendo daño.

Míralo el lunes en BBC One a las 20:00 BST (20:30 en Escocia) o en BBC iPlayer (Solo Reino Unido)

Andrew Kaung dice que desde dentro de TikTok y Meta le resultó muy difícil realizar los cambios que creía necesarios.

“Le estamos pidiendo a una empresa privada cuyo interés es promocionar sus productos que se modere, lo que es como pedirle a un tigre que no te coma”, afirma.

También dice que cree que la vida de los niños y adolescentes sería mejor si dejaran de usar sus teléfonos inteligentes.

Pero para Cai, prohibirles a los adolescentes el uso de teléfonos móviles o de las redes sociales no es la solución. Su teléfono es parte integral de su vida: una forma muy importante de chatear con amigos, navegar cuando está fuera de casa y pagar cosas.

En cambio, quiere que las empresas de redes sociales escuchen más lo que los adolescentes no quieren ver y que hagan más efectivas las herramientas que permiten a los usuarios indicar sus preferencias.

«Siento que las empresas de redes sociales no respetan tu opinión siempre y cuando les haga ganar dinero», me dice Cai.

En el Reino Unido, una nueva ley obligará a las empresas de redes sociales a verificar las edades de los niños y a prohibir que los sitios recomienden pornografía u otros contenidos nocivos a los jóvenes. El organismo regulador de los medios de comunicación del Reino Unido, Ofcom, es el encargado de hacerla cumplir.

Almudena Lara, directora de desarrollo de políticas de seguridad en línea de Ofcom, dice que si bien el contenido dañino que afecta predominantemente a mujeres jóvenes (como los videos que promueven trastornos alimentarios y autolesiones) ha estado justamente en el centro de atención, las vías algorítmicas que impulsan el odio y la violencia principalmente a los adolescentes y hombres jóvenes han recibido menos atención.

“Suele ser una minoría [children] “Son aquellos que se ven expuestos a los contenidos más dañinos. Pero sabemos, sin embargo, que una vez que se está expuesto a ese contenido dañino, se vuelve inevitable”, dice la Sra. Lara.

Ofcom dice que puede multar a las empresas y emprender acciones penales si no hacen lo suficiente, pero las medidas no entrarán en vigor hasta 2025.

TikTok dice que utiliza “tecnología innovadora” y ofrece configuraciones de seguridad y privacidad “líderes en la industria” para adolescentes, incluidos sistemas para bloquear contenido que puede no ser adecuado, y que no permite la violencia extrema ni la misoginia.

Meta, propietaria de Instagram y Facebook, afirma que cuenta con más de “50 herramientas, recursos y funciones diferentes” para ofrecer a los adolescentes “experiencias positivas y apropiadas para su edad”. Según Meta, busca la opinión de sus propios equipos y los posibles cambios de políticas pasan por un proceso sólido.