La crisis de las deepfakes que afecta a cientos de escuelas

El sábado pasado, un mensaje de Telegram apareció en el teléfono de Heejin de un remitente anónimo: “Se filtraron tus fotos e información personal. Hablemos”.

Cuando la estudiante universitaria entró en la sala de chat para leer el mensaje, recibió una foto de ella misma tomada hace unos años, cuando todavía estaba en la escuela. A continuación, apareció una segunda imagen con la misma foto, solo que esta era sexualmente explícita y falsa.

Aterrada, Heejin, que no es su verdadero nombre, no respondió, pero las imágenes siguieron llegando. En todas ellas, su rostro había sido unido a un cuerpo realizando un acto sexual, utilizando una sofisticada tecnología deepfake.

Los deepfakes, la mayoría de los cuales combinan el rostro de una persona real con un cuerpo falso y sexualmente explícito, se generan cada vez más utilizando inteligencia artificial.

“Me quedé petrificada, me sentí muy sola”, dijo Heejin a la BBC.

Pero ella no estaba sola.

Dos días antes, la periodista surcoreana Ko Narin había publicado lo que se convertiría en la primicia más importante de su carrera. Recientemente se había sabido que la policía estaba investigando redes de pornografía deepfake en dos de las principales universidades del país, y Ko estaba convencida de que debía haber más.

Comenzó a buscar en las redes sociales y descubrió docenas de grupos de chat en la aplicación de mensajería Telegram donde los usuarios compartían fotos de mujeres que conocían y usaban software de inteligencia artificial para convertirlas en imágenes pornográficas falsas en cuestión de segundos.

“Cada minuto la gente subía fotos de chicas que conocían y pedía que las convirtieran en deepfakes”, nos dijo Ko.

La Sra. Ko descubrió que estos grupos no solo se dirigían a los estudiantes universitarios. Había salas dedicadas a escuelas secundarias específicas e incluso a escuelas intermedias. Si se creaba mucho contenido utilizando imágenes de un estudiante en particular, incluso se le podía asignar una sala propia. Etiquetadas en términos generales como «salas de humillación» o «salas de amigos de amigos», a menudo vienen con condiciones de entrada estrictas.

El artículo de Ko publicado en el periódico Hankyoreh ha conmocionado a Corea del Sur. El lunes, la policía anunció que estaba considerando abrir una investigación sobre Telegram, siguiendo el ejemplo de las autoridades de Francia, que recientemente acusaron al fundador ruso de Telegram por delitos relacionados con la aplicación. El gobierno ha prometido imponer castigos más severos para los implicados y el presidente ha pedido que los jóvenes reciban una mejor educación.

La BBC se ha puesto en contacto con Telegram para solicitar comentarios y, si bien aún no ha respondido sobre este caso en particular, ya le había dicho a la BBC que busca de forma proactiva actividades ilegales, incluido el abuso sexual infantil, en su sitio. Dijo que se tomaron medidas no reveladas contra 45.000 grupos en todo el mundo, solo en agosto.

La BBC ha visto las descripciones de varias de estas salas de chat. En una de ellas se pide a los miembros que publiquen más de cuatro fotografías de una persona junto con su nombre, edad y la zona en la que vive.

“Me sorprendió lo sistemático y organizado que era el proceso”, dijo la Sra. Ko. “Lo más horrible que descubrí fue un grupo de alumnos menores de edad en una escuela que tenía más de 2.000 miembros”.

En los días posteriores a la publicación del artículo de la Sra. Ko, los activistas por los derechos de las mujeres también comenzaron a recorrer Telegram y a seguir pistas.

Al final de esa semana, se habían identificado como objetivos de los ataques a más de 500 escuelas y universidades. El número exacto de víctimas aún no se ha determinado, pero se cree que muchas de ellas son menores de 16 años, la edad de consentimiento en Corea del Sur. Una gran proporción de los presuntos autores son adolescentes.

Heejin dijo que enterarse de la magnitud de la crisis empeoró su ansiedad, ya que ahora le preocupaba cuántas personas podrían haber visto sus deepfakes. Al principio se culpó a sí misma. “No podía dejar de pensar: ¿esto sucedió porque subí mis fotos a las redes sociales? ¿Debería haber sido más cuidadosa?”.

Desde entonces, decenas de mujeres y adolescentes en todo el país han eliminado sus fotos de las redes sociales o han desactivado sus cuentas por completo, por temor a que puedan ser explotadas en el futuro.

“Estamos frustrados y enojados por tener que censurar nuestro comportamiento y nuestro uso de las redes sociales cuando no hemos hecho nada malo”, dijo Ah-eun, una estudiante universitaria cuyos compañeros han sido objeto de ataques.

Ah-eun dijo que la policía le dijo a una víctima de su universidad que no se molestara en investigar su caso porque sería muy difícil atrapar al perpetrador y que «en realidad no era un delito» porque «las fotos eran falsas».

En el centro de este escándalo se encuentra la aplicación de mensajería Telegram. A diferencia de los sitios web públicos, a los que las autoridades pueden acceder fácilmente y luego solicitar que se eliminen las imágenes, Telegram es una aplicación de mensajería privada y cifrada.

Los usuarios suelen ser anónimos, las salas pueden configurarse en modo “secreto” y su contenido puede eliminarse rápidamente sin dejar rastro, lo que las ha convertido en un espacio privilegiado para el desarrollo de actividades delictivas.

La semana pasada, los políticos y la policía respondieron contundentemente, prometiendo investigar estos crímenes y llevar a los perpetradores ante la justicia.

El lunes, la Agencia de Policía Nacional de Seúl anunció que buscaría investigar a Telegram por su papel en permitir la distribución de imágenes pornográficas falsas de niños.

El fundador de la aplicación, Pavel Durov, fue Acusado en Francia la semana pasada por ser cómplice de una serie de delitos relacionados con la aplicación, incluido el de permitir el intercambio de pornografía infantil.

Sin embargo, las activistas por los derechos de las mujeres acusan a las autoridades de Corea del Sur de permitir que los abusos sexuales en Telegram se prolonguen sin control durante demasiado tiempo, porque Corea ya se ha enfrentado a esta crisis antes. En 2019, se supo que una red de prostitución estaba utilizando Telegram para obligar a mujeres y niños a crear y compartir imágenes sexualmente explícitas de ellos mismos.

En ese momento, la policía pidió ayuda a Telegram con su investigación, pero la aplicación ignoró las siete solicitudes. Aunque el cabecilla fue finalmente condenado a más de 40 años de cárcel, no se tomó ninguna medida contra la plataforma por temores de censura.

“Condenaron a los principales actores pero descuidaron la situación, y creo que esto ha agravado la situación”, dijo la Sra. Ko.

Park Jihyun, quien, cuando era una joven estudiante de periodismo, descubrió la red de pornografía infantil Nth Room en 2019, se ha convertido desde entonces en una defensora política de las víctimas de delitos sexuales digitales. Dijo que desde que estalló el escándalo de las deepfakes, los alumnos y los padres la habían estado llamando varias veces al día llorando.

“Han visto su escuela en la lista compartida en las redes sociales y están aterrorizados”.

Park ha encabezado los llamamientos para que el gobierno regule o incluso prohíba la aplicación en Corea del Sur. “Si estas empresas tecnológicas no cooperan con las fuerzas del orden, entonces el Estado debe regularlas para proteger a sus ciudadanos”, afirmó.

Antes de que estallara esta última crisis, el Centro de Defensa de las Víctimas de Abuso Sexual en Línea de Corea del Sur (ACOSAV) ya estaba notando un marcado aumento en el número de víctimas menores de edad de pornografía deepfake.

En 2023, asesoraron a 86 víctimas adolescentes. Esa cifra aumentó a 238 solo en los primeros ocho meses de este año. Solo en la última semana, otras 64 víctimas adolescentes se han presentado.

Park Seonghye, una de las responsables del centro, dijo que durante la última semana su personal había recibido una gran cantidad de llamadas y que estaban trabajando sin descanso. “Para nosotros ha sido una emergencia a gran escala, como una situación de guerra”, afirmó.

“Con la última tecnología deepfake ahora hay mucho más material que antes y nos preocupa que esto solo vaya a aumentar”.

Además de asesorar a las víctimas, el centro rastrea el contenido dañino y trabaja con las plataformas en línea para eliminarlo. La Sra. Park dijo que hubo algunos casos en los que Telegram había eliminado contenido a pedido de ellas. «Así que no es imposible», señaló.

Si bien las organizaciones de derechos de las mujeres aceptan que la nueva tecnología de inteligencia artificial está facilitando la explotación de las víctimas, argumentan que esta es solo la última forma de misoginia que se desarrolla en línea en Corea del Sur.

Primero, las mujeres fueron objeto de oleadas de abusos verbales en línea. Luego llegó la epidemia de cámaras espía, en las que se las filmaba en secreto mientras utilizaban baños públicos y vestuarios.

“La causa fundamental de esto es el sexismo estructural y la solución es la igualdad de género”, se lee en una declaración firmada por 84 grupos de mujeres.

Se trata de una crítica directa al presidente del país, Yoon Suk Yeol, que ha negado la existencia del sexismo estructural, ha recortado la financiación a los grupos de apoyo a las víctimas y está aboliendo el Ministerio de Igualdad de Género del gobierno.

Lee Myung-hwa, que trata a jóvenes agresores sexuales, coincide en que, aunque el estallido de abusos mediante deepfakes puede parecer repentino, ya llevaba mucho tiempo acechando bajo la superficie. “Para los adolescentes, los deepfakes se han convertido en parte de su cultura, se los considera un juego o una broma”, afirma el consejero, que dirige el Centro Cultural Juvenil Aha de Seúl.

La Sra. Lee dijo que era de suma importancia educar a los jóvenes, citando investigaciones que muestran que cuando se les dice a los agresores exactamente lo que han hecho mal, se vuelven más conscientes de lo que cuenta como abuso sexual, lo que les impide reincidir.

Mientras tanto, el gobierno ha dicho que aumentará las sentencias penales para quienes creen y compartan imágenes deepfake, y también castigará a quienes vean pornografía.

Esto se debe a las críticas de que no se está castigando a suficientes autores de delitos. Uno de los problemas es que la mayoría de los infractores son adolescentes, que suelen ser juzgados en tribunales de menores, donde reciben sentencias más leves.

Desde que se descubrieron las salas de chat, muchas han sido cerradas, pero es casi seguro que otras nuevas ocuparán su lugar. Ya se ha creado una sala de humillación para atacar a los periodistas que cubren esta historia. Ko, quien dio la noticia, dijo que esto le había quitado el sueño. «Sigo mirando la sala para ver si han subido mi foto», dijo.

Esa ansiedad se ha extendido a casi todas las adolescentes y mujeres jóvenes de Corea del Sur. Ah-eun, la estudiante universitaria, dijo que eso la había hecho sospechar de sus conocidos masculinos.

“Ahora no puedo estar segura de que la gente no cometa estos delitos a mis espaldas, sin que yo lo sepa”, dijo. “Me he vuelto hipervigilante en todas mis interacciones con la gente, lo cual no puede ser bueno”.

Información adicional de Hosu Lee y Suhnwook Lee