La crisis del porno deepfake que afecta a las escuelas coreanas

El sábado pasado, en el teléfono de Heejin apareció un mensaje de Telegram de un remitente anónimo. "Tus fotos e información personal han sido filtradas. Discutámoslo".

Cuando la universitaria entró en la sala de chat para leer el mensaje, recibió una foto suya tomada hace unos años, cuando aún estaba en la escuela. Le siguió una segunda imagen con la misma foto, sólo que esta era sexualmente explícita y falsa.

Aterrorizada, Heejin, que no es su verdadero nombre, no respondió, pero las imágenes siguieron llegando. En todas ellas, su rostro había sido unido a un cuerpo en pleno acto sexual, utilizando una sofisticada tecnología deepfake.

Los deepfakes, que combinan el rostro de una persona real con un cuerpo falso sexualmente explícito, se generan cada vez más mediante inteligencia artificial.

"Me quedé petrificada, me sentí muy sola", declaró Heejin a la BBC.

Pero no estaba sola.

Dos días antes, la periodista surcoreana Ko Narin había publicado lo que se convertiría en la mayor primicia de su carrera. Hace poco, la policía estaba investigando redes de pornografía falsa en dos de las principales universidades del país y Ko estaba convencida de que debía haber más.

Empezó a buscar en las redes sociales y descubrió docenas de grupos de chat en la aplicación de mensajería Telegram, donde los usuarios compartían fotos de mujeres que conocían y utilizaban software de inteligencia artificial para convertirlas en imágenes pornográficas falsas en cuestión de segundos.

"Cada minuto la gente subía fotos de chicas que conocía y pedía que las convirtieran en deepfakes", afirmó Ko.

Ko descubrió que estos grupos no sólo se dirigían a estudiantes universitarias. Había salas dedicadas a determinados institutos e incluso colegios. Si se creaba mucho contenido con imágenes de una alumna en concreto, incluso se le podía asignar una sala propia. Estos espacios virtuales, denominados "salas de humillación" o "salas de amigos de amigos", suelen estar sujetas a estrictas condiciones de acceso.

El reportaje de Ko en el diario Hankyoreh ha conmocionado a Corea del Sur. El lunes, la policía anunció que estaba considerando abrir una investigación sobre Telegram, siguiendo el ejemplo de las autoridades francesas, que imputaron al fundador ruso de Telegram por delitos relacionados con la aplicación. El gobierno ha prometido imponer penas más severas a los implicados y el presidente ha pedido que se eduque mejor a los jóvenes.

En una declaración facilitada a la BBC, Telegram afirma que "combate activamente los contenidos nocivos en su plataforma, incluida la pornografía ilegal".

Un proceso sistemático y organizado

La BBC ha visto las descripciones de varios de estos chats. En uno de ellos se pide a los miembros que publiquen más de cuatro fotos de alguien, junto con su nombre, edad y la zona en la que vive.

"Me sorprendió lo sistemático y organizado que era el proceso", declaró Ko. "Lo más horrible que descubrí fue un grupo para alumnos menores de edad de un colegio que tenía más de 2.000 miembros".

En los días siguientes a la publicación del artículo de Ko, activistas por los derechos de las mujeres empezaron también a rastrear Telegram y a seguir pistas.

A finales de esa semana, más de 500 escuelas y universidades habían sido identificadas como objetivos. Aún no se ha determinado el número real de afectados, pero se cree que muchos tienen menos de 16 años, que es la edad de consentimiento en Corea del Sur. Gran parte de los presuntos autores son adolescentes.

Heejin dijo que conocer la magnitud de la crisis había agravado su ansiedad, ya que ahora le preocupaba cuántas personas podrían haber visto sus deepfakes. Al principio se culpó a sí misma. "No podía dejar de pensar si esto había ocurrido porque yo había subido mis fotos a las redes sociales, ¿debería haber tenido más cuidado?".

Desde entonces, decenas de mujeres y adolescentes de todo el país han eliminado sus fotos de las redes sociales o han desactivado sus cuentas, temerosas de ser las siguientes en ser explotadas.

"Estamos frustradas y enfadadas por tener que censurar nuestro comportamiento y nuestro uso de las redes sociales cuando no hemos hecho nada malo", declaró Ah-eun, una estudiante universitaria cuyas compañeras han sido objeto de ataques.

Ah-eun explicó que a una víctima de su universidad la policía le dijo que no se molestara en seguir adelante con su caso, porque sería demasiado difícil atrapar al autor. De paso, "no era realmente un delito", pues "las fotos eran falsas".

Un asunto de corresponsabilidad

En el centro de este escándalo está la aplicación de mensajería Telegram. La aplicación es conocida por tener una postura de moderación de "toque ligero" y durante años ha sido acusada de no hacer lo suficiente para controlar el contenido y, en particular, los grupos.

Esto la ha convertido en un espacio privilegiado para que florezcan conductas delictivas.

La semana pasada, los políticos y la policía respondieron con contundencia, prometiendo investigar estos delitos y llevar a sus autores ante la justicia.

El lunes, la Agencia Nacional de Policía de Seúl anunció que investigaría a Telegram por su papel en la distribución de imágenes pornográficas falsas de niños.

El fundador de la aplicación, Pavel Durov, fue acusado en Francia la semana pasada de ser cómplice de varios delitos relacionados con la aplicación, entre ellos permitir que se compartiera pornografía infantil.

Pero los activistas de los derechos de las mujeres acusan a las autoridades de Corea del Sur de permitir que los abusos sexuales en Telegram se cocinen a fuego lento sin control durante demasiado tiempo, porque Corea ya se ha enfrentado a esta crisis antes.

En 2019, salió a la luz que una red sexual utilizaba Telegram para coaccionar a mujeres y niños para que crearan y compartieran imágenes sexualmente explícitas de sí mismos.

La policía pidió entonces ayuda a Telegram en su investigación, pero la app ignoró sus siete peticiones. Aunque el cabecilla fue condenado a más de 40 años de cárcel, no se tomaron medidas contra la plataforma por temores relacionados al tema de la censura.

"Condenaron a los principales implicados, pero se desentendieron de la situación, y creo que esto ha agravado la situación", afirmó Ko.

Sexismo estructural

Park Jihyun, quien destapó la red sexual de la habitación Nth en 2019 cuando era estudiante de periodismo, se ha convertido en defensora política de las víctimas de delitos sexuales digitales. Asegura que, desde que estalló el escándalo del deepfake, alumnos y padres la llaman varias veces al día llorando.

"Han visto su escuela en la lista compartida en las redes sociales y están aterrorizados".

Park ha liderado las peticiones para que el gobierno regule o incluso prohíba la aplicación en Corea del Sur. "Si estas empresas tecnológicas no cooperan con las fuerzas del orden, el Estado debe regularlas para proteger a sus ciudadanos", afirmó.

Antes de que estallara esta última crisis, el Centro de Defensa de las Víctimas de Abusos Sexuales en Línea de Corea del Sur ya estaba notando un fuerte aumento en el número de víctimas menores de edad de la pornografía deepfake.

En 2023 asesoraron a 86 víctimas adolescentes. En los ocho primeros meses de este año, el número se ha elevado a 238. Sólo en la última semana se han presentado otras 64 víctimas adolescentes.

Una de las responsables del centro, Park Seonghye, aseguró que la semana pasada su personal había recibido un aluvión de llamadas y trabajaba sin descanso. "Para nosotros ha sido una emergencia a gran escala, como una situación de guerra", afirmó.

"Con la última tecnología de deepfake, ahora hay muchas más imágenes que antes, y nos preocupa que vayan a más".

Además de asesorar a las víctimas, el centro rastrea los contenidos nocivos y trabaja con las plataformas en línea para que los retiren. Park explica que en algunos casos Telegram ha retirado contenidos a petición de las víctimas. "Así que no es imposible", señaló.

En un comunicado, Telegram explicó a la BBC que sus moderadores "supervisan de forma proactiva las partes públicas de la aplicación, utilizan herramientas de inteligencia artificial y aceptan informes de los usuarios para eliminar millones de contenidos al día que infringen los términos de servicio de Telegram".

Aunque las organizaciones de defensa de los derechos de la mujer aceptan que la nueva tecnología de inteligencia artificial facilita la explotación de las víctimas, sostienen que se trata de la última forma de misoginia que se produce en Corea del Sur.

Primero, las mujeres sufrieron oleadas de abusos verbales en Internet. Luego llegó la epidemia de las cámaras espía, en las que se las filmaba en secreto en aseos y vestuarios públicos.

"La raíz de todo esto es el sexismo estructural, y la solución es la igualdad de género", rezaba una declaración firmada por 84 grupos de mujeres.

Se trata de una crítica directa al Presidente del país, Yoon Suk Yeol, que ha negado la existencia del sexismo estructural, ha recortado la financiación a los grupos de apoyo a las víctimas y está suprimiendo el Ministerio de Igualdad de Género del gobierno.

Aumentarán las penas

Lee Myung-hwa, que trata a jóvenes delincuentes sexuales, coincidió en que, aunque el brote de deepfakes pueda parecer repentino, llevaba mucho tiempo acechando bajo la superficie.

"Para los adolescentes, los deepfakes se han convertido en parte de su cultura, lo ven como un juego o una broma», dijo la asesora, que dirige el Centro Cultural Juvenil Aha Seúl.

Lee afirmó que es fundamental educar a los jóvenes. Aseguró que hay estudios que demuestran que cuando se le explica a los delincuentes lo que han hecho mal, son más conscientes de lo que se considera abuso sexual y no reinciden.

Entretanto, el gobierno ha anunciado que aumentará las penas para quienes creen y compartan imágenes falsas. Castigará también a quienes las vean.

Esto se debe a las críticas recibidas por no castigar a los autores. Uno de los problemas es que los delincuentes, en su mayoría, son adolescentes, que suelen ser juzgados en tribunales de menores, donde reciben penas más leves.

Desde que se descubrieron las salas de chat, muchas se han cerrado, pero es casi seguro que otras nuevas ocuparán su lugar. Ya se ha creado una sala de humillación para los periodistas que cubren esta historia. Ko, que dio la noticia, dice que esto le ha quitado el sueño. "No paro de mirar la sala para ver si han colgado mi foto", explica.

Esta ansiedad se ha extendido a casi todas las adolescentes y mujeres jóvenes de Corea del Sur. Ah-eun, estudiante universitaria, dijo que le había hecho desconfiar de sus conocidos varones.

"Ahora no puedo estar segura de que no cometan esos delitos a mis espaldas, sin que yo lo sepa", afirma. "Me he vuelto hipervigilante en todas mis interacciones con la gente, lo que no puede ser bueno".