BBCNo último sábado, uma mensagem do Telegram apareceu no telefone de Heejin de um remetente anônimo. “Suas fotos e informações pessoais vazaram. Vamos discutir.”
Quando a universitária entrou na sala de bate-papo para ler a mensagem, ela recebeu uma foto sua tirada alguns anos atrás, quando ainda estava na escola. Foi seguida por uma segunda imagem usando a mesma foto, só que esta era sexualmente explícita e falsa.
Aterrorizada, Heejin, que não é seu nome verdadeiro, não respondeu, mas as imagens continuaram surgindo. Em todas elas, seu rosto havia sido anexado a um corpo envolvido em um ato sexual, usando tecnologia sofisticada de deepfake.
Deepfakes, a maioria dos quais combina o rosto de uma pessoa real com um corpo falso e sexualmente explícito, estão sendo cada vez mais gerados usando inteligência artificial.
“Fiquei petrificada, me senti tão sozinha”, disse Heejin à BBC.
Mas ela não estava sozinha.
Dois dias antes, a jornalista sul-coreana Ko Narin havia publicado o que se tornaria o maior furo de sua carreira. Recentemente, surgiu que a polícia estava investigando redes de pornografia deepfake em duas das principais universidades do país, e a Sra. Ko estava convencida de que deveria haver mais.
Ela começou a pesquisar nas redes sociais e descobriu dezenas de grupos de bate-papo no aplicativo de mensagens Telegram, onde os usuários compartilhavam fotos de mulheres que conheciam e usavam software de IA para convertê-las em imagens pornográficas falsas em segundos.
“A cada minuto, as pessoas postavam fotos de garotas que conheciam e pediam para que fossem transformadas em deepfakes”, disse a Sra. Ko.
A Sra. Ko descobriu que esses grupos não tinham como alvo apenas estudantes universitários. Havia salas dedicadas a escolas de ensino médio e até mesmo de ensino fundamental específicas. Se muito conteúdo fosse criado usando imagens de uma aluna em particular, ela poderia até ganhar sua própria sala. Amplamente rotuladas como “salas de humilhação” ou “salas de amigos de amigos”, elas geralmente vêm com termos de entrada rigorosos.
O relatório da Sra. Ko no jornal Hankyoreh chocou a Coreia do Sul. Na segunda-feira, a polícia anunciou que estava considerando abrir uma investigação sobre o Telegram, seguindo a liderança das autoridades na França, que recentemente acusaram o fundador russo do Telegram por crimes relacionados ao aplicativo. O governo prometeu aplicar punições mais severas para os envolvidos, e o presidente pediu que os jovens tenham melhor educação.
O Telegram disse que “combate ativamente conteúdo prejudicial em sua plataforma, incluindo pornografia ilegal”, em uma declaração fornecida à BBC.
‘Um processo sistemático e organizado’
A BBC viu as descrições de várias dessas salas de bate-papo. Uma delas pede que os membros postem mais de quatro fotos de alguém, junto com seu nome, idade e a área em que vivem.
“Fiquei chocada com o quão sistemático e organizado o processo foi”, disse a Sra. Ko. “A coisa mais horrível que descobri foi um grupo para alunos menores de idade em uma escola que tinha mais de 2.000 membros.”
Nos dias seguintes à publicação do artigo da Sra. Ko, ativistas dos direitos das mulheres também começaram a vasculhar o Telegram e seguir pistas.
Até o final daquela semana, mais de 500 escolas e universidades foram identificadas como alvos. O número real impactado ainda não foi estabelecido, mas acredita-se que muitos tenham menos de 16 anos, que é a idade de consentimento da Coreia do Sul. Uma grande proporção dos suspeitos perpetradores são os próprios adolescentes.
Heejin disse que saber sobre a escala da crise piorou sua ansiedade, pois agora ela se preocupava com quantas pessoas poderiam ter visto seus deepfakes. Inicialmente, ela se culpou. “Eu não conseguia parar de pensar se isso aconteceu porque eu carreguei minhas fotos nas redes sociais, eu deveria ter sido mais cuidadosa?”
Desde então, dezenas de mulheres e adolescentes em todo o país removeram suas fotos das redes sociais ou desativaram suas contas por completo, com medo de serem exploradas em seguida.
“Estamos frustrados e irritados por termos que censurar nosso comportamento e nosso uso das mídias sociais quando não fizemos nada de errado”, disse uma estudante universitária, Ah-eun, cujos colegas foram alvos.
Ah-eun disse que uma vítima em sua universidade foi informada pela polícia para não se preocupar em prosseguir com seu caso, pois seria muito difícil capturar o autor, e que “não era realmente um crime”, pois “as fotos eram falsas”.
Notícias 1No centro desse escândalo está o aplicativo de mensagens Telegram. Diferentemente de sites públicos, que as autoridades podem acessar facilmente e então solicitar que as imagens sejam removidas, o Telegram é um aplicativo de mensagens privado e criptografado.
Os usuários são frequentemente anônimos, as salas podem ser definidas para o modo “secreto” e seus conteúdos rapidamente deletados sem deixar rastros. Isso fez com que fosse um espaço privilegiado para o comportamento criminoso florescer.
Na semana passada, políticos e a polícia responderam com firmeza, prometendo investigar esses crimes e levar os perpetradores à justiça.
Na segunda-feira, a Agência Nacional de Polícia de Seul anunciou que investigaria o Telegram por seu papel em permitir a distribuição de imagens pornográficas falsas de crianças.
O fundador do aplicativo, Pavel Durov, foi acusado na França na semana passada por ser cúmplice de uma série de crimes relacionados ao aplicativo, incluindo permitir o compartilhamento de pornografia infantil.
Mas ativistas dos direitos das mulheres acusam as autoridades da Coreia do Sul de permitir que o abuso sexual no Telegram ferva sem controle por muito tempo, porque a Coreia já enfrentou essa crise antes. Em 2019, descobriu-se que uma rede de sexo estava usando o Telegram para coagir mulheres e crianças a criar e compartilhar imagens sexualmente explícitas de si mesmas.
Na época, a polícia pediu ajuda ao Telegram com sua investigação, mas o aplicativo ignorou todos os sete pedidos. Embora o líder tenha sido eventualmente sentenciado a mais de 40 anos de prisão, nenhuma ação foi tomada contra a plataforma, por causa de temores em torno da censura.
“Eles condenaram os principais atores, mas negligenciaram a situação, e acho que isso agravou a situação”, disse a Sra. Ko.
Park Jihyun, que, como uma jovem estudante jornalista, descobriu o Nth room sex-ring em 2019, desde então se tornou uma defensora política das vítimas de crimes sexuais digitais. Ela disse que desde que o escândalo do deepfake estourou, alunos e pais ligavam para ela várias vezes ao dia chorando.
“Eles viram sua escola na lista compartilhada nas redes sociais e estão apavorados.”
A Sra. Park vem liderando apelos para que o governo regule ou mesmo proíba o aplicativo na Coreia do Sul. “Se essas empresas de tecnologia não cooperarem com as agências de aplicação da lei, então o estado deve regulá-las para proteger seus cidadãos”, disse ela.
Antes que essa última crise explodisse, o Centro de Advocacia para Vítimas de Abuso Sexual Online da Coreia do Sul (ACOSAV) já estava notando um aumento acentuado no número de vítimas menores de idade de pornografia deepfake.
Em 2023, eles aconselharam 86 vítimas adolescentes. Esse número saltou para 238 apenas nos primeiros oito meses deste ano. Só na semana passada, outras 64 vítimas adolescentes se apresentaram.
Uma das líderes do centro, Park Seonghye, disse que na semana passada sua equipe foi inundada com ligações e estava trabalhando dia e noite. “Foi uma emergência em grande escala para nós, como uma situação de guerra”, disse ela.
“Com a mais recente tecnologia deepfake, agora há muito mais filmagens do que antes, e estamos preocupados que isso só vá aumentar.”
Além de aconselhar vítimas, o centro rastreia conteúdo prejudicial e trabalha com plataformas online para removê-lo. A Sra. Park disse que houve alguns casos em que o Telegram removeu conteúdo a pedido deles. “Então não é impossível”, ela observou.
Em uma declaração, o Telegram disse à BBC que seus moderadores “monitoram proativamente as partes públicas do aplicativo, usam ferramentas de IA e aceitam denúncias de usuários para remover milhões de conteúdos todos os dias que violam os termos de serviço do Telegram”.
Embora as organizações de direitos das mulheres aceitem que a nova tecnologia de IA esteja facilitando a exploração das vítimas, elas argumentam que essa é apenas a mais recente forma de misoginia a ocorrer online na Coreia do Sul.
Primeiro, as mulheres foram submetidas a ondas de abuso verbal online. Depois veio a epidemia de câmeras espiãs, onde elas eram filmadas secretamente usando banheiros públicos e vestiários.
“A causa raiz disso é o sexismo estrutural e a solução é a igualdade de gênero”, diz uma declaração assinada por 84 grupos de mulheres.
Esta é uma crítica direta ao presidente do país, Yoon Suk Yeol, que negou a existência de sexismo estrutural, cortou o financiamento de grupos de apoio às vítimas e está abolindo o ministério de igualdade de gênero do governo.
Imagens GettyLee Myung-hwa, que trata de jovens criminosos sexuais, concordou que, embora o surto de abuso de deepfake possa parecer repentino, ele já estava à espreita sob a superfície há muito tempo. “Para os adolescentes, os deepfakes se tornaram parte de sua cultura, eles são vistos como um jogo ou uma brincadeira”, disse o conselheiro, que dirige o Aha Seoul Youth Cultural Centre.
A Sra. Lee disse que era fundamental educar os jovens, citando pesquisas que mostram que quando você diz aos infratores exatamente o que eles fizeram de errado, eles se tornam mais conscientes do que é considerado abuso sexual, o que os impede de reincidir.
Enquanto isso, o governo disse que aumentará as sentenças criminais daqueles que criarem e compartilharem imagens deepfake e também punirá aqueles que visualizarem pornografia.
Segue-se a crítica de que não havia perpetradores suficientes sendo punidos. Um dos problemas é que a maioria dos infratores são adolescentes, que normalmente são julgados em tribunais de menores, onde recebem sentenças mais brandas.
Desde que as salas de bate-papo foram expostas, muitas foram fechadas, mas novas certamente tomarão seu lugar. Uma sala de humilhação já foi criada para atingir os jornalistas que cobrem esta história. A Sra. Ko, que deu a notícia, disse que isso lhe deu noites sem dormir. “Eu continuo verificando a sala para ver se minha foto foi carregada”, disse ela.
Essa ansiedade se espalhou para quase todas as adolescentes e jovens mulheres na Coreia do Sul. Ah-eun, a estudante universitária, disse que isso a fez desconfiar de seus conhecidos homens.
“Agora não posso ter certeza de que as pessoas não cometerão esses crimes pelas minhas costas, sem que eu saiba”, ela disse. “Eu me tornei hipervigilante em todas as minhas interações com as pessoas, o que não pode ser bom.”
Reportagem adicional de Hosu Lee e Suhnwook Lee
