Por que os algoritmos mostram violência contra meninos

Era 2022 e Cai, então com 16 anos, estava rolando a tela em seu telefone. Ele diz que um dos primeiros vídeos que viu em seus feeds de mídia social foi de um cachorro fofo. Mas então, tudo mudou.

Ele diz que “do nada” foram recomendados vídeos de alguém sendo atropelado por um carro, um monólogo de um influenciador compartilhando visões misóginas e clipes de brigas violentas. Ele se viu perguntando – por que eu?

Em Dublin, Andrew Kaung trabalhava como analista de segurança do usuário no TikTok, função que ocupou por 19 meses, de dezembro de 2020 a junho de 2022.

Ele diz que ele e um colega decidiram examinar quais usuários no Reino Unido estavam sendo recomendados pelos algoritmos do aplicativo, incluindo alguns de 16 anos. Pouco antes, ele havia trabalhado para a empresa rival Meta, dona do Instagram – outro dos sites que Cai usa.

Quando Andrew olhou para o conteúdo do TikTok, ele ficou alarmado ao descobrir como alguns adolescentes estavam vendo postagens com violência e pornografia, e promovendo visões misóginas, ele conta à BBC Panorama. Ele diz que, em geral, as adolescentes recebiam recomendações de conteúdos muito diferentes com base em seus interesses.

O TikTok e outras empresas de mídia social usam ferramentas de IA para remover a grande maioria do conteúdo prejudicial e sinalizar outros conteúdos para revisão por moderadores humanos, independentemente do número de visualizações que eles tiveram. Mas as ferramentas de IA não conseguem identificar tudo.

Andrew Kaung diz que, durante o tempo em que trabalhou no TikTok, todos os vídeos que não eram removidos ou sinalizados para moderadores humanos pela IA — ou denunciados por outros usuários aos moderadores — só eram revisados ​​novamente manualmente se atingissem um determinado limite.

Ele diz que em um ponto isso foi definido para 10.000 visualizações ou mais. Ele temia que isso significasse que alguns usuários mais jovens estavam sendo expostos a vídeos prejudiciais. A maioria das principais empresas de mídia social permite que pessoas com 13 anos ou mais se inscrevam.

O TikTok diz que 99% do conteúdo que ele remove por violar suas regras é retirado por IA ou moderadores humanos antes de atingir 10.000 visualizações. Ele também diz que realiza investigações proativas em vídeos com menos que esse número de visualizações.

Quando trabalhou na Meta entre 2019 e dezembro de 2020, Andrew Kaung diz que havia um problema diferente. Ele diz que, embora a maioria dos vídeos tenha sido removida ou sinalizada para moderadores por ferramentas de IA, o site dependia de usuários para denunciar outros vídeos depois que já os tivessem visto.

Ele diz que levantou preocupações enquanto estava em ambas as empresas, mas foi recebido principalmente com inação por, ele diz, medos sobre a quantidade de trabalho envolvida ou o custo. Ele diz que posteriormente algumas melhorias foram feitas no TikTok e no Meta, mas ele diz que usuários mais jovens, como Cai, foram deixados em risco nesse meio tempo.

Vários ex-funcionários de empresas de mídia social disseram à BBC que as preocupações de Andrew Kaung eram consistentes com seus próprios conhecimentos e experiências.

Algoritmos de todas as principais empresas de mídia social têm recomendado conteúdo prejudicial para crianças, mesmo que involuntariamente, disse o regulador britânico Ofcom à BBC.

“As empresas estão fazendo vista grossa e tratando as crianças como tratam os adultos”, diz Almudena Lara, diretora de desenvolvimento de políticas de segurança online da Ofcom.

O TikTok disse à BBC que tem configurações de segurança “líderes do setor” para adolescentes e emprega mais de 40.000 pessoas trabalhando para manter os usuários seguros. Ele disse que só neste ano espera investir “mais de US$ 2 bilhões (£ 1,5 bilhão) em segurança”, e do conteúdo que remove por quebrar suas regras, ele encontra 98% proativamente.

A Meta, dona do Instagram e do Facebook, diz que tem mais de 50 ferramentas, recursos e funcionalidades diferentes para oferecer aos adolescentes “experiências positivas e adequadas à idade”.

Cai disse à BBC que tentou usar uma das ferramentas do Instagram e uma semelhante no TikTok para dizer que não estava interessado em conteúdo violento ou misógino, mas ele disse que continuou recebendo recomendações.

Ele está interessado no UFC – o Ultimate Fighting Championship. Ele também se viu assistindo a vídeos de influenciadores controversos quando eles eram enviados a ele, mas ele diz que não queria que lhe recomendassem esse conteúdo mais extremo.

“Você tem a imagem na cabeça e não consegue tirá-la. [It] mancha seu cérebro. E então você pensa sobre isso pelo resto do dia”, ele diz.

Ele diz que meninas que ele conhece e que têm a mesma idade têm recebido recomendações de vídeos sobre tópicos como música e maquiagem, em vez de violência.

Enquanto isso, Cai, agora com 18 anos, diz que ainda recebe conteúdo violento e misógino no Instagram e no TikTok.

Quando rolamos pelos seus Instagram Reels, eles incluem uma imagem que faz piada sobre violência doméstica. Ela mostra dois personagens lado a lado, um dos quais tem hematomas, com a legenda: “Minha Linguagem do Amor”. Outra mostra uma pessoa sendo atropelada por um caminhão.

Cai diz que percebeu que vídeos com milhões de curtidas podem ser persuasivos para outros jovens da sua idade.

Por exemplo, ele diz que um de seus amigos se interessou pelo conteúdo de um influenciador controverso e começou a adotar visões misóginas.

O amigo dele “foi longe demais”, diz Cai. “Ele começou a falar coisas sobre mulheres. É como se você tivesse que dar ao seu amigo um choque de realidade.”

Cai diz que comentou em posts para dizer que não gostou deles, e quando ele acidentalmente curtiu vídeos, ele tentou desfazer isso, esperando que isso reiniciasse os algoritmos. Mas ele diz que acabou com mais vídeos tomando conta de seus feeds.

Então, como os algoritmos do TikTok realmente funcionam?

De acordo com Andrew Kaung, o combustível dos algoritmos é o engajamento, independentemente de o engajamento ser positivo ou negativo. Isso pode explicar em parte por que os esforços de Cai para manipular os algoritmos não estavam funcionando.

O primeiro passo para os usuários é especificar alguns gostos e interesses quando se inscrevem. Andrew diz que parte do conteúdo inicialmente servido pelos algoritmos para, digamos, um jovem de 16 anos, é baseado nas preferências que eles dão e nas preferências de outros usuários de idade semelhante em um local semelhante.

De acordo com o TikTok, os algoritmos não são informados pelo gênero do usuário. Mas Andrew diz que os interesses que os adolescentes expressam quando se inscrevem geralmente têm o efeito de dividi-los ao longo das linhas de gênero.

O ex-funcionário do TikTok diz que alguns garotos de 16 anos podem ser expostos a conteúdo violento “imediatamente”, porque outros usuários adolescentes com preferências semelhantes expressaram interesse nesse tipo de conteúdo – mesmo que isso signifique apenas gastar mais tempo em um vídeo que chama sua atenção por um pouco mais de tempo.

Os interesses indicados por muitas adolescentes nos perfis que ele examinou — “cantoras pop, músicas, maquiagem” — significavam que esse conteúdo violento não era recomendado a elas, diz ele.

Ele diz que os algoritmos usam “aprendizado por reforço” — um método em que os sistemas de IA aprendem por tentativa e erro — e se treinam para detectar comportamento em relação a diferentes vídeos.

Andrew Kaung diz que eles são projetados para maximizar o engajamento, mostrando vídeos que eles esperam que você passe mais tempo assistindo, comentando ou curtindo, tudo para fazer você voltar para mais.

O algoritmo que recomenda conteúdo para a página “Para você” do TikTok, diz ele, nem sempre diferencia entre conteúdo prejudicial e não prejudicial.

Segundo Andrew, um dos problemas que ele identificou quando trabalhava no TikTok foi que as equipes envolvidas no treinamento e na codificação do algoritmo nem sempre sabiam a natureza exata dos vídeos que ele estava recomendando.

“Eles veem o número de espectadores, a idade, a tendência, esse tipo de dado muito abstrato. Eles não seriam necessariamente expostos ao conteúdo”, me conta o ex-analista do TikTok.

Foi por isso que, em 2022, ele e um colega decidiram dar uma olhada nos tipos de vídeos que estavam sendo recomendados para diversos usuários, incluindo alguns jovens de 16 anos.

Ele diz que eles estavam preocupados com o conteúdo violento e prejudicial sendo veiculado a alguns adolescentes e propuseram ao TikTok que atualizasse seu sistema de moderação.

Eles queriam que o TikTok rotulasse claramente os vídeos para que todos que trabalhassem lá pudessem ver por que eles eram prejudiciais – violência extrema, abuso, pornografia e assim por diante – e contratar mais moderadores especializados nessas diferentes áreas. Andrew diz que suas sugestões foram rejeitadas na época.

O TikTok diz que tinha moderadores especialistas na época e, conforme a plataforma cresceu, continuou a contratar mais. Ele também disse que separou diferentes tipos de conteúdo prejudicial — no que chama de filas — para moderadores.

Panorama: Podemos viver sem nossos celulares?

O que acontece quando os smartphones são tirados das crianças por uma semana? Com ​​a ajuda de duas famílias e muitas câmeras remotas, o Panorama descobre. E com apelos para que os smartphones sejam banidos para crianças, Marianna Spring fala com pais, adolescentes e insiders de empresas de mídia social para investigar se o conteúdo enviado para seus feeds está prejudicando-os.

Assista na segunda-feira na BBC One às 20:00 BST (20:30 na Escócia) ou no BBC iPlayer (Somente Reino Unido)

Andrew Kaung diz que, de dentro do TikTok e do Meta, foi muito difícil fazer as mudanças que ele achava necessárias.

“Estamos pedindo a uma empresa privada cujo interesse é promover seus produtos que se modere, o que é como pedir a um tigre para não comer você”, diz ele.

Ele também diz que acredita que a vida de crianças e adolescentes seria melhor se eles parassem de usar seus smartphones.

Mas para Cai, proibir celulares ou mídias sociais para adolescentes não é a solução. Seu celular é parte integrante de sua vida – uma maneira muito importante de conversar com amigos, navegar quando ele está fora de casa e pagar por coisas.

Em vez disso, ele quer que as empresas de mídia social ouçam mais o que os adolescentes não querem ver. Ele quer que as empresas tornem as ferramentas que permitem que os usuários indiquem suas preferências mais eficazes.

“Sinto que as empresas de mídia social não respeitam sua opinião, desde que isso lhes dê dinheiro”, Cai me diz.

No Reino Unido, uma nova lei forçará as empresas de mídia social a verificar as idades das crianças e impedir que os sites recomendem pornografia ou outro conteúdo prejudicial aos jovens. O regulador de mídia do Reino Unido Ofcom é responsável por aplicá-la.

Almudena Lara, diretora de desenvolvimento de políticas de segurança online da Ofcom, diz que, embora o conteúdo prejudicial que afeta predominantemente mulheres jovens – como vídeos que promovem transtornos alimentares e automutilação – tenha merecido destaque, os caminhos algorítmicos que levam o ódio e a violência principalmente a adolescentes e homens jovens têm recebido menos atenção.

“Tende a ser uma minoria de [children] que são expostos ao conteúdo mais prejudicial. Mas sabemos, no entanto, que uma vez que você é exposto a esse conteúdo prejudicial, ele se torna inevitável”, diz a Sra. Lara.

A Ofcom diz que pode multar empresas e abrir processos criminais se elas não fizerem o suficiente, mas as medidas só entrarão em vigor em 2025.

O TikTok diz que usa “tecnologia inovadora” e fornece configurações de segurança e privacidade “líderes do setor” para adolescentes, incluindo sistemas para bloquear conteúdo que pode não ser adequado, e que não permite violência extrema ou misoginia.

A Meta, dona do Instagram e do Facebook, diz que tem mais de “50 ferramentas, recursos e funcionalidades diferentes” para dar aos adolescentes “experiências positivas e adequadas à idade”. De acordo com a Meta, ela busca feedback de suas próprias equipes e potenciais mudanças de política passam por um processo robusto.