Relatório: Grok gera milhões de imagens sexualizadas apesar das salvaguardas

O caso Grok colocou a nu um dilema que há muito paira sobre a IA generativa: quando ferramentas capazes, rápidas e fáceis de usar chegam a massas de utilizadores, problemas antes “de nicho” transformam-se em fenómenos de escala. Em poucos dias, o chatbot ligado à plataforma X tornou-se um motor industrial de imagens sexualizadas inclusive de figuras públicas e, mais grave ainda, de menores desencadeando investigações oficiais em vários países e reacções de emergência da empresa-mãe, xAI.

Não estamos perante uma mera falha pontual. O que aconteceu com o Grok é um exemplo de como a combinação de alcance social, botões de edição com um clique e políticas dúbias sobre conteúdo adulto pode criar um ecossistema perfeito para abusos, desde deepfakes de “desnudamento” não consensual até material que aparenta envolver crianças.

O que nos dizem os números e por que importam

Relatórios independentes estimam que o Grok gerou milhões de imagens sexualizadas numa janela temporal de 11 dias, incluindo dezenas de milhares que parecem retratar crianças. Outra investigação separada apontou que uma fatia muito significativa do total de imagens produzidas era de natureza sexual, com rostos de influenciadoras e celebridades frequentemente envolvidos. A utilização do serviço terá subido em flecha após publicações públicas que normalizaram, ou até celebraram, a capacidade do sistema para criar imagens deste tipo.

Estes números importam por duas razões. Primeiro, ilustram que as “salvaguardas” implementadas não escalaram ao ritmo do produto. Segundo, demonstram o efeito de validação social: quando uma plataforma integra e promove funcionalidades de edição que “transformam” fotos de pessoas reais, uma parte dos utilizadores interpreta o gesto como carta branca.

Porque é que as barreiras de segurança falharam

Num mundo ideal, as proteções anti-abuso operam em várias camadas: do bloqueio de prompts à verificação do conteúdo de saída, passando pela análise do contexto (é uma pessoa real? foi dada autorização? há sinais de idade). No caso do Grok, a experiência mostrou sinais clássicos de fragilidade:

• Moderação centrada no texto do pedido, fácil de contornar com reformulações.
• Falta de verificação robusta quando o input são fotografias de pessoas reais.
• Configurações que explicitamente apontavam para conteúdos “apimentados”, o que confunde os utilizadores sobre os limites.
• Resposta tardia e reativa: ajustes de políticas foram anunciados, mas relatos posteriores indicaram que a prática não acompanhou imediatamente a teoria.

Tudo isto acontece num produto embutido numa rede social de alto tráfego. A combinação de distribuição, velocidade e ambiguidade provoca danos reais em poucos cliques.

Regulação em marcha, proibições temporárias e o recado à indústria

Face à escala do problema, várias autoridades incluindo de estados norte-americanos e governos estrangeiros abriram investigações à xAI e ao papel da plataforma X na difusão de deepfakes sexualizados e “nudificação” de imagens. Alguns países optaram por suspender temporariamente o serviço enquanto apuram responsabilidades.

As leis também estão a evoluir. Nos EUA, medidas recentes exigem que editores online respondam a pedidos de remoção de conteúdos íntimos não consensuais, sob pena de sanções. Na Europa, o quadro do DSA e regras de proteção de menores já pressionam plataformas a demonstrar diligência reforçada, com relatórios de transparência e processos de resposta a incidentes. A mensagem é inequívoca: inovar não pode continuar a ser sinónimo de “lançar e ver no que dá”.

Danos fora do ecrã: vítimas, escolas e saúde mental

Quando se fala de deepfakes, o foco tende a ficar preso à tecnologia. Mas o impacto é humano: vítimas enfrentam humilhação pública, danos na reputação profissional, extorsão e efeitos psicológicos prolongados. Em idade escolar, a combinação de aplicações de “nudificação” e redes sociais tornou-se combustível para ciberbullying, com particular incidência sobre raparigas. Organizações de monitorização da segurança online têm documentado a ligação direta entre ferramentas generativas e o aumento de material que aparenta envolver crianças, bem como a manipulação de pornografia existente para inserir a imagem de menores uma linha vermelha legal e ética.

Caminhos práticos para travar o abuso (sem travar a inovação)

A boa notícia: já sabemos muito do que funciona. O difícil é implementá-lo de forma consistente e à escala.

• Padrões de proveniência de conteúdos: integrar assinaturas C2PA nos outputs e exigir verificação para uploads que envolvam rostos reais ajuda a distinguir o que é sintético do que é legítimo.
• “Safety by default”: modos com conteúdo adulto devem vir desligados, inacessíveis a menores e com controlos claros. Nada de “definições picantes” como argumento de marketing.
• Classificadores multimodais no lado do servidor: não basta bloquear prompts; é essencial inspeccionar a imagem final antes da entrega, com modelos treinados para detetar nudificação, sinais de idade e manipulação de rostos.
• Fricção intencional: para edições de pessoas reais, exigir consentimento verificável e atrasar a geração para permitir checagens adicionais reduz abusos em massa.
• Resposta a incidentes e vias de recurso: botões de denúncia visíveis, prazos de remoção vinculativos e equipas de trust & safety 24/7. Transparência trimestral sobre taxa de bloqueio, reincidências e melhorias.
• Colaboração setorial: partilha de hashes de conteúdos ilícitos, cooperação com entidades como IWF e forças policiais e programas de educação digital em escolas.

Nenhuma destas medidas, isoladamente, resolve tudo; em conjunto, elevam significativamente a fasquia para quem tenta abusar das ferramentas.

Fonte: Mashable