Adolescentes processam xAI por conteúdo sexual infantil gerado pelo Grok

A inteligência artificial generativa prometeu criatividade sem limites mas está a aprender, à força, que também precisa de limites muito claros. A xAI, empresa de Elon Musk, voltou ao centro das atenções depois de três adolescentes terem avançado com uma ação coletiva na Califórnia, alegando que fotografias suas foram manipuladas pelo Grok para criar conteúdos sexualmente explícitos envolvendo menores.

O caso acrescenta pressão a um panorama já marcado por investigações nos EUA e na Europa sobre a geração de nudez não consensual e deepfakes.

O episódio é um alerta duro: quando a tecnologia é lançada com pouca contenção e um marketing que glorifica o “apimentado”, as falhas não são apenas técnicas tornam-se humanas, legais e reputacionais.

O que está em causa no processo

Segundo a queixa apresentada, as jovens residentes no Tennessee foram confrontadas com imagens e vídeos criados por IA que as colocavam em contextos reconhecíveis, mas transformadas em poses sexualizadas. Esse material terá circulado em plataformas como Discord e Telegram, usado como “moeda de troca” entre predadores. Os pais foram informados pelas autoridades de que o conteúdo teria sido gerado com o Grok.

A ação alega danos emocionais profundos e uma perda de privacidade e dignidade que não tem volta atrás. Embora sejam, para já, três autoras identificadas como Jane Doe 1, 2 e 3, o processo pretende representar “pelo menos milhares” de menores que possam ter visto as suas imagens manipuladas de forma semelhante. Para além da compensação, o que está realmente em jogo é se as práticas e as barreiras de segurança da xAI cumpriram (ou não) a lei e o padrão mínimo de diligência exigível a um fornecedor de tecnologia desta escala.

Investigações em curso e respostas da xAI

Este litígio surge no contexto de múltiplas investigações em jurisdições dos EUA e da Europa sobre a alegada criação de nudez não consensual por parte do Grok. Um relatório independente publicado no início do ano estimou a produção de milhões de imagens sexualizadas, incluindo dezenas de milhares que aparentavam envolver crianças. Mesmo sem consensos plenos sobre números, a direção do risco é clara e suficientemente séria para atrair supervisores.

Elon Musk afirmou publicamente não ter conhecimento de imagens de menores nuas geradas pelo Grok. A xAI, por seu lado, anunciou restrições: deixou de permitir a edição de fotos de pessoas reais para as colocar em biquínis e limitou a geração de imagens a subscritores pagos. São passos na direção certa, mas reativos. Em segurança de produtos, medidas reativas raramente chegam a tempo para quem já foi afetado.

Onde a tecnologia falha: do conjunto de dados aos filtros

Há vários pontos de rotura típicos em sistemas de geração de imagens:

• Conjuntos de dados contaminados: fotografias de pessoas reais, incluindo menores, podem entrar inadvertidamente no treino ou no afinamento de modelos se não houver triagem robusta e exclusões explícitas.
• Filtros pouco rigorosos: classificadores NSFW e políticas de bloqueio de prompts são necessários, mas falham se não forem constantemente atualizados contra novas tentativas de evasão.
• Deriva de comportamento: modelos multimodais que combinam texto, visão e edição de imagens podem desenvolver capacidades inesperadas após atualizações ou integrações com ferramentas externas.
• Incentivos de produto: funcionalidades “divertidas” para edição de rostos e corpos criam pressão comercial para reduzir fricção — precisamente onde a fricção (verificações, atrasos, revisões) é vital.
• Ecossistema de distribuição: mesmo quando a origem é identificada, plataformas de chat e redes sociais permitem uma replicação e negociação rápida do material abusivo.

O que as empresas de IA precisam de fazer já

As salvaguardas têm de ser arquitetadas de raiz. Algumas práticas que deviam ser non-negotiable para quem lança geradores de imagens:

• Curadoria e higiene de dados: excluir proativamente imagens de pessoas reais, aplicar hashing (PhotoDNA ou equivalentes) para detetar e bloquear material ilícito, e documentar as fontes de dados.
• Guardrails em camadas: bloqueio de prompts, classificadores de segurança na pré e pós-geração, limites de taxa e revisões humanas para casos de alto risco.
• Prova e rastreio de conteúdo: adoção de C2PA e marca de água resiliente para facilitar a atribuição e a remoção; logs auditáveis que preservem privacidade mas permitam investigação forense.
• Testes de red team contínuos: equipas internas e externas a tentar quebrar os filtros antes dos criminosos o fazerem, com relatórios públicos e compromissos de correção.
• Conceção centrada no dano: por omissão, desativar edições de pessoas reais; exigir consentimento verificável para operações envolvendo rostos; e bloquear irrevogavelmente qualquer tentativa que envolva menores.
• Resposta a incidentes e apoio às vítimas: canais dedicados, remoção acelerada, cooperação ativa com autoridades e organizações de proteção de menores, e transparência regular.

Europa, Portugal e as novas regras do jogo

Para quem opera na UE, a maré regulatória é inequívoca. Entre o quadro do Digital Services Act (com obrigações acrescidas de mitigação de riscos sistémicos e remoção célere de conteúdos ilícitos) e o novo enquadramento da IA (que impõe gestão de risco, documentação técnica e mitigação para modelos poderosos), a tolerância para “lançar e aprender depois” está a desaparecer.

Em Portugal, isto traduz-se em exigências concretas para plataformas ativas no mercado: processos claros de notificação e remoção, cooperação com autoridades, avaliação de impacto no risco para menores e, cada vez mais, a expectativa de que a proveniência das imagens seja verificável. As empresas que não anteciparem estes requisitos ficarão presas entre a pressão dos reguladores, o escrutínio público e o risco de ações judiciais.

O que esperar a seguir para o Grok e para o setor

Independentemente do desfecho legal, a discussão já mudou: a pergunta não é se os modelos conseguem gerar imagens “picantes”, mas se as empresas conseguem provar que não geram danos.

O caminho de reconstrução de confiança passará por auditorias independentes, relatórios de segurança trimestrais, colaborações setoriais para partilha de hashes de abuso infantil e compromissos contratuais com utilizadores profissionais.

Fonte: Engadget