Google envia notificação push com insulto racial gerado por IA

Um único alerta push foi o suficiente para colocar a Google no centro de uma polémica sobre inteligência artificial e moderação de conteúdo. Uma notificação de notícias gerada por IA exibiu a expressão “N‑word”, termo pejorativo nos Estados Unidos, sob um link para uma peça sobre um incidente sucedido nos BAFTA Film Awards. A empresa pediu desculpa, removeu a notificação e garantiu estar a trabalhar para impedir repetições. O episódio volta a acender a discussão: até que ponto podemos confiar em resumos automáticos de notícias, sobretudo quando tocam em linguagem sensível?

Para perceber a falha, é útil olhar para a “tuberia” típica de alertas noticiosos com IA:

• Agregação: o sistema recolhe manchetes e excertos de fontes reputadas.
• Resumo e reescrita: um modelo de linguagem condensa o conteúdo para caber num alerta curto e “clicável”.
• Enriquecimento: podem entrar palavras‑chave, contexto e formatação automática.
• Publicação: o texto é enviado para milhões de utilizadores, muitas vezes sem revisão humana.

O elo fraco surge na fase de resumo/reescrita. Modelos de linguagem são excelentes a prever palavras, mas não possuem, por defeito, um entendimento social refinado de tabus, insultos ou termos com carga histórica. Se o corpus de origem contém linguagem sensível mesmo que citada, contextualizada ou condenada a IA pode trazê‑la para a superfície, fora de contexto. É aqui que entram “guardrails” (regras de segurança), filtros de linguagem e validação humana. Se algum destes falhar, um texto tóxico pode escorregar para um push.

BAFTA, tiques vocais e responsabilidade editorial

O alerta da Google referia‑se a uma ocorrência nos BAFTA, quando um membro da audiência com síndrome de Tourette proferiu a palavra ofensiva enquanto duas estrelas subiam ao palco. O próprio ativista explicou depois que os tiques são involuntários e que lamentava a dor causada.

É um tema complexo, que cruza neurodiversidade, linguagem e impacto social. Precisamente por isso, exige um enquadramento editorial cuidadoso, do tipo que uma notificação de duas linhas raramente consegue dar. Uma IA treinada para “resumir o essencial” corre o risco de confundir “o que é mais mencionado” com “o que é mais importante e responsável comunicar”.

Não é caso único: a lição da Apple e de outros gigantes

A Google não é a primeira a tropeçar. No ano passado, a Apple recuou nas suas próprias notificações resumidas por IA depois de uma série de gafes, incluindo uma afirmação factualmente errada relacionada com um caso criminal de alto perfil.

O padrão repete‑se: sistemas concebidos para poupar tempo a leitores acabam por exigir camadas extra de verificação para evitar erros com consequências reputacionais. O paradoxo é óbvio e é precisamente onde a maturidade operacional das equipas faz a diferença.

O que as plataformas devem fazer já

Se as empresas querem manter a conveniência dos resumos automáticos sem cair em armadilhas, há medidas claras a implementar:

• Filtros semânticos robustos: não basta um “lista de palavras proibidas”. É preciso detetar termos nocivos, citações sensíveis e referências indiretas, com compreensão de contexto.
• Revisão humana orientada por risco: não é viável rever tudo, mas alertas com entidades sensíveis (raça, religião, género, violência) devem passar por edição humana antes de serem enviados.
• Modelos afinados por domínio: treinos específicos para “notificações curtas” com ênfase em neutralidade, precisão factual e linguagem civil.
• Explicabilidade mínima: logs que mostrem de onde veio cada frase ajudam a identificar a fonte de um deslize.
• Botão de paragem rápido: capacidade de retirar e corrigir notificações em minutos, com comunicação clara ao utilizador.

Boas práticas para redações que usam IA

As redações que integram IA no fluxo de alertas devem:

• Definir “linhas vermelhas” editoriais e instruções de estilo explícitas para a IA.
• Medir taxa de incidentes por mil alertas e estabelecer metas de redução.
• Manter um “modo seguro” que bloqueie termos de alto risco em títulos e pushes.
• Auditar dados de treino e exemplos de aprendizagem para evitar perpetuar vieses.

E o utilizador? Controlo e literacia digital

Para quem recebe os alertas, há passos práticos:

• Ajustar preferências: em Android ou iOS, restrinja notificações a fontes de confiança e categorias menos propensas a polémica.
• Avaliar o contexto: um push é um convite, não a história toda. Clique para ler e confirmar antes de partilhar.
• Reportar problemas: use os mecanismos de feedback. Quanto mais sinais, mais rápido os sistemas são corrigidos.

Fonte: Deadline