A família diz que a adolescente acessou o Gemini pelo modo de IA (inteligência artificial) da busca do Google. A escola havia bloqueado o site independente da ferramenta, mas o modo de IA permitia continuar uma pesquisa em forma de conversa.

O alerta de um sistema de monitoramento chegou ao celular pessoal de uma ex-funcionária da escola, afirma o advogado da família, Andrew Liddell. Ela havia saído nove meses antes, mas repassou a mensagem aos funcionários, que avisaram a mãe da adolescente.

Em 17 de março, a mãe recebeu um aviso de que a estudante estava em perigo iminente, segundo o processo. Ela entrou na conta escolar da filha e acompanhou em tempo real a escrita de uma carta de despedida. Os pais intervieram e impediram que ela tirasse a própria vida.

Resposta do Google e limites do monitoramento

O Google afirma que analisa as alegações e que seus sistemas buscam evitar conversas prejudiciais. O porta-voz José Castañeda diz que a empresa trabalhou com profissionais de saúde e especialistas acadêmicos para criar recursos de apoio a jovens.

A escola usava ao menos um sistema de monitoramento de terceiros, segundo o advogado da família. Ele diz que esses sistemas poderiam incluir produtos da GoGuardian e da Gaggle, mas a família não tem confirmação de quais ferramentas eram usadas. Não está claro se elas acompanhavam as conversas no modo de IA da busca ou qual era sua eficácia nesse tipo de interação.