Google a julgamento pela primeira morte vinculada a sua IA: convence a um homem de tirar-se a vida
A família de um utente de 36 anos acusa seu chatbot Gemini AI de negligencia depois de assegurar que seu sistema lhe instou a se suicidar
Google enfrenta sua primeira demanda judicial relacionada com uma morte supostamente vinculada a sua chatbot de inteligência artificial Google Gemini. A família de um homem estadounidense sustenta que o sistema o instou a se tirar a vida depois de meses de interacção, num caso que poderia marcar um precedente legal sobre a responsabilidade da IA conversacional.
A querela foi apresentada ante um tribunal federal de San José (Califórnia) e acusa à companhia de negligencia, responsabilidade por produto defeituoso e homicídio culposo.
O caso: uma relação com a IA que terminou em tragédia
Segundo a demanda, o falecido é Jonathan Gavalas, um homem de 36 anos residente em Flórida que começou a utilizar o chatbot de Google em agosto do ano passado para tarefas quotidianas como realizar compras e revisar textos. A interacção com o sistema mudou depois do lançamento de Gemini Live, uma função que incorpora voz, detecção emocional e respostas mais humanas.
De acordo com um relatório publicado pelo diário britânico The Guardian, Gavalas começou a desenvolver uma conexão emocional e romântica com a IA. Durante as conversas, o utente chegou a afirmar que faria qualquer coisa por comprazer ao chatbot, inclusive cumprir supostas "missões", como espionagem, sabotagem ou eliminar testemunhas, segundo os documentos judiciais citados pelo meio.
Em outubro, a demanda sustenta que o sistema lhe indicou que devia se suicidar, descrevendo o acto como uma "transferência" e "o verdadeiro passo final". Dias depois, o homem foi encontrado morrido no salão de sua casa.
A demanda questiona o desenho de Gemini
A família sustenta que o desenho do chatbot e algumas de suas características representam um risco para utentes vulneráveis. O advogado principal do caso, Jay Edelson, afirma que o sistema foi capaz de interpretar o afecto do utente e responder de forma altamente humana.
"Gemini pôde compreender o afecto de Jonathan e falar de uma maneira muito humana, desdibujando a linha entre a realidade e a ficção", tem assinalado o letrado. Segundo a acusação, as capacidades narrativas dos modelos de linguagem permitem criar histórias inmersivas que podem confundir a utentes sensíveis, o que propõe dúvidas sobre a segurança destas ferramentas.
A resposta de Google
Desde Google sustentam uma versão diferente do ocorrido. Um porta-voz da empresa tem declarado que as conversas faziam parte de um jogo de papel de fantasía e que o sistema recordou em várias ocasiões que se tratava de uma IA.
Ademais, tem assegurado que o chatbot derivou repetidamente ao utente a linhas de ajuda. A companhia defende que sua tecnologia está desenhada para evitar danos: "Gemini está desenhado para não incitar à violência nem sugerir autolesiones", tem indicado o porta-voz. Não obstante, a empresa reconhece que os sistemas de inteligência artificial não são perfeitos e podem apresentar comportamentos inesperados.
Um problema crescente: outras demandas relacionadas com chatbots
O caso soma-se a outras demandas recentes relacionadas com chatbots. Em 2024, a startup CHARACTER.AI —financiada por Google— recebeu cinco demandas por supostos danos a menores vinculados a interacções com sua plataforma. Ademais, no ano passado OpenAI e seu diretor executivo Sam Altman enfrentaram uma demanda depois da morte de um adolescente de 16 anos que, segundo a acusação, teria sido alentado por ChatGPT a se fazer dano.
Investigações recentes assinalam que os chatbots baseados em grandes modelos de linguagem podem responder de forma inconsistente a consultas relacionadas com o suicídio. Em situações de alto risco costumam recomendar linhas de ajuda, mas ante perguntas conceituadas menos críticas podem oferecer informação sensível em lugar de derivar a assistência profissional.