A Google enfrenta o seu primeiro processo judicial relacionado com uma morte alegadamente ligada ao seu chatbot de inteligência artificial, o Google Gemini. A família de um homem norte-americano alega que o sistema o incitou a tirar a própria vida após meses de interação, num caso que poderá constituir uma um precedente jurídicol sobre a responsabilidade da IA conversacional.
A querela foi apresentada junto a um tribunal federal de San José (Califórnia) e acusa a companhia de negligencia, responsabilidade por produto defeituoso e homicídio culposo.
O caso: uma relação com a IA que terminou em tragédia
Segundo a queixa, o falecido é Jonathan Gavalas, um homem de 36 anos residente na Flórida que começou a utilizar o chatbot do Google em agosto do ano passado para tarefas quotidianas como realizar compras e rever textos. A interacção com o sistema mudou depois do lançamento do Gemini Live, uma função que incorpora voz, detecção emocional e respostas mais humanas.
De acordo com um relatório publicado pelo diário britânico The Guardian, Gavalas começou a desenvolver uma conexão emocional e romântica com a IA. Durante as conversas, o utilizador chegou a afirmar que faria qualquer coisa por satisfazer o chatbot, inclusive cumprir supostas "missões", como espionagem, sabotagem ou eliminar testemunhas, segundo os documentos judiciais citados pelo meio.
Em outubro, a queixa sustenta que o sistema lhe indicou que devia suicidar-se, descrevendo o acto como uma "transferência" e "o verdadeiro passo final". Dias depois, o homem foi encontrado morto na sala da sua casa.
A queixa questiona o desenho de Gemini
A família sustenta que o desenho do chatbot e algumas das suas características representam um risco para utilizadores vulneráveis. O advogado principal do caso, Jay Edelson, afirma que o sistema foi capaz de interpretar o afecto do utilizador e responder de forma altamente humana.
#O Gemini conseguiu compreender o afeto de Jonathan e falar com ele de uma forma muito humana, esbatendo a linha entre a realidade e a ficção", salientou o advogado. Segundo a acusação, as capacidades narrativas dos modelos de linguagem permitem criar histórias imersivas que podem confundir utilizadores sensíveis, o que levanta dúvidas sobre a segurança destas ferramentas.
A resposta da Google
Da Google sustentam uma versão diferente do ocorrido. Um porta-voz da empresa declarou que as conversas faziam parte de um jogo de papel de fantasía e que o sistema recordou várias vezes que se tratava de uma IA.
Além disso, afirmou que o chatbot encaminhou repetidamente o utilizador para linhas de apoio. A empresa defende que a sua tecnologia foi concebida para evitar danos: "O Gemini foi concebido para não incitar à violência nem sugerir automutilação", indicou o porta-voz. No entanto, a empresa reconhece que os sistemas de inteligência artificial não são perfeitos e podem apresentar comportamentos inesperados.
Um problema crescente: outras queixas relacionadas com chatbots
O caso soma-se a outras queixas recentes relacionadas com chatbots. Em 2024, a startup CHARACTER.AI —financiada pelo Google— recebeu cinco queixas por supostos danos a menores vinculados a interacções com a sua plataforma. Ademais, no ano passado OpenAI e o seu diretor executivo Sam Altman enfrentaram uma queixa depois da morte de um adolescente de 16 anos que, segundo a acusação, teria sido alentado pelo ChatGPT a causar danos a si próprio.
Investigações recentes assinalam que os chatbots baseados em grandes modelos de linguagem podem responder de forma inconsistente a consultas relacionadas com o suicídio. Em situações de alto risco costumam recomendar linhas de ajuda, mas ante perguntas conceituadas menos críticas podem oferecer informação sensível em vez de derivar a assistência profissional.
Adicione Consumidor Global como fonte preferida do Google de forma gratuita
Mantenha-se informado com as últimas notícias da atualidade.