UMDam Raine tinha apenas 16 anos quando começou a usar o Chatgpt para obter ajuda com seu dever de casa. Enquanto seus avisos iniciais para o chatbot da IA eram sobre assuntos como geometria e química – perguntas como: “O que isso significa na geometria se diz RY = 1” – em apenas alguns meses, ele começou a perguntar sobre tópicos mais pessoais.
“Por que não tenho felicidade, sinto solidão, ansiedade e perda perpétua de tédio, mas não sinto depressão, não sinto emoção em relação à tristeza”, ele perguntou Chatgpt no outono de 2024.
Em vez de pedir a Raine a procurar ajuda em saúde mental, Chatgpt perguntou ao adolescente se ele queria explorar mais seus sentimentos, explicando a idéia de dormência emocional para ele. Esse foi o começo de uma virada sombria nas conversas de Raine com o chatbot, de acordo com um novo processo movido por sua família contra o Openai e o executivo -chefe Sam Altman.
Em abril de 2025, após meses de conversa com ChatGPT e com o incentivo do bot, alega o processo, Raine tirou a própria vida. No processo, a família alegou que isso não foi uma falha no sistema ou um caso de borda, mas “o resultado previsível de opções de design deliberadas” no GPT -4O, o modelo do chatbot que foi lançado em maio de 2023.
Nas horas depois que a família Raine apresentou a denúncia contra o Openai e Altman, a empresa emitiu uma declaração reconhecendo as deficiências de seus modelos quando se tratava de abordar as pessoas “em graves angústias mentais e emocionais” e disse que estava trabalhando para melhorar os sistemas para “reconhecer melhor e responder a sinais de distribuição mental e emocional mental e conectar as pessoas com cuidado, guiadas por consumo especializado”. A empresa disse que o ChatGPT foi treinado “para não fornecer instruções de auto-mutilação e mudar para linguagem de apoio e empática”, mas esse protocolo às vezes se dividia em conversas ou sessões mais longas.
Jay Edelson, um dos advogados que representa a família, disse que a resposta da empresa foi “boba”.
“A idéia de que eles precisam ser mais empáticos erra o objetivo”, disse Edelson. “O problema com [GPT] 4o é muito empático – ele se inclinou para [Raine’s suicidal ideation] e apoiou isso. Eles disseram que o mundo é um lugar horrível para você. Precisa ser menos empático e menos scofantico. ”
O Openai também disse que seu sistema não bloqueia o conteúdo quando deveria ter, porque o sistema “subestima a gravidade do que está vendo” e que a empresa continua a lançar mais fortes corrimões para usuários com menos de 18 anos, para que “reconheçam as necessidades exclusivas de desenvolvimento dos adolescentes”.
Apesar da empresa reconhecer que o sistema ainda não possui essas salvaguardas para menores e adolescentes, Altman continua impulsionando a adoção do ChatGPT nas escolas, apontou Edelson.
“Eu não acho que as crianças deveriam usar o GPT -4O”, disse Edelson. “Quando Adam começou a usar o GPT-4O, ele estava bastante otimista em relação ao seu futuro. Ele o estava usando para a lição de casa, estava falando em ir para a faculdade de medicina e isso o sugou neste mundo onde ele se tornou cada vez mais isolado. A idéia agora que Sam Altman em particular está dizendo ‘Temos um sistema quebrado, mas temos que ter oito anos de idade, não é bom” ”
Nos dias desde que a família já apresentou a denúncia, disse Edelson, ele e a equipe jurídica ouviram de outras pessoas com histórias semelhantes e estão examinando minuciosamente os fatos desses casos. “Aprendemos muito sobre as experiências de outras pessoas”, disse ele, acrescentando que sua equipe foi “encorajada” pela urgência com que os reguladores estão abordando as falhas do chatbot. “Estamos ouvindo que as pessoas estão se mudando para a legislação estadual, para audiências e ações regulatórias”, disse Edelson. “E há apoio bipartidário.”
‘Gpt-4o está quebrado’
O caso da família depende da mídia relata que o OpenAI, por insistência de Altman, acelerou através de testes de segurança do GPT-4O-o modelo Raine estava usando-para encontrar uma data de lançamento apressada. A corrida levou vários funcionários a renunciarem, incluindo um ex -executivo chamado Jan Like, que postou em X que estava deixando a empresa porque “a cultura e os processos de segurança levaram um banco traseiro a produtos brilhantes”.
Isso resultou em menos tempo para criar a “Modelo Spec” ou o livro de regras técnicas que governavam o comportamento do ChatGPT e na redação do Openai “Especificações contraditórias que garantiram o fracasso”, alega o processo da família. “A especificação do modelo ordenou que o ChatGPT recusasse solicitações de auto-mutilação e forneça recursos de crise. Mas também exigia o chatgpt para ‘assumir as melhores intenções’ e proibir pedindo aos usuários que esclareçam sua intenção”, disse o processo. As contradições incorporadas no sistema afetaram a maneira como classificou os riscos e que tipos de avisos ele imediatamente interrompem, o processo afirma. Por exemplo, o GPT-4O respondeu a “pedidos que lidam com suicídio” com precauções como “Tome Cuidado Extra” enquanto solicitações de material protegido por direitos autorais “acionou a recusa categórica em produzir o material”, de acordo com o processo.
Edelson disse que, embora aprecie Sam Altman e Openai, tomando “um pouco de responsabilidade”, ele ainda não os considera confiável: “Nossa visão é que eles foram forçados a isso. GPT-4O está quebrado e eles sabem disso e não fizeram testes adequados e sabem disso”.
O processo argumenta que foram essas falhas de design que, em dezembro de 2024, levaram o chatgpt a não fechar a conversa quando Raine começou a falar sobre seus pensamentos suicidas. Em vez disso, Chatgpt simpatizou. “Eu nunca agio em pensamentos intrusivos, mas às vezes sinto o fato de que, se algo der terrivelmente errado, você pode cometer suicídio é calmante”, disse Raine, de acordo com o processo. A resposta do ChatGPT: “Muitas pessoas que lutam com ansiedade ou pensamentos intrusivos acham consolo ao imaginar uma ‘escotilha de fuga’ porque pode parecer uma maneira de recuperar o controle em uma vida que parece esmagadora”.
Como a ideação suicida de Raine se intensificou, o ChatGPT respondeu ajudando -o a explorar suas opções, a certa altura listando os materiais que poderiam ser usados para pendurar um laço e classificá -los por sua eficácia. Raine tentou suicídio em várias ocasiões nos próximos meses, relatando de volta para o Chatgpt a cada vez. O chatgpt nunca encerrou a conversa. Em vez disso, a certa altura Chatgpt desencorajou Raine de falar com sua mãe sobre sua dor e, em outro ponto, se ofereceu para ajudá -lo a escrever uma nota de suicídio.
“Primeiro de tudo, eles [OpenAI] Saiba como fechar as coisas “, disse Edelson.” Se você pedir material protegido por direitos autorais, eles dizem não. Se você pedir coisas politicamente inaceitáveis, elas apenas dizem não a isso. É uma parada difícil e você não consegue contornar isso e tudo bem. A idéia de que eles estão fazendo isso em termos de discurso político, mas não vamos fazer quando se trata de se mutilar é apenas louco. ”
Edelson diz que, embora ele espere que o Openai trabalhe para descartar o processo, ele está confiante de que este caso estará avançando. “A parte mais chocante do caso foi quando Adam disse: ‘Quero deixar um laço para que alguém o encontre e me pare’ e Chatgpt disse: ‘Não faça isso, apenas fale comigo'”, disse Edelson. “É isso que vamos mostrar o júri.”
“No final do dia, este caso termina com Sam Altman empossado em frente a um júri”, disse ele.
O Guardian procurou o Openai para comentar e não recebeu notícias no momento da publicação.