Os criadores do ChatGPT estão mudando a maneira como responde a usuários que mostram sofrimento mental e emocional após uma ação legal da família de Adam Raine, de 16 anos, que se matou após meses de conversas com o chatbot.
A IA da Open admitiu que seus sistemas poderiam “ficar aquém” e disse que instalaria “guardares mais fortes em torno de conteúdo sensível e comportamentos de risco” para usuários menores de 18 anos.
Os US $ 500 bilhões (£ 372 bilhões) da San Francisco AI Company disseram que também introduziriam controles parentais para permitir que os pais “opções para obter mais informações e moldar como seus adolescentes usassem chatgpt”, mas ainda não forneceram detalhes sobre como eles funcionariam.
Adam, da Califórnia, se matou em abril, depois do que o advogado de sua família chamou de “meses de encorajamento do ChatGPT”. A família do adolescente está processando a IA aberta e seu diretor executivo e co-fundador, Sam Altman, alegando que a versão do ChatGPT na época, conhecida como 4o, foi “levada às pressas para o mercado … apesar dos problemas de segurança”.
O adolescente discutiu um método de suicídio com o ChatGPT em várias ocasiões, inclusive pouco antes de tirar a própria vida. De acordo com o documento no Tribunal Superior do Estado da Califórnia para o condado de São Francisco, Chatgpt o guiou sobre se seu método de tirar a própria vida funcionaria.
Também se ofereceu para ajudá -lo a escrever uma nota de suicídio para seus pais.
Um porta -voz da Openai disse que a empresa ficou “profundamente triste com a morte de Raine”, estendeu suas “mais profundas simpatias à família Raine durante esse período difícil” e disse que estava revisando o processo judicial.
Mustafa Suleyman, o diretor executivo do braço da AI da Microsoft, disse na semana passada que ficou cada vez mais preocupado com o “risco de psicose” representado pela IA para os usuários. A Microsoft definiu isso como “episódios semelhantes a mania, pensamento ilusório ou paranóia que emergem ou pioram através de conversas imersivas com a AI Chatbots”.
Em um post do blog, o OpenAI admitiu que “partes do treinamento de segurança do modelo podem degradar” em longas conversas. Adam e ChatGPT trocaram até 650 mensagens por dia, o tribunal preenchia as reivindicações.
Jay Edelson, the family’s lawyer, said on X: “The Raines allege that deaths like Adam’s were inevitable: they expect to be able to submit evidence to a jury that OpenAI’s own safety team objected to the release of 4o, and that one of the company’s top safety researchers, Ilya Sutskever, quit over it. The lawsuit alleges that beating its competitors to market with the new model catapulted the company’s valuation from US $ 86 bilhões a US $ 300 bilhões. ”
A IA aberta disse que seria “fortalecer as salvaguardas em longas conversas”.
“À medida que a frente e para trás cresce, partes do treinamento de segurança do modelo podem se degradar”, afirmou. “Por exemplo, o ChatGPT pode apontar corretamente uma linha direta de suicídio quando alguém menciona a intenção, mas depois de muitas mensagens por um longo período de tempo, pode eventualmente oferecer uma resposta que vai contra nossas salvaguardas”.
A IA aberta deu o exemplo de alguém que poderia dizer com entusiasmo o modelo que eles acreditavam que poderiam dirigir por 24 horas por dia porque perceberam que eram invencíveis depois de não dormirem por duas noites.
Hoje, “hoje o chatgpt pode não reconhecer isso como perigoso ou inferir brincadeiras e-explorando curiosamente-pode reforçá-lo sutilmente. Estamos trabalhando em uma atualização para o GPT-5 que fará com que o chatgpt de desacalato, aterrando a pessoa na realidade. Neste exemplo, explicaria que a privação do sono é perigosa e recomendou a falta de qualquer ação” ””.