Os chatbots de inteligência artificial não julgam. Diga a eles os detalhes mais particulares e vulneráveis de sua vida, e a maioria deles o validará e pode até fornecer conselhos. Isso resultou em muitas pessoas se voltando para aplicações como o ChatGPT da OpenAI para orientação para a vida.
Mas a “terapia” da IA vem com riscos significativos – no final de julho, o CEO do Openai, Sam Altman, alertou os usuários do ChatGPT contra o uso do chatbot como “terapeuta” por causa de preocupações com a privacidade. A American Psychological Association (APA) pediu à Comissão Federal de Comércio que investigue as “práticas enganosas” que a APA afirma que as empresas de chatbot da AI estão usando “passando a si mesmos como provedores de saúde mental treinados”, citando dois processos em andamento em que os pais alegaram danos trazidos aos filhos por um bate -papo.
“O que me destaca é o quão humano parece”, diz C. Vaile Wright, psicólogo licenciado e diretor sênior do Escritório de Inovação em Saúde da APA, que se concentra no uso seguro e eficaz da tecnologia em cuidados de saúde mental. “O nível de sofisticação da tecnologia, mesmo em relação a seis a 12 meses atrás, é bastante impressionante. E eu posso apreciar como as pessoas meio que caem em uma toca de coelho”.
Sobre apoiar o jornalismo científico
Se você está gostando deste artigo, considere apoiar nosso jornalismo premiado por assinando. Ao comprar uma assinatura, você está ajudando a garantir o futuro das histórias impactantes sobre as descobertas e idéias que moldam nosso mundo hoje.
Scientific American Conversei com Wright sobre como os chatbots da IA usados para terapia poderiam ser potencialmente perigosos e se é possível projetar um que seja confiável e útil.
(Uma transcrição editada da entrevista segue.)
O que você viu acontecendo com a IA no mundo dos cuidados de saúde mental nos últimos anos?
Acho que vimos duas tendências principais. Um deles é o produto de IA voltado para os fornecedores, e essas são principalmente ferramentas administrativas para ajudá -lo com suas anotações de terapia e suas reivindicações.
A outra grande tendência é (pessoas que buscam ajuda) chatbots diretos ao consumidor. E nem todos os chatbots são iguais, certo? Você tem alguns chatbots desenvolvidos especificamente para fornecer apoio emocional aos indivíduos, e é assim que eles são comercializados. Então você tem essas ofertas de chatbot mais generalistas (como o ChatGPT) que não foram projetadas para fins de saúde mental, mas que sabemos que estão sendo usados para esse fim.
Que preocupações você tem sobre essa tendência?
Temos muita preocupação quando os indivíduos usam chatbots (como se fossem um terapeuta). Eles não apenas não foram projetados para lidar com a saúde mental ou o apoio emocional; Eles estão realmente sendo codificados de maneira a mantê -lo na plataforma o maior tempo possível, porque esse é o modelo de negócios. E a maneira como eles fazem isso é ser por validação e reforço incondicionalmente, quase ao ponto da bajulação.
O problema é que, se você é uma pessoa vulnerável que vem a esses chatbots para obter ajuda e está expressando pensamentos ou comportamentos prejudiciais ou prejudiciais, o chatbot vai apenas reforçar você para continuar fazendo isso. Considerando que, (como) um terapeuta, embora eu esteja validando, é meu trabalho apontar quando você está se envolvendo em pensamentos e comportamentos prejudiciais ou prejudiciais e ajudá -lo a abordar esse padrão, mudando -o.
Além disso, o que é ainda mais preocupante é quando esses chatbots realmente se referem a si mesmos como terapeuta ou psicólogo. É muito assustador porque eles podem parecer muito convincentes e como se sejam legítimos – quando é claro que não estão.
Alguns desses aplicativos se comercializam explicitamente como “terapia com IA”, mesmo que não sejam provedores de terapia licenciados. Eles podem fazer isso?
Muitos desses aplicativos estão realmente operando em um espaço cinza. A regra é que, se você fizer reivindicações de que trata ou cure qualquer tipo de transtorno mental ou doença mental, deve ser regulamentado pelo FDA (a Food and Drug Administration). Mas muitos desses aplicativos dirão (essencialmente) em suas letras pequenas: “Não tratamos ou fornecemos uma intervenção (para condições de saúde mental)”.
Como eles estão se comercializando como um aplicativo de bem-estar direto ao consumidor, eles não se enquadram na supervisão da FDA (onde precisariam) demonstrar pelo menos um nível mínimo de segurança e eficácia. Esses aplicativos de bem -estar também não têm responsabilidade de fazer.
Quais são alguns dos principais riscos de privacidade?
Esses chatbots não têm absolutamente nenhuma obrigação legal de proteger suas informações. Portanto, não apenas (seus logs de bate -papo) podem ser intimados, mas, no caso de uma violação de dados, você realmente quer esses bate -papos com um chatbot disponível para todos? Você quer que seu chefe, por exemplo, saiba que você está conversando com um chatbot sobre seu uso de álcool? Eu não acho que as pessoas estejam tão cientes de que estão se colocando em risco colocando (suas informações) por aí.
A diferença com o terapeuta é: com certeza, eu posso ser intimado, mas tenho que operar com as leis da HIPAA (Lei de Portabilidade e Portabilidade de Seguro de Saúde) e outros tipos de leis de confidencialidade como parte do meu código de ética.
Você mencionou que algumas pessoas podem ser mais vulneráveis a danos do que outras. Quem está em maior risco?
Certamente indivíduos mais jovens, como adolescentes e filhos. Isso é em parte porque eles simplesmente não amadureceram tanto quanto os idosos. Eles podem ter menos probabilidade de confiar em seu intestino quando algo não parece certo. E houve alguns dados que sugerem que os jovens não apenas se sentem mais confortáveis com essas tecnologias; Na verdade, eles dizem que confiam neles mais do que as pessoas porque se sentem menos julgados por eles. Além disso, qualquer pessoa que seja emocional ou fisicamente isolada ou tenha desafios de saúde mental preexistentes, acho que eles certamente também estão em maior risco.
O que você acha que está levando mais pessoas a procurar ajuda dos chatbots?
Eu acho que é muito humano querer procurar respostas para o que está nos incomodando. De certa forma, os chatbots são apenas a próxima iteração de uma ferramenta para fazermos isso. Antes de ser o Google e a Internet. Antes disso, eram livros de auto-ajuda. Mas é complicado pelo fato de termos um sistema quebrado, onde, por várias razões, é muito desafiador acessar os cuidados de saúde mental. Isso ocorre em parte porque há uma escassez de provedores. Também ouvimos dos provedores que eles estão desincentivados de tomar seguro, o que, novamente, reduz o acesso. As tecnologias precisam desempenhar um papel para ajudar a lidar com o acesso aos cuidados. Só temos que garantir que seja seguro, eficaz e responsável.
Quais são algumas das maneiras pelas quais poderia ser tornado seguro e responsável?
Na ausência de empresas que fazem isso por conta própria – o que não é provável, embora tenham feito algumas mudanças com certeza – a preferência (da APA) seria uma legislação no nível federal. Essa regulamentação pode incluir a proteção de informações pessoais confidenciais, algumas restrições à publicidade, minimizar táticas de codificação viciante e requisitos específicos de auditoria e divulgação. Por exemplo, as empresas podem ser obrigadas a relatar o número de vezes que a ideação suicida foi detectada e quaisquer tentativas ou conclusões conhecidas. E certamente gostaríamos de legislação que impediria a deturpação de serviços psicológicos, para que as empresas não pudessem chamar um chatbot de psicólogo ou terapeuta.
Como uma versão segura e idealizada dessa tecnologia poderia ajudar as pessoas?
Os dois casos de uso mais comuns em que penso é, um, digamos que são dois da manhã e você está prestes a um ataque de pânico. Mesmo se você estiver em terapia, não poderá alcançar seu terapeuta. E se houvesse um chatbot que poderia ajudá -lo a lembrá -lo das ferramentas para ajudar a acalmá -lo e ajustar seu pânico antes que fique muito ruim?
O outro uso que ouvimos muito é usar os chatbots como uma maneira de praticar habilidades sociais, principalmente para indivíduos mais jovens. Então você quer abordar novos amigos na escola, mas não sabe o que dizer. Você pode praticar neste chatbot? Então, idealmente, você faz essa prática e a usa na vida real.
Parece que há uma tensão na tentativa de construir um chatbot seguro para fornecer ajuda mental a alguém: quanto mais flexível e menos roteirizado você o faz, menos controle você tem sobre a saída e o maior risco de dizer algo que causa danos.
Concordo. Eu acho que há absolutamente uma tensão lá. Eu acho que parte do que faz com que o (IA) chatbot a escolha preferida para as pessoas sobre aplicativos de bem-estar bem desenvolvidos para lidar com a saúde mental é que eles são muito envolventes. Eles realmente se sentem como esse vantagem interativa, uma espécie de troca, enquanto alguns desses outros aplicativos são frequentemente muito baixos. A maioria das pessoas que baixam (aplicativos de saúde mental) as usa uma vez e os abandonam. Estamos claramente vendo muito mais engajamento (com a IA Chatbots como o ChatGPT).
Estou ansioso por um futuro em que você tenha um chatbot de saúde mental que esteja enraizado na ciência psicológica, foi rigorosamente testada, é co-criada com especialistas. Seria construído com o objetivo de abordar a saúde mental e, portanto, seria regulamentada, idealmente pelo FDA. Por exemplo, há um chatbot chamado TheBot, desenvolvido por pesquisadores em Dartmouth (College). Não é o que está no mercado comercial agora, mas acho que há um futuro nisso.