As empresas de inteligência artificial foram solicitadas a replicar os cálculos de segurança que sustentaram o primeiro teste nuclear de Robert Oppenheimer antes de liberar sistemas todos-poderosos.
Max Tegmark, uma voz líder na segurança da IA, disse que havia realizado cálculos semelhantes aos do físico dos EUA Arthur Compton antes do teste da Trinity e havia encontrado uma probabilidade de 90% de que uma IA altamente avançada representasse uma ameaça existencial.
O governo dos EUA prosseguiu com a Trinity em 1945, depois de ter certeza de que havia uma chance extremamente pequena de uma bomba atômica acender a atmosfera e colocar em risco a humanidade.
Em um artigo publicado por Tegmark e três de seus alunos no Instituto de Tecnologia de Massachusetts (MIT), eles recomendam calcular a “constante de Compton”-definida no artigo como a probabilidade de uma IA totalmente-poderosa escapar do controle humano. Em uma entrevista de 1959 com o escritor dos EUA Pearl Buck, Compton disse que aprovou o teste depois de calcular as chances de uma reação de fusão fugitiva ser “um pouco menos” que um em três milhões.
Tegmark disse que as empresas de IA devem assumir a responsabilidade de calcular rigorosamente se a Super Inteligência Artificial (ASI) – um termo para um sistema teórico que é superior à inteligência humana em todos os aspectos – evita o controle humano.
“As empresas que constroem a super inteligência precisam também calcular a constante de Compton, a probabilidade de perdermos o controle sobre ela”, disse ele. “Não basta dizer ‘nos sentimos bem com isso’. Eles precisam calcular a porcentagem”.
Tegmark disse que um consenso constante de Compton calculado por várias empresas criaria a “vontade política” para concordar com os regimes de segurança globais da AIS.
Tegmark, professor de física e pesquisador de IA do MIT, também é co-fundador do Future of Life Institute, uma organização sem fins lucrativos que apóia o desenvolvimento seguro da IA e publicou uma carta aberta em 2023 pedindo uma pausa na construção de AIS poderosa. A carta foi assinada por mais de 33.000 pessoas, incluindo Elon Musk-um defensor do Instituto-e Steve Wozniak, co-fundador da Apple.
A carta, produzida meses após o lançamento do ChatGPT lançando uma nova era de desenvolvimento de IA, alertou que os laboratórios de IA estavam trancados em uma “corrida fora de controle” para implantar “mentes digitais cada vez mais poderosas” que ninguém pode “entender, prever ou controlar confiabilidade”.
Tegmark conversou com o Guardian como um grupo de especialistas em IA, incluindo profissionais da indústria de tecnologia, representantes de órgãos de segurança apoiados pelo Estado e acadêmicos desenharam uma nova abordagem para o desenvolvimento da IA com segurança.
O consenso de Cingapura no relatório global de prioridades de pesquisa de segurança da IA foi produzido pela Tegmark, o cientista da computação líder mundial Yoshua Bengio e funcionários de empresas líderes de IA como OpenAi e Google DeepMind. Ele estabeleceu três áreas amplas para priorizar na pesquisa de segurança da IA: desenvolvendo métodos para medir o impacto dos sistemas atuais e futuros de IA; Especificando como uma IA deve se comportar e projetar um sistema para conseguir isso; e gerenciar e controlar o comportamento de um sistema.
Referindo-se ao relatório, Tegmark disse que o argumento para o desenvolvimento seguro na IA havia recuperado o seu pé após a cúpula governamental mais recente da IA em Paris, quando o vice-presidente dos EUA, JD Vance, disse que o futuro da IA ”não será vencido ao escrever à mão sobre segurança”.
Tegmark disse: “Realmente parece que a escuridão de Paris se foi e a colaboração internacional voltou a rugir”.