A novidade é frequentemente adotada como uma virtude na ciência. Mas o que isso significa e quão valioso é, realmente? Um manuscrito escrito em Gobbledegook pode ser considerado novo, apesar de ser inútil. E os estudos que tentam replicar trabalhos anteriores podem ser valiosos sem serem novos.
Alguns cientistas argumentam que o atual sistema de pesquisa, impulsionado por métricas baseadas em citação, incentiva os pesquisadores a interpretar isso em segurança. É mais fácil obter citações para um trabalho incremental em campos estabelecidos do que sair de silos. Outros contrariam que o sistema existente exige novidade às custas de profundidade e replicação, e que o que é considerado romance pode ser subjetivo.
A ciência ‘disruptiva’ declinou – e ninguém sabe por que
Como co-líder da Unidade de Metasciência do Reino Unido, eu lutei com esse debate. É importante considerar se mais novidades tornariam a pesquisa mais impactante. Mas fui perplexo com o fato de não haver boas maneiras de medir a novidade. Sem bons indicadores, os pesquisadores não podem avaliar a prevalência de trabalhos originais ou seu valor no progresso científico.
Os metascientistas tentaram atribuir pontuações de novidade aos trabalhos acadêmicos – e seus autores – de várias maneiras, nenhuma das quais é infalível. Identifica -se os primeiros usuários de certas palavras -chave, para que possamos ver retrospectivamente que eram pioneiros em idéias. Outro analisa como os papéis científicos se citam; A pesquisa nova geralmente cita combinações de trabalhos que não haviam sido reunidos anteriormente.
Nos últimos anos, surgiram modelos baseados em inteligência artificial (IA) que analisam a similaridade textual entre um artigo e o corpus de pesquisa existente. Ao ingerir grandes quantidades de texto de manuscritos on -line, esses modelos têm o potencial de ser melhores do que os modelos anteriores para detectar o quão original é um artigo, mesmo nos casos em que o estudo não citou o trabalho que se parece. Como esses modelos analisam os significados de palavras e frases, em vez de frequências de palavras, eles não obtiveriam um artigo mais altamente simplesmente para o uso de linguagem variada – por exemplo, ‘massa’ em vez de ‘dinheiro’.
Pagar pesquisadores para identificar erros em artigos publicados
Mas esses indicadores de novidade baseados em IA e, até certo ponto, seus antecessores, ainda não foram validados com robustez. Eles se coerem com julgamentos humanos de que nova ciência é? Eles destacariam o trabalho que ganhou prêmios Nobel ou para serem financiados por programas focados na novidade, como os da DARPA e da ARIA, digamos? Sem testá -los em escala em vários campos, não podemos confiar neles.
É por isso que a Unidade de Metasciência do Reino Unido fez uma parceria com a organização sem fins lucrativos Rand Europe; a Unidade de Pesquisa em Política Científica da Sussex; e o editor Elsevier, para lançar a Metânica (consulte go.nature.com/3hhsdp3) – uma competição para produzir e validar indicadores para a novidade científica em trabalhos acadêmicos. Correndo até novembro, a Metânica está aberta a pesquisadores de todo o mundo.
Os participantes projetarão avaliações de novidade e testarão -as em um conjunto de 50.000 trabalhos de pesquisa, extraídos de muitos campos. Compararemos as pontuações dos algoritmos contra um enorme conjunto de dados de ‘verdade na verdade’, reunido pedindo a mais de 10.000 pesquisadores que avaliem a novidade do mesmo conjunto de trabalhos, cada um sendo atribuído apenas a estudos em seu próprio campo para julgar. A equipe por trás do indicador de que melhor se alinha aos julgamentos humanos receberá £ 300.000 (US $ 407.000) para desenvolver ainda mais seu trabalho.
Uma vez que tenhamos um indicador que corresponda de maneira confiável julgamentos humanos, os metafientistas poderão estudar o papel da originalidade no progresso científico.