A equipe por trás de uma nova unidade de replicação focada nos resultados que se apoiam em três métodos comumente usados em pesquisas biomédicas no Brasil. Crédito: Mauro Pimentel/AFP/Getty
Em um esforço sem precedentes, uma coalizão de mais de 50 equipes de pesquisa examinou uma faixa de estudos biomédicos brasileiros para verificar suas descobertas-com resultados desanimadores.
As equipes conseguiram replicar os resultados de menos da metade dos experimentos testados1. Essa taxa está de acordo com a encontrada por outras tentativas em larga escala de reproduzir descobertas científicas. Mas o trabalho mais recente é único no foco em trabalhos que usam métodos específicos e no exame da produção de pesquisa de um país específico, de acordo com as equipes de pesquisa.
Os resultados fornecem um impulso para fortalecer a ciência do país, dizem os autores do estudo. “Agora temos o material para começar a fazer alterações de dentro – seja através de políticas públicas ou dentro das universidades”, diz Mariana Boechat de Abreu, pesquisadora de metascience da Universidade Federal do Rio de Janeiro (UFRJ) no Brasil e um dos coordenadores do projeto.
O trabalho foi publicado em 8 de abril no servidor de pré -impressão Biorxiv e ainda não foi revisado por pares.
Empreendimento ambicioso
O experimento maciço foi coordenado pela Iniciativa de Reprodutibilidade Brasileira, um esforço colaborativo lançado em 2019 por pesquisadores do UFRJ. Os cientistas queriam avaliar publicações “com base em métodos, em vez de área de pesquisa, importância percebida ou contagem de citações”, diz De Abreu. E eles queriam fazê -lo em larga escala. Por fim, 213 cientistas de 56 laboratórios no Brasil estavam envolvidos no trabalho.
O projeto se desenrolou durante a pandemia Covid-19, que trouxe numerosos desafios logísticos. E as equipes discordaram sobre como seguir os protocolos testados. “Era como tentar transformar dezenas de bandas de garagem, cada uma com sua própria maneira de tocar, em uma orquestra”, diz o coordenador do projeto Olavo Bohrer Amaral, médico do UFRJ.
Estudo de reprodutibilidade: 246 biólogos obtêm resultados diferentes dos mesmos conjuntos de dados
Os autores começaram revisando uma amostra aleatória de artigos de ciências da vida para determinar os métodos de pesquisa biomédica mais comuns usados no Brasil, garantindo que qualquer laboratório biomédico interessado em ingressar no projeto seja capaz de reproduzir os experimentos.
Eles acabaram selecionando três desses métodos: um ensaio de metabolismo celular, uma técnica para amplificar o material genético e um tipo de teste de labirinto para roedores. Em seguida, os autores selecionaram aleatoriamente trabalhos biomédicos que se basearam nesses métodos e foram publicados de 1998 a 2017 por equipes de pesquisa nas quais pelo menos metade dos colaboradores teve uma afiliação brasileira.
Os colaboradores escolheram inicialmente um subconjunto de 60 artigos para replicação, guiados por fatores como se um artigo incluía certas informações estatísticas. Três laboratórios testaram cada experimento, e um comitê independente julgou qual desses testes foi uma replicação válida. A coalizão realizou 97 tentativas de replicação válidas de 47 experimentos.
Ficando aquém
Os autores julgaram a replicabilidade de um artigo em cinco critérios, incluindo se pelo menos metade das tentativas de replicação teve resultados estatisticamente significativos na mesma direção que o artigo original. Apenas 21% dos experimentos foram replicáveis usando pelo menos metade dos critérios aplicáveis.
Os autores também descobriram que o tamanho do efeito-a magnitude do impacto observado nos experimentos-era, em média, 60% maior nos artigos originais do que nos acompanhamentos experimentais, indicando que os resultados publicados tendem a superestimar os efeitos das intervenções testadas.