Pode ser difícil detectar problemas em um nível de instituição usando métricas convencionais. Crédito: Susanneb/Getty
Um método de pontuação na universidade que destaca a integração da pesquisa ‘Bandeiras Vermelhas’ pode facilitar a localização de instituições que estão perseguindo métricas convencionais de publicação às custas de ciências rigorosas, dizem pesquisadores.
O índice de risco de integridade da pesquisa, descrito em uma pré -impressão em Arxiv no mês passado1categoriza as instituições de acordo com quantos de seus trabalhos são retraídos e quantos são publicados em periódicos retirados dos bancos de dados acadêmicos Scopus e Web of Science. Os pesquisadores dizem que o índice pode melhorar os sistemas de classificação universitários que atualmente recompensam a quantidade de produção de pesquisa sobre a qualidade.
As estratégias da universidade de elite podem aumentar o perfil e a classificação, mas a que custo?
“As universidades querem ser vistas como estrelas em ascensão”, mas nem sempre é claro se estão “subindo em solo sólido ou areia estatística”, diz Lokman Meho, cientista da informação da Universidade Americana de Beirute, que diz que desenvolveu o índice como uma maneira de ajudar a identificar “ambientes onde a integridade pode ser comprometida por pressão para maximizar os métricos” como os médicos ”, como os arquivos. A medida não foi projetada para identificar a má conduta da pesquisa, ele enfatiza, “mas revelam vulnerabilidades que justificam mais revisão”.
O índice é “um bom primeiro passo” e “deve ser usado pelas agências de classificação”, diz Achal Agrawal, cientista de dados de Raipur, Índia, e fundador da Índia Research Watch, um grupo on -line de pesquisadores e estudantes que destacam questões de integridade. “Oferece uma correção forte e oportuna a um sistema que muitas vezes equivale a excelência em pesquisa com um volume puro”, diz Kiran Sharma, cientista de dados da Universidade BML Munjal em Gurugram, Índia. “Isso muda a atenção da quantidade para a integridade, ajudando a realinhar incentivos acadêmicos com um valor acadêmico genuíno”.
Rethink de classificação
Os rankings universitários globais geralmente rastreiam quantos trabalhos uma instituição publica e com que frequência sua pesquisa é citada. Meho diz que esses ‘dados positivos’ podem ser enganosos – e que algumas instituições os exploram para subir no ranking. “Eu queria seguir para o outro lado, a parte da integridade da pesquisa”, diz ele.
O índice do Meho classifica as universidades pela proporção de seus documentos publicados em periódicos excluídos e com que frequência seus trabalhos foram retraídos nos últimos dois anos. Meho diz que escolheu esses dois critérios porque eles eram “objetivos” e baseados em dados publicamente disponíveis, embora explorasse outras maneiras de quantificar preocupações com integridade, como a presença de autores hiper-prolíficos e se houve uma diminuição na proporção de trabalhos que listaram os pesquisadores de uma instituição como os primeiros ou correspondentes autores. A ferramenta coloca as instituições em uma das cinco categorias, variando de ‘baixo risco’ a ‘bandeira vermelha’, o que sugere altas taxas em ambas as medidas e indica a necessidade de escrutínio urgente.
O surto no número de autores ‘extremamente produtivos’ diz respeito aos cientistas
Ao desenvolver o índice, o MEHO analisou 18 instituições – localizadas na Arábia Saudita, Índia, Líbano e Emirados Árabes Unidos – que haviam visto ‘crescimento extremo de crescimento da publicação’ e rapidamente subiu no ranking internacional nos últimos anos.