Crédito: Miragec / Getty
Pode acontecer tão facilmente. Você está animado com um experimento, então você se esconde cedo nos dados para ver se o P O valor – uma medida de significância estatística – caiu abaixo do limite de 0,05. Ou talvez você tenha tentado analisar seus resultados de várias maneiras diferentes, esperando que alguém lhe dê uma descoberta significativa. Essas tentações são comuns, especialmente no mundo do corte da academia de publicação ou perish. Mas ceder a eles pode levar ao que os cientistas chamam P hacking.
P Hacking é a prática de ajustar a análise ou os dados para obter um resultado estatisticamente significativo. Em outras palavras, você está pescando um resultado desejável e relatando apenas as capturas, enquanto ignora todas as vezes em que ficou vazio. Pode obter uma publicação a curto prazo, mas P Hacking contribui para a crise de reprodutibilidade e replicabilidade na ciência, preenchendo a literatura com conclusões duvidosas ou infundadas.
A maioria dos pesquisadores não se propõe a trapacear, mas, sem saber, fazer escolhas que os levam a um resultado significativo. Aqui estão cinco maneiras P Hacking pode entrar em sua pesquisa.
Terminando o experimento muito cedo
Você pode planejar reunir 30 amostras, mas se vê executando uma análise rápida no meio do caminho, apenas para ver onde estão as coisas. Se você notar uma diferença estatisticamente significativa após 15 amostras, pode estar inclinado a interromper o experimento mais cedo – afinal, você encontrou o que estava procurando.
É hora de falar sobre a significância estatística de abandonar
Mas interromper um experimento depois de encontrar um efeito significativo, mas antes de atingir seu tamanho de amostra predeterminado, é clássico P hacking. É como declarar o vencedor de uma eleição depois de pesquisar apenas metade do eleitorado: o resultado pode não ser representativo da realidade. Qual é a solução? Decida o tamanho da amostra ou o processo de coleta de dados antes do tempo e cumpra-o, por mais ansioso que você esteja para ver os resultados.
Executando experimentos até obter um golpe
Outra forma frequentemente não intencional de P Hacking está repetindo o experimento ou análise até você obter um resultado estatisticamente significativo. Imagine que você executa um experimento e o resultado é insignificante. Você tenta novamente com um novo lote de amostras – ainda nada. Você repita o estudo mais uma vez, e pronto! P <0,05. Sucesso? Não exatamente. Se você relatar seletivamente apenas a tentativa que 'funcionou' e ignorou aqueles que não o fizeram, você está se envolvendo P Hacking por omissão. Como qualquer jogador sabe, se você rolar os dados com frequência, eventualmente, você terá o resultado que deseja por acaso sozinho (não que eu seja um jogador). A melhor abordagem é relatar todas as réplicas experimentais, incluindo aquelas que não funcionaram.
Chegando seus resultados
Uma forma menos benigna de P Hacking é um relatório seletivo. Imagine que você mede vários resultados ou observe seu efeito em vários momentos – por exemplo, testando o impacto de uma terapia na pressão arterial, colesterol, peso e açúcar no sangue dos destinatários durante um mês inteiro. Depois de analisar os dados, você descobre que apenas um resultado – digamos, o açúcar no sangue na semana 3 – mostrou uma melhora significativa. Você pode ficar tentado a destacar esse resultado promissor e subestimar o resto, ou até omiti -los do seu relatório. Isso é escolhido: mostrando apenas os dados favoráveis e ignorando todo o resto, você cria uma narrativa tendenciosa.
Neste exemplo, as pessoas podem pensar que a terapia funcionou porque reduziu o açúcar no sangue na semana 3, mesmo que os dados gerais não sejam tão rosados. Colocar esses dados no material suplementar do artigo e continuar com o experimento com base nessa descoberta também é um não-não. Você deve relatar todos os resultados relevantes, não apenas os que apóiam a hipótese. A ciência progride mais rapidamente quando sabemos o que não funciona, assim como o que acontece.
Ajustando seus dados
Na análise de dados, você geralmente precisa fazer julgamentos sobre o que incluir, o que excluir e como relatar os dados. P Hacking pode entrar quando essas decisões são guiadas pelo desejo de alcançar significância e não pelo raciocínio científico. Por exemplo, você pode notar um outlier em seu conjunto de dados. Incluí -lo na análise fornece um P valor de 0,08, enquanto excluir isso traz P até 0,03. Problema resolvido? Não exatamente.
Nesses casos, é uma prática recomendada voltar aos dados originais ou notas de laboratório para determinar se as condições experimentais podem explicar esse outlier. Talvez você tenha dado o dobro da quantidade de reagente em sua amostra, ou obras de construção nas proximidades durante o tempo em que você estava testando que o animal afetou seu comportamento. Os pesquisadores geralmente podem racionalizar suas decisões de filtração de dados, e a maioria dessas decisões é justificada. Mas se o motivo real é transformar um resultado insignificante em um significativo, ele atravessa um território questionável. A chave é decidir sobre as regras de filtragem de dados antes de analisar os resultados. Se, por algum motivo, você precisar fazer uma alteração após a coleta de dados, explique isso – e diga o porquê.