A ciência tem um problema de reprodutibilidade. E as ramificações são generalizadas.
Esses 53 artigos foram publicados em periódicos de alto nível, e os 21 publicados nos periódicos de maior impacto foram citados em média 231 vezes em trabalhos subsequentes.
Em 2011, os produtos farmacêuticos da Bayer relataram um trabalho semelhante de reprodução. Dos 67 projetos que realizaram para reexecutar experimentos (dos quais 47 envolveram câncer), apenas cerca de 25% terminaram com resultados alinhados com os achados originais.
Acontece que a maioria das empresas farmacêuticas realiza regularmente esses tipos de programas de validação internos. Eles parecem céticos sobre as descobertas da literatura publicada. Dado que seu valioso tempo e seu investimento de bilhões de dólares em recursos de pesquisa dependem diretamente do sucesso dos projetos, suas preocupações parecem justificadas.
Infelizmente, não somos todos tão cuidadosos. Mais e mais dados mostram que deveríamos sê-lo.
Em 2015, os pesquisadores relataram sua replicação de 100 experimentos publicados em 2008 em três importantes periódicos de psicologia. Os estudos de psicologia geralmente não geram muito dinheiro ou produtos comercializáveis, portanto, as empresas não se concentram em verificar sua robustez. No entanto, neste experimento, os resultados da pesquisa foram igualmente questionáveis. As descobertas das réplicas coincidiram com os estudos originais de um terço a metade das vezes, dependendo dos critérios usados para definir "similar".
Há várias razões para esta crise. Os próprios cientistas são um pouco culpados. A pesquisa é difícil e raramente perfeita. Uma melhor compreensão da metodologia e as falhas inerentes podem produzir um trabalho mais reprodutível.
O ambiente de pesquisa e seus incentivos agravam o problema . Os acadêmicos são recompensados profissionalmente quando publicam em um periódico de alto nível. Essas revistas são mais propensas a publicar um trabalho novo e sensacionalista. Isso é o que os financiadores querem também . Isso significa que há um incentivo, quase invisível, para alcançar novos e excitantes resultados em experimentos.
Alguns pesquisadores podem ficar tentados a garantir que obtenham "resultados novos e empolgantes". Isso é fraude . Por mais que queiramos acreditar, isso nunca acontece. Claramente, os resultados fabricados não serão replicáveis em experimentos de acompanhamento.
Mas a fraude é rara. O que acontece com muito mais frequência é muito mais sutil. Os cientistas são mais propensos a tentar publicar resultados positivos do que negativos. Eles são levados a conduzir experimentos de forma a aumentar a probabilidade de obter resultados positivos. Eles, às vezes, medem muitos resultados e relatam apenas os que apresentaram resultados maiores. Às vezes, eles mudam as coisas apenas o suficiente para obter uma medida crucial de probabilidade - o valor p - até 0,05 e reivindicar significância. Isso é conhecido como p-hacking.
Siga lendo em: Science Needs a Solution for the Temptation of Positive Results, NY Times
Nenhum comentário:
Postar um comentário