Pesquisadores reproduzem 100 estudos científicos; mais da metade indica resultados diferentes
Um estudo publicado na Science Magazine tratou de replicar 100 estudos divulgados em revistas psicológicas especializadas. Destes, somente 36% mostrou resultados consistentes com as descobertas originais. Segundo os pesquisadores, reproduzir as descobertas supostamente encontradas não só deveria ser parte da prática científica em todos os campos, senão que permitiria que a ciência e os editores de publicações científicas não se deixem levar por análises da moda, os quais às vezes não podem ser replicados com sucesso.
Mais de 270 pesquisadores ao redor do mundo participaram na recriação dos estudos, assessorados com frequência pelos autores originais. Deixaram fora da mostra uns 50 estudos a mais, que não tinham as condições apropriadas de reprodutibilidade. Discutiram os métodos e os detalhes, tratando de compreender a pesquisa a fundo. Mas muitas vezes descobriram que os fatores culturais locais, as condições específicas da primeira pesquisa e uma enorme quantidade de variáveis tornavam impossível replicar os resultados originais.
Por exemplo: ao recriar um estudo sobre agressividade na Alemanha, os pesquisadores da reprodutibilidade deram-se conta de que a percepção de agressividade no trato social se mede com parâmetros muito diferentes que nos Estados Unidos, onde as pessoas percebem como agressivas certas condutas que não seriam para um alemão e vice-versa. Segundo os pesquisadores:
- "Uma grande porção das reproduções feitas mostraram evidências bem mais débeis em relação as primeiras descobertas, apesar do uso de materiais proporcionados pelos autores originais, da revisão antecipada da fidelidade metodológica, e do alto poder estatístico de detectar o tamanho dos efeitos originais".
Em outras palavras, mais da metade dos estudos que foram replicados mostraram resultados diferentes aos publicados originalmente. De acordo com os responsáveis por este apanhado, isto se deve à fome de novidade na comunidade científica, inovações que, no entanto, logo se tornam notícias velhas.
As recomendações da conclusão são endereçadas a gerar novos mecanismos de verificação para aquilo que supostamente já sabemos que sabemos e coloca um acento importante na reprodutibilidade das evidências científicas em vez de considerá-las como certas, fazendo com meias verdades sejam tomadas como pontos de partida de futuros estudos, que já começarão errados.
Ademais é preciso lembrar que estudos e pesquisa das ciências moles, sociais e psicológicas costumam pecar muito por não serem muito estritas em suas aplicações. Muitas vezes lançam mão do apelo popular que aquilo possa gerar, em vez de dispor a sua "descoberta" à análise de um coletivo de especialistas ou ao menos ao processo de revisão por pares.
Esse foi o caso de uma pesquisa ridícula divulgada por meio mundo no começo do ano que dava conta que a barba masculina é mais suja do que um vaso sanitário. O tal estudo se baseou na análise da barba de 6, seis, se-is... trabalhadores de uma cidade do Novo México, EUA. Neste caso seria muito mais fácil encontrar coliformes fecais no cérebro do "iluminado" que divulgou o estudo.
O problema desse pessoal que quer cinco minutos de luzes na ciência é que se esquecem que:
- Alegações extraordinárias, requerem comprovações extraordinárias;
- As previsões devem ser realizadas antes que aconteçam. Não adianta "profetizar" depois do leite derramado;
- O estudo deve ser integralmente replicável por outras pessoas, usando os mesmos parâmetros e arrojando os mesmos resultados;
- O estudo deve possibilitar uma completa oclusão em função de uma análise mais apurada. Não adianta dizer que se acaso der errado, a culpa é do outro;
- Deve ter como base literatura e dados científicos reais e, de preferência, publicados. Não adianta dizer que fulano pesquisou tal coisa sem provar que isso é verdade.
Isto é, a publicação em revistas científicas não é garantia de verdade absoluta, e um marco científico que compreenda e aplique esta evidência dentro de suas próprias práticas permitiria com o que lemos e aprendemos seja uma verdade científica, em vez de uma verdade simplesmente publicada em uma revista científica. É que a inovação pode indicar rotas possíveis; a reprodutibilidade pode indicar rotas prováveis, e o progresso da ciência depende de ambas.
Via | Vox.
Notícias relacionadas:
Comentários
Já ouviu falar de hipóteses, teorias, métodos e leis Arthur? De nada!
"[...] fazendo com meias verdades sejam tomadas como pontos de partida de futuros estudos, que já começarão errados."
Das ciências moles. E das duras?
14,7 bilhões de idade do Universo e não 14,8 ou 14,6? Ou 14,14 ou outro bilhão ou por falta de número melhor?
O não do não toma-se por sim?
Deixe um comentário sobre o artigo
Comentários devem ser aprovados antes de serem publicados. Obrigado!