Pular para o conteúdo principal

Pesquisadores querem padrões mais altos em resultados científicos para evitar falsos positivos



“Ciência” pode significar algo maluco para você, como novos tratamentos inovadores, novos animais incríveis, explosões no espaço ou alguma química maluca. Mas, em sua essência, a ciência nada mais é do que o descarte de hipóteses baseado em evidências. Um novo debate agora está pegando fogo, sobre um dos conceitos importantes da ciência: como decidimos o que constitui um resultado positivo.

No centro do debate está o conceito de “significância estatística”. Muito da ciência envolve testar um grupo de controle contra um experimento, como um dado contra um dado ponderado. A “hipótese nula” significa que o resultado experimental foi exatamente o mesmo que o de controle. “Estatisticamente significante”, por outro lado, significa que, depois de coletar todos os dados, o experimento e o grupo de controle foram diferentes o bastante e a amostra grande o bastante para que a hipótese nula possa ser razoavelmente descartada. Em outras palavras, o tratamento experimental teve um efeito real e mensurável.

Atualmente, cientistas medem a significância estatística usando um número chamado de valor-p: se o valor-p for menor que 0,05, isso significa que existe uma chance de 5% de que o grupo de controle sozinho teria produzido os resultados que o experimento produziu. Mas um número crescente de pesquisadores não está confortável com esse valor de 0,05, e uma equipe está agora propondo a redefinição da significância estatística para um valor-p de 0,005 — apenas 0,5% de chances do grupo de controle produzir os resultados observados no experimento. Resumindo, esses pesquisadores estão pedindo que os cientistas adotem padrões muito mais altos para o que eles consideram resultados “reais”.

Isso poderia ter implicações em experimentos de diversos campos, como biologia e medicina, e poderia exigir que cientistas trabalhem muito mais para provar suas hipóteses.

“A falta de reprodutibilidade de estudos científicos causou preocupação crescente sobre a credibilidade de alegações de novas revelações baseadas em descobertas ‘estatisticamente significantes'”, escreve um grupo de 72 cientistas em um artigo que será publicado no periódico Nature Human Behavior. “[…] Acreditamos que uma causa principal para a não-reprodutibilidade ainda não foi tratada: os padrões estatísticos de evidência para alegação de novas descobertas em muitos campos da ciência são simplesmente muito baixos. Associar descobertas ‘estatisticamente significantes’ com P < 0,05 resulta em uma alta taxa de falsos positivos.”

Os pesquisadores admitem que definir a significância estatística como 0,005 é tão arbitrário quanto usar 0,05 — é apenas um limite usado para reduzir a probabilidade de falsos positivos em um experimento. Mas pense: a física de partículas usa um valor-p de p=0,0000003, de acordo uma publicação de blog da Scientific American. Isso significa que, em um experimento de física de partículas, quando cientistas comparam seu grupo de controle (as leis da física sem a nova partícula) com o experimento (as leis da física incluindo a nova partícula), tem apenas uma chance de 0,0003% de que as leis da física sem a nova partícula produzam os resultados que eles obtêm. A física de partículas não permite a entrada de novas partículas facilmente.

Os pesquisadores chamam atenção para o fato de que adotar um valor-p mais rigoroso como padrão para significância estatística ofereceria muito mais trabalho para os cientistas — eles precisariam coletar 70% mais dados, de acordo com o novo artigo, já que coletar mais dados é um jeito de fazer o experimento se destacar melhor em relação ao grupo de controle. A mudança de limite para a significância estatística também não combateria a “p-hacking”, prática controversa em que um cientista testa múltiplas hipóteses ao mesmo tempo, na esperança de que uma delas acabe com um valor-p menor do que 0,05 baseado puramente em sorte ou em outros vieses. Eles também apontam que estudos com valores-p maiores que 0,05 e menos que 0,05 deveriam ser rotulados como “evidência sugestiva”.

Obviamente, tem muito a se discutir. O microbiólogo Jonathan Eisen, da Universidade da Califórnia em Davis, disse, em um post de blog, que não tinha “100% de certeza” se apoiava o valor-p revisado. Afinal, coletar mais dados custa mais dinheiro e leva mais tempo. Alguns se preocuparam com como isso poderia afetar os custos de testes de medicamentos, como noticia a Science, ou que isso era o “menor de nossos problemas” na ciência, em nossa era atual na história, como escreveu o psicólogo Timothy Bates, da Universidade de Edimburgo, em um outro post de blog.

A essa altura, sabemos que existe uma crise de reprodutibilidade na ciência. Aqueles tentando obter os mesmos resultados que os estudos anteriores de câncer e psicologia estão chegando sem os efeitos relatados. Então, por enquanto, saiba apenas que existe uma conversa fermentando para resolver isso, e o pessoal quer ver uma mudança.

[PsyArXiv via Science]

Imagem do topo: Daniel Dionne/Flickr

FONTE: GIZMODO BRASIL

Comentários

Postagens mais visitadas deste blog

Conheça histórias de pessoas que foram abduzidas por Extraterrestres

As pessoas do mundo se dividem em dois grandes grupos e um terceiro bem pequeno.

Os dois grandes grupos são: aqueles que acham que ETs existem e aqueles que acham que ETs não existem.

Correndo por fora, existe uma minoria silenciosa que se mantém quietinha, aparentemente, porque, se essas pessoas disserem as coisas que elas sabem, ninguém acreditaria nelas.

Elas fazem parte do pequeno grupo que jura de pé junto ter feito contato com seres extraterrestres.

O fotógrafo nova-iorquino Steven Hirsch, de 63 anos, é um cara que, se não acredita nessas pessoas, pelo menos acredita no direito que elas têm de contar suas histórias do jeito que quiserem.

Por isso, ele criou um blog em que entrevista e fotografa gente que diz ter sido abduzida por alienígenas. O endereço é littlestickylegs.blogspot.co.uk.

- Eu não quero que os meus leitores tenham nenhum tipo de ideia pré-concebida sobre essas pessoas até qie eles vejam suas imagens e leiam suas palavras. Minhas entrevistas mal conseguem ir além…

Mémorias da Ufologia: Caso SANTA ISABEL

FOTOS DO LAUDO

Na localidade de Santa Izabel(SP) em junho de 1999, a Sra. Alzira Maria de Jesus foi encontrada morta na sua cama, e por volta das 8 hs da manhã sua nora percebe o fato e sai imediatamente para ir ao orelhão e ligar para o seu marido e espera à ajuda e , ao chegar de volta em casa quase 40 min.depois a nora vê o corpo da sra. com o rosto totalmente desfigurado e praticamente sem carne; foi feito o boletim de ocorrência na delegacia da cidade sob n°145/99 em 24 de Junho. Posteriormente confirmou-se que à causa da morte foi a parada respiratória, mas o que aconteceu realmente como rosto desta sra. num espaço menor de uma hora?O laudo é cita sobre as configurações do mesmo, inclusive nas cavidades oculares, mas o que teria causado à perda do rosto ficou indeterminada. Mais estranho ainda é que na noite anterior aos fatos foram vistas bolas de luz voando nessa região rural e no início da madrugada os animais,como cachorros,gansos,e outros começaram à fazer um intenso barulh…

O caso Roswell nordestino: Queda de UFO na Bahia, em Janeiro de 1995

Por Ufo Bahia: Nessa data, as 09:00 horas, uma in­formante do G-PAZ, "M" da TV BAHIA me ligou contando uma mirabolante his­tória de queda de um UFO em Feira deSantana(BA) a 112 Km de Salvador. Umfazendeiro de apelido Beto, tinha ligadopara TV SUBAÉ daquela cidade oferecen­do – em troca de dinheiro – um furo dereportagem; um disco voador tinha caído na sua fazenda e ele tinha provas e ima­gens do fato!
Apenas depois do meio dia, conse­gui – por fim – falar com Beto, que apóssua proposta de negócio, ante minha (apa­rente) frieza, me contou com bastante de­talhes o acontecido. Soube que tambémtentara vender suas provas a TV BAHIA,onde procurou o repórter José Raimundo:
"Ontem pela madrugada caiu algu­ma coisa na minha fazenda, dentro de umalagoa. Era do tamanho de um fusca; aqui­lo ficou boiando parcialmente submerso,perto da beirada. Tentei puxar como pude,trazendo para perto de mim, com uma vara.Aquilo parecia um parto... (quando seabriu uma porta) começou primeiro a sa…