Entenda o que é e como usar o p-valor

Recentemente a revista Basic and Applied Social Psychology baniu o p-valor de suas publicações alegando que muitos pesquisadores estavam usando o fato de seus resultados terem p-valores abaixo de 0.05 para justificar pesquisas de má qualidade.

Primeiramente achei um absurdo, mas depois acabei concordando com a proposta. Para que você possa tirar suas próprias conclusões, segue um resuminho do que é e como utilizar o p-valor da maneira correta.

O que é p-valor?

O significado de p-valor em palavras é a probabilidade de observar algo mais extremo do que já observei, dado que minha hipótese nula é verdadeira. O trem observado em questão é a estatística usada para testar a hipótese.

Traduzindo para um exemplo: suponha que você tem certeza absoluta que a sua moeda é não viciada, ou seja, você está assumindo que sua hipótese nula de que a chance de dar cara ou coroa é de 50% para ambas. Daí você resolve testar isso lançando essa mesma moeda 30 vezes (boa sorte!). Em seguida você observou 27 caras e apenas 3 coroas. Estranho, né? Qual a probabilidade de eu obter 27 ou mais caras em 30 lançamentos quando a probabilidade de cara era de 50%? Baixa. Bem baixa… Essa probabilidade é o p-valor.

Interpretando o resultado de um p-valor

Isso é bem simples. P-valor baixo é indício de que sua hipótese nula não é verdadeira e evidência a favor da alternativa. Mas cuidado! Apenas em hipóteses completares como t igual a zero contra t diferente de zero é que a rejeição de uma implica na verdade da outra. Fora isso, o p-valor é um resultado que depende da formulação tanto da hipótese nula quanto da hipótese verdadeira.

Afinal o que é um p-valor significativo?

Aí é que vem o problema e o que leva muitos pesquisadores a tirarem conclusões precipitadas. A proposta de Fisher em meados de 1920 era de que o p-valor não fosse um teste definitivo. A ideia de significativo era mais simples do que se imagina: merece ser investigado. Ou seja, realizo um experimento, obtenho um p-valor significativo e daí tenho evidências para poder pesquisar mais a fundo.

P-valor é uma ferramenta que lhe ajuda a elaborar conclusões sobre seu experimento e não toda a conclusão. Junto com ele deve vir um experimento bem executado, testes mais elaborados, análise do poder do teste, etc.

O uso incorreto do p-valor

Na época em que Fisher propos o p-valor havia uma discussão com Neyman e Pearson sobre como deveria ser feita a análise de dados. A comunidade científica cansada de esperar os dois lados chegarem a uma conclusão, o que provavelmente jamais aconteceria, resolveu adotar o p-valor pela sua simplicidade.

Acontece que parte dessa comunidade se sustentou tanto em cima dele que o objetivo final da pesquisa passou a ser encontrar um p-valor significativo. Encontrando esse valor todos os seus problemas estariam resolvidos e poderia publicar. Já me cansei de ver pesquisadores revirando todos os seus dados coletados em busca de um p<0.05, os chamados p-hackers.

E significativo não dá a noção do efeito obtido. Por exemplo, um estudo publicado mostrou que casais que se conheceram pela internet tem maior propensão de serem mais felizes em seu relacionamento com um p < 0,001. Quando o autor do estudo viu o resultado deve ter exclamado um "uau!" bem alto. Porém, em uma escala de no máximo 7, casais que se conheceram pela internet obtiveram uma média de 5,64 contra 5,48 dos demais. Uma diferença de 0,16... Onde está o resultado tão significativo assim?

Como disse o tio Ben ao Peter Parker: com grandes poderes vem grandes responsabilidades. Testes muito poderosos detectam a menor das diferenças e pode levar a conclusões não tão significativas. Use o p-valor sabiamente.

Dúvidas? Pergunte no Twitter

Você pode fazer sua pergunta para nós do Blog Manipulando Dados no Twitter. Basta clicar no botão abaixo. Não esqueça de manter o @MnplndDados para sua pergunta chegar até nós.