Como identificar besteiras em trabalhos econométricos
- Síndrome do "Meu último livro de Econometria foi o Kmenta": Desde a última década, não dá mais para ter um paper de séries temporais sem os testes de cointegração.
- Síndrome "Pacientes do Freud". Sabem aqueles sonhos que o Freud interpretou? Pois é, tudo se encaixa. Bem demais. O mesmo acontece em econometria. Os resultados são uma belezura e geralmente não falseiam a hipótese. Não há crítica à qualidade dos dados, referência a problemas que surgiram ou a explicações alternativas;
- Síndrome "Em busca da significância perdida": O pobre do autor começa a fazer toda a sorte de esquemas para conseguir estrelinhas nos seus coeficientes estimados. Procure por dummies esquisitas, ln e ² ³ incluídos sem razão, períodos de análise que mudam, variáveis defasadas que saltam sem qualquer explicação e proxies estranhas.
- Síndrome "Cadê o controle que estava aqui?": a significância da variável de interesse só se mantém quando as de controle são omitidas.
- Síndrome "Rubens Recúpero": "o que é bom a gente mostra, o que não é a gente esconde". O coitado roda milhões de regressões e só transcreve aquelas que deram "certo". Muito relacionada com as duas síndromes anteriores.
- Síndrome "Tamanho importa": o sujeito encontra coeficientes estatisticamente significativos e afirma que a sua hipótese sobre o efeito da menstruação das baleias na cor do Mar Vermelho foi não-falseada, mas não se preocupa com significado econômico. Um coeficiente pode ser estatisticamente significativo e, em termos substantivos, não significar bulhufas.
Mais alguma síndrome?
Eu ouvi uma frase atribuída ao Santo Agostinho:"Do pecador não se espera a pureza, mas que confesse seus pecados". (Vamos lá: Perdoai-me, Pai, eu pequei ). Em resumo, um trabalho perfeito nunca vai existir, sejamos conscientes das nossas mancadas e limites, confessemos nossos pecados e bola para frente.
- Síndrome "Pacientes do Freud". Sabem aqueles sonhos que o Freud interpretou? Pois é, tudo se encaixa. Bem demais. O mesmo acontece em econometria. Os resultados são uma belezura e geralmente não falseiam a hipótese. Não há crítica à qualidade dos dados, referência a problemas que surgiram ou a explicações alternativas;
- Síndrome "Em busca da significância perdida": O pobre do autor começa a fazer toda a sorte de esquemas para conseguir estrelinhas nos seus coeficientes estimados. Procure por dummies esquisitas, ln e ² ³ incluídos sem razão, períodos de análise que mudam, variáveis defasadas que saltam sem qualquer explicação e proxies estranhas.
- Síndrome "Cadê o controle que estava aqui?": a significância da variável de interesse só se mantém quando as de controle são omitidas.
- Síndrome "Rubens Recúpero": "o que é bom a gente mostra, o que não é a gente esconde". O coitado roda milhões de regressões e só transcreve aquelas que deram "certo". Muito relacionada com as duas síndromes anteriores.
- Síndrome "Tamanho importa": o sujeito encontra coeficientes estatisticamente significativos e afirma que a sua hipótese sobre o efeito da menstruação das baleias na cor do Mar Vermelho foi não-falseada, mas não se preocupa com significado econômico. Um coeficiente pode ser estatisticamente significativo e, em termos substantivos, não significar bulhufas.
Mais alguma síndrome?
Eu ouvi uma frase atribuída ao Santo Agostinho:"Do pecador não se espera a pureza, mas que confesse seus pecados". (Vamos lá: Perdoai-me, Pai, eu pequei ). Em resumo, um trabalho perfeito nunca vai existir, sejamos conscientes das nossas mancadas e limites, confessemos nossos pecados e bola para frente.
4 comentários:
Síndrome "querida as crianças sumiram" Esta é danada pois a figura não coloca a fonte dos dados ou inventa... como vamos refutar ou confirmar as hipóteses do paper original?
Fazei-me virtuoso, Senhor, mas não agora...
Há também o que o Jeff Frankel apelidou de "Zen e a Arte da Macroeconometria Moderna", isto é, formular seus modelos de tal forma que a rejeição da hipótese nula (o nada, daí o Zen) pareça confirmar seu modelo. Em seguida faça a pior regressão possível, para garantir a rejeição da hipótese nula.
Para um exemplo recente:
http://criticaeconomica.wordpress.com/2007/08/24/resposta-a-schwartsman-2/
Fabio,
Acho que li em um JEL, a historia do cara que pediu os dados para os autores que se ofereciam a fornecer. POuco mandaram retorno.
Alex,
Nao conhecia essa do Jeff Frankel. Muito boa.
Eu desconhecia tb essa "resposta" a vc da critica economica. Caramba, it is not even wrong.
Salve Léo!
Pelo jeito os ares do IPEA tão te fazendo bem, pois o blog está cada vez melhor.
Parabéns, sobretudo, pelos dois posts da série "Como identificar besteiras..."
É bom alertar as novas gerações de economistas que a Economia é a ciência que mais sofre com falácias entre todas as ciências sociais.
O pior é que boa parte destas falácias vem dos próprios economistas.
Ah, tem a síndrome do "against the method": o sujeito monta um modelo econométrico escolhendo variáveis sem nenhuma plausibilidade teórica e de olho em uma ótima regressão. Quando a encontra , ele cava os argumentos que justificam a não utilização de variáveis que a teoria aponta como importantes. Joga estas variáveis no saco sem fundo dos resíduos (evitando cuidadosamente a autocorrelação dos mesmos). Assim, o que serve para sua regressão ele assume como teoria, o que não serve, ele joga como coeteris paribus.
E assim ele ganha a vida medindo sem teoria e teorizando sem medidas.
Abraço.
Postar um comentário