Landes, meu vilão favorito

Só soube nesta semana que o David Landes morreu. Brilhante, escrevia como poucos, erudito, coisa e tal.
Contudo, eu gosto mais dos historiadores da Revolução Industrial que se opuseram a ele. Gerschenkron, Nick Crafts e McCloskey puderam mostrar a sua genialidade (e veneno) quando brigaram com o Landes.
Gerschenkron argumentou que cultura e empreendedorismo foram pouco importantes. Crafts mostrou que a Revolução Industrial Inglesa não foi revolução, nem industrial e muito menos inglesa. E a McCloskey.... bem, com McClosey a briga é longa e ela distribuiu pancada para todo lado. Vejam esse trecho dessa resenha de "Riqueza e Pobreza das Nações":
"Although Landes has taught quantitative methods, he has never troubled to learn them."
Essa doeu. 

11 comentários:

Márcio Laurini disse...

Esse comentário da McCloskey é patético. O "Cult of Statistical Signficance" é uma das maiores coleções de erros e interpretações erradas sobre métodos quantitativos já feita na história, e virou motivo de piada na estatística/econometria pelos erros primários e bobagens.

Carlos Cinelli disse...

Márcio,

O tom do livro pode ser ruim, pois ao invés de abordar o problema de uma forma didática, adota uma postura agressiva, gasta muito tempo criticando o Fisher, entre outras coisas . E isso gera resistência em que o lê, o que prejudica a difusão das ideias do livro – uma ironia para quem escreveu sobre retórica... mas, enfim, do que está escrito ali, infelizmente, acontece.

Os pesquisadores confundem não rejeitar a hipótese nula com evidência a favor daquela hipótese nula especificamente. É fácil encontrar artigos dizendo "este artigo apresenta evidência a favor da hipótese tal", quando na verdade ele apenas não rejeitou aquela hipótese (de diferença zero, na maior parte dos casos) dentre várias outras hipóteses que não seriam rejeitadas. E o próprio artigo não saberia dizer, do ponto de vista substantivo, que diferenças seriam ou não relevantes.

Os pesquisadores confundem significância estatística com significância no sentido usual do termo; confundem p-valor com probabilidade a posteriori; confiam em amostras pequenas - e por mais besta que sejam esse erros, são pervasivos.

Os pesquisadores não conseguem formular seu problema corretamente, de modo que saibam julgar quando uma teoria seria correta ou errada do ponto de vista econômico. O teste de significância vira uma forma errada e barata de suprir esta lacuna para evitar pensar seriamente no problema - por exemplo, testar se duas médias são exatamente iguais. Testar se o coeficiente é exatamente igual a zero. Testar se o coeficiente é exatamente igual a 1. Na maior parte dos casos o resultado do teste é irrelevante para a teoria econômica.

Grande parte dos trabalhos publicados ignoram várias fontes de erro (como erro de medida ou erro de especificação) e focam no fato de os resultados serm estatisticamente significantes ou (in)significantes como se isso fosse A questão importante a despeito dos demais problemas.

Com quais problemas apontados no livro você discorda? Isto é, dos problemas que eles levantaram nos trabalhos aplicados, quais você acredita que não ocorram ou quais você acredita que não são problemas?

Abraços




Leo Monasterio disse...

Eu não li o "Cult of..." e deixo o debate com o Márcio e Carlos que entendem disso.
Mas, Márcio, o McCloskey e o Crafts dão um baile em métodos quantitativos no Landes. Ele foi sempre de muito mais blá-blá-blá do que de conta ou teoria. Enquanto isso, o McClosley e o Crafts aplicaram a teoria econômica com muito mais habilidade.
(Sim, a McCloskey é bem diferente do McCloskey. Sugiro lê-lo)
Abraços,

Carlos Cinelli disse...

Tem um review na Amazon, do David Aldous, de Berkeley, que diz isso de maneira direta:

"Misplaced emphasis on tests of significance is indeed arguably one of the greatest "wrong turns" in twentieth century science. This point is widely accepted amongst academics who use statistics, but perversely the innate conservatism of authors and academic journals causes them to continue a bad tradition. All this makes a great topic for a book, which in the hands of an inspired author like Steven Jay Gould might have become highly influential. The book under review is perfectly correct in its central logical points, and I hope it does succeed in having influence, but to my taste it's handicapped by several stylistic features."

Christian Robert apresenta visão similar:

"The main argument of the authors is indeed that an overwhelming majority of papers stop at rejecting variables (“coefficients”) on the sole and unsupported basis of non-significance at the 5% level. Hence the subtitle “How the standard error costs us jobs, justice, and lives“… This is an argument I completely agree with, however, the aggressive style of the book truly put me off!"

Isto é, ninguém questiona o argumento central, mas quase todo mundo se incomodou com o estilo.

Abraços

Márcio Laurini disse...

O principal problema é que eles não entendem direito o conceito de função perda. Eles criticam o Fisher, mas não o framework de Neyman-Person, que justamente defendem um ponto fixo de aceitação-rejeição da nula (loss function 0-1).
Sim, é lógico que existem abusos na interpretação de p-valores, testes, etc. Mas qual a novidade nisso?
Muita gente na estatística é contrária a p-valores, mas com argumentos mais sólidos.
Foram eles que levantaram esse problema? O livro é apenas uma discussão superficial e sensacionalista sobre o tema.
E o pior são os comentários recentes do Ziliak, querendo acabar com todos os testes de hipóteses ...
não vejo nenhuma contribuição relevante desse livro ou deles, nem metodológica ou prática. Só barulho mesmo.

Carlos Cinelli disse...

A contribuição do trabalho não é teórica, tampouco de propor soluções, é a de tentar quantificar o problema dentro da economia.

Qual é a magnitude deste problema? Quando eu li o paper da McCloskey, eu duvidei que fosse tão grande quanto eles pintavam. Mas aquilo me deixou inquieto. Será que as pessoas relamente confundiam essas coisas? Infelizmente confundiam.

Sobre função perda, quando eles mencionam, o que eles querem dizer é que seria interessante que fossem utilizadas sob uma perspectiva econômica.

Por exemplo, se eu estou medindo o efeito de uma legislação sobre o número de acidentes de carro, você não quer simplesmente saber se aquilo é significante ou (in)significante arbitrariamente.

Seria um exercício bem mais interessante você pensar em uma função perda do ponto de vista prático do problema: qual seriam os impactos do meu erro se eu concluísse que a legislação tem um efeito negligenciável sobre acidentes quando na verdade ela tem um efeito substancial? E qual seriam os impactos do meu erro se eu concluísse o contrário? Para definir isso é preciso pensar sobre o que é negligenciável, o que não é, sobre as consequências da decisão do ponto de vista econômico, sobre os riscos que você está disposto a enfrentar, entre outros pontos que possivelmente tornariam a análise mais interessante para a economia do que a constatação ou não da significância.

Com relação aos comentários recentes do Ziliak, eu concordo. Eu acho que ele está mais atrapalhando do que ajudando, pois está cada vez mais agressivo.

Abs

Carlos Cinelli disse...

*quais seriam

Márcio Laurini disse...

Carlos

Eu concordo com seus pontos e entendo sua preocupação. Esse é o ponto - qualquer vai concordar com isso.
Mas daí a chegar a comentários como esses:

http://opinion.financialpost.com/2013/06/10/junk-science-week-unsignificant-statistics/

é absurdamente rídiculo, e demonstra um desconhecimento absurdo. Só mostra que esse cara nunca fez uma análise aplicada na vida, e não tem noção dos problemas envolvidos.

Carlos Cinelli disse...

Márcio, as pessoas dizem que concordam, mas, no fundo, até hoje o que eu tenho visto é que a maioria não entende muito bem qual é o problema. Para ilustrar, vou dar um exemplo concreto da área de finanças, de um trabalho meu, em que fiz o que critico.

No meu MBA em finanças, fiz um trabalho sobre eficiência do ibovespa durante a crise, e para isso eu utilizei um teste de razão de variâncias. Este teste – e vários similares, como testes de raiz unitária etc – são amplamente utilizados para “verificar” se “vale” a hipótese de mercados eficientes.

Na época, isso há algum tempo, quando ainda não tinha lido McCloskey, eu fiz o que todo mundo faz. Rodei os testes e verifiquei se os resultados eram significantes ou não. Como os resultados não eram significantes, conclui que aquilo era evidência a favor da hipótese de mercados eficientes para aquele período.

(continua)

Carlos Cinelli disse...

(continuação)

O problema é que tanto faz se eu tivesse rejeitado, aceitado, ou qualquer outra coisa – aquilo não iria me responder se há evidência ou não a favor da teoria de mercados eficientes. Este teste era simplesmente irrelevante para a teoria econômica.

Quando falo isso, é comum pensarem que o que estou dizendo é que o teste que usei era errado, que era para ter utilizado o teste X ao invés do teste Y e, aí sim, o teste serviria para a economia. Sim, se as hipóteses que usei para o teste eram grosseiras, isso é pior ainda. Mas, não o problema principal nem é esse. O problema é que este meu artigo, como todos os demais, não estão enquadrando o problema de maneira adequada. Afinal, por exemplo, o que estes testes estão perguntando é se o processo gerador de dados é exatamente um processo de martingale. Ora, não é isso o que você quer saber do ponto de vista econômico. Você rejeitar ou não a 5%, ou 1% de significância que uma série é um processo de martingale nunca vai te responder se um certo mercado é eficiente ou não do ponto de vista econômico, ou se a teoria dos mercados eficientes é um bom modelo para explicar a realidade.

Do ponto de vista estatístico, é sequer plausível, a priori, supor que um processo de martingale represente com 100% de fidelidade o processo gerador de dados. Em geral, o que você quer saber é se uma certa teoria é uma boa aproximação da realidade e isso precisa ser definido do ponto de vista econômico, e não do ponto de vista estatístico. O livro de Nate Silver traz um exemplo simples e ilustrativo de mercados eficientes, que foi abordado neste post:
http://analisereal.com/tag/mercados-eficientes/

Isso que foi descrito acima é o padrão na “melhor” literatura de finanças sobre o tema, não é exceção, veja um exemplo de um survey sobre razão de variâncias (cujo link está ao final deste comentário).

“Finally, we found mixed results from the various VR tests for Ecuador. Indeed, the Lo–MacKinlay M2(k) test is not significant, whereas the rank- and sign based tests as well as the Chen–Deo VRβ p are significant. Furthermore, the Kim bootstrap and the Whang–Kim subsampling tests do not reject the RWH while the other multiple VR tests show that Ecuador follows a random walk. Consequently, it is impossible to conclude on the weak-form efficiency for the Ecuadorian market.”

O autor acha que o fato de alguns testes serem significantes e outros não é o que dificulta concluir se o mercado do equador é eficiente. O primeiro problema é achar que resultados significantes e resultados insignificantes são inerentemente contraditórios. O segundo é achar que a significância arbitrária, do jeito que foi formulada, vai ajudar a saber se hipótese de mercados eficiente é razoável para o equador. Apontar que certos testes foram (in)significantes, sem sequer abordar que discrepâncias do modelo com a realidade seriam relevantes ou não para a teoria, não responde se o mercado do equador é ou não eficiente do ponto de vista econômico.

Há diversos exemplos como esses, nas mais diversas áreas da economia.

Abs.

https://www.google.com.br/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&cad=rja&ved=0CDsQFjAB&url=http%3A%2F%2Fwww.researchgate.net%2Fpublication%2F227361942_VARIANCE-RATIO_TESTS_OF_RANDOM_WALK_AN_OVERVIEW%2Ffile%2F79e4150bcb5330596e.pdf&ei=EXkfUrv8D-X84AP06ICICA&usg=AFQjCNGKqwg63lXfLXWVaGshHL8XPmAY5A&sig2=8GErKdEH5Bmpgeyv1b4VdQ

Hélio Ramos disse...

Obrigado pela discussão interessante entre Carlos, Márcio e Leo. Sempre uma oportunidade de aprender!
Como ainda sou um aprendiz, qual a opinião dos senhores sobre http://blog.stata.com/2013/09/05/measures-of-effect-size-in-stata-13/

Obrigado.

Tecnologia do Blogger.