måndag 2 mars 2015

Är statistik tråkigt?

Är statistik tråkigt? Detta är nog en fråga av det slag som inte har något objektivt rätt svar. Vissa tycker att statistik är tråkigt, medan andra (som jag) inte tycker det. En relaterad fråga som däremot i princip kan besvaras objektivt är huruvida majoriteten anser att statistik är tråkigt. Men enligt underbart skräckinjagande Cyanide & Happiness står det och väger:

fredag 27 februari 2015

Intellectual suicide by the journal Basic and Applied Social Psychology

In an editorial this week, David Trafimow and Michael Marks, editors of the (formerly) scientific journal Basic and Applied Social Psychology (BASP), announce that "the null hypothesis significance testing procedure (NHSTP)" is "invalid", and, consequently, that "from now on, BASP is banning the NHSTP". Likewise, they ban the use of confidence intervals:
    Analogous to how the NHSTP fails to provide the probability of the null hypothesis, which is needed to provide a strong case for rejecting it, confidence intervals do not provide a strong case for concluding that the population parameter of interest is likely to be within the stated interval. Therefore, confidence intervals also are banned from BASP.
With all due respect, professors Trafimow and Marks, but this is moronic. The procedure they call NHSTP is not "invalid", and neither is the (closely related) use of confidence intervals. The only things about NHSTP and confidence intervals that are "invalid" are certain naive and inflated ideas about their interpretation, held by many statistically illiterate scientists. These misconceptions about NHSTP and confidence intervals are what should be fought, not NHSTP and confidence intervals themselves, which have been indispensable tools for the scientific analysis of empirical data during most of the 20th century, and remain so today.

The NHSTP procedure is always carried out relative to some null hypothesis which typically says that some effect size or some parameter is zero. Given the data, the p-value can, somewhat loosely speaking, be defined as the probability of obtaining at least as extreme data as those that were actually obtained, given that the null hypothesis is true.1 If the p-value ends up below a given threshold - called the significance level - then statistical significance is declared. Mainly for historical reasons, the significance level is usually taken to be 0.05.

A statistically significant outcome is usually taken to support a suspicion that the null hypothesis is false, and the logic is as follows. If statistical significance is obtained, then we are in a position to conclude that either the null hypothesis is false, or an event of low probability (namely the event of obtaining statistical significance despite the null hypothesis being true) happened (with the traditional significance level, the probability is at most 0.05). Now, low-probability events do happen sometimes, but we expect them typically not to happen, and if such a thing didn't happen this time, then the only remaining option is that the null hypothesis is false. The lower the threshold for significance is, the stronger is a statistically significant result considered to count against the null hypothesis.

This is the logical justification of NHSTP (the justification of confidence intervals is similar), and the way we statisticians have been teaching it for longer than I have lived. It supplies the scientist with an important tool for to judging when her data supports the sucipicion that an effect (a deviation from the null hypothesis) really exists, as opposed to the case where the data shows no signs of being anything other than unremarkable statistical fluctuations around what is expected under the null hypothesis.

Unfortunately, there are misconceptions about NHSTP that are widespread in the scientific community. The one that is most relevant for the present discussion is the tempting but misguided idea of thinking of statistical significance at level 0.05 as a demonstration that the probability of the null hypothesis is at most 0.05,2 and more generally that a p-value can be interpreted as the probability of the null hypothesis. But that is to succumb to the fallacy of the transposed conditional, which is to confuse the probability of the data given the null hypothesis with the probability of the null hypothesis given the data.3 Frequentist methods like NHSTP never provide probabilities for the null hypothesis. For such probabilities, Bayesian methods are needed, but they involve the controversial step (mentioned by Trafimow and Marks) of specifying a prior distribution representing our beliefs prior to seeing the data. No probabilities in - no probabilities out.

My impression from what professors Trafimow and Marks write is that they used to be under the spell of the fallacy of the transposed conditional, but have later woken up from that spell and realized their mistake. But now they suffer from another misconception, namely that the (purported) justification for NHSTP consists in that fallacy, and hence that NHSTP is "invalid". I find it tragic that a scientific journal decides to ban indispensable statistical methods based on such a silly misunderstanding.

What statistical methods, then, do they suggest as an alternative? They are lukewarm about Bayesian inference. Instead they declare that they...
    encourage the use of larger sample sizes than is typical in much psychology research, because as the sample size increases, descriptive statistics become increasingly stable and sampling error is less of a problem.
The irony here is that in order to quantify what is a suitable sample size in order to make descriptive statistics sufficiently "stable", and to make sampling error "less of a problem", the NHSTP conceptual apparatus is needed. For more on this, see my discussion two years ago with Stephen Ziliak and Deirdre McCloskey.

The incompetence of professors Trafimow and Marks, and their catastrophic misstep of banning NHSTP from their journal, is a splendid illustration of the main thesis of my paper Why the empirical sciences need statistics so desperately.

Footnotes

1) It is the fuzzy notion of "extreme" that contributes most to the looseness of the description as given here, but trust me: it can be made precise. In simple situations the appropriate definition of "extreme" is usually straightforward, while in other situations the Neyman-Pearson lemma offers important guidance.

2) There is also the even more extreme misconception that statistical significance disproves the null hypothesis in the same sense that the observation of a black swan disproves the all-swans-are-white hypothesis. Yes, I'm not joking. There are Harvard professors who think that way.

3) For two events A and B, we do not in general have that the probability P(A|B) of A given B is the same as the probability P(B|A) of B given A. An example: Consider the experiment of picking a world citizen at random (uniformly), let A be the event that the person picked is Norwegian, and let B be the event that he or she is world chess champion. Then P(B|A) is about 1/5000000=0.0000002, because only one out of the about 5000000 Norwegians is world chess champion, whereas P(A|B)=1 because the world chess champion is Norwegian. (Note that these two numbers differ by almost as much as two probabilities ever can.)

tisdag 24 februari 2015

Bifall för Häggström hävdar

En starkt bidragande orsak till att jag fortsätter blogga är de positiva signaler jag då och då får från folk som tycker att bloggen är något att ha. Jag skall inte trötta ut läsekretsen med någon uttömmande lista, men låt mig i alla fall citera det kanske allra finaste beröm jag fått för bloggen, vilket levererades för ett år sedan, i en kommentar från vännen och matematikerkollegan Johan Wästlund:
    Avslutningsvis kan jag konstatera att den som i sina grubblerier över existensens natur slår på datorn och konsulterar Häggström Hävdar, knappast riskerar att drabbas av samma öde som stackars Descartes i Saturday Morning Breakfast Cereal.
(Missa inte att klicka på länken till Saturday Morning Breakfast Cereal!)

Ett särskild slags positiv signal om bloggen är då någon anser att dess innehåll är tillräckligt intressant för att förtjäna att länkas till. Låt mig ge två exempel på sådana inlänkar som jag sätter särskilt värde på:

lördag 21 februari 2015

Poddradio: paneldiskussionen i Malmö om vetenskapsjournalistik

Den paneldiskussion om vetenskapsjournalistik som ägde rum på ett möte med Journalistförbundets södra distrikt den 17 januari i Malmö, och som jag tillsammans med Karin Bojs och Anna Bäsén deltog i, finns nu tillgänglig som poddradio. Jag har inte haft mod att själv lyssna till sändningen, men minns paneldiskussionen som ett bra och inspirerat samtal. Dock skall sägas att jag tyckte att vår programpunkt överglänstes av den efterföljande punkten rubricerad Berättarglädjen blommar med Randi Mossige Norheim, Niklas Orrenius och Lena Sundström.

tisdag 17 februari 2015

Om vikten av att häda

Det är fruktansvärt att vi så kort efter Charlie Hebdo-attacken i Paris åser ännu ett terrorattentat riktat mot det fria ordet: det mordförsök på Lars Vilks i Köpenhamn häromdagen som visserligen misslyckades men som ändå fick dödlig utgång. Precis som i samband med Charlie Hebdo känner jag mig manad att påpeka vikten av att stå upp för det fria ordet och för rätten att häda.

Men är verkligen just hädelse så viktigt? Svar ja. Jag känner flera i övrigt kloka och förståndiga personer som inte håller med mig om det, utan som anser att sådana tölpaktigheter bör undvikas i det längsta, då de ju av religiösa människor kan upplevas som kränkande. Jag anser att de har fel. Vari felet består är värt att förklara på nytt och på nytt. Jag ger ordet till min gode vän Patrik Lindenfors, som vältaligt förklarar sammanhangen i en debattartikel i Dala-Demokraten. Så här börjar hans artikel:
    Allt mänskligheten har lärt sig om hur världen fungerar gör det idag väldigt svårt att tro att änglar kommer med budskap från Gud. Mycket tyder därför på att Muhammed aldrig fick något besök av ärkeängeln Gabriel när han var ensam i sin grotta, utan istället hittade på Koranen själv.

    På ett liknande sätt förefaller det osannolikt att jungfru Maria blev gravid när hon var ensam hemma – även denna berättelse har en troligare förklaring. Det är överhuvudtaget väldigt få mytologiska berättelser som skulle tillmätas någon sanningshalt om de påstods ha inträffat i nutid.

    Om man inte vet det här om sin egen religion så vet man det i alla fall om andras. Få kristna tror att den hinduiska guden Shiva skapade Ganesha genom att hugga av huvudet på en elefant för att reparera den son han just dekapiterat.

    Få muslimer tror att rymdhärskaren Xenu fraktade kidnappade själar från sin hemplanet till vulkaner på jorden för att spränga dem i luften med vätebomber, något Scientologerna lär ut om man bara betalar dem tillräckligt.

    Berättelser av den här typen har två problem. Dels är de uppenbart osanna, om man läser dem bokstavligt. Dels är de extremt enkla att parodiera.

    Man kan fundera över om det inte är den här kombinationen som resulterat i all hädelselagstiftning som finns runt jordklotet, särskilt då makthavare historiskt inte sällan lierat sig med prästerskapet för att lättare kunna kontrollera sina undersåtar. Sitter den världsliga makten på Guds nåder kan inte gärna undersåtarna tillåtas underminera denna gudomliga uppbackning med hjälp av satir.

Läs hela Patriks artikel här!

måndag 16 februari 2015

På mitt nattduksbord

Jag har sedan decennier tillbaka utvecklat en vana, eller ovana, att läsa många böcker parallellt. Vanligtvis mellan fem och tio, även om det vid varje enskild tidpunkt inte är lätt att slå fast antalet, då det föreligger en glidande övergång mellan de böcker jag ännu anser mig hålla på med och dem jag givit upp någonstans mitt i.1 Hur som helst är jag för ögonblicket lyckligt lottad med vad som verkar vara en anhopning av extra läsvärda böcker på mitt nattduksbord. Av dessa vill jag idag nämna fyra. Jag kan inte, då jag ju inte läst ut dem, leverera nårga fullvärdiga recensioner eller välgrundade helhetsintryck, men jag vågar mig ändå på att redovisa några preliminära omdömen:
  • Steven Pinker: The Better Angels of Our Nature: Why Violence Has Declined

    Steven Pinker är en framstående forskare och en var vår tids absolut bästa populärvetenskapliga författare. Bland hans böcker har jag läst inte minst How the Mind Works och The Blank Slate med mycket stor behållning, liksom hans senaste The Sense of Style som är mer av en skrivmanual än en populärvetenskaplig framställning. The Better Angels känns helt lysande skriven och gediget researchad - kvaliteter som på intet vis förminskas av den invändning jag reste häromåret, rörande den lite förhastade slutsats ur boken som Pinker torgfört på annat håll.

  • Ian McEwan: The Children Act

    Jag har tidigare skrivit positivt om McEwans romaner Solar och Sweet Tooth. McEwan skriver underhållande och med driv, utan att bli trivial, och har så till den grad gedigna bakgrundskunskaper att han kan skriva om matematiska och naturvetenskapliga ting utan att en besserwisser som jag sparkar bakut. Hans nya roman känns minst lika bra och engagerande som de tidigare.

  • Po Tidholm: Norrland: essäer och reportage

    Det är knappast någon större överdrift att konstatera att med undantag enbart för universitetsstaden Umeå och vintersportmetropolen Åre så har samtliga Norrlandskommuner problem. Norrlands naturtillgångar (skog, malm, vattenkraft) är enorma, men effektiviseringar och förändrade levnadsvanor gör att dessa knappt alls kommer kommunerna till godo. Tidholm skriver vackert, initierat och ibland vredgat ur ett brett spektrum av kulturella och samhälleliga perspektiv, och boken övermannar mig med vemod och andra starka känslor.

  • Nick Beckstead: On the Overwhelming Importance of Shaping the Far Future

    I denna doktorsavhandling, framlagd vid Rutgers University 2013 och grattis nedladdningsbar i pdf-format, argumenterar författaren passionerat men samtidigt filosofiskt rigoröst för att vi bör lägga väldigt mycket mer vikt än idag vid att se till att undvika mänsklighetens undergång. Hans case liknar det som Nick Bostrom lagt fram för samma tes, men han går mer på djupet, bl.a. i behandlingen av de Pascals gambit-liknande galenskaper som hotar att bli konsekvensen av resonemanget.

Fotnot

1) Den moralregel vissa håller sig med, att den bok man påbörjat till varje pris måste läsas ut, har aldrig varit något för mig. Livet är för kort för att slösas på dåliga böcker.

fredag 13 februari 2015

Global medeltemperatur 2014

Det har varit mycket snack om 2014: var det vår planets varmaste år sedan mätningarna startade? Mycket pekar i den riktningen, men det finns flera olika mätserier avsedda att approximera global medeltemperatur, och resultaten är inte helt entydiga. Men diskussionen om detta är mest bara symbolisk, ty det exakta svaret på frågan spelar mycket liten roll. Klimatforskaren Gavin Schmidt (vars klokskaper om förhållandet mellan vetenskap och politik jag citerade utförligt i min bloggpost Concerned world citizen häromveckan) förklarar på utmärkta bloggen RealClimate:
    The excitement (and backlash) over these annual numbers provides a window into some of problems in the public discourse on climate. A lot of energy and attention is focused on issues with little relevance to actual decision-making and with no particular implications for deeper understanding of the climate system. In my opinion, the long-term trends or the expected sequence of records are far more important than whether any single year is a record or not.
Med lite naiv optimism skulle man kanske ändå kunna hoppas att de höga värdena för 2014 skulle få klimatförnekarna i Stockholmsinitiativet och på annat håll att dämpa sig en smula i sitt (uppriktigt talat) imbecilla kacklande om temperaturplatå och uppvärmningspaus? Men nej, jag tror inte det.

Det kommer därför troligtvis att finnas ett fortsatt behov av att besvara sådant snack, och jag tänkte härmed bjuda på några länkar till illustrationer som pedagogiskt visar hur det förhåller sig: den globala uppvärmningen pågår för fullt.

När jag för några år sedan på Uppsalainitiativet (UI) satte ihop en liten FAQ med korta svar på typiska frågor och påståenden från klimatförnekarhåll, så lyfte jag särskilt fram ett par grafiska illustrationer som jag tycker håller ännu: Och här några mer dagsaktuella illustrationer: