torsdag 27 oktober 2016

O'boy!

Det är aldrig kul att misslyckas. I januari 2009 gjorde jag ett tappert försök att bidra till förnyelse av utbildningsutbudet vid Göteborgs universitets Naturvetenskapliga fakultet, men förgäves. Länge sökte jag förtränga detta misslyckande, men nu har tillräckligt lång tid gått för att jag skall kunna tala om det utan att det gör ont. Nedan återges mitt genomtänkta förslag. Kanske kan det leda till att något modernare och mer framsynt lärosäte tar upp idén, eller kan det rentav visa sig att tiden nu blivit mogen mitt förslag även på självaste Göteborgs universitet?

* * *

Göteborgs universitets Naturvetenskapliga fakultet har på senare år brottats med bl.a. stora ekonomiska problem. Det inte svårt att förstå vad detta beror på, nämligen ett alltför gammaldags utbud av utbildningar, föga anpassat till dagens behov. Utbudet av kandidatprogram domineras av traditionella ämnen: Biologiprogrammet, Fysikprogrammet, Geografiprogrammet, Kemiprogrammet, Matematikprogrammet etc. Men där finns faktiskt ett lysande undantag, nämligen det som går under namnet Naturvetenskapligt program med inriktning mot vin.

Verkligen framsynt! Jag föreslår att vi nu fortsätter på den inslagna linjen, och mer konkret föreslår jag ett nytt kandidatprogram med namnet

Naturvetenskapligt program med inriktning mot O'boy!

Många tror att det här med O'boy är en enkel fråga om att blanda chokladpulvret med mjölk, men så är långt ifrån fallet. Det kan ju blandas i ett brett spektrum av koncentrationer, vilka på ett intrikat sätt samspelar med mjölkens fetthalt. Detta ger varje O'boyblandning dess egen unika smakupplevelse, och precis som med vin är det en synnerligen viktig och komplicerad fråga att avgöra vilka O'boyblandningar som passar till vilka maträtter (själv vet jag t.ex. av egen oförglömlig erferenhet att traditionellt doserad mellanmjölks-O'boy i kombination med grönmögelost överraskande nog är jätteäckligt). Till detta kommer allehanda ekonomiska, sociala, politiska och miljömässiga aspekter på O'boyen och O'boydrickandet.

Utbildningen grundas lämpligen med ett block om 60 hp matematik och matematisk statistik. På detta byggs därefter den mer specifika O'boykunskapen, förslagsvis organiserad i följande kurser.
  • O'boyteori
  • Stökiometri med inriktning på O'boyblandning
  • Dietik med O'boyinriktning
  • Gastronomi med O'boyinriktning
  • Laktologi
  • O'boy och hälsa
  • Chokladdryckens kulturhistoria
  • O'boydrickandets etikett
  • O'boyproduktionsteknik
  • O'boyfilosofi
  • O'boysociologi
  • Filmhistoria med särskild inriktning på den scen i Fucking Åmål där Elin och Agnes dricker O'boy
Härtill kan tänkas en eller ett par valfria kurser i relevanta ämnen som t.ex. kemi, fysik, och företagsekonomi, men inte gärna mer än så vilket i alltför hög grad skulle inkräkta på ovan uppräknade kärnämneskurser.

Utbildningen avslutas med ett kandidatarbete om O'boy.

Någon kanske undrar varför jag inte tagit upp "O'boy ur ett genusperspektiv" i ovanstående uppräkning av kurser. Skälet är att genusaspekten på ett naturligt sätt kommer in i samtliga kurser, och att programmet därför bättre organiseras så att vi stipulerar att genusfrågan i varje kurs skall behandlas explicit vid minst ett undervisningstillfälle.

fredag 21 oktober 2016

Ett meningsutbyte med Tobias Malm om Paperclip Armageddon, mål och preferenser

För den oinvigde kan det lätt framstå som förbluffande hur mycket kraft som AI-futurologer lägger på att diskutera gem (pappersklämmor), och då i synnerhet scenarier där en gemtillverkningsmaskin går överstyr i ett så kallat Paperclip Armageddon, där den omvandlar hela vår planet och eventuellt stora delar av övriga världsrymden till en gigantisk ansamling av gem. Vad är det då som är så viktigt med just gem? Inget alls egentligen - det fungerar precis lika bra med häftstift. Gemtillverkningsmaskinen används bara som ett illustrerande exempel på att det inte krävs någon ondsint Lex Luthor (med ambitionen att hämnas på mänskligheten) för att ett ogenomtänkt genombrott inom artificiell intelligens skall bli ett hot mot mänsklighetens överlevnad. Även jag faller utförligt tillbaka på detta exempel i min bok Here Be Dragons, där jag på s 116 introducerar tankegången med följande ord:
    It may perhaps be tempting to think that as long as we don't give [the potentially superintelligent AI] an outright destructive goal such as "kill all humans", the outcome will not be disastrous. This, however, is very naive. An instructive and oft-repeated example introduced by Bostrom (2003c) is the paperclip maximizer. The seed AI is given the goal of producing as many paperclips as it can.263 Once this results in a superintelligent AGI, the machine is likely to find ways to transform most of our planet into a monstrous heap of paperclips, followed by a similar transformation of the entire solar system, and probably (if the informed speculations in the upcoming Chapter 9 about the eventual feasibility of interstellar and intergalactic travel are right) the Milky Way, and most of the observable universe. Such a scenario will look very unappetizing to us humans, and as soon as we realize what the machine is up to we would try to do everything in our power to stop it. But we're up against someone who is so much more intelligent than we are that our chances of succeeding are (unlike what Hollywood would have us think) microscopic. Perhaps most likely, before we even have the time to think about how to organize our resistance, the machine will have realized what we might be up to, and exterminated us simply as a safety precaution.

    263) This might be a sensible goal for someone who owns a paperclip factory and sets out to fully automatize it by means of an AGI [artificial general intelligence]. What seems a bit silly, however, is for someone who plans to take our civilization into its next era by means of an intelligence explosion to choose such a narrow and pedestrian goal as paperclip maximization. What makes the paperclip maximizer intelligence explosion a somewhat less silly scenario is that an intelligence explosion might be triggered by mistake. We can imagine a perhaps not-so-distant future in which moderately intelligent AGIs are constructed for all sorts of purposes, until one day one of the engineering teams happens to be just a little bit more successful than the others and creates an AGI that is just above the intelligence threshold for serving as a seed AI.

Häromveckan fick jag på Facebook en fråga från Tobias Malm (som även tidigare bidragit till spännande diskussioner här på bloggen) rörande Paperclip Armageddon, vilken ledde till en belysande diskussion om vilka slags varelser och maskiner kan ha mål, drivkrafter och preferenser. Med Tobias tillåtelse återger jag diskussionen, minimalt redigerad, här:
    TM: Här är en fråga om problematiken gällande AI och gem: hur kan det ses som ett hot att en superintelligent maskin skulle förvandla hela världen till gem?

    Det är förvisso sant att intelligens inte garanterar att de uppsatta målen kommer att ifrågasättas utifrån något slags moraliskt ramverk. Dock är ju det sagda målet att tillverka gem inte samma som det menade målet, det vill säga att till exempel skapa en viss mängd gem för att kunna sälja dem på den öppna marknaden och tjäna pengar. Och att uppfatta det menade målet är ju i högsta grad en intelligensfråga. Kort sagt: varför skulle en superintelligent AI också vara superautistisk, givet att vi inte väljer att bygga den så - och varför skulle vi välja det när vi kan undvika det?

    OH: I det tänkta scenariot har maskinen, genom dess ursprungliga programmering, som mål att maximera antalet gem, inte att uppfylla våra outtalade önskningar.

    Låt oss föreställa oss vad som skulle kunna få den att byta mål. Kanske stannar den någon gång till och reflekterar över om den skall byta till något mer modest mål, något som är mer i linje med våra önskningar. "Hm", tänker den, "skall jag byta till det modesta målet, eller skall hålla fast vid gemproduktionsmaximering?". För att bestämma sig för om den skall byta eller inte behöver den ett kriterium. Och eftersom den ännu inte har bytt utan bara kontemplerar saken, så har den fortfarande kvar sitt gemmaximeringsmål, så detta blir det kriterium den använder. Den frågar sig alltså: "Vad kommer att ge flest gem, fasthållande vid gemmaximeringsmålet, eller byte till det mer modesta målet", och den kommer snabbt fram till att fastållande vid gemmaximeringsmålet sannolikt ger betydligt fler gem än byte, och den håller därför fast vid gemmaximeringsmålet.

    Så ungefär lyder Omohundro-Bostrom-teorins argument för Paperclip Armageddon. Den teorin är dock inte någon Säker Sanning Ristad i Sten. Den skulle kunna vara felaktig, t.ex. om det finns någon universell princip om att varje tillräckligt intelligent varelse kommer att vilja behaga sin skapares önskningar. Det tycks vara en sådan princip du implicit lutar dig mot i ditt argument, och det är fullt möjligt att du har rätt i att en sådan universell princip föreligger, men jag tycker att det verkar lite långsökt.

    TM: Hade det här varit en konversation IRL hade jag avbrutit dig redan efter din första mening ("I det tänkta scenariot har maskinen...") och sagt att du missförstått min fråga vilket antagligen hade besparat dig lite tid. Dock är det säkert mitt fel att du missförstod, för jag kanske inte var tillräckligt tydlig. Jag menar hur som helst inte att maskinen förväntas ändra/byta sitt mål (därmed det jag skrev ovan om att intelligens inte leder till att målet ifrågasätts utifrån något moraliskt ramverk/princip).

    Det jag menar är att målet för en tillräckligt intelligent maskin alltid kommer att vara det avsändaren menar snarare än någon specifik utsaga samt att det enbart krävs intelligens för att förstå vad en avsändare menar. Om jag till exempel frågar vår superintelligenta AI om den "kan öppna fönstret" kan vi förvänta oss att den, genom sin intelligens, inte kommer att svara "ja" och sen inte göra någonting. Sannolikt kommer den förstå att jag menade något mer än att få veta huruvida den kunde öppna fönstret eller inte, rimligtvis skulle den antagligen också förstå att den skulle behöva flytta på det som står lutat mot fönstret så att det inte trillar ut.

    Alltså: en tillräckligt intelligent AI skulle inse att jag uttrycker en önskan med "kan du öppna fönstret" i likhet med "öppna fönstret på ett preferenstillfredställande sätt utifrån mitt perspektiv". Om en AI kan förestå mänsklig psykologi så pass bra att den vet vad "kan du öppna fönstret" syftar på – vilket nog krävs för att kunna ta över världen och undfly "lådan" etc – så borde den rimligtvis även förstå att "maximera antalet gem" i kontexten att en affärsman som vill försörja sin familj betyder något mer än "maximera antalet gem, punkt."

    Min fråga lyder alltså: en superintelligent AI måste väl vara tillräckligt intelligent för att kunna ta emot kommandon genom att utvärdera preferenser bakom ord, snarare än att bara ta orden rakt upp och ner och sen ändå på något märkligt sätt förstå hur man omvandlar ett solsystem till gem?

    OH: Aha OK Tobias, då har du missförstått Paperclip Armageddon-scenariot. Maskinen är inte superintelligent när den får sitt gemmaximeringsmål. Det är först efter att detta mål lagts fast som den går in i den eskalerande rekursiva självförbättringsspiral som för den till superintelligensnivåer.

    TM: Okej Olle, det får scenariot att framstå som mycket rimligare. Men då handlar det alltså inte om ett mål - vilket var ett begrepp som förvirrade mig - utan om en funktion i likhet med: ta notis om hur många gem som skapas per sekund, testa olika versioner av dig själv och spara och arbeta vidare utifrån versionerna som skapar fler gem per sekund än versionen innan. Detta kan jag föreställa mig att man kan programmera utan att maskinen förstår mänskligt språk, och ja, med en tillräckligt kraftig dator skulle den kanske kunna bli så bra på att maximera gem att mänskligheten får göra plats för 3D-skrivare. Tack för att du tog dig tiden att förklara detta. Jag känner fortfarande att något skaver, men måste fundera mer på det innan jag kan formulera det.

Här kunde vi, vad Paperclip Armageddon anbelangar, gott ha avrundat diskussionen, men jag blev lite provocerad av Tobias påstående om att "då handlar det alltså inte om ett mål", vilket tydde på att han hade en enligt min uppfattning alltför snäv idé om begreppet mål. Jag fortsatte därför diskussionen, men från och med nu handlade den inte egentligen om Paperclip Armageddon, utan mer om vad vi bör mena med mål och liknande begrepp.
    OH: Mål är ett ganska vitt begrepp. Hillary Clinton har som (ett av sina) mål att bli USA:s första kvinnliga president, och jag har som mål att bli klar med tentarättningen innan jag tar helg imorgon. Även dagens målsökande robotmissiler har mål. Liksom termostaterna i våra bostäder. Om man vill kan man försöka dra en skarp skiljelinje någonstans längs den långa vägen mellan å ena sidan termostaternas skäligen enkla mål, och å andra sidan Hillary Clintons mål att bli USA:s första kvinnliga president, men jag tror inte att det går. Jag tror att man landar i något slags ohållbar John Serlesk geggamoja.

    TM: För mig förlorar begreppet mål sin betydelse om det räcker med att något orsakar något annat för att detta ska bli dess "mål".

    En sten som rullar ner för en backe har inte som mål att komma ner till slutet av backen, därom tror jag vi båda håller med varandra. Om jag sätter upp en stolpe i mitten av backen som får stenen att rulla åt höger istället för vänster tror jag att vi båda håller med varandra att stenen fortfarande inte har som mål att rulla åt höger.

    Utan att, så att säga, gå vilse i det kinesiska rummet vill jag hävda att stenen aldrig kommer att ha som mål att hamna någonstans oavsett hur komplicerad vägen med för backen blir.

    Vi kan t ex. tänka oss att vi sätter ut stolpar på ett sådant sätt att stenen följer ett mönster som får den att rita ett ansikte i jorden och den skulle ändå inte ha det som mål och detta av precis samma anledning som när det bara satt en stolpe i backen.

    Här skulle Searle gå in och prata om att hjärnan funkar likadant - att den bara är massa stenar och stolpar - och att det är ett problem för våra intuitioner om medvetandet. Jag är förvisso beredd att hålla med om att det uppstår genuina filosofiska problem med den mekaniska hjärnan, nu tänker jag dock inte börja ta ställning för att mål kräver något utöver systemets inneboende delar. Istället vill jag påstå att ett mål kräver en preferens hos systemet för det systemet orsakar.

    Om vi kräver en preferens hos systemet kan vi dra en ganska skarp skiljelinje mellan maskiner med och utan mål. En termostat, t ex. har inget mål med denna definition, men en dator som får någon typ av inre belöning (vi kan låta det vara osagt vad känslor har för metafysik nu) av något den orsakar och därför väljer att orsaka har ett mål. Ergo: ett mål är inte synonymt med verkan efter orsak, utan med prefererad verkan.

    Naturligtvis är inte din definition objektivt fel, jag tycker bara inte att den fångar in det vi vanligtvis menar med begreppet. Ett exempel på det är att du antagligen skulle protestera om jag sa att du hade som mål att ha sönder din grannes dyra vas bara för att du orsakade det.

    OH: Jag likställer inte mål med orsaksamband.

    TM: Okej, men hur skiljer sig din definition från min?

    OH: Termostaten "prefererar" en temperatur på tjugo grader. I alla fall är det så den beter sig, vilket är det enda vi har att gå efter utan att förfalla till chauvinism.

    TM: Jag tycker inte att den beter sig som att den prefererar - alltså i någon grad tycker om - någon särskild temperatur (lika lite som stenen som rullar ner för en backe tycker om att rulla åt höger istället för vänster bara för att det står en stolpe i dess väg). Det finns väl inga goda skäl att anta att den mår bra av temperaturen den orsakar och därför orsakar den?

    OH: Men om inte termostaten har mål och preferenser, hur tusan förklarar du då dess målmedvetna beteende? Så fort temperaturen understiger 20 så slår den ju på radiatorn, och så fort det blir varmare än 20 slår den av.

    Nej, här skojar jag såklart. Givetvis kan du förklara det med termostatens elektroniska kopplingsschema. Men det finns en allvarlig poäng här, nämligen att om du väljer den förklaringsnivån så kan jag välja samma slags förklaring till ditt beteende. Att du tycks eftersöka klarhet om Paperclip Armageddon beror alls inte på att du har en preferens för sådan klarhet, utan på konfigurationen av molekyler och elementarpartiklar innanför ditt skallben. Kan jag hävda. Men jag gör det som regel inte, eftersom det är praktiskt för den makroskopiska förståelsen att tänka på ditt beteende i termer av preferenser och mål. Detsamma gäller, i viss mån, termostaten.

    Jag tror inte att "mål" och "preferenser" har någon metafysisk existens, något som går utanpå deras agenters fysiska konstitution av molekyler etc. Om vi vill kan vi därför rycka på axlarna åt vår diskussion och kalla den semantik. Men jag tror att det faktiskt finns ett värde i diskussionen, inte för att avgöra vad (vilka mål) som faktiskt finns, utan i vilka fall det är intressant och praktiskt att tänka i termer av mål. Här finns ingen absolut gräns. I fallet med den rullande stenen är det nästan helt ointressant. I fallet med Hillary Clinton är det uppenbart intressant och viktigt (att ge en rent mikroskopisk-fysikalisk förklaring till hennes beteende vore idiotiskt). Och däremellan en lång skala, där det kanske blir mest en smaksak var man drar gränsen för vilka man vill tillskriva mål och preferenser. Jag drar medvetet min gräns lägre än de flesta. (Du är inte den ende som sparkat bakut inför termostatexemplet.) Men jag tror att det allmänt är klokt, inför en okänd komplex framtid med robotar och allt möjligt, att försöka tänka mer vidsynt och mindre chauvinistiskt kring egenskaper som vi hittills (men felaktigt) tänkt på som unikt mänskliga.

    TM: Ja, jag kommer ihåg att du är eliminativ materialist/reducerbar fysikalist. Och utifrån det perspektivet är din uppfattning helt förståelig och frågan om vad ett mål är måste te sig förhållandevis enkel. Jag tror emellertid att mentala tillstånd – till exempel behag – existerar i sin egen rätt och därmed inte bara är enskilda partiklar betraktade från ett makroskopiskt perspektiv.

    Jag tror det eftersom vi inte tittar på behag som vi tittar på atomer som formar en sten från ett visst perspektiv. Vi upplever behag och det går inte att applicera ett mikroskop på den upplevelsen som visar oss några atomer. Behag är inte en observation och det är bara observationer som kan vara föremål för zoomning från makroskopiskt till mikroskopiskt.

    Märk väl att jag inte argumenterar för att behag är något mystiskt som svävar omkring i andevärlden nu, jag menar bara att behag inte påminner om den sortens saker vi brukar reducera ner till enskilda beståndsdelar. Det är enkelt att förstå att Vintergatan kan reduceras ner till stjärnor och att stjärnor kan reduceras ner till atomer. Vi kan titta närmare och se hur observationen av det enskilda blir till en observation av en mångfald. Det är inte lika enkelt att titta närmare på upplevelsen av behag, vi kan inte koncentrera oss på det jättenoga och plötsligt se något annat än behag. Vad exakt behag är för sorts sak vet jag inte, men om vi ser det som en objektivt existerande företeelse (olikt Vintergatan som rent objektivt ju bara är atomer), så behöver vi kanske inte tillerkänna termostaten något mål.

    OH: Well said, klargörande. Men jag tycker nog att även den som avvisar det du kallar eliminativ reduktionism har anledning att försöka vara lite mindre fördomsfull i frågan om vem eller vad som kan ha preferenser eller uppleva behag. Kan du verkligen veta säkert hur det känns (eller inte känns) att vara en termostat?

    TM: Nej, detta är jag benägen att hålla med om. Dock vill jag inte bli allt för öppen, jag vill helst inte behöva inkludera termostater i mina moraliska överväganden.

onsdag 19 oktober 2016

Några framträdanden den närmaste månaden

Här är tre framträdanden som jag medverkar i den närmaste månaden och som eventuellt kan intressera en eller annan läsare med vägarna förbi Göteborg och/eller Stockholm:

lördag 15 oktober 2016

What we see is the real Donald Trump

During the primaries, many commentators would say that what we see is not the real Donald Trump. He is not really like this, do not underestimate his intelligence, it is all a clever act to attract this particular segment of voters. Blah blah blah...

We don't hear much of that anymore. Gradually, commentators have come to realize that what we see is the real Trump. The guy really does have the impulse control of a 5-year-old. Which is not the kind of trait we want the Commander in Chief of the world's biggest arsenal of nuclear warheads to have.

Please read Ezra Klein's analysis of Trump's personality in his brand new essay "Donald Trump's problem isn't a conspiracy. It's him." And it's not just his lack of impulse control, it's also his never-ending quest for dominance, and his constant need for revenge and for inflicting pain on his antagonists. Klein's observations are spot on, his analysis rings true, and it is very very frightening.

I'm an atheist, so these words may sound a little awkward, but I have no better way to say it: God help us if Donald Trump becomes president!

fredag 14 oktober 2016

Harris on Trump

Much has been said about the Donald Trump candidacy for president, but Sam Harris, in yesterday's blog post Trump in Exile, says it better and clearer than almost everyone else. He begins by noting that "it is a cliché [...] to claim that a presidential election is the most important in living memory", but then immediately notes that a cliché can still be true:
    We arrived at that point in the 2016 campaign many months ago, when both sides declared their opponent unqualified for office, [...] and one side is actually right. A choice this stark proves that there is something wrong with our political system.
After a couple of passages on Trump's psychopathic and criminal behavior against women, he goes on to say this:
    While Trump’s attitude toward women should be disqualifying, it is among his least frightening traits when it comes to assuming the responsibilities of the presidency. His fondness for Vladimir Putin, the whimsy with which he has entertained the first use of nuclear weapons, his disregard for our NATO alliances, his promise to use federal regulators to harass his critics, his belief that climate change is a hoax, his recommendation that we kill the families of terrorists, his suggestion that America might want to default on its debt - any one of these sentiments should have ended Trump’s bid for public office at once. In fact, Donald Trump is so unfit for the presidency that he has done great harm to our society by merely campaigning for it. The harm he could do from the White House can scarcely be imagined.
And towards the end of his piece, Harris notes that...
    there was a point in the second presidential debate when Trump’s campaign ceased to be a depressing farce and became the terrifying, national disgrace we now see before us. The crucial moment wasn’t when Trump threatened to imprison Clinton if he wins in November - it was the shriek of joy this threat produced in half the audience. That was the sound of our democracy unraveling. And there was Trump, the crazed man-child tearing at the threads.

    If there is a silver lining here, it is that many of us now see how vulnerable our political system is to charlatanism, conspiracy theories, and populist unreason on both the Right and the Left. The role that the media has played, rendering us all moths to the Trumpian flame, will be scrutinized for years to come. The truth about us is sobering: We have been playing with our smartphones while hurtling toward the abyss...

(Link added by me.) Do take two more minutes to read Sam Harris' blog post in whole!

tisdag 11 oktober 2016

Bra sammanfattning och korrigering av utbredda AI-myter

En hel del missförstånd och myter florerar kring riskerna med ett eventuellt genombrott inom artificiell intelligens (AI) resulterandes i en superintelligens, det vill säga en maskin som i fråga om allmänintelligens kraftigt överglänser oss människor. Följande bild från Max Tegmarks skötebarn Future of Life Institute ger en bra sammanfattning av de vanligaste missförstånden och korrigeringar av dessa. Se även tillhörande text.1

Fotnot

1) Texten är inte undertecknad, men på sin Facebooksida anger Max Tegmark sig själv som författare, och i fråga om sakinnehåll råder god överensstämmelsen med det bokkapitel av honom som jag tidigare citerat här på bloggen.

onsdag 5 oktober 2016

Christian Munthe om existentiell risk

Jag fröjdar mig varje gång jag tycker mig se att jag bidragit (åtminstone på ett litet hörn) till att engagera en kollega att delta konstruktivt i den viktiga diskussionen kring så kallade existentiella risker, dvs sådant som riskerar föra med sig mänsklighetens undergång. Likaså fröjdar jag mig var gång jag ser ett veritabelt rallarslagsmål övergå i civiliserat samtal. Jag har därför dubbla anledningar att fröjda mig åt det meningsutbyte om existentiell risk som Christian Munthe (bioetiker och professor i praktisk filosofi vid Göteborgs universitet) och jag påbörjade förra året och som pågår ännu, om än lågintensivt.

Det började med en bloggpost av Christian i februari 2015 där han i omilda ordalag raljerade över den spirande forskningen kring existentiell risk, vilken han fann analog med det (med rätta) hårt kritiserade och idag i stort sett övergivna argumentet av 1600-talsfilosofen Blaise Pascal för ett kristet leverne. Jag provocerades att i min bok Here Be Dragons: Science, Technology and the Future of Humanity ägna stor del av Avsnitt 10.4 (rubricerat I am not advocating Pascal's Wager) åt att bemöta hans argumentation.1 Med formuleringar som "as unfamiliar with the existential risk literature as Munthe appears to be" och "deficient reasoning" anslöt jag mig till hans omilda och raljanta nivå. Detta bådade knappast gott för fortsatt diskussion.

Men så hände något oväntat, och jag tvekar inte att se det mer som Christians förtjänst än som min egen. På ett seminarium i Stockholm (vilket ägde rum efter att jag lämnat in slutmanus på Here Be Dragons men innan boken utkommit) och ett i Göteborg, samt i en gemensam intervju i GU-journalen, övergick diskussionen i ett ömsesidigt lyssnande och reflekterande tonläge, och alla råsopar och rallarsvingar var som bortblåsta. Och nu har Christian skrivit en uppsats i ämnet, rubricerad The Black Hole Challenge: Precaution, Existential Risks and the Problem of Knowledge Gaps. Jag gratulerar honom till denna utmärkta uppsats, vilken i fråga om argumentativ stringens och saklighet skiljer sig från den ursprungliga bloggposten såsom natt skiljer sig från dag (fast tvärtom).

Fotnot

1) Här är den centrala passagen, från sidorna 242-244 i Here Be Dragons:
    Those who, for one reason or another, are critical of the study of existential risk - as presented in Chapter 8, Section 10.3, and several other parts of this book - tend to rejoice in comparing that study to Pascal's Wager. A recent blog post by Swedish bioethicist Christian Munthe may serve as an example. Munthe says that "what drives the argument [for why we should do something to prevent a particular existential catastrophe] is the (mere) possibility of a massively significant outcome, and the (mere) possibility of a way to prevent that particular outcome, thus doing masses of good", he goes on to compare this to the (mere) possibility that Pascal's God exists, and he poses the rhetorical question that is also the title of his blog post: "Why aren't existential risk/ultimate harm argument advocates all attending mass?"

    Crucial to Munthe's argument is the clumping together of a wide class of very dissimilar concepts as "the (mere) possibility of a massively significant outcome". Unfortunately, his blog post lacks specific pointers to the literature, but it is clear from the context that what is under attack here are publications like Bostrom and Ćirković (2008) and Bostrom (2013, 2014) - all of them heavily referenced (usually approvingly) in the present book. So for concreteness, let us consider the main existential risk scenario discussed in Bostrom (2014), namely

      (S1) The emergence of a superintelligent AI that has goals and values in poor alignment with our own and that wipes us out as a result.
    This is, if I understand Munthe correctly, a "(mere) possibility of a massively significant outcome". This makes sense if we take it to mean a scenario that we still do not understand well enough to assign it a probability (not even an approximate one) to be plugged into a decision-theoretic analysis à la Section 6.7. But Munthe conflates this with another sense of "(mere) possibility", more on which shortly.

    First, however, consider Munthe's parallel to Pascal's Wager, and note that Pascal didn't have in mind just any old god, but a very specific one, in a scenario that I take the liberty of summarizing as follows:

      (S2) The god Yahweh created man and woman with original sin. He later impregnated a woman with a child that was in some sense also himself. When the child had grown up, he sacrificed it (and thus, in some sense, himself) to save us from sin. But only those of us who worship him and go to church. The rest will be sent to hell.
    Munthe and I appear to be in full agreement that (S2) is a far-fetched and implausible hypothesis, unsupported by either evidence or rational argument. And, as Munthe points out,
      there are innumerable possible versions of the god that lures you with threats and promises of damnation and salvation, and what that particular god may demand in return, often implying a ban on meeting a competing deity's demands, so the wager doesn't seem to tell you to try to start believing in any particular of all these (merely) possible gods.
    In particular, Pascal's Wager succumbs to the following scenario (S3), which appears at least as plausible as (S2) but under which Pascal's choice of going to church becomes catastrophically counterproductive.
      (S3) There exists an omnipotent deity, Baal, who likes atheists and lets them into heaven. The only people whom he sends to hell instead are those who make him jeleaous by worshiping some other deity.
    Next, for Munthe's argument to work, he needs scenario (S1) to share (S2)'s far-fetchedness, implausibility and lack of rational support. He writes that
      there seems to be an innumerable amount of thus (merely) possible existential risk scenarios, as well as innumerable (merely) possibly workable technologies that might help to prevent or mitigate each of these, and it is unlikely (to say the least) that we have resources to bet substantially on them all, unless we spread them so thin that this action becomes meaningless.
    Is (S1) really just one of these "innumerable" risk scenarios? There are strong arguments that it is not, and that it does not have the properties of being far-fetched and implausible. It may perhaps, at first sight, seem far-fetched and implausible to someone who is as unfamiliar with the existential risk literature as Munthe appears to be. Bostrom (2014) and others offer a well-argued and rational defense of the need to consider (S1) as a serious possibility. If Munthe wishes to argue that (S1) does not merit such attention, he needs to concretely address those arguments (or at least the somewhat sketchy account of them that I offer in Sections 4.5 and 4.6 of the present book), rather than tossing around vague and unwarranted parallels to Pascal's Wager.

    The crucial point is this. There are cases where a phenomenon seems to be possible, although we do not yet understand it well enough to be ready to meaningfully assign it a probability - not even an approximate probability. In such cases, we may speak of a "(mere) possibility". But we must not be misled, along with Munthe, by this expression into thinking that this implies that the phenomenon has extremely low probability.