måndag 29 juli 2013

Sotala och Yampolskiy om katastrofala AI-scenarier och hur dessa eventuellt kan förebyggas

Ingen kan säkert säga om den artificiella intelligensen (AI) någonsin kommer att nå eller passera mänsklig intelligensnivå, eller i så fall om det blir om 10, 50 eller 200 år. Experternas meningar går kraftigt isär, och om vi blickar bakåt så ser vi att många felaktiga prediktioner i frågan gjorts. Datalogerna Kaj Sotala och Roman Yampolskiy påpekar emellertid, i den aktuella uppsatsen Responses to catastrophic AGI risk: a survey (där titelns AGI står för artificial general intelligence), att det
    would be a mistake, however, to leap from "AGI is very hard to predict" to "AGI must be very far away."
Ännu svårare att säga vad konsekvenserna blir, om och när det sker. Ett scenario som vi i alla fall inte bör ränka bort är det slags hastigt accelererande utveckling jag ofta återkommit till under beteckningen Singulariteten, där den nya AI som är smartare än vi specifikt också är skickligare på att designa AI och därför bygger en ännu bättre AI, och så vidare i en spiral mot allt högre höjder.

Huruvida konsekvenserna av ett sådan intelligensexplosion blir gynnsam för oss människor är en fråga som inte har något självklart svar. Som ett rimligt default-scenario att ha i åtanke för vad som kan hända om vi inte tänker efter, tjänar Eliezer Yudkowskys ofta citerade påpekande...
    The AI does not hate you, nor does it love you, but you are made out of atoms which it can use for something else
...hämtat från hans 2008 publicerade uppsats Artificial intelligence as a positive and negative factor in global risk. Notera gärna titelns "positive and negative" - en dramatisk AI-utveckling innebär inte nödvändigtvis bara en global katastrofrisk, utan kan också tänkas fungera som hjälp för att avvärja andra globala katastrofrisker. Hur som helst är Yudkowskys "you are made of atoms"-scenario något vi har anledning att försöka undvika.

Men hur? Sotalas och Yampolskiys synnerligen väl-researchade uppsats (av dess 78 sidor upptar referenslistan inte mindre än 19) är en systematisk genomgång och nykter evaluering av de förslag som hittills framförts, alltifrån "låt dem döda oss, det är lika bra om mänskligheten dör ut" och "frågan är inte värre akut än att den gott kan skjutas på framtiden" till totalförbud mot AGI-forskning, mer nyanserade forskningspolitiska regleringar, och idéer om hur AGI kan förses med drivkrafter och moralsystem som gör ett för oss gynnsamt utfall mer troligt. Jag skulle vilja utnämna uppsatsen till obligatorisk läsning inte bara för alla de AI-forskare som glatt jobbar på utan att närmare fundera över vilka omstörtande konsekvenser som ett genombrott kan få, utan också för var och en som på allvar vill sätta sig in i vilka de riktigt stora framtidsfrågorna är. Hur vi förbereder oss för ett AI-genombrott är förvisso inte den enda, men allt annat än att ränka in den bland topp fem eller så vore orimligt våghalsigt.

4 kommentarer:

  1. Detta är mycket intressant. Har denna forskning kopplats till "det stora filtret"? Tror några att singulariteten kan vara mekanismen som är förklaringen till Fermiparadoxen?
    /Fredrik

    SvaraRadera
  2. Fredrik: Själv tror jag det inte - en AGI som erövrade vår planet kunde också sprida sig till rymden lika bra som oss (om inte bättre), så singulariteten ändrar bara frågan av "varför har ingen biologisk civilisation kolonisera galaksen" till "varför har ingen maskincivilisation kolonisera galaksen".

    SvaraRadera
  3. Fredrik:

    Jag tror (liksom Kaj är inne på ovan) att det troligaste är att Singulariteten gär det lättare snarare en svårare att sätta stora avtryck i universum - detta bör nog vara grundhypotesen. Om den är rätt så kan inte Singulariteten förklara Fermis paradox, utan bara göra mysteriet ännu svårare.

    Å andra sidan är det möjligt att grundhypotesen är fel av någon anledning. T.ex. skulle det (om jag får tillåta mig en extremt spekulativ tankegång) att varje tillräckligt intelligent varelse ballar ur i något slags wireheading-scenario liknande det som jag diskuterade här för ett år sedan. Det skulle strida mot Bostroms orthogonality thesis, men jag betraktar inte hans argument i denna fråga som slutgiltigt avgörande.

    SvaraRadera
  4. Argumentet att singulariteten skulle göra en kolonisation av universum mer trolig bygger på antagandet att en singularitet har en motivation som liknar biologin. Det är förstås många nivåer av spekulation, men det borde finnas scenarier där singulariteten "nöjer sig". Kanske kan en viss energiomsättning/ intelligens räcka för att tillfredsställa en singularitet. Kanske kan den avvärja invasioner av andra genom en domedagsmaskin och därigenom komma förbi spelteori-problemet. Om den hittar svaret på frågan om universum, livet och allting så kanske den stänger av sig själv. Därför kanske det inte är lika självklart att syntetisk intelligens tar över universum, som att biologisk dito gör det.

    /Fredrik

    SvaraRadera