Före bomberna faller

Under kalla kriget levde världen med en märklig sorts fred.

USA och Sovjetunionen hade tillräckligt med kärnvapen för att förstöra varandra flera gånger om. Det fanns ingen vinnare i ett krig. Man hade bra koll på om den ena avfyrade. Innan bomberna slagit ner skulle den andra ha hunnit svara, vilket innebar att båda parter utplånades.

Det här kallades Mutually Assured Destruction. MAD. Ömsesidig garanterad förintelse. Logiken var brutal men enkel: om båda dör finns inget rationellt skäl att börja. Hotet om total katastrof skapade stabilitet. Terrorbalans.

I spelteorin kallas en sådan situation en Nash-jämvikt. Det betyder att ingen part kan förbättra sitt läge genom att ensidigt ändra strategi. Om USA ensamt valde nedrustning skulle Sovjet få övertaget. Om Sovjet ensamt valde nedrustning skulle USA få övertaget. Båda sitter fast i samma strategi, även om den är farlig.

Resultatet blev en frusen värld. Livsfarlig men stabil. Det är lätt att i efterhand se det som ett märkligt men fungerande system. Ingen tryckte på knappen. Jämvikten höll.

Men jämvikten finns bara när parterna har jämnstark teknologi. 1945 fanns ingen ömsesidighet. USA var ensamt om atombomben. Det fanns ingen möjlighet till vedergällning i samma skala. Ingen garanterad förintelse. Ingen Nash-jämvikt.

Hiroshima och Nagasaki är brutala påminnelser om vad som händer i ett sådant scenario.

Terrorbalansen uppstod först när båda sidor kunde slå tillbaka. Stabiliteten kom när kostnaden för användning blev absolut. Men innan dess, i obalansen, såg kalkylen annorlunda ut. Det är där parallellen till artificiell intelligens blir obehaglig.

Vi talar gärna om internationella avtal, etiska riktlinjer och gemensamma pauser. Men AI är inte bara ett verktyg för produktivitet. Det är också ett potentiellt strategiskt vapen. Den som når ett verkligt övertag i militär AI kan få informationsdominans, cyberkapacitet och beslutsförmåga bortom mänsklig reaktionshastighet.

Om en stat utvecklar en sådan kapacitet försvinner symmetrin och ett nytt spel uppstår. Om du avstår och din motpart inte gör det riskerar du att bli irrelevant. Om du utvecklar och din motpart också gör det ökar risken för olyckor och felbedömningar. Om ni båda pausar krävs en tillit som historien sällan belönar. Det finns inget incitament i att lita på din motspelare eftersom nedsidan av att ha fel riskerar total utplåning.

Det är en klassisk Nash-struktur. Ingen kan ensidigt kliva ur utan att riskera att förlora mer än man vinner. Resultatet blir en kapprustning som ingen säger sig vilja, men som alla rationellt drivs rakt in i.

Det mest riskfyllda ögonblicket är inte när alla har tekniken. Det mest riskfyllda ögonblicket är övergången. Perioden när någon plötsligt ligger före.

Kalla krigets stabilitet byggde på symmetri. Men innan symmetrin uppstod användes vapnet. Mänskligheten är egentligen bara apor med farligare vapen.

AI befinner sig inte i en stabil jämvikt. Den befinner sig i racet mot den. I jakten på övertaget. Och historien är tydlig med en sak: när ett avgörande strategiskt övertag existerar förändras kalkylen.

Det här är inte en berättelse om galenskap. Det är en berättelse om rationalitet. Om hur fullt rimliga beslut, tagna steg för steg, kan leda till system ingen egentligen önskar. En Nash-jämvikt är stabil även om den är katastrofal. Och vägen dit kan vara ännu farligare.

Vi är inte på väg in i en militär AI-kapprustning för att världen tappat förståndet. Vi är på väg dit därför att, utifrån klassisk spelteori, är det märkligt nog det enda rationella valet för varje enskild part.

Jag är inte rädd för att någon håller på att bli galen.
Jag är rädd att vi trots allt är rationella. 

Glad alla hjärtans dag :)!