Martin

Jag tycker vi avrundar med att du har en liten genomgång på ditt expertområde här. För jag blir oerhörd, jag har inte läst den här texten. Vad är en kontrollerad detonation av god superintelligens? Det låter ju som radiobubblor över sig men...

Boris

Nick Boström. AI har enorma implikationer. Kontrollerad detonation av god superintelligens, vår enda räddning. Det är en väldigt intressant video av Nick Boström som är en av de som har tänkt, pratat och skrivit längst. om problematiken med det man kallar ibland för generell artificiell intelligens. Det vill säga datorsystem som utvecklar intelligens inte bara för specifika applikationer som till exempel Google Translate som är jätte jättebra på att översätta text men inte kan göra någonting annat.

Här pratar man då om AI som är generaliserat för att kunna lära sig i stort sett vilka uppgifter som helst. Problemet med det här är att det kan leda till en så kallad singularitet. Där den artificiella intelligensen inte bara manipulerar världen omkring sig, utan manipulerar sig själv. Och analyserar och skriver om sin egen källkod för att bli ännu mer kapabel än den var innan.

Och eventuellt också skriver om sin egen motivationssystem. Och det här man är orolig för är att få en sorts spiraleffekt. Det är i det här sammanhanget man pratar om singulariteter. Det Nicke Boström pratar om här är strategin för hur man undviker att enkelt utreda världen går under i en sån här foam-event, en singularitet.

Det är då det han beskriver som en kontrollerad detonation. Den idén går alltså ut på att man designar ett AI-system, då de kallar det en god superintelligens i vår rubrik, där man har olika typer av matematiska metoder för att säkerställa från början att AI inte kommer att ha ett stabilt målsystem till exempel. Även om det programmerar om sig själv så har den kanske ont i vikten att måste göra.

Så kan det vara ett stabilt målsystem och inte till exempel bestämma sig för att omvandla hela planeten inklusive alla människor till datorutrustning för att utöka sin egen kapacitet. Vilket annars är någonting som man till exempel skulle kunna tänka sig att en AI gör att omvandla hela solsystemet till Computronium som man brukar säga. Det man gör istället genom den här teorin är att man designar AI från början för att ha ett stabilt målsystem och en välvillig inställning till människor.

Och sen så sätter man igång det. Man trycker på startknappen och då släpper loss ett sånt där AI-värden. Och tanken är då att det är en kontrollerad detonation i bemärkelsen att ingenting av det här är realistiskt. blir som tidigare efter det. Men poängen med det är då att det kan förhindra att man vid ett senare tillfälle släpper loss ett sånt här AI utan att ha gjort en rigorös matematisk modell för säkerheten och välvillighetsaspekten innan. Teorin här är att om man inte specifikt och explicit och väldigt fokuserat designar AI för att inte döda alla människor så kommer det förmodligen döda alla människor.

Martin

Så det finns hopp alltså. Du var ju lite uppgiven för några månader sedan.

Boris

Det finns hopp, men det bygger på att de som kommer först till singularitets-AI, att de är de som är fokuserade på att minimera skadeverkningarna. Och att det inte är till exempel en forskningsgrupp på Google som bara råkar trycka på knappen. Att de har en forskningsexperiment som bara spårar ur och plötsligt märker de att deras dator håller på att göra en massa saker som den inte alls höll på med igår.

För då kan det vara för sent att stoppa. Det är för sent att stoppa om man får en sån process. Det finns ingen människa som kommer kunna kontrollera en superintelligens som har programmerat om sig själv i flera iterationer. Det är långt mycket mer intelligent än en människa. Man riskerar att gå från att inte ha det till att vara långt bort från den gränsen i en loppet av några timmar om det här händer. Så att lösningen då är att en annan grupp som har ett annat fokus gör det här inte av en slump utan på ett kontrollerat sätt.

Och det finns åtminstone en grupp som jobbar med det här. De kallar sig för MIRI, Machine Intelligence Research Institute, baserade i Kalifornien, grundade och drivs av en tänkare och forskare som heter Eliezer Jutkowski som har varit på med det här skänden. Slutet av 90-talet kan man säga. Han har dedikerat sitt liv till den här frågan om safe AI eller friendly AI.

som man ofta kallar det för. Och de håller på mycket med matematisk grundforskning och tar fram modeller för hur man skulle kunna ta fram delar av ett sånt där AI-system. Men också i hög utsträckning att bara ta fram den grundläggande matematik som behövs för att ta fram sådana modeller. Och att till exempel få folk att få fler människor att tänka i vissa vissa typer av banor och tänka på ett matematiskt rationalistiskt sätt, vilket behövs för att ens tänka klart kring de här frågorna.

Så ibland har man ett stort nätforum som heter LessWrong som är väldigt intressant. Som är ett sorts community där folk pratar om de här sakerna och kringlingande ämnen. Men det finns också andra projekt, det ska nämnas till exempel en person som heter Ben Gertzel som är AI-forskare. Som också delvis har samma kretsar, samma idéer och där den här idén om friendliness är en ledstjärna.

Så jag förminner håller tummarna för att om vi får en sådan här AI-explosion så ska det vara Elias Jutkowski eller Ben Goertz eller åtminstone någon som har tänkt på de här aspekterna. Och det ska inte vara ett gäng ingenjörer på Oracle som bara råkar släppa loss en sådan här anduflaskan.

Martin

Är det skönt att veta att det finns hopp i alla fall? Jag började nästan dela din uppgivenhet förut men det där kändes betryggande.