Martin

Jag tycker vi avrundar med att du har en liten genomgång på ditt expertområde här. För jag blir oerhörd, jag har inte läst den här texten. Vad är en kontrollerad detonation av god superintelligens? Det låter ju som radiobubblor över sig men...

Boris

Nick Boström. AI har enorma implikationer. Kontrollerad detonation av god superintelligens, vår enda räddning. Det är en väldigt intressant video av Nick Boström som är en av de som har tänkt, pratat och skrivit längst. om problematiken med det man kallar ibland för generell artificiell intelligens. Det vill säga datorsystem som utvecklar intelligens inte bara för specifika applikationer som till exempel Google Translate som är jätte jättebra på att översätta text men inte kan göra någonting annat.

Här pratar man då om AI som är generaliserat för att kunna lära sig i stort sett vilka uppgifter som helst. Problemet med det här är att det kan leda till en så kallad singularitet. Där den artificiella intelligensen inte bara manipulerar världen omkring sig, utan manipulerar sig själv. Och analyserar och skriver om sin egen källkod för att bli ännu mer kapabel än den var innan.

Och eventuellt också skriver om sin egen motivationssystem. Och det här man är orolig för är att få en sorts spiraleffekt. Det är i det här sammanhanget man pratar om singulariteter. Det Nicke Boström pratar om här är strategin för hur man undviker att enkelt utreda världen går under i en sån här foam-event, en singularitet.

Det är då det han beskriver som en kontrollerad detonation. Den idén går alltså ut på att man designar ett AI-system, då de kallar det en god superintelligens i vår rubrik, där man har olika typer av matematiska metoder för att säkerställa från början att AI inte kommer att ha ett stabilt målsystem till exempel. Även om det programmerar om sig själv så har den kanske ont i vikten att måste göra.

Så kan det vara ett stabilt målsystem och inte till exempel bestämma sig för att omvandla hela planeten inklusive alla människor till datorutrustning för att utöka sin egen kapacitet. Vilket annars är någonting som man till exempel skulle kunna tänka sig att en AI gör att omvandla hela solsystemet till Computronium som man brukar säga. Det man gör istället genom den här teorin är att man designar AI från början för att ha ett stabilt målsystem och en välvillig inställning till människor.