Martin

NSAs analys av metadata för att avgöra vem som ska mördas doms ut av experter. Bland annat ses avstängning av mobilen som försök att undvika övervakning. Det här är ännu en bomb som släpps av Edward Snowden indirekt. Det här är en nyhet som kommer till oss via Snowdens dokument som har publicerats tidigare men som han nu gjort en ny analys av.

Och det framkom en hel del intressanta saker i den här artikeln från Ars Technica. Till att börja med så är det otroligt intressant och ironiskt och skrämmande att det här programmet, NSA-programmet som det här handlar om heter Skynet. Ha det bra! Skynet har lånat ordet från det fruktansvärda AI-systemet i Terminator-filmerna som har som mål att döda eller förslava alla människor och erska hela världen med ett teknologiskt mördarmaskineri.

Och det här har, när man spelar vinkarna, på NSA tyckte det var ett jättebra namn på ett av deras datamining-projekt. Och det de gör i det här projektet, Skynet, är att de använder en så kallad maskininlärningsalgoritm för att scanna av all mobiltelefontrafik i Pakistan för att försöka på algoritmisk väg avgöra vem som är en terrorist, vem som inte är en terrorist och följdaktligen vem de ska döda genom att skicka ut en drönare eller möjligen en sån här death squad för att skjuta ihjäl folk.

Och där är en lång... Välskriven, tekniskt djupblodande artikel som vi inte kan rättvisa i ett enda radionslag. Men vi ska ta några highlights i alla fall, vad vi får lära oss här. Det finns vid tillfället då, den här informationen sammanställd, så fanns det 120 miljoner mobilabonnemang i Pakistan. Och av de här så hade man 55 miljoner som man spårade.

För att avgöra då, vad jag menar, terrorist och inte, så tittar man på en mängd olika faktorer. som man försöker göra en sammanställd bild av Och en sån här sak är hur man rör sig i mönster, hur man reser fram och tillbaks mellan olika orter Om man till exempel är på en misstänkt ort upprepade gånger Och även om man inte använder sin telefon särskilt ofta Om man bara tar emot samtal istället för att ringa utåt Det är ett tecken på att man är ett terrorist Och så om man byter simkort ofta, eller om man byter telefon Det är också en sån här grej som flaggas i systemet och används som en av faktorerna Tack för mig, det var väldigt bra Också om man stänger av sin telefon, typiskt misstänkt beteende.

Det är väldigt intressant faktiskt. Allt det här matar man in i den här algoritmen. För att veta vad som är misstänkt respektive inte så har man en träningsmängd, det kallar man det för, i dataminingbranschen. Det innebär att man har ett antal profiler på personer som man vet är terrorist eller terroristassocierade personer. Och så tittar man på deras mönster. och sen så analyserar man hela datamängden för att se vilka personers mobilanvändningsmönster som liknar de här misstänkta personerna.

Och det här är ett av problemen som man har med den här metoden. Därför att enligt uppgiftsområdet har man tränat den här datamängden på endast 7 terrorister. 7 misstänkta terrorister respektive 100 000 icke-terrorister. Så man har inte så mycket underlag och dessutom så är det inte faktiska terrorister utan det är såna här kurirer. Kurirernas rörelsemönster. Det finns en analys i den här artikeln från en datavetare.

Han sammanfattar läget med den här algoritmen som att den är löjligt optimistisk. Löjligt optimistisk maskininlärningsalgoritm är totalt skit, säger expert. Det är oerhört skrämmande att man använder den här typen av algoritmiska approacher. för att avgöra vem som ska dödas och inte. Och det är knappast någon snack om att det är det det handlar om. Jag menar, de kanske lägger in lite mer information hit och dit.

Men vi vet att de ofta skickar ut sina drönare och dödspatroller på ganska lösa boliner. Och de uppger själva att det här är ett av deras primära verktyg för att avgöra vem som ska dö och vem som ska leva.

Boris

Det är faktiskt svårt att ta in att det här är ett sånt här... Jag tror ju de här människor har allt möjligt ont, men det är ändå... Jag skulle nästan lätta att hantera ifall de sa att när vi lägger en bombmatta lite då och då över någon del av Pakistan eller Afghanistan, lite hur som helst, alltid dödar vi någon person som är terrorist. Men det här är på något sätt mera kocko helt enkelt.

Martin

Det är riktigt sjukt och det är väldigt likt det riktiga Skynet från Terminator-filmerna. Där man har maskiner som bestämmer att nu ska vi döda den och den människan. Så det är väldigt passande att man valt det namnet. Det är också skrämmande att de har... Vad ska man kalla det för? De är så otroligt cyniska.

Boris

Ja, för det strider ju mot alla. Alltså det är inte ens i närheten av vettiga rättsprinciper. Det nämns ju också här i artikeln om att om man nu ska döma någon och definitivt om man ska döma någon till döden så måste man ha bort de allt rimlig tvivel. Men här så är det mer att ja, vi antagligen har rätt mycket, vi kan ju aldrig vara riktigt säkra. Så att i väg med drönaren bara. Det här är en av fem av de här artikeln som vi har för dig.

Martin

Det är en total och brutal och vidrig maktfullkomlighet helt enkelt.

Det handlar om tusentals människor som dör. Det här är ingen teoretisk övning eller någon lekalgoritm som de har på NSA. Det handlar om tusentals människor som mördas av den amerikanska militären och CIA. När man tittar på själva algoritmen så finns det väldigt mycket detaljerad information om hur de jobbar. Så att alla som har jobbat litegrann med maskininlärning och datamining kan själv göra sina bedömningar utifrån det här.

Och fundera på om det är rimligt. Men som några exempel då, så har man satt ett tröskelvärde där man vill ha 50% falska negativa. Och det här är ett resonemang som vi i USA har. Så att om man har 50% falska negativa, det vill säga fall där 50% av dem som utspekas som icke-terrorister i själva verket är terrorister.

Det vill säga att man missar terrorister. Terroristerna går fria från drönarbombning. Då blir också antalet falska positiva, oskyldiga, som felaktigt klassificeras som terrorister, så låg som möjligt. Problemet är bara att det här håller inte för en matematisk datalogisk granskning. Det finns inget sådant direkt samband mellan falska negativa och falska positiva. Men det är en av faktorerna som man i det här uppgiftet jobbar med i den här algoritmen. Så redan här så börjar det bli skrämmande att man gör matematiskt felaktiga antaganden på NSA och ska göra de här oerhört konsekventiella bedömningarna.

Boris

Det är som en tårta man har byggt där varje lager är illa smakande. Själva grundförutsättningen du var inne på i början. Alltså det urval man har för att ta fram en analys på terroristbeteende är ju så löjeväckande begränsat. Det går inte att bygga någonting från den utgångspunkten. Inte ens om man hade något vettigt sätt att beräkna, analysera terroristers beteende och definiera dem.

Martin

Om man tittar på de här siffrorna som NSA har, enligt deras egna beräkningar, hur många människor blir oskyldigt dödade? Eller blir oskyldigt utpekade av den här algoritmen? Det finns ju alltid felmarginaler i sådana här saker. Den här typen av algoritmer används i diverse kommersiella sammanhang hela tiden. Till exempel när Google ska bestämma vilken annons som ska visas för dig på en sökresultatsida. Då använder de precis likadant grejer.

De har en massa data om dig, en massa datapunkter. som sätter ihop det i en profil och jämför den med andra människors profiler. Det är inte så farligt där om man har fel marginal på någon procent. Så att någon får fel annonsvis att för sig då och då. Här är det lite viktigare, men enligt NSAs bedömning så kan det vara så att antalet falska positiva är 0,18% av de som undersökt.

Och enligt deras allra mest optimistiska resultat så är det 0,008% av de som undersökt. 0,008% är en väldigt liten siffra. Det kan man tycka att det är en fantastiskt bra maskininlärningsalgoritm. Det skulle jag tycka som själv är i den här branschen. Att det är ett otroligt bra resultat och knappast realistiskt. Men om vi antar att deras siffra är korrekt, 0,008% Givet att Pakistan har en befolkning på 190 miljoner så innebär det här att 0,008% det är 15 000 personer.

Så att enligt deras egna mest optimistiska bedömningar så kan det vara så att 15 000 pakistanier felaktigt blir klassificerade som terrorister och eventuellt bli mördade av en drönarbombning. Tanken svindlar lite grann om man tänker på det här, inte sant?

Boris

Ja, det gäller att vara försiktig. Jag vill nog råda våra lyssnare att stänga inte av er mobil för ofta och inte allt för ofta, speciellt inte på regelbundna dagar till flygplatser. För att risken är att det blir så.

Martin

Det är intressant vad de tittar på för faktorer. Och inte för ofta till flygplatsen. Så vi inte över hos kompisar. Bland annat sådana konstiga saker. Det här med hur man använder sina mobiltelefoner är lite intressant. För det finns ju, åtminstone på, man kollar på film och sådär så ser man hur skurkarna byter simkort i sin telefon för att komma undan. Men det är välkänt sedan tidigare att man spårar mobiltelefoner inte baserat på simkort utan baserat på en hårdkodad serienummer som finns i själva telefonen.

Så det spelar ingen roll för en ISA-övervakning om du byter simkort. Den kommer ändå ha spårning på din specifika telefon. Dessutom så är det så att om du byter telefon så kommer de ändå spåra dig. Därför att de kommer se att din telefon var på samma plats. Att den uppfyller samma mönster vad gäller ditt sociala nätverk. Så att de skryter om i den här rapporten att även om folk byter telefon så kan de fortsätta spåra och koppla till samma person. Så det kan vara värt att tänka på att det hjälper inte att byta simkort. Och det hjälper inte att byta telefon om man vill undgå att bli övervakad.

Boris

Behåll din telefon, byt den aldrig, sitta alltid hemma, sova aldrig över hos någon bekant eller kompis. Ja,

Martin

och som du var inne på Boris, slå inte av telefonen. Nej, fy fan. Jag brukar göra det när jag går i lägenhet ibland för att jag inte vill ha någon samtal. Men jag ska sluta med det nu för att undvika att bli drönarbombad.

Boris

Ja, man blir rädd för att låta mobilen ladda ur det, det smäller direkt.

Martin

Ja. Så om du vill undgå att bli övervakad, en bättre strategi skulle kunna vara att låta telefonen vara påslagen helt normalt men kanske lägga den hemma. Ta en trevlig skogspromenad tillsammans med din medbrottsling. Låt mobilen ligga hemma så ser det ut som att ni sitter hemma och dricker kaffe. I själva verket så är ni ute i skogen och plockar svamp och konspirerar. Mycket klokt råd. Jag vill verkligen rekommendera våra lyssnare att gå in och titta på den här artikeln om Skynet. Den är skrämmande och väldigt upplysande. Som vanligt har Ars Technica gjort ett fantastiskt fint jobb med att sammanställa den här informationen.