Derfor gir ikke KI og automatisering bedre sikkerhet

I 2023 fikk forsvarssjef Eirik Kristoffersen en tidlig julegave av Nasjonal sikkerhetsmyndighet (NSM): digitale innbruddsalarmer pakket inn i sikre, militærgrønne bokser med en prislapp på opp mot 500 millioner kroner.    

«Varslingssystem for digital infrastruktur» (VDI), som er den korrekte betegnelsen for innbruddsalarmene, er sensorer som plasseres ut i virksomheter som anses som en del av kritisk infrastruktur i Norge. 

VDI er ett av flere virkemidler som skal beskytte mot angrep på digital infrastruktur. 

– Nettverkssensorer fungerer hovedsakelig ved å oppdage kjente trusler, omtrent som å kjenne igjen et ansikt i en folkemengde, forklarer seniorforsker Claudia Emilie Aanonsen (NUPI). 

Hun lister opp flere eksempler på slike trusler: 

– Det kan være så enkelt som nye enheter som forsøker å logge seg på, bestemte nettsøk eller noen som stadig vekk skriver inn feil innloggingspassord. 

Idé om totalsikkerhet – men ikke fullt så enkelt 

I forskningsartikkelen “Operationalising uncertainty: The automation of threat knowledge and situational awareness” (Security Dialogue), kommer Aanonsen frem til at det ikke er gitt at maskinlæring og automatisering gir «bedre» sikkerhet.  

Her har seniorforskeren sett nærmere på systemene, praksisene og erfaringene knyttet til cybersikkerhet gjennom å studere det norske varslingssystemet VDI.  

I dag baserer slike systemer seg i større grad på maskinlæring for å oppdage ukjent aktivitet i et nettverk, såkalte anomalier. Maskinlæring er en gren av kunstig intelligens (KI) som gjør datamaskiner i stand til å lære fra data og forbedre seg automatisk, uten å være programmert for å utføre én enkelt oppgave.  

– Når det gjelder sikkerheten i digitale nettverk og systemer er logikken tilsynelatende enkel: Mer data, bedre verktøy og selvstyrende løsninger skal gi oss en tryggere digital verden, sier Aanonsen. 

Men fullt så enkelt er det ikke. 

– Det virker betryggende med systemer som overvåker digitale nettverk og oppnår god nok situasjonsforståelse til å kjenne igjen og stanse uønsket aktivitet på egen hånd. Men virkeligheten er faktisk mye mindre svart-hvitt. Sikkerheten henger mer sammen med menneskelige skjønn, tolkning og forståelse enn det lovnader om fremtidens teknologi ofte skulle tilsi.

– Fortsatt avhengig av magefølelsen 

Ideen er altså at maskinlæring skal gjøre det mulig å overvåke «alt», oppdage alle avvik, og at samfunnet dermed kommer et steg nærmere «totalsikkerhet».  

– Problemet er at det ikke er mulig å eliminere usikkerhet eller trusler i seg selv. Snarere skaper maskinlæring nye sårbarheter, sier Aanonsen. 

Nettverkssensorer produserer enorme mengder data og varslinger om trusler, men de fleste av disse er falske. 

– Noen må fortsatt avgjøre hva som er viktig, når det er viktig, og hvorfor. 

Til artikkelen sin har Aanonsen intervjuet ti sikkerhetsanalytikere som jobber med systemer som VDI. 

– Analytikere i dag må gjennomgå signalene og er fortsatt avhengig av erfaring og «magefølelse» for å gjøre dette. I praksis handler cybersikkerhet mindre om automatisering og økt presisjon og mer om nye og ulike metoder for å tolke data.  

Når «alt» blir mistenkelig 

Enda mer interessant er det at slike systemer ikke bare oppdager trusler, men også bidrar til å skape dem, mener NUPI-forskeren: 

– Når alt utenom normal aktivitet blir flagget, blir alt også mistenkelig. Trusler er ikke lenger en forutbestemt kategori, men noe som endrer seg avhengig av hvordan situasjonen tolkes. Grensen mellom normalt og unormalt, ufarlig og truende, blir flytende. Jobben blir jakten på avvik, snarere enn søken etter konkrete eller kjente «fiender». 

Dette har viktige konsekvenser. Cybersikkerhet er ikke bare et teknisk problem, men formes av menneskelige vurderinger, organisatoriske prioriteringer og kommersielle interesser.  

Ingeniører, analytikere, beslutningstakere og selskaper er med på å definere hva som regnes som en trussel, og hva som faller utenfor denne kategorien.  

– Ideen om «totalsikkerhet», som kan sammenlignes med strategier for «totalberedskap» eller «totalforsvar», fremstår mindre som et realistisk mål og mer som et slagord. Nettverkssensorer kan aldri gi fullstendig situasjonsforståelse, men heller fragmenterte og stadig skiftende problembeskrivelser, forklarer Aanonsen. 

Kommer an på øynene som ser 

– Å kjenne igjen en trussel – både fra maskin og menneske – er alltid knyttet til perspektiv: hvem som ser, hvilke verktøy de bruker, og hvilke krav og begrensninger de står overfor. Det finnes ikke ett allvitende perspektiv, bare nye øyne og verktøy i et landskap som stadig endres med nye teknologier. 

Dette vet analytikere godt. Men det utfordrer den utbredte forestillingen om at mer data og automatisering gir bedre sikkerhet. I stedet for å blindt kjøpe ideen om at den beste dataen og de raskeste systemene gir bedre sikkerhet, bør vi tenke på cybersikkerhet som et kontinuerlig samspill mellom mennesker og maskiner, mener NUPI-forskeren. 

Å forstå hvordan avansert teknologi både skaper nye måter å avdekke og håndtere trusler på, men også konsekvensene av dette, kan gi mer realistiske forventninger til hva «ny teknologi» faktisk kan oppnå, ifølge Aanonsen: 

– Det kan også rette oppmerksomheten mot menneskets rolle, kritisk tenkning og det komplekse arbeidet som holder systemer i gang og gjør den digitale verden til noe håndfast. Dette er viktig lærdom for oss i dagens debatter om KI. Forestillingen om at stadig smartere systemer enkelt vil løse komplekse problemer helt av seg og gjøre verden til et bedre sted, bør møtes med en skikkelig god dose skepsis.