XAI ska förklara artificiell intelligens

Artificiell intelligens (AI) ska leda till att datorer och maskiner kan arbeta självständigt. Men hur ”tänker” AI-maskinerna? Hur kan människan samverka med dem? Och vad kan vi lära av dem? Forskningsområdet som syftar till att klarlägga detta heter XAI – förklarbar artificiell intelligens.

I en ”vanlig” mjukvara bestämmer människan vad datorn ska göra. Det innebär att dess logik och funktioner också kan tolkas och förklaras av människor. Men när vi går till AI, framförallt djupinlärning, där datorn använder algoritmer för att ”programmera sig själv”, blir mjukvaran ofta så komplex att människor inte kan tolka och förstå den. FOI-forskaren Linus Luotsinen jämför den mjukvaran med en ”svart låda”, där man stoppar in information i ena änden och i blindo får ut ett resultat i den andra.

– Men vi vill i många fall ha någon form av förklaring till varför ett beslut tas av maskinerna. Om man förstår hur datorn tänker kan vi människor dra lärdomar från datorns agerande i vissa avseenden, säger han.

Spelare studerar datorer

De lärdomar som går att dra har visat sig ytterst värdefulla i brädspel som exempelvis schack eller go. Eftersom datorn ofta står som vinnare i mötet med en människa, lägger de bästa spelarna numera ner mer tid på att förstå hur datorn tänker i många steg framåt, än att studera andra spelare.

Men analyser av hur datorn tänker blir förstås ännu viktigare i en militär kontext, där maskinernas beslut och rekommendationer kan påverka människoliv på djupet. Det gäller oavsett om AI används på taktisk nivå i övervakningsdrönare eller för beslutsunderlag till militära ledare eller politiker.

Därför har FOI startat forskning inom XAI som syftar till att skapa militära AI-system som:

1. Stödjer den militära slutanvändaren i att skapa förståelse för hur systemet fungerar så att det kan användas på ett säkert och effektivt sätt.
2. Stödjer specialister i arbetet att skaffa insikt och extrahera kunskap från AI-systemens, ofta dolda, taktiska och strategiska beteende.
3. Följer krigets lagar och andra internationella och nationella lagar.
4. Stödjer utvecklare så att fel kan identifieras och åtgärdas innan systemet sätts i drift.

En viktig del i forskningen är att skapa ett ramverk för att utvärdera hur XAI bör utformas för militära AI-tillämpningar.

– Målet är att skapa en miljö där vi kan utvärdera, utveckla och anpassa de XAI-tekniker som i ökad utsträckning föreslås i forskningslitteraturen. Detta för att bygga kompetens inom FOI och för att på sikt kunna stödja Försvarsmakten med rekommendationer och krav vid anskaffning och utveckling av AI-system, säger Linus Luotsinen.

Kan vi lita på AI?

Här väntar också en stor avvägningsfråga för morgondagens beslutsfattare. XAI bedöms i dag att vara ett viktigt forskningsområde för att skapa förståelse för hur maskinerna ”tänker” och därmed påverka i vilken utsträckning AI kan användas i militära tillämpningar. Men det kan mycket väl bli så att människan aldrig fullt ut kommer att förstå hur ett AI-system fungerar, enigt Linus Luotsinen.

– Inte ens skaparna av dagens AI-systemen kan förklara hur de fungerar. Att vi trots det använder AI-system är för att de kan lösa problem som vi inte klarar att lösa med traditionell programmering. Den stora utmaningen för våra politiker och militära beslutsfattare är att bedöma vilka typer av militära AI-system som ska vara tillåtna. För om ett militärt vapensystem med AI-stöd visar sig fungera många gånger bättre, gör färre misstag och räddar liv jämfört med motsvarade system utan AI, ska det få tas i drift även om vi inte förstår hur det fungerar?

Vad är XAI?

XAI står för Explainable Artificial Intelligence. Det är ett interdisciplinärt forskningsområde där AI möter interaktionen mellan människa och dator, men som också är en del av samhällsvetenskapen.