Den nya modellen gör det möjligt att få reda på vad som hände eller gick fel i ett AI-system, enligt Kary Främling. Foto: Mattias Pettersson

Pressmeddelande - 8 April 2024 08:00

AI:s mystiska "svarta låda" har öppnats av professor i Umeå

En av pionjärerna inom förklarande AI har tagit fram en avancerad modell som förklarar vad AI egentligen gör. Modellen öppnar AI:s ”svarta låda” och finns tillgänglig för i stort sett alla AI-system. – Den kan vara till stor nytta för samhälle och näringsliv för att förstå och förklara beslut som tas av AI, maskininlärningsmodeller och neurala nätverk, säger Kary Främling, professor vid Institutionen för datavetenskap.

AI och maskininlärning används av myndigheter, sjukvård, näringsliv och industri. Så kallade djupinlärningsmetoder kan nu diagnostisera patienter i vården, mycket snabbare än människor. Men vad är det som gör att ett AI-system rekommenderar en viss sorts behandling och inte en annan, och hur kommer den fram till sina beslut?

– Explainable AI, eller förklarande AI, är ett område som många är intresserade av men som få känner till, eller behärskar fullt ut. De förklaringsmodeller som finns idag är inte heller tillräckligt begripliga för gemene man, säger Kary Främling, WASP-professor i förklarande AI vid Institutionen för datavetenskap på Umeå universitet.

Han har utvecklat CIU-metoden, Contextual Importance and Utility, och menar att den är mer effektiv än andra förklaringsmodeller för AI.

– Tyvärr var många forskare kvar i ett visst tankesätt, medan jag tidigt insåg att dessa modeller var för begränsade. I slutet av 1990-talet var dock tiden inte mogen, men jag fortsatte att utveckla CIU-metoden och idag kan jag se att det var ett bra val på lång sikt, säger Kary Främling.

Ett AI-system är ett system där ett eller flera ingångsvärden ges till en AI-modell eller ett AI-system, som sedan bearbetar informationen och producerar ett eller flera utgångsvärden. Med CIU-metoden kan man studera och förklara hur en förändring av en eller flera indata – variabler som "ålder", "kön", "arbete" eller "studier" – påverkar slutresultatet.

– För mig handlar det om att se till att var och en av oss kan förstå sjukhusets beslut, bankens svar på en låneansökan eller en myndighets beslut, säger Kary Främling.

AI-system som använder neurala nätverk, så kallade black box AI-system, ansågs tidigare omöjliga att förklara. Därför skapade man så kallade "surrogatmodeller" i ett försök att imitera hur det faktiska AI-systemet fungerade och analysera vad det gjorde. Explainable AI bygger fortfarande på denna idé. CIU skapar dock inte en surrogatmodell. Istället analyserar man AI-modellens funktion utifrån hur outputs varierar som funktion av inputs.

– Det är fullt möjligt att få mer korrekt information, och inte bara en "föraning" om vad som hände eller gick fel i ett AI-system. CIU kan ge stora möjligheter för företag och deras kunder, men också för myndigheter och medborgare, säger Kary Främling.

FAKTA CIU

CIU är implementerat i programmeringsspråken Python och R och dess källkod är offentligt tillgänglig på Github. CIU kan också installeras som ett bibliotek och i princip integreras med vilket AI-system som helst. Modellen kan till och med förklara resultat från "klassiska" AI-system som inte använder maskininlärning. CIU kan även appliceras på tidsserier och språkmodeller, men det är pågående forskning.

För mer information, kontakta gärna:

Kary Främling, professor vid Institutionen för datavetenskap, Umeå universitet: kary.framling@umu.se.

Victoria Skeidsvoll, kommunikatör vid Institutionen för datavetenskap: victoria.skeidsvoll@umu.se eller 070-616 57 88.

Ämnen

Kategorier

Regioner

Umeå universitet
Umeå universitet är ett av Sveriges största lärosäten med omkring 37 000 studenter och drygt 4 700 medarbetare. Här finns en mångfald av utbildningar av hög kvalitet och världsledande forskning inom flera vetenskapsområden. Umeå universitet är också platsen för den banbrytande upptäckten av gensaxen CRISPR-Cas9 – en revolution inom gentekniken som tilldelats Nobelpriset i kemi.

Vid Umeå universitet är allt nära. Våra sammanhållna campus gör det lätt att mötas, samarbeta och utbyta kunskap, något som gynnar en dynamisk och öppen kultur där vi gläds åt varandras framgångar.

Flydde Ukraina – nu utvecklar hon AI-metoder för att förhindra desinformation

Hon lämnade Charkiv med sin familj. Idag är hon gästprofessor vid Umeå universitet. – Här har jag kunnat använda min erfarenhet för att utveckla AI-lösningar i syfte att detektera och förhindra misinformation och desinformation när det gäller kriget i Ukraina, och leverera lösningar, säger Nina Khairova, professor i datalingvistik vid institutionen för datavetenskap.

Umeå universitet i samarbete om att upptäcka hjärntumörer med AI

Varje år diagnostiseras cirka 22 000 personer i EU med gliom, en elakartad typ av hjärntumör. Överlevnadstiden efter diagnos kan vara så kort som 15 månader. Ett nytt konsortium som kombinerar expertis inom hjärntumörer, maskininlärning och datasäkerhet ska leta efter nya diagnostik- och behandlingsmetoder.

Djupinlärning ger relevanta annonser utan att spåra användaren

Ny forskning från Företagsforskarskolan vid Umeå universitet presenterar en lösning för att visa annonser utan att kompromissa med användarnas integritet. I sin doktorsavhandling visar Arezoo Hatefi hur djupinlärning kan användas för att effektivt kategorisera nyhetsartiklar och rikta annonser baserade på sidans innehåll istället för användarnas beteende eller personliga data.

Umeå universitet

Med omkring 37 900 studenter och drygt 4 560 medarbetare är Umeå universitet ett av Sveriges största lärosäten. Här finns en mångfald av utbildningar och världsledande forskning inom flera vetenskapsområden. Umeå universitet är också platsen för den banbrytande upptäckten av gensaxen CRISPR-Cas9 – en revolution inom gentekniken som år 2020 tilldelades Nobelpriset i kemi.

Umeå universitet har funnits i drygt 50 år och präglas av såväl tradition och stabilitet som förändring och nytänkande. Här bedrivs utbildning och forskning på hög internationell nivå som bidrar till ny kunskap av global betydelse, där hållbarhetsmålen i Agenda 2030 utgör drivkraft och inspiration. Här finns kreativa och nytänkande miljöer som tar sig an samhällets utmaningar, och genom djupa och långsiktiga samarbeten med organisationer, näringsliv och andra lärosäten fortsätter Umeå universitet att utveckla norra Sverige som kunskapsregion.

Universitetets internationella atmosfär och våra sammanhållna campus gör det lätt att mötas, samarbeta och utbyta kunskap, något som främjar en dynamisk och öppen kultur där studenter och anställda gläds åt varandras framgångar.

Umeå campus och Konstnärligt campus ligger nära Umeås centrum och intill ett av Sveriges största och mest välrenommerade universitetssjukhus. Campus finns även i Skellefteå och Örnsköldsvik.

Vid Umeå universitet finns den högt rankade Designhögskolan, den miljöcertifierade Handelshögskolan och landets enda arkitekthögskola med konstnärlig inriktning. Här finns också Bildmuseet och Umeås science center, Curiosum. Umeå universitet är dessutom ett av Sveriges fem riksidrottsuniversitet och har ett internationellt ledande arktiskt centrum.