När maskiner bestämmer – är Sverige redo? Rapport visar på problem med befintliga regelverk för automatiserat beslutsfattande

System för automatiserat beslutsfattande används brett i Europa men hur kontrollen sker av de algoritmer som styr beslutsfattandet skiljer sig åt markant. I rapporten “Automating Society – Taking Stock of Automated Decision-Making in the EU“utvärderar den tyska organisationen AlgorithmWatch samt Bertelsmann Stiftung för första gången olika modeller. Rapporten visar på problemen med befintliga regelverk och förespråkar europeisk samordning kring frågor om automatiserat beslutsfattande. Anne Kaun,docent vid Södertörns högskola har bidragit till rapporten.

I Finland profileras arbetssökande utifrån vad de har i sin inkorg; i Italien bestämmer algoritmer vilka som ska få behandling i sjukvården; i Polen sorterar algoritmer arbetslösa; barn som kan behöva extra socialomsorg identifieras av algoritmer i Danmark. Idag har områdena där automatiserat beslutsfattande används vidgats. I många fall kan de gynna medborgare, men deras tillämpning skapar risker: orättvis behandling, ökad övervakning samt minskad jämlikhet.

Politiker och beslutsfattare har svårt att överblicka alla användningsområden, och syftet med algoritmer som tar automatiserade beslut. På EU-nivå samt inom Europaparlamentet diskuteras frågor om automatiserat beslutsfattande. Diskussionen syftar till att komma fram till gemensamma regler som kan styra och utvärdera automatiserade system genom bl.a. etiska riktlinjer. Detta är mycket välkommet. Samtidigt behöver uppmärksamhet också riktas mot de faktiska tillämpningsområdena av automatiserat beslutsfattande, för att utveckla lämpliga och konkreta idéer som kan ta tag i utmaningen. Rapporten ”Automating Society – Taking Stock of Automated Decision-Making in the EU” innehåller drygt 60 exempel från 12 länder samt en översikt över de relevanta aktörerna i processen och de aktuella politiska debatterna kring automatiserat beslutsfattande.

Konkreta exempel från Sverige:

Ett område där automatiserad beslutsfattning har fått genomslag i Sverige är offentlig förvaltning. Sedan 2017 har kommuner runt om i landet börjat resan med att automatisera beslutsfattande för försörjningsstöd. Med Trelleborgs kommun i framkant har en algoritm utvecklats som automatisk kopplar uppgifter från Skatteverket med databaser från andra myndigheter. Ett beslut genereras automatiskt genom systemet och levereras till ”kunden”. Antalet handläggare har reducerats från elva till tre och utgör därmed en ganska omfattande nedskärning av resurser. Samtidigt hävdar Trelleborg att de kunnat sänka antalet personer med försörjningsstöd signifikant och därmed sänkt kostnaderna även när det gäller försörjningsstöd. Trelleborg har utvecklat algoritmen som pilotprojekt och har exporterat sin automatiseringsmodell till fjorton andra kommuner som förbereder en introduktion av samma lösning. Medan den här typen av automatisering har fått viss publicitet, är allmänheten fortfarande omedveten om att människor ska ersättas med algoritmiskt beslutsfattande som till exempel bestämmer fördelningen av försörjningsstöd. Handläggare ersätts genom tekniska system som inte kan ställas till svars när det gäller myndighetsutövande. Projektet strider just nu mot befintlig lagstiftning som förbjuder helt automatiserade beslut i Sverige på kommunnivå. Dessutom bygger beslutsfattning på att samköra registerdata av olika myndigheter som är en ny utveckling i den svenska kontexten utan en bredare offentlig diskussion.

- Sverige och andra nordiska länder, med välfärdsstaten som bakgrund, har varit exceptionella i att bygga byråkratier baserat på mycket information om sina medborgare. Att dessa olika register nu kan samköras har effekter för medborgarna som behöver en öppen diskussion. Tekniken möjliggör helt nya sätt att spåra och förutsäga beteende och attityder baserat på stora datamängder. När det får konsekvenser för till exempel försörjningsstöd måste samhället vara en del av beslut kring hur vi vill använda tekniska lösningar, säger Anne Kaun, docent i medie- och kommunikationsvetenskap vid Södertörns högskola.

Rapporten visar för första gången både hur utspritt automatiserat beslutsfattande är samt hur varierande och icke-konsekvent försöken är att hantera dem i olika länder. Politiker och medborgare bör använda resultatet för att jämföra situationen i sina länder med andras och få ett kritiskt förhållningssätt till sina egna tillvägagångssätt.

- Denna rapport visar att vi inte längre kan tänka på problem kring algoritmer och automatiserat beslutsfattande som något som ligger långt borta från oss i Norden. Vi lever i en vardag där beslut om välfärd och ekonomi alltmer delegeras till maskiner, ibland i strid mot befintlig lagstiftning eller i strid mot etablerade värderingar kring vad som är rätt och rimligt. Det är därför viktigt att inte bara uppmuntra mer teknisk utveckling kring maskininlärning och automatisering, utan även noga analysera de bredare samhälleliga konsekvenserna och frågor som systemen väcker, säger Julia Velkova, forskare och samförfattare av rapporten för Sverige och Finland, Helsingfors Universitet.

Rapporten finns tillgänglig online på: https://algorithmwatch.org/en/automating-society/

Forskning och publikation av denna rapport utfördes med bidrag delvis från the Open Society Foundations.

För mer information

Anne Kaun, anne.kaun@sh.se, 073-907 90 85 eller Julia Velkova, julia.velkova@sh.se, 070-680 64 99