Etter rundt ti minutter med diskusjon utbryter professor Richard Berk: «Algoritmen min er mer rettferdig og nøyaktig enn de fleste dommere!» Han har allerede gjentatt dette to ganger og passer på at jeg noterer det ned. «Dr. Berk» er professor emeritus i kriminologi og statistikk ved University of Pennsylvania. I snart tjue år har han arbeidet med å utforme matematiske formler som kan hjelpe dommere og tilsynsførere med å ta beslutninger. «Enkelt forklart forutsier algoritmen min hvilke personer som er tilbøyelige til å begå alvorlig kriminalitet, og hvilke som ikke er det», sier han. «Så blir disse resultatene, sammen med annen informasjon, brukt til for eksempel å avgjøre hvordan dømte skal følges opp av friomsorgen.»
Berk forteller at algoritmen hans er basert på nesten 300 000 saker, som han har krysset med biografiske data (alder, kjønn, rulleblad) og observasjoner av atferden til individer i friomsorgen. Med disse dataene kan algoritmen, ifølge ham, forutsi et individs sannsynlige atferd: Vil vedkommende møte opp i retten? Begå nye lovbrudd? Friomsorgen i Philadelphia har vært en pioner her og bruker Berks algoritme til å vurdere farligheten til nesten alle lovbryterne de fører tilsyn med, for å tilpasse prøvetiden best mulig. Hva er resultatene over ti år etter at algoritmen ble tatt i bruk?
Friomsorgen avslo min forespørsel om et intervju, selv om den kom med anbefaling fra professoren. Men resultatene må ha blitt vurdert som positive, for forskningen til Berk har blitt brukt til å utvikle flere «risikovurderingsverktøy», særlig i Pennsylvania og Philadelphia, hvor de har vært i bruk i flere år, ikke bare for prøveløslatelser, men også for straffeutmåling.
Risikopoeng
I 2010 ba parlamentet i Pennsylvania delstatens straffeutmålingskommisjon, Pennsylvania Commission on Sentencing, om å utvikle et risikovurderingsverktøy som «kan brukes som et hjelpemiddel i vurderingen av den relative risikoen for at en lovbryter vil begå nye lovbrudd og utgjøre en trussel mot den offentlige orden».1Lov nr. 95-2010 i delstaten Pennsylvania som opprettet seksjon nr. 2154.7, «Adoption of risk assessment instrument». Etter fem år med arbeid, ledet av professor Berk, ble den første versjonen av algoritmen offentliggjort. Ni «risikofaktorer» skulle brukes for å bistå straffe-utmålingen, blant annet alder, kjønn, bostedsfylke, antall tidligere arrestasjoner og overholdelse av rettsinnkallelser. «Rase» var ikke med på listen, i stedet fantes det flere nært korrelerte sosioøkonomiske markører. For eksempel førte bostedsfylke til at beboere i arbeiderklasseområder, som har en stor andel minoriteter og er mye kontrollert av politiet, ville få strengere straffer. Og antall tidligere arrestasjoner sier mindre om objektiv kriminell atferd enn om at politiet oftere kontrollerer utvalgte grupper.
Tre måneder med Le Monde
diplomatique for 99 kroner!
Papiravis og full digital tilgang
Fornyes til 199,- per kvartal
Aktivister, advokater og tidligere fanger mobiliserte raskt mot denne diskrimineringen. Etter en høring med motstanderne gikk straffeutmålingskommisjonen tilbake til tegnebrettet og presenterte en ny algoritme i 2019. Denne algoritmen, som har vært i bruk siden 1. juli 2020, tar ikke lenger hensyn til bosted eller tidligere arrestasjoner. I stedet fokuserer den på antall dommer – et kriterium som definitivt er mer objektivt, men ikke uten bias eller skjevheter. Med utgangspunkt i data fra 131 055 personer som ble dømt mellom 2004 og 2006, vurderer algoritmen sannsynligheten for tilbakefall for hver tiltalt med en poengsum for hver risikofaktor.2Delstaten Pennsylvanias lover, «§ 305.3. Sentence Risk Assessment Instrument standards».
Politikk framfor digitale verktøy
På samme tid utviklet rettsvesenet i byen Philadelphia – også her med hjelp fra Berk – en algoritme for å forenkle avgjørelser om varetektsfengsling: Skal en tiltalt sitte fengslet i påvente av rettssaken? Og hvor mye skal hen betale for å slippe? Dagens system er basert på cash bail, kausjon, og har fått mye kritikk for å gjøre siktedes frihet avhengig av deres formue. Ordningen er dypt urettferdig og fyller opp fengslene med varetektsfengslede. Bystyret i Philadelphia ønsket derfor å erstatte den med en algoritme. «Risikoverktøyet vil innføre objektivitet i beslutningen om løslatelse og dermed redusere fengslinger, rasemessige og etniske skjevheter, og inntektsmessige skjevheter», skrev kommunen i en søknad om støtte som i 2016 ble sendt til MacArthur Foundation3Philadelphia kommune, «MacArthur Foundation Safety and Justice Challenge: implementation proposal overview», www.phila.gov. – som lot seg overbevise.
Men utviklingen av algoritmen var preget av manglende transparens. I så stor grad at Philadelphias statsadvokat Larry Krasner og lederen for byens forening for offentlige forsvarere, Keir Bradford-Grey, trakk seg fra prosjektet i 2019. «Et verktøy basert på historiske data som er gjennomsyret av rasediskriminerende skjevheter, sementerer ikke bare eksisterende rasemessige ulikheter, men utvisker også de unike omstendighetene til hver person og avhumaniserer ytterligere menneskene som er viklet inn i det strafferettslige systemet», sa de den gang.4«Will controversy over risk assessments break Philly’s touted criminal-justice reform collaboration?», The Philadelphia Inquirer, 8. mai 2019. Algoritmen ble lagt i skuffen.
Hver dag havner siktede i Philadelphia bak lås og slå fordi de ikke har råd til å betale kausjon, etter nærmest parodiske fengslingsmøter. I et rom i kjelleren på tinghuset står en dommer, en aktor og en offentlig forsvarer overfor hverandre mens den tiltalte deltar på en skjerm fra fengselet. Prosessen tar noen minutter, så lang tid det tar å bekrefte den tiltaltes identitet og nevne tiltalepunktene. Nærmest mekanisk ber aktor om en høy kausjon, før advokaten sier noe kortfattet og ber om en «fornuftig» sum. Så tar dommeren sin avgjørelse. Da jeg var til stede en mandagsmorgen i april, avgjorde retten skjebnen til åtte personer på under halv-annen time. To ble løslatt uten kausjon, og seks ble pålagt cash bail.
Antallet innsatte i Philadelphia har likevel sunket – med 40 prosent mellom 2016 og 20235«Philadelphia, PA», Safety and Justice Challenge, 27. oktober 2013. – etter at Larry Krasner ble valgt til å lede byens påtalemyndighet. Den tidligere strafferettsadvokaten og forkjemperen for mindre fengsling fikk en overraskende valgseier i 2017, og siden har byens rettsvesen blant annet sluttet å kreve kausjon for en rekke mindre lovbrudd.6Larry Krasner, For the People: Ad Story of Justice and Power, One World, New York, 2022. Nedgangen viser at politiske beslutninger fortsatt er mer effektive enn digitale verktøy.
Råd til retten
På den andre siden av elva som skiller Philadelphia fra Camden, har delstaten New Jersey tatt skrittet fullt ut og erstattet kausjon med algoritmer. Vendingen kom etter rettsreformen som ble vedtatt i en folkeavstemning i 2014 på initiativ fra den daværende republikanske guvernøren Chris Christie, som ville redusere fange-befolkningen for å spare penger. Som advokat Alexander Shalom fra American Civil Liberties Union (ACLU) i New Jersey forklarer, var innføringen av en algoritme «del av dealen den gangen», som gjorde det mulig å gå «fra et system basert på ressurser til et system basert på risiko».
Fjerningen av kausjon og innføringen av programvare har endret fengslingsmøtene. Shalom inviterer meg med på et møte og sender meg en lenke til nettsidene til domstolene i New Jersey. Jeg foretrekker å være fysisk til stede, og drar derfor til tinghuset i Camden. Det er bortkastet tid: Første fengslingsmøte skjer utelukkende digitalt. Et koronatiltak som har blitt permanent, blir jeg fortalt – på velkjent vis har unntaket blitt regelen.
Dermed foregår fengslingsmøtet tirsdag ettermiddag på en firedelt skjerm delt via en åpen lenke jeg får tilsendt. Møtet blir ledet av dommer Kurt Kramer. I det ene hjørnet sitter det en innsatt i gul fangedrakt, mens aktor og forsvarer befinner seg på sine kontorer. Møtet varer i tre kvarter. Mannen er siktet for å ha vært i besittelse av crack med intensjon om salg. Det oppstår en intens debatt om det siste punktet, så en lengre diskusjon om konklusjonene trukket av algoritmen, kalt Public Safety Assessment (PSA).
For hver person som vurderes varetektsfengslet, genererer algoritmen en fil på noen få sider. Konklusjonene er basert på ni «risikofaktorer», blant annet alder (med antakelsen om at lavere alder øker sannsynligheten for lovbrudd), antall pågående saker (i brudd med det grunnleggende rettsprinsippet om at man er uskyldig inntil dømt) og etterlevelse av retts-innkallelser. Filen gir tre resultater: Risikoen for ikke å møte i retten gis en poengsum fra 1 til 6, i likhet med risikoen for å begå nye lovbrudd, og det vises et lite flagg hvis det er sannsynlig at den siktede vil begå en voldsforbrytelse. Fra disse tre punktene genereres en generell anbefaling, skrevet med store bokstaver: «RÅD TIL RETTEN – ANBEFALING OM IKKE Å LØSLATE (HØY RISIKO)».
Det var rådet som ble gitt denne ettermiddagen. For aktor var saken klar: Siktede må sitte fengslet fram til rettssaken. «Han får høyeste poeng-score for risikoen for ikke å møte i retten, og også høyeste for gjentakelse, som dommeren kan se på side tre i Public Safety Assessment», argumenterte han. Så fortalte han om siktedes rulleblad og understreket hvor farlig han var, som om han var opptatt av å forsvare konklusjonen til PSA.
Forsvareren argumenterte på den andre siden på saksgrunnlaget og påpekte at det manglet bevis for anklagene mot klienten hans. Dommer Kramer lot seg overbevise og beskrev saken som «svært svak». Han gikk dermed med på å løslate klienten. Så forklarte han utførlig hvorfor han hadde valgt å se bort fra PSA.
«Et nødvendig onde»
Her ser vi hvordan rettsaktørene inkorporerer dataene fra programvaren i sin argumentasjon: De viser til resultatene i innleggene sine, og støtter, kritiserer eller tar fullstendig avstand fra dem.7Se Angèle Christin, «Les méthodes ethnographiques nuancent l’idée d’une justice prédictive et entièrement automatisée», Laboratoire d’innovation numérique de la bureau des avocats commis d’office, CNIL, 9. juli 2020. Algoritmen dikterer ikke dommen, men den styrer og setter fokus for rettsmøtene.
Public Safety Assessment ble utviklet med støtte fra stiftelsen Arnold Ventures LCC, oppkalt etter et texansk milliardærpar som tjente seg rike på olje og finans. Da jeg kontaktet stiftelsen, ble jeg henvist til kommunikasjonsavdelingen og fikk et vell av dokumentasjon som lovpriste programvaren. Hensikten var åpenbart å imøtegå påstanden om at algoritmer bidrar til rasediskriminering,8Julia Angwin, Jeff Larson, Surya Mattu og Lauren Kirchner, «Machine Bias – There’s software used across the country to predict future criminals. And it’s biased against blacks», ProPublica, 23. mai 2016. med et sentralt argument, nemlig at dommere kan være mer rasistiske enn algoritmen. I en av artiklene jeg fikk, står det: «Når det gjelder å forutsi framtidig atferd, inkludert vold og kriminalitet, er menneskelige vurderinger uten bistand mindre nøyaktige enn statistiske prediksjoner. […] Fordelen med et risikovurderingsverktøy framfor en dommer er at det er mer gjennomsiktig i sine vurderinger og vekting av skjeve datapunkter. Vi kan tross alt se hvordan en risikovurderingsalgoritme behandler hver variabel, men vi kan ikke se inn i en dommers hode.»9 Caroline Davidson, «Risk Assessment Instruments as a Part of Bail Reform: Do they help or hurt?», Chicago Policy Review, 31. januar 2023.
Advokat Meg Butler, ansvarlig for varetektspolitikk i foreningen for offentlige forsvarere i Camden, er også for bruk av PSA. Algoritmen fjerner ikke rasediskriminerende skjevheter, vedgår hun, men den er «et nødvendig onde». Uten den ville ikke kausjon blitt avskaffet, mener hun.
En bekreftelse av tidligere dommer
Algoritmen forsvares også litt lenger nord i New Jersey av domstolleder i fylket Passaic, Ernest M. Caposela, som roser den for å ha redusert antall innsatte og dermed ført til betydelige besparelser. Han trekker også fram sikkerhetsgevinstene: Tidligere gikk farlige kriminelle fri hvis de hadde råd til å betale kausjonen, mens ubemidlede som hadde begått mindre lovbrudd, måtte sitte fengslet. Med algoritmen er det slutt på dette avviket. Caposela sier samtidig at han selv tar beslutningen, programvaren er bare et hjelpemiddel: «Vi er ikke bundet av algoritmen. En datamaskin og et menneske kan sammen ta riktig beslutning.»
Denne utbredte oppfatningen gjør det vanskelig å finne noen som er kritiske til PSA i New Jersey. Alle her nevner det kraftige fallet i antall innsatte som et bevis på algoritmens fortrinn. Antallet har ganske riktig sunket med 30 prosent mellom 2016 og 2023,10 Ifølge statistikk fra fengselsetaten i delstaten New Jersey. men kunne ikke kausjon blitt avskaffet uten å ty til en algoritme?
For selv om dette systemet kanskje slår mindre skjevt ut enn det forrige, tærer det på visse grunnleggende rettsprinsipper. Bak fernissen av objektivitet og vitenskapelighet framstår risiko-vurderings-algoritmene mest som verktøy som bekrefter tidligere dommer, mens rettslige avgjørelser bør baseres på menneskelig vurdering og analyser av fakta. Algoritmene flytter den politiske debatten til matematiske formler, til hvorvidt det ene eller andre kriteriet bør vektes, eller om nye bør legges til, for å styre resultatene i en mer eller mindre straffende retning.
«Det ble nylig gjort endringer i algoritmen som øker sannsynligheten for å få en anbefaling om ikke å løslate», forteller Butler. Etter press fra parlamentarikere som er imot rettsreformer, godkjente New Jerseys demokratiske guvernør Phil Murphy i august 2022 en lov som pålegger fengslingsmyndighetene (som står for driften av algoritmen) å holde personer som er anklaget for visse alvorlige lovbrudd, for eksempel våpenbesittelse, fengslet.
«Retten villedes»
Etter hvert som by etter by, delstat etter delstat, har tatt i bruk slike digitale verktøy, har det oppstått et enormt marked som private selskaper har kastet seg over. I Wisconsin leverer Equivant (tidligere North Point) programvaren Compas til domstolene. «Dere tar viktige beslutninger. Vi lager programvaren for å støtte dem», lyder slag-ordet til oppstarts-selskapet, som også er til stede i California og Florida. I motsetning til PSA er det lite kjent hvordan Compas fungerer, eller hvilke kriterier det bruker i sine prediksjoner. Bruker det jobb, utdannelse og bolig, slik andre privatutviklede algoritmer gjør? «Forretningshemmelighet», sier selskapet, som ikke har svart på mine forespørsler om intervju.
Eric L. Loomis har gått til kamp mot denne manglende transparensen, som han selv har fått betale for. I 2013 ble han dømt til seks års fengsel for en skyteepisode i Wisconsin, mye fordi algoritmen indikerte en svært høy sannsynlighet for gjentakelse. Ettersom han ikke hadde tilgang til detaljene om hvordan programvaren fungerte, mente han at han ikke hadde fått en rettferdig rettergang. Han tok derfor saken til delstatens høyesterett. «Retten vet ikke hvordan programvaren sammenligner siktedes historikk med referansekohorten», sa ekspertvitnet som advokaten hans hadde hentet inn. «Den vet ikke engang om det er en kohort fra Wisconsin, New York eller California. Det er mye informasjon retten ikke har, og det ender med at retten villedes med grafer som blir brukt til å fastsette straffen.»
Dommer Ann Walsh Bradley avviste saken. Selv om Loomis ikke kjente til de ulike faktorene som lå til grunn for prediksjonen, konkluderte hun, kunne han likevel diskutere algoritmens konklusjon. Hun mente derfor at rettssaken var rettferdig siden straffen ble fastsatt ut fra ulike vurderinger, der det var dommeren som i siste instans dømte.11Delstaten Wisconsin mot Eric L. Loomis, nr. 2015AP157-CR, Wisconsins høyesterett. Loomis anket avgjørelsen til USAs høyesterett, som også avviste den.
En kur mot massefengsling?
Men hvorfor vise til en algoritme bare for å bekrefte at dommeren egentlig ikke vektlegger den? Er disse algoritmene bare en ny variant av «mindre rettsapparater og parallelle dommere», som Michel Foucault kalte de psykiatriske ekspertene, pedagogene og funksjonærenes inntog i rettsvesenet? Nok en måte å skjule dommerne på bak et slør av vitenskap og statistikk?
De digitale verktøyene som skal hjelpe dommerne, viser i praksis at strafferetten har fått i oppgave å forhindre kriminalitet ved å forsøke å forutsi enkeltindividers atferd ut fra deres tidligere handlinger. Denne oppgaven er ikke helt ny. Som jusprofessor Bernard Harcourt har vist, har det amerikanske rettsvesenet lenge forsøkt med angivelig vitenskapelige metoder å vurdere hvor farlige forbrytere er.12 Bernard E. Harcourt, Against Prediction: Profiling, Policing, and Punishing in an Actuarial Age, The University of Chicago Press, 2006. Men algoritmene har åpnet muligheten til å bruke biografiske data om hundre-tusener av mennesker for å trekke konklusjoner om enkelt-individers framtid. «Tidligere kriminell aktivitet dekker over rasediskrimineringen», påpeker Harcourt. «Hvem har blitt kontrollert, hvem har blitt tatt i billettkontroll på t-banen, hvem fokuserer politiet på? Tidligere kriminalitet sier ikke noe om hvem som har begått lovbrudd, bare hvem som har blitt arrestert.»
Er algoritmene en kur mot massefengsling og rasediskriminering? Et allmektig verktøy som forteller dommere hva de skal gjøre? De er verken det ene eller det andre, men brukes snarere til å legitimere et prediktivt rettssystem og redusere dommernes ansvar for egne beslutninger.
Oversatt av redaksjonen
Raphaël Kempf er advokat.
- 1Lov nr. 95-2010 i delstaten Pennsylvania som opprettet seksjon nr. 2154.7, «Adoption of risk assessment instrument».
- 2Delstaten Pennsylvanias lover, «§ 305.3. Sentence Risk Assessment Instrument standards».
- 3Philadelphia kommune, «MacArthur Foundation Safety and Justice Challenge: implementation proposal overview», www.phila.gov.
- 4«Will controversy over risk assessments break Philly’s touted criminal-justice reform collaboration?», The Philadelphia Inquirer, 8. mai 2019.
- 5«Philadelphia, PA», Safety and Justice Challenge, 27. oktober 2013.
- 6Larry Krasner, For the People: Ad Story of Justice and Power, One World, New York, 2022.
- 7Se Angèle Christin, «Les méthodes ethnographiques nuancent l’idée d’une justice prédictive et entièrement automatisée», Laboratoire d’innovation numérique de la bureau des avocats commis d’office, CNIL, 9. juli 2020.
- 8Julia Angwin, Jeff Larson, Surya Mattu og Lauren Kirchner, «Machine Bias – There’s software used across the country to predict future criminals. And it’s biased against blacks», ProPublica, 23. mai 2016.
- 9Caroline Davidson, «Risk Assessment Instruments as a Part of Bail Reform: Do they help or hurt?», Chicago Policy Review, 31. januar 2023.
- 10Ifølge statistikk fra fengselsetaten i delstaten New Jersey.
- 11Delstaten Wisconsin mot Eric L. Loomis, nr. 2015AP157-CR, Wisconsins høyesterett.
- 12Bernard E. Harcourt, Against Prediction: Profiling, Policing, and Punishing in an Actuarial Age, The University of Chicago Press, 2006.
Tre måneder med Le Monde
diplomatique for 99 kroner!
Papiravis og full digital tilgang
Fornyes til 199,- per kvartal
