We moeten de algoritmen kennen die de overheid gebruikt om beslissingen over ons te nemen

In strafrechtsystemen, kredietmarkten, werkgelegenheidsarena's, toelatingsprocessen in het hoger onderwijs en zelfs sociale medianetwerken, data-gestuurde algoritmen nu besluitvorming op manieren die ons economische, sociale en maatschappelijke leven raken. Deze softwaresystemen classificeren, classificeren, associëren of filteren informatie, met behulp van door de mens gemaakte of door gegevens geïnduceerde regels die consistente behandeling over grote populaties mogelijk maken.

Maar hoewel er efficiëntiewinst kan worden behaald met deze technieken, kunnen ze dat ook havenvoorkeuren tegen kansarme groepen or structurele discriminatie versterken. Is het in termen van strafrecht bijvoorbeeld eerlijk om te oordelen over iemands parool op basis van statistische tendensen gemeten over een brede groep mensen? Kan discriminatie ontstaan ​​door toepassing van een statistisch model ontwikkeld voor de bevolking van een staat naar een andere, demografisch verschillende populatie?

Het publiek moet de vooroordelen en de kracht van algoritmen die in de publieke sfeer worden gebruikt, ook door overheidsinstanties, begrijpen. Een inspanning waar ik bij betrokken ben, genaamd algoritmische verantwoording, probeert de invloeden van dit soort systemen duidelijker en breder te begrijpen.

Bestaande transparantietechnieken zouden, wanneer toegepast op algoritmen, mensen in staat kunnen stellen om te monitoren, auditen en kritiseren hoe die systemen functioneren - of niet, al naar gelang het geval. Helaas lijken overheidsinstanties niet voorbereid op vragen over algoritmen en hun gebruik in beslissingen die een grote invloed hebben op zowel individuen als het grote publiek.

Openingsalgoritmen voor openbare controle

Vorig jaar het federale overheid begon met studeren de voors en tegens van het gebruik van geautomatiseerde data-analyse om te helpen bij het bepalen van de kans van recidivisten om te recidiveren bij vrijlating. Het scoren van personen als laag, middelhoog of hoog risico kan helpen bij het nemen van beslissingen over wonen en behandeling, het identificeren van mensen die veilig naar een beveiligde gevangenis of zelfs een 'tussenstation' kunnen worden gestuurd, of die baat hebben bij een bepaald type psychologische zorg.


innerlijk abonneren grafisch


Die informatie kan het gerechtelijk proces efficiënter en goedkoper maken en zelfs de drukte in de gevangenis verminderen. Het behandelen van daders met een laag risico, zoals daders met een hoog risico, is aangetoond in sommige studies ertoe leiden dat zij zichzelf internaliseren als een "zieke" crimineel en een behandeling nodig hebben voor hun afwijkende gedrag. Door ze te scheiden, kan de ontwikkeling van negatief gedrag dat zou leiden tot recidive bij vrijlating, worden verminderd.

Gegevens en algoritmen voor het scoren van het recidiverisico van gedetineerden zijn al bekend veel gebruikt door staten voor het beheren van voorlopige hechtenis, reclassering, voorwaardelijke vrijlating en zelfs veroordeling. Maar het is gemakkelijk voor hen om onopgemerkt te blijven - ze zien er vaak uit als bescheiden bureaucratisch papierwerk.

Typisch zijn de algoritmen gebaseerd op vereenvoudigde scorebladen die worden ingevuld door ambtenaren met weinig begrip van de onderliggende berekeningen. Een casusmedewerker kan bijvoorbeeld een gevangene evalueren aan de hand van een formulier waarin de behandelende medewerker aangeeft dat de gevangene is veroordeeld voor een gewelddadig misdrijf, jong was ten tijde van de eerste arrestatie en niet was geslaagd voor de middelbare school of een GED. Deze factoren en andere kenmerken van de persoon en het misdrijf resulteren in een score die suggereert of de gedetineerde in aanmerking komt voor een heronderzoek.

Zowel het formulier zelf als het scoringssysteem onthullen vaak belangrijke kenmerken van het algoritme, zoals de variabelen die worden overwogen en hoe deze samenkomen om een ​​algemene risicoscore te vormen. Maar wat ook belangrijk is voor algoritmische transparantie, is weten hoe dergelijke vormen zijn ontworpen, ontwikkeld en geëvalueerd. Alleen dan kan het publiek weten of de factoren en berekeningen die nodig zijn om tot de score te komen, redelijk en redelijk zijn, of ongeïnformeerd en bevooroordeeld.

Gebruik van de Freedom of Information Act

Onze primaire tool om deze formulieren en hun ondersteunend materiaal in handen te krijgen, is de wet en in het bijzonder de wet op de vrijheid van informatie. Ze behoren tot de krachtigste mechanismen waarover het publiek beschikt om transparantie bij de overheid te waarborgen. Op federaal niveau, de Freedom of Information Act (FOIA) stelt het publiek in staat om documenten van de federale overheid formeel aan te vragen - en verwacht in ruil daarvoor te ontvangen. Er bestaan ​​analoge statuten voor elke staat.

FOIA is ontwikkeld in 1966 en werd gemaakt vóór het wijdverspreide gebruik van computers, en lang voordat grote hoeveelheden gegevens routinematig werden gebruikt in softwaresystemen om individuen te beheren en voorspellingen te doen. Er is geweest wat eerste onderzoek in hoeverre FOIA de openbaarmaking van softwarebroncode kan vergemakkelijken. Maar er blijft een vraag over of de huidige wetgeving inspeelt op de behoeften van het 21ST-eeuwse publiek: kunnen we FOIA-algoritmen gebruiken?

Een case study over transparantie van algoritmen

Ik wilde deze vraag beantwoorden op de Philip Merrill College of Journalism aan de Universiteit van Maryland, waar ik universitair docent ben. In de herfst van 2015, in samenwerking met de mediarechtsklasse van mijn collega Sandy Banisky, hebben we studenten begeleid bij het indienen van FOIA-verzoeken bij elk van de 50-staten. We hebben gevraagd om documenten, wiskundige beschrijvingen, gegevens, validatiebeoordelingen, contracten en broncode met betrekking tot algoritmen die worden gebruikt in de strafrechtspleging, zoals voorwaardelijk en proeftijd, borgtocht of veroordeling beslissingen.

Als een semesterlang project was de inspanning noodzakelijkerwijs beperkt door de tijd, met veel hindernissen en relatief weinig successen. Net als bij het onderzoek van veel journalisten, was het zelfs een uitdaging om uit te zoeken wie je moest vragen - en hoe. Verschillende instanties kunnen verantwoordelijk zijn voor verschillende gebieden van het strafrechtelijk systeem (veroordeling kan worden gedaan door rechtbanken, maar parole management wordt gedaan door een Department of Corrections).

Zelfs na het identificeren van de juiste persoon, vonden studenten dat overheidsambtenaren verschillende terminologie gebruikten, waardoor het moeilijk werd om te communiceren welke informatie ze wilden. Soms moesten studenten hard werken om 'algoritmen voor strafrechtspleging' uit te leggen aan een niet-zo-datarepische ambtenaar. Achteraf gezien had het misschien effectiever kunnen zijn om te vragen naar 'instrumenten voor risicobeoordeling', omdat dit een term is die vaak door regeringen wordt gebruikt.

Omgaan met de antwoorden

Sommige staten, zoals Colorado, hebben ons verzoek ontkend en beweerden dat de algoritmen waren opgenomen in software, die niet werd beschouwd als een "document" dat volgens openstaande overheidswetgeving ambtenaren openbaar moesten maken. Verschillende staten hebben verschillende regels over het onthullen van softwaregebruik. Dit is soms opgedoken in de rechtbank, zoals een 2004 tegen de stad Detroit over de vraag of de formule voor het berekenen van waterkosten die in rekening wordt gebracht aan een aangrenzende stad openbaar moet worden gemaakt.

In onze eigen inspanningen ontvingen we slechts één wiskundige beschrijving van een algoritme voor strafrechtspleging: onthuld in Oregon de 16-variabelen en hun gewichten in een model dat wordt gebruikt om recidive te voorspellen. De staat North Dakota heeft een Excel-spreadsheet gepubliceerd met de vergelijking die is gebruikt voor het bepalen van datums waarop gedetineerden in aanmerking komen om in aanmerking te komen voor parool. Uit Idaho en New Mexico ontvingen we documenten met enkele beschrijvingen van de recidive-risicobeoordelingen die die staten gebruikten, maar geen details over hoe ze werden ontwikkeld of gevalideerd.

Negen staten baseerden hun weigering om details over hun algoritmes over strafrechtspleging bekend te maken aan de bewering dat de informatie werkelijk eigendom was van een bedrijf. Deze implicatie is dat het vrijgeven van het algoritme schadelijk zou zijn voor de firma die het heeft ontwikkeld. Een algemene vragenlijst over het recidive-risico, genaamd de LSI-R, blijkt een commercieel product te zijn, beschermd door auteursrecht. Staten zoals Hawaï en Maine beweerden dat de onthulling ervan voor het publiek werd voorkomen.

Louisiana zei dat haar contract met de ontwikkelaar van een nieuwe risicobeoordelingstechniek de vrijgave van de gevraagde informatie voor zes maanden versperd. De staat Kentucky citeerde zijn contract met een filantropische stichting als de reden waarom het niet meer details bekend kon maken. Bezorgdheid over bedrijfseigen informatie kan legitiem zijn, maar aangezien de overheid routinematig contracten afsluit met particuliere bedrijven, hoe brengen we die zorgen in evenwicht met een verklaarbaar en zelfs legitiem rechtssysteem?

Verbeteringen aanbrengen

De broodnodige FOIA-hervorming is momenteel in beraad door het Congres. Dit biedt de mogelijkheid om de wet te moderniseren, maar de voorgestelde wijzigingen doen nog steeds weinig om tegemoet te komen aan het groeiende gebruik van algoritmen bij de overheid. Algoritmische transparantiegegevens kan gecodificeerd zijn in rapporten die de overheid op regelmatige basis genereert en openbaar maakt, als onderdeel van de normale gang van zaken.

Als samenleving moeten we eisen dat voorlichtingsfunctionarissen worden opgeleid, zodat ze geletterd zijn en zelfs vloeiend in de terminologie die ze kunnen tegenkomen wanneer het publiek om algoritmen vraagt. De federale overheid zou zelfs een nieuwe positie kunnen creëren voor een 'algoritmes tsaar', een ombudsman wiens taak het zou zijn om te communiceren over en veldonderzoeken te doen naar overheidsautomatisering.

Geen van de documenten die we in ons onderzoek hebben ontvangen, vertelde ons hoe de risicobeoordelingsformulieren voor strafrechtspleging werden ontwikkeld of geëvalueerd. Aangezien algoritmen steeds meer van ons leven bepalen, hebben burgers meer transparantie nodig en moeten ze dat ook vragen.

Over de auteur

diakopoulos nicholasNicholas Diakopoulos, Tow Fellow, Tow Center for Digital Journalism aan de Columbia University; Universitair docent journalistiek, Universiteit van Maryland. Zijn onderzoek betreft computationele en data-journalistiek met de nadruk op algoritmische verantwoording, verhalende datavisualisatie en social computing in het nieuws.

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees de originele artikel.

Verwante Boeken

at InnerSelf Market en Amazon