Gezichtsherkenningsalgoritmen worden meestal getest met behulp van witte gezichten, waardoor de technologie geen onderscheid kan maken tussen geracialiseerde individuen. (Shutterstock)
De politie van Detroit heeft in januari 2020 ten onrechte Robert Julian-Borchak Williams gearresteerd voor een winkeldiefstalincident dat twee jaar eerder had plaatsgevonden. Hoewel Williams niets met het incident te maken had, paste de gezichtsherkenningstechnologie die door de Michigan State Police werd gebruikt, zijn gezicht aan een korrelig beeld, verkregen uit een bewakingsvideo in de winkel, waarop een andere Afro-Amerikaanse man horloges ter waarde van $ 3,800 afnam.
Twee weken later werd de zaak op verzoek van de Aanklager afgewezen. Echter, vertrouwend op de defecte match, had de politie Williams al geboeid en gearresteerd in het bijzijn van zijn familie, hem gedwongen een mugshot, vingerafdrukken en een monster van zijn DNA te geven, hem ondervraagd en 's nachts gevangen gezet.
Experts suggereren dat Williams niet de enige is, en dat anderen het slachtoffer zijn van soortgelijke onrechtvaardigheden. De aanhoudende controverse over het gebruik van Clearview AI door de politie onderstreept zeker de privacyrisico's van gezichtsherkenningstechnologie. Maar het is belangrijk om dat te beseffen we dragen die risico's niet allemaal in gelijke mate.
Racistische algoritmen trainen
Gezichtsherkenningstechnologie dus getraind op en afgestemd op blanke gezichten identificeert systematisch ten onrechte geracialiseerde individuen en labelt ze verkeerd: talrijke onderzoeken melden dat gezichtsherkenningstechnologie 'gebrekkig en bevooroordeeld, met aanzienlijk hogere foutenpercentages bij gebruik tegen mensen van kleur. '
Deze ondermijnt de individualiteit en menselijkheid van geracialiseerde personen die eerder ten onrechte als crimineel worden aangemerkt. De technologie - en de identificatiefouten die het maakt - weerspiegelt en verankert langdurige sociale verdeeldheid die diep verweven is met racisme, seksisme, homofobie, kolonisten-kolonialisme en andere elkaar kruisende onderdrukkingen.
{besloten Y=vSuDE6wvQlU}
Een France24-onderzoek naar raciale vooroordelen in gezichtsherkenningstechnologie.
Hoe technologie gebruikers categoriseert
In zijn baanbrekende boek uit 1993, De panoptische soort, waarschuwde de geleerde Oscar Gandy dat "complexe technologie [die] het verzamelen, verwerken en delen van informatie over individuen en groepen omvat die wordt gegenereerd door hun dagelijks leven ... wordt gebruikt om hun toegang tot de goederen en diensten die het leven in de moderne kapitalistische economie. " Rechtshandhaving gebruikt het om verdachten uit het grote publiek te plukken, en particuliere organisaties gebruiken het om te bepalen of we toegang hebben tot zaken als bank en werk.
Gandy waarschuwde profetisch dat deze vorm van ‘cybernetische triage’ leden van gemeenschappen die op zoek zijn naar gelijkheid exponentieel benadelen - bijvoorbeeld groepen die geracialiseerd of sociaal-economisch achtergesteld zijn - als ze niet worden gecontroleerd, zowel wat betreft wat hen zou worden toegewezen als hoe ze zichzelf zouden kunnen gaan begrijpen.
Zo'n 25 jaar later leven we nu met de panoptische soort op steroïden. En er zijn talloze voorbeelden van de negatieve effecten ervan op gemeenschappen die op zoek zijn naar gelijkheid, zoals de valse identificatie van Williams.
Reeds bestaande vooringenomenheid
Deze sortering met behulp van algoritmen infiltreert in de meest fundamentele aspecten van het dagelijks leven en leidt tot zowel direct als structureel geweld.
Het directe geweld dat Williams ervaart, is onmiddellijk duidelijk in de gebeurtenissen rond zijn arrestatie en detentie, en de individuele schade die hij heeft opgelopen, is duidelijk en kan worden herleid tot de acties van de politie die ervoor koos om te vertrouwen op de "match" van de technologie om een arrestatie te plegen. Verraderlijker is de structureel geweld gepleegd door middel van gezichtsherkenningstechnologie en andere digitale technologieën die individuen beoordelen, matchen, categoriseren en sorteren op manieren die reeds bestaande discriminerende patronen versterken.
Schade door structureel geweld is minder duidelijk en minder direct, en veroorzaakt schade aan groepen die op zoek zijn naar gelijkheid door het systematisch ontzeggen van macht, middelen en kansen. Tegelijkertijd verhoogt het het directe risico en de schade voor individuele leden van die groepen.
Voorspellende politie gebruikt algoritmische verwerking van historische gegevens om te voorspellen wanneer en waar nieuwe misdrijven waarschijnlijk zullen plaatsvinden, wijst politiehulpmiddelen dienovereenkomstig toe en integreert versterkt politietoezicht in gemeenschappen, meestal in wijken met een laag inkomen en raciale buurten. Dit vergroot de kans dat criminele activiteiten - inclusief minder ernstige criminele activiteiten die anders geen reactie van de politie zouden opleveren - worden opgespoord en bestraft, waardoor uiteindelijk de levenskansen van de mensen die in die omgeving leven worden beperkt.
En het bewijs van ongelijkheden in andere sectoren blijft toenemen. Honderden studenten in het Verenigd Koninkrijk protesteerde op 16 augustus tegen de rampzalige resultaten van Ofqual, een gebrekkig algoritme dat de Britse regering gebruikte om te bepalen welke studenten in aanmerking zouden komen voor de universiteit. In 2019, de microtargeting-advertentieservice van Facebook heeft tientallen werkgevers in de publieke en private sector geholpen mensen uitsluiten van het ontvangen van vacatures op basis van leeftijd en geslacht. Onderzoek uitgevoerd door ProPublica heeft gedocumenteerd op ras gebaseerde prijsdiscriminatie voor onlineproducten. En zoekmachines produceren regelmatig racistische en seksistische resultaten.
Onderdrukking bestendigen
Deze resultaten zijn van belang omdat ze bestaande ongelijkheden op basis van kenmerken als ras, geslacht en leeftijd bestendigen en verdiepen. Ze zijn ook belangrijk omdat ze een grote invloed hebben op hoe we onszelf en de wereld om ons heen leren kennen, soms door het voorselecteren van de informatie we ontvangen op manieren die stereotiepe percepties versterken. Zelfs technologiebedrijven erkennen zelf de urgentie om te voorkomen dat algoritmen discriminatie in stand houden.
Tot op heden is het succes van ad-hoconderzoeken, uitgevoerd door de technologiebedrijven zelf, inconsistent geweest. Af en toe trekken bedrijven die betrokken zijn bij het produceren van discriminerende systemen deze van de markt, bijvoorbeeld wanneer Clearview AI kondigde aan dat het in Canada geen gezichtsherkenningstechnologie meer zou aanbieden. Maar vaak zijn dergelijke beslissingen het resultaat van regelgevend toezicht of alleen maar publieke verontwaardiging na leden van gemeenschappen die op zoek zijn naar gelijkheid zijn al geschaad.
Het is tijd om onze regelgevende instellingen de tools te geven die ze nodig hebben om het probleem aan te pakken. Eenvoudige privacybeschermingen die afhangen van het verkrijgen van individuele toestemming om het mogelijk te maken gegevens vast te leggen en opnieuw te gebruiken door bedrijven, kunnen niet worden gescheiden van de discriminerende resultaten van dat gebruik. Dit geldt vooral in een tijd waarin de meesten van ons (inclusief technologiebedrijven zelf) kunnen niet volledig begrijpen wat algoritmen doen of waarom ze specifieke resultaten opleveren.
Privacy is een mensenrecht
Een deel van de oplossing is het doorbreken van de huidige regelgevende silo's waarin privacy en mensenrechten als afzonderlijke kwesties worden behandeld. Het vertrouwen op een op toestemming gebaseerd gegevensbeschermingsmodel druist in tegen het basisprincipe dat privacy en gelijkheid beide mensenrechten zijn die niet kunnen worden gecontracteerd.
Zelfs Canada's digitale handvest - de laatste poging van de federale regering om te reageren op de tekortkomingen van de huidige staat van de digitale omgeving - handhaaft dit conceptuele onderscheid. Het behandelt haat en extremisme, controle en instemming, en sterke democratie als aparte categorieën.
Om algoritmische discriminatie aan te pakken, moeten we zowel privacy en gelijkheid als mensenrechten erkennen en kaderen. En we moeten een infrastructuur creëren die op beide even attent en deskundig is. Zonder dergelijke inspanningen zal de glanzende glans van wiskunde en wetenschap de discriminerende vooroordelen van AI blijven camoufleren, en naar verwachting zullen travesties zoals die van Williams zich vermenigvuldigen.
Over de auteurs
Jane Bailey, hoogleraar recht en medeleider van The eQuality Project, L'Université d'Ottawa / Universiteit van Ottawa; Jacquelyn Burkell, Associate Vice-President, Onderzoek, Western University, en Valerie Steeves, hoogleraar, L'Université d'Ottawa / Universiteit van Ottawa
Dit artikel is opnieuw gepubliceerd vanaf The Conversation onder een Creative Commons-licentie. Lees de originele artikel.
Boeken over ongelijkheid uit de bestsellerlijst van Amazon
"Kaste: de oorsprong van onze ontevredenheid"
door Isabel Wilkerson
In dit boek onderzoekt Isabel Wilkerson de geschiedenis van kastenstelsels in samenlevingen over de hele wereld, ook in de Verenigde Staten. Het boek onderzoekt de impact van kaste op individuen en de samenleving, en biedt een raamwerk voor het begrijpen en aanpakken van ongelijkheid.
Klik voor meer info of om te bestellen
"De kleur van de wet: een vergeten geschiedenis van hoe onze regering Amerika scheidde"
door Richard Rothstein
In dit boek onderzoekt Richard Rothstein de geschiedenis van het overheidsbeleid dat rassensegregatie in de Verenigde Staten heeft gecreëerd en versterkt. Het boek onderzoekt de impact van dit beleid op individuen en gemeenschappen, en biedt een oproep tot actie om aanhoudende ongelijkheid aan te pakken.
Klik voor meer info of om te bestellen
"De som van ons: wat racisme iedereen kost en hoe we samen kunnen bloeien"
door Heather McGhee
In dit boek onderzoekt Heather McGhee de economische en sociale kosten van racisme en biedt ze een visie voor een meer rechtvaardige en welvarende samenleving. Het boek bevat verhalen van individuen en gemeenschappen die ongelijkheid hebben aangevochten, evenals praktische oplossingen voor het creëren van een meer inclusieve samenleving.
Klik voor meer info of om te bestellen
"De tekortmythe: moderne monetaire theorie en de geboorte van de volkseconomie"
door Stephanie Kelton
In dit boek daagt Stephanie Kelton conventionele ideeën over overheidsuitgaven en het nationale tekort uit, en biedt ze een nieuw raamwerk voor het begrijpen van economisch beleid. Het boek bevat praktische oplossingen voor het aanpakken van ongelijkheid en het creëren van een meer rechtvaardige economie.
Klik voor meer info of om te bestellen
"The New Jim Crow: massale opsluiting in het tijdperk van kleurenblindheid"
door Michelle Alexander
In dit boek onderzoekt Michelle Alexander de manieren waarop het strafrechtsysteem raciale ongelijkheid en discriminatie in stand houdt, met name tegen zwarte Amerikanen. Het boek bevat een historische analyse van het systeem en de impact ervan, evenals een oproep tot actie voor hervormingen.
