Hoe gezichtsherkenningstechnologie gebrekkig en raciaal bevooroordeeld is

Hoe gezichtsherkenningstechnologie gebrekkig en raciaal bevooroordeeld is
Gezichtsherkenningsalgoritmen worden meestal getest met behulp van witte gezichten, waardoor de technologie geen onderscheid kan maken tussen geracialiseerde individuen. (Shutterstock)

De politie van Detroit heeft in januari 2020 ten onrechte Robert Julian-Borchak Williams gearresteerd voor een winkeldiefstalincident dat twee jaar eerder had plaatsgevonden. Hoewel Williams niets met het incident te maken had, paste de gezichtsherkenningstechnologie die door de Michigan State Police werd gebruikt, zijn gezicht aan een korrelig beeld, verkregen uit een bewakingsvideo in de winkel, waarop een andere Afro-Amerikaanse man horloges ter waarde van $ 3,800 afnam.

Twee weken later werd de zaak op verzoek van de Aanklager afgewezen. Echter, vertrouwend op de defecte match, had de politie Williams al geboeid en gearresteerd in het bijzijn van zijn familie, hem gedwongen een mugshot, vingerafdrukken en een monster van zijn DNA te geven, hem ondervraagd en 's nachts gevangen gezet.

Experts suggereren dat Williams niet de enige is, en dat anderen het slachtoffer zijn van soortgelijke onrechtvaardigheden. De aanhoudende controverse over het gebruik van Clearview AI door de politie onderstreept zeker de privacyrisico's van gezichtsherkenningstechnologie. Maar het is belangrijk om dat te beseffen we dragen die risico's niet allemaal in gelijke mate.

Racistische algoritmen trainen

Gezichtsherkenningstechnologie dus getraind op en afgestemd op blanke gezichten identificeert systematisch ten onrechte geracialiseerde individuen en labelt ze verkeerd: talrijke onderzoeken melden dat gezichtsherkenningstechnologie 'gebrekkig en bevooroordeeld, met aanzienlijk hogere foutenpercentages bij gebruik tegen mensen van kleur. '

Dit ondermijnt de individualiteit en menselijkheid van geracialiseerde personen die eerder ten onrechte als crimineel worden aangemerkt. De technologie - en de identificatiefouten die het maakt - weerspiegelt en verankert langdurige sociale verdeeldheid die diep verweven is met racisme, seksisme, homofobie, kolonisten-kolonialisme en andere elkaar kruisende onderdrukkingen.


Een France24-onderzoek naar raciale vooroordelen in gezichtsherkenningstechnologie.

Hoe technologie gebruikers categoriseert

In zijn baanbrekende boek uit 1993, De panoptische soort, waarschuwde de geleerde Oscar Gandy dat "complexe technologie [die] het verzamelen, verwerken en delen van informatie over individuen en groepen omvat die wordt gegenereerd door hun dagelijks leven ... wordt gebruikt om hun toegang tot de goederen en diensten die het leven in de moderne kapitalistische economie. " Rechtshandhaving gebruikt het om verdachten uit het grote publiek te plukken, en particuliere organisaties gebruiken het om te bepalen of we toegang hebben tot zaken als bank en werk.


Haal het laatste uit InnerSelf


Gandy waarschuwde profetisch dat deze vorm van ‘cybernetische triage’ leden van gemeenschappen die op zoek zijn naar gelijkheid exponentieel benadelen - bijvoorbeeld groepen die geracialiseerd of sociaal-economisch achtergesteld zijn - als ze niet worden gecontroleerd, zowel wat betreft wat hen zou worden toegewezen als hoe ze zichzelf zouden kunnen gaan begrijpen.

Zo'n 25 jaar later leven we nu met de panoptische soort op steroïden. En er zijn talloze voorbeelden van de negatieve effecten ervan op gemeenschappen die op zoek zijn naar gelijkheid, zoals de valse identificatie van Williams.

Reeds bestaande vooringenomenheid

Deze sortering met behulp van algoritmen infiltreert in de meest fundamentele aspecten van het dagelijks leven en leidt tot zowel direct als structureel geweld.

Het directe geweld dat Williams ervaart, is onmiddellijk duidelijk in de gebeurtenissen rond zijn arrestatie en detentie, en de individuele schade die hij heeft opgelopen, is duidelijk en kan worden herleid tot de acties van de politie die ervoor koos om te vertrouwen op de "match" van de technologie om een ​​arrestatie te plegen. Verraderlijker is de structureel geweld gepleegd door middel van gezichtsherkenningstechnologie en andere digitale technologieën die individuen beoordelen, matchen, categoriseren en sorteren op manieren die reeds bestaande discriminerende patronen versterken.

Schade door structureel geweld is minder duidelijk en minder direct, en veroorzaakt schade aan groepen die op zoek zijn naar gelijkheid door het systematisch ontzeggen van macht, middelen en kansen. Tegelijkertijd verhoogt het het directe risico en de schade voor individuele leden van die groepen.

Voorspellende politie gebruikt algoritmische verwerking van historische gegevens om te voorspellen wanneer en waar nieuwe misdrijven waarschijnlijk zullen plaatsvinden, wijst politiehulpmiddelen dienovereenkomstig toe en integreert versterkt politietoezicht in gemeenschappen, meestal in wijken met een laag inkomen en raciale buurten. Dit vergroot de kans dat criminele activiteiten - inclusief minder ernstige criminele activiteiten die anders geen reactie van de politie zouden opleveren - worden opgespoord en bestraft, waardoor uiteindelijk de levenskansen van de mensen die in die omgeving leven worden beperkt.

En het bewijs van ongelijkheden in andere sectoren blijft toenemen. Honderden studenten in het Verenigd Koninkrijk protesteerde op 16 augustus tegen de rampzalige resultaten van Ofqual, een gebrekkig algoritme dat de Britse regering gebruikte om te bepalen welke studenten in aanmerking zouden komen voor de universiteit. In 2019, de microtargeting-advertentieservice van Facebook heeft tientallen werkgevers in de publieke en private sector geholpen mensen uitsluiten van het ontvangen van vacatures op basis van leeftijd en geslacht. Onderzoek uitgevoerd door ProPublica heeft gedocumenteerd op ras gebaseerde prijsdiscriminatie voor onlineproducten. En zoekmachines produceren regelmatig racistische en seksistische resultaten.

Onderdrukking bestendigen

Deze resultaten zijn van belang omdat ze bestaande ongelijkheden op basis van kenmerken als ras, geslacht en leeftijd bestendigen en verdiepen. Ze zijn ook belangrijk omdat ze een grote invloed hebben op hoe we onszelf en de wereld om ons heen leren kennen, soms door het voorselecteren van de informatie we ontvangen op manieren die stereotiepe percepties versterken. Zelfs technologiebedrijven erkennen zelf de urgentie om te voorkomen dat algoritmen discriminatie in stand houden.

Tot op heden is het succes van ad-hoconderzoeken, uitgevoerd door de technologiebedrijven zelf, inconsistent geweest. Af en toe trekken bedrijven die betrokken zijn bij het produceren van discriminerende systemen deze van de markt, bijvoorbeeld wanneer Clearview AI kondigde aan dat het in Canada geen gezichtsherkenningstechnologie meer zou aanbieden. Maar vaak zijn dergelijke beslissingen het resultaat van regelgevend toezicht of alleen maar publieke verontwaardiging na leden van gemeenschappen die op zoek zijn naar gelijkheid zijn al geschaad.

Het is tijd om onze regelgevende instellingen de tools te geven die ze nodig hebben om het probleem aan te pakken. Eenvoudige privacybeschermingen die afhangen van het verkrijgen van individuele toestemming om het mogelijk te maken gegevens vast te leggen en opnieuw te gebruiken door bedrijven, kunnen niet worden gescheiden van de discriminerende resultaten van dat gebruik. Dit geldt vooral in een tijd waarin de meesten van ons (inclusief technologiebedrijven zelf) kunnen niet volledig begrijpen wat algoritmen doen of waarom ze specifieke resultaten opleveren.

Privacy is een mensenrecht

Een deel van de oplossing is het doorbreken van de huidige regelgevende silo's waarin privacy en mensenrechten als afzonderlijke kwesties worden behandeld. Het vertrouwen op een op toestemming gebaseerd gegevensbeschermingsmodel druist in tegen het basisprincipe dat privacy en gelijkheid beide mensenrechten zijn die niet kunnen worden gecontracteerd.

Zelfs Canada's digitale handvest - de laatste poging van de federale regering om te reageren op de tekortkomingen van de huidige staat van de digitale omgeving - handhaaft dit conceptuele onderscheid. Het behandelt haat en extremisme, controle en instemming, en sterke democratie als aparte categorieën.

Om algoritmische discriminatie aan te pakken, moeten we zowel privacy en gelijkheid als mensenrechten erkennen en kaderen. En we moeten een infrastructuur creëren die op beide even attent en deskundig is. Zonder dergelijke inspanningen zal de glanzende glans van wiskunde en wetenschap de discriminerende vooroordelen van AI blijven camoufleren, en naar verwachting zullen travesties zoals die van Williams zich vermenigvuldigen.The Conversation

Over de auteurs

Jane Bailey, hoogleraar recht en medeleider van The eQuality Project, L'Université d'Ottawa / Universiteit van Ottawa; Jacquelyn Burkell, Associate Vice-President, Onderzoek, Western University, en Valerie Steeves, hoogleraar, L'Université d'Ottawa / Universiteit van Ottawa

Dit artikel is opnieuw gepubliceerd vanaf The Conversation onder een Creative Commons-licentie. Lees de originele artikel.

Steun een goede baan!
enafarzh-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

volg InnerSelf op

facebook-icontwitter-iconrss-icoon

Ontvang de nieuwste via e-mail

{Emailcloak = off}

VAN DE REDACTIE

InnerSelf Nieuwsbrief: oktober 18, 2020
by InnerSelf Staff
Tegenwoordig leven we in mini-bubbels ... in onze eigen huizen, op het werk en in het openbaar, en mogelijk in onze eigen geest en met onze eigen emoties. Echter, leven in een luchtbel, of het gevoel hebben dat we zijn ...
InnerSelf Nieuwsbrief: oktober 11, 2020
by InnerSelf Staff
Het leven is een reis en gaat, zoals de meeste reizen, gepaard met ups en downs. En net zoals de dag altijd de nacht volgt, zo gaan onze persoonlijke dagelijkse ervaringen van donker naar licht en heen en weer. Echter,…
InnerSelf Nieuwsbrief: oktober 4, 2020
by InnerSelf Staff
Wat we ook doormaken, zowel individueel als collectief, we moeten niet vergeten dat we geen hulpeloze slachtoffers zijn. We kunnen onze kracht terugwinnen om ons leven te genezen, zowel geestelijk als emotioneel ...
InnerSelf-nieuwsbrief: september 27, 2020
by InnerSelf Staff
Een van de sterke punten van het menselijk ras is ons vermogen om flexibel te zijn, creatief te zijn en buiten de gebaande paden te denken. Om iemand anders te zijn dan we gisteren of eergisteren waren. We kunnen veranderen...…
Wat voor mij werkt: "For The Highest Good"
by Marie T. Russell, InnerSelf
De reden dat ik deel "wat voor mij werkt" is dat het ook voor jou kan werken. Als het niet precies de manier is waarop ik het doe, aangezien we allemaal uniek zijn, kan een afwijking van de houding of methode heel goed iets zijn ...