Hoe algoritmen eerlijker kunnen zijn dan mensen

Recent begon Amazon te bieden levering op dezelfde dag in geselecteerde grootstedelijke gebieden. Dit is misschien goed voor veel klanten, maar de uitrol laat zien hoe geautomatiseerde besluitvorming ook een sterke dosis discriminatie kan opleveren.

Verstandig begon het bedrijf zijn diensten in gebieden waar de bezorgkosten het laagst zouden zijn, door het identificeren van postcodes van dichtbevolkte plaatsen waar veel bestaande Amazon-klanten hun inkomensniveau hebben, hoog genoeg om frequente aankopen van producten beschikbaar te maken voor levering op dezelfde dag. Het bedrijf bood een webpagina aan waarop klanten hun postcode konden invoeren om te zien of ze ze op een dag konden bezorgen. Onderzoeksjournalisten van Bloomberg News hebben die pagina gebruikt om maak kaarten van Amazon's servicegebied voor levering op dezelfde dag.

Uit de Bloomberg-analyse bleek dat veel arme stedelijke gebieden werden uitgesloten van het verzorgingsgebied, terwijl meer welgestelde buurregio's werden opgenomen. Veel van deze uitgesloten arme gebieden werden voornamelijk bewoond door minderheden. Bijvoorbeeld, heel Boston was gedekt behalve Roxbury; New York City-dekking omvatte bijna alle vier stadsdelen, maar de Bronx volledig uitgesloten; Chicago dekking liet de verarmde South Side, terwijl zich uitstrekt aanzienlijk tot welvarende noordelijke en westelijke voorsteden.

Hoewel het verleidelijk is om te geloven dat data-gedreven beslissingen onbevooroordeeld zijn, onderzoek en wetenschappelijke discussie beginnen dat aan te tonen oneerlijkheid en discriminatie blijven bestaan. In mijn online cursus over data-ethiek, studenten leren dat algoritmen kunnen discrimineren. Maar er is misschien een beetje een zilveren randje: zoals het Bloomberg-onderzoek suggereert, kan het baseren van beslissingen op gegevens het ook gemakkelijker maken om te detecteren wanneer vooroordelen ontstaan.

Bias kan onbedoeld zijn

Zo'n oneerlijkheid in Amazon's leveringsbeleid kan om vele redenen ontstaan, waaronder verborgen vooroordelen - zoals veronderstellingen dat populaties gelijkmatig worden verdeeld. Ontwerpers van algoritmen zijn waarschijnlijk niet van plan om te discrimineren en realiseren zich misschien niet eens dat er een probleem is binnengeslopen.


innerlijk abonneren grafisch


Amazon vertelde Bloomberg dat het geen discriminerende bedoeling had, en er is alle reden om die bewering te geloven. In reactie op het Bloomberg-rapport, stadsappartementen ambtenaren en andere politici riep Amazon op om dit probleem op te lossen. Het bedrijf snel verplaatst om toe te voegen de oorspronkelijk uitgesloten slechte stedelijke postcodes naar het servicegebied.

Een vergelijkbare vraag is geweest gevraagd van Uber, die betere service lijkt te bieden aan gebieden die worden bewoond door hogere aandelen blanke mensen. Het is waarschijnlijk dat er in de toekomst meer voorbeelden van retail- en service-industrie zullen zijn voor onbedoelde algoritmische discriminatie.

Te veel algoritmen vragen?

We moeten een moment pauzeren om te overwegen of we al te veel eisen stellen aan algoritmische beslissingen. Bedrijven die gebruikmaken van fysieke winkels nemen altijd plaatsbeslissingen, waarbij ze rekening houden met criteria die niet verschillen van die van Amazon. Winkels proberen locaties te hebben die handig zijn voor een grote groep potentiële klanten met geld om te besteden.

Als gevolg daarvan kiezen weinig winkels ervoor om zich in arme binnenstedelijke wijken te vestigen. Vooral in de context van supermarkten is dit fenomeen uitgebreid bestudeerd, en de term "voedselwoestijn"Is gebruikt om stedelijke gebieden te beschrijven waarvan de bewoners geen gemakkelijke toegang tot vers voedsel hebben. Deze locatiebias is minder bestudeerd voor winkels in het algemeen.

Als een indicatief voorbeeld keek ik naar de 55 Michigan-locaties van Target, een grote, uitgebreide winkelketen. Toen ik elke Michigan ZIP-code sorteerde op basis van het feit of het gemiddelde inkomen zich in de bovenste helft of de onderste helft over de gehele breedte bevond, merkte ik dat alleen 16 van de doelwinkels (29 procent) in postcodes van de lagere inkomensgroep zat. Meer dan twee keer zoveel waren de 39-winkels gesitueerd in postcodes van de meer welgestelde helft.

Onderscheidende discriminatie

Bovendien zijn er geen Target-winkels in de stad Detroit, hoewel er meerdere in zijn (rijkere) buitenwijken zijn. Toch is er geen populaire verontwaardiging over beweerd dat Target oneerlijk discrimineert tegen arme mensen in zijn winkellocatiebeslissingen. Er zijn twee belangrijke redenen waarom de zorgen over Amazon gerechtvaardigd zijn: starheid en dominantie.

Starheid heeft te maken met zowel de besluitvormingsprocessen van de online winkelier als met het resultaat. Amazon beslist welke postcodes zich in het servicegebied bevinden. Als een klant aan de overkant van de straat woont van de grens die Amazon heeft ingesteld, bevindt ze zich buiten het servicegebied en kan ze er weinig aan doen. Daarentegen kan iemand die in een postcode zonder doelwinkel woont nog steeds winkelen bij Target - hoewel het misschien langer duurt om daar te komen.

Het maakt ook uit hoe dominant een retailer is in de hoofden van consumenten. Terwijl Target slechts een van de vele fysieke winkelketens is, geniet Amazon van marktdominantie als webwinkelier, en dus trekt meer aandacht. Een dergelijke dominantie is een kenmerk van het heden de winnaar krijgt alles webbedrijven.

Hoewel hun starheid en dominantie ons meer zorgen kunnen maken over online bedrijven, zijn we ook beter in staat om hun discriminatie te detecteren dan voor fysieke winkels. Voor een traditionele winkelketen moeten we raden hoe ver consumenten bereid zijn te reizen. Misschien moeten we ook rekening houden met de tijd: vijf mijl naar de volgende afrit van de snelweg is niet hetzelfde als vijf mijl via overvolle straten naar de andere kant van de stad. Bovendien kan de reistijd zelf sterk variëren, afhankelijk van het tijdstip van de dag. Na het identificeren van de waarschijnlijke gebieden die een winkel bedient, mogen ze niet netjes worden ingedeeld in geografische eenheden waarvoor we statistieken hebben over ras of inkomen. Kortom, de analyse is rommelig en vereist veel inspanning.

Het zou daarentegen voor journalisten op Bloomberg slechts een paar uur hebben geduurd om een ​​kaart van Amazon's servicegebied te ontwikkelen en deze te correleren met inkomen of ras. Als Amazon dit intern had gedaan, hadden ze dezelfde analyse in slechts enkele minuten kunnen uitvoeren - en misschien merkten ze dat de problemen en het herstel ervan voor de dienst op dezelfde dag zelfs begonnen waren.

Hoe vergelijken mensen elkaar?

Laten we eens naar een heel ander voorbeeld kijken om te zien hoe dezelfde punten breed van toepassing zijn. Onlangs is ProPublica gepubliceerd een uitstekende analyse van rassendiscriminatie door een algoritme dat de kans van een crimineel op opnieuw overtreden voorspelt. Het algoritme houdt rekening met tientallen factoren en berekent een kansschatting. ProPublica's analyse vond significante systematische racistische vooroordelen, hoewel ras niet tot de specifieke factoren behoorde.

Zonder het algoritme zou een menselijke rechter een soortgelijke schatting maken, als onderdeel van een veroordeling of paroolbeslissing. De menselijke beslissing kan een rijker aantal factoren in overweging nemen, zoals de manier waarop de rechter in de rechtbank handelt. Maar we weten het, van studies in de psychologieDat menselijke besluitvorming zit boordevol vooringenomenheid, zelfs als we ons best doen om eerlijk te zijn.

Maar eventuele fouten die het gevolg zijn van vooringenomenheid in beslissingen van menselijke rechters zullen waarschijnlijk verschillen tussen rechters en zelfs voor verschillende beslissingen die door dezelfde rechter worden genomen. In totaal kan er rassendiscriminatie zijn vanwege onbewuste vooringenomenheid, maar dit definitief vaststellen is lastig. Een studie van het Amerikaanse ministerie van Justitie vond sterke bewijzen van ongelijkheden bij de veroordeling van witte en zwarte veroordeelden, maar kon niet duidelijk bepalen of het ras zelf een factor was in die beslissingen.

In tegenstelling daarmee wordt precies hetzelfde algoritme dat door ProPublica wordt gebruikt, in duizenden gevallen in veel staten gebruikt. Zijn stijfheid en het grote volume maken het gemakkelijker om te bepalen of het onderscheid maakt - en kan manieren bieden om het probleem efficiënt te verhelpen.

Het gebruik van informatietechnologie lijkt lijnen helderder te maken, verschillen worden groter en gegevens over dit alles zijn veel gemakkelijker beschikbaar. Wat gisteren onder het tapijt kon worden geborsteld, schreeuwt nu om aandacht. Naarmate we meer en meer toepassingen voor gegevensgestuurde algoritmen vinden, is het nog niet gebruikelijk om hun rechtvaardigheid te analyseren, met name voordat een nieuwe op gegevens gebaseerde service wordt uitgerold. Door dit zo te maken, kunnen we de eerlijkheid van deze steeds belangrijker wordende geautomatiseerde berekeningen behoorlijk meten en verbeteren.

Over de auteurThe Conversation

HV Jagadish, Bernard A Galler Collegiate Professor in Elektrotechniek en Computerwetenschappen, Universiteit van Michigan

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees de originele artikel.

Verwante Boeken

at InnerSelf Market en Amazon