Mensen die een lening aanvragen bij een bank- of creditcardmaatschappij en afgewezen worden, zijn een verklaring verschuldigd waarom dit is gebeurd. Het is een goed idee - omdat het mensen kan helpen om hun beschadigde krediet te herstellen - en het is een federale wet, de Wet gelijke kansen op krediet. Een antwoord krijgen was in de afgelopen jaren niet zo'n probleem, toen mensen die beslissingen namen. Maar vandaag, aangezien kunstmatige intelligentiesystemen steeds meer mensen helpen bij het nemen van kredietbeslissingen, is het veel moeilijker geworden om die verklaringen te krijgen.

Traditioneel kon een leningofficier die een aanvraag afkeurde een potentiële lener laten weten dat er een probleem was met zijn inkomensniveau of arbeidsverleden, of wat het probleem ook was. Maar gecomputeriseerde systemen die complex gebruiken machine learning modellen zijn moeilijk uit te leggen, zelfs voor experts.

Consumentenkredietbeslissingen zijn slechts een manier om dit probleem op te lossen. Vergelijkbare zorgen bestaat in gezondheidszorg, online marketing en zelfs strafrecht. Mijn eigen interesse in dit gebied begon toen een onderzoeksgroep waar ik deel van uitmaakte, ontdekt werd genderbias in de manier waarop online advertenties werden getarget, maar kon niet verklaren waarom het gebeurde.

Al die industrieën, en vele anderen, die machinaal leren gebruiken om processen te analyseren en beslissingen te nemen, hebben iets meer dan een jaar om een ​​stuk beter te worden in het uitleggen van hoe hun systemen werken. In mei 2018, het nieuwe Algemene verordening gegevensbescherming van de Europese Unie wordt van kracht, inclusief een gedeelte dat mensen het recht geeft om uitleg te krijgen voor geautomatiseerde beslissingen die hun leven beïnvloeden. Welke vorm zouden deze verklaringen moeten aannemen en kunnen we ze eigenlijk geven?

Belangrijkste redenen identificeren

Een manier om te beschrijven waarom een ​​geautomatiseerde beslissing is ontstaan, is om de factoren te identificeren die het meest invloedrijk waren in de beslissing. Hoeveel van een kredietontkenningsbeslissing was omdat de aanvrager niet genoeg geld verdiende, of omdat hij in het verleden had nagelaten leningen terug te betalen?

Mijn onderzoeksgroep aan de Carnegie Mellon University, inclusief promovendus Shayak Sen en toenmalige postdoc Yair Zick creëerde een manier om meet de relatieve invloed van elke factor. We noemen dit de kwantitatieve input-invloed.

Naast een beter begrip van een individuele beslissing, kan de meting ook licht werpen op een groep beslissingen: Ontkende een algoritme krediet vooral vanwege financiële zorgen, zoals hoeveel een aanvrager al verschuldigd is op andere schulden? Of was de postcode van de aanvrager belangrijker - suggererend dat meer basale demografische gegevens zoals de race in het spel konden komen?

Oorzakelijk verband vaststellen

Wanneer een systeem beslissingen neemt op basis van meerdere factoren, is het belangrijk om te identificeren welke factoren de beslissingen en hun relatieve bijdrage veroorzaken.

Stel je bijvoorbeeld een kredietbeslissingssysteem voor dat slechts twee inputs, de verhouding tussen schulden en inkomen van een aanvrager en haar race inneemt, en het is aangetoond dat alleen leningen voor blanken worden goedgekeurd. Weten hoeveel elke factor heeft bijgedragen aan de beslissing, kan ons helpen te begrijpen of het een legitiem systeem is of dat het discrimineert.

Een verklaring kan alleen kijken naar de inputs en de uitkomst en correlatie observeren - niet-blanken kregen geen leningen. Maar deze verklaring is te simplistisch. Stel dat de niet-blanken die leningen hadden geweigerd, ook veel lagere inkomens hadden dan de blanken wier aanvragen succesvol waren. Dan kan deze verklaring ons niet vertellen of de ras- of schuld-inkomensverhouding van de aanvragers de weigeringen veroorzaakten.

Onze methode kan deze informatie verschaffen. Het verschil vertellen betekent dat we kunnen pesten of het systeem ten onrechte discrimineert of naar legitieme criteria kijkt, zoals de financiën van de aanvragers.

Om de invloed van ras in een specifieke kredietbeslissing te meten, herhalen we het aanvraagproces, waarbij de schuld-in-inkomstenratio hetzelfde blijft maar de race van de aanvrager verandert. Als het veranderen van de race de uitkomst beïnvloedt, weten we dat ras een beslissende factor is. Zo niet, dan kunnen we concluderen dat het algoritme alleen kijkt naar de financiële informatie.

Naast het identificeren van factoren die oorzaken zijn, kunnen we hun relatieve causale invloed op een beslissing meten. We doen dat door de factor (bijvoorbeeld ras) willekeurig te variëren en te meten hoe waarschijnlijk het is dat de uitkomst verandert. Hoe groter de kans, hoe groter de invloed van de factor.

Aggregerende invloed

Onze methode kan ook meerdere factoren bevatten die samenwerken. Overweeg een beslissingssysteem dat krediet verleent aan aanvragers die voldoen aan twee van de drie criteria: credit score boven 600, eigendom van een auto en of de aanvrager een lening volledig heeft terugbetaald. Zeg een aanvrager, Alice, met een credit score van 730 en geen auto of woning lening, krediet wordt geweigerd. Ze vraagt ​​zich af of haar autobezitstatus of terugbetalingsgeschiedenis van de woninglening de belangrijkste reden is.

Een analogie kan helpen verklaren hoe we deze situatie analyseren. Overweeg een rechtbank waar beslissingen worden genomen door de meerderheid van de stemmen van een panel van drie rechters, waarbij men een conservatief, een liberaal en de derde een swingstem heeft, iemand die partij zou kunnen kiezen voor een van haar collega's. In een 2-1 conservatieve beslissing, had de swing judge een grotere invloed op de uitkomst dan de liberale rechter.

De factoren in ons voorbeeld zijn vergelijkbaar met de drie juryleden. De eerste rechter stemt meestal in het voordeel van de lening, omdat veel aanvragers een voldoende hoge credit score hebben. De tweede rechter stemt vrijwel altijd tegen de lening omdat maar heel weinig aanvragers ooit een huis hebben betaald. Het besluit komt dus neer op de swing judge, die in Alice's geval de lening weigert omdat ze geen auto bezit.

We kunnen deze redenering juist doen door te gebruiken coöperatieve speltheorie, een systeem om meer in het bijzonder te analyseren hoe verschillende factoren bijdragen aan een enkele uitkomst. In het bijzonder combineren we onze metingen van relatieve causale invloed met de Shapley-waarde, wat een manier is om te berekenen hoe invloed aan meerdere factoren kan worden toegeschreven. Samen vormen deze onze Quantitative Input Influence-meting.

Tot nu toe hebben we onze methoden op beslissingssystemen die we hebben gemaakt, geëvalueerd door het trainen van algemene algoritmen voor machine learning met datasets uit de echte wereld. Het evalueren van algoritmen op het werk in de echte wereld is een onderwerp voor toekomstig werk.

Een open uitdaging

Onze analysemethode en verklaring van de manier waarop algoritmen beslissingen nemen, is vooral nuttig in omgevingen waarin de factoren gemakkelijk door mensen worden begrepen, zoals de verhouding schulden / inkomsten en andere financiële criteria.

Het uitleggen van het besluitvormingsproces van meer complexe algoritmen blijft echter een belangrijke uitdaging. Neem bijvoorbeeld een beeldherkenningssysteem, zoals dat detecteer en volg tumoren. Het is niet erg handig om de evaluatie van een bepaalde afbeelding op basis van individuele pixels uit te leggen. Idealiter willen we een uitleg die extra inzicht geeft in de beslissing - zoals het identificeren van specifieke tumorkarakteristieken in het beeld. Inderdaad, het ontwerpen van verklaringen voor dergelijke geautomatiseerde besluitvormingstaken houdt veel onderzoekers druk.

Over de auteur

Anupam Datta, universitair hoofddocent computerwetenschappen en elektrotechniek en computertechniek, Carnegie Mellon University

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees de originele artikel.

Verwante Boeken

at InnerSelf Market en Amazon