Sorteren op algoritmen plaatst ons in dozen. Hoe weten we dat ze de juiste zijn? gegenereerd, CC BYSorteren op algoritmen plaatst ons in dozen. Hoe weten we dat ze de juiste zijn? gegenereerd, CC BY

De maatschappij lijkt op een koers te gaan tot een punt waarop onze levens onderhevig zijn aan het onderzoek van computeralgoritmen. De gegevens die we genereren, worden overlopen en geanalyseerd, of dit nu door overheden is voor nationale veiligheid of bedrijven voor winst, en dit is waarschijnlijk niet te veranderen - de kracht en aantrekkingskracht van gegevensanalyse, eenmaal gevonden, zal niet snel worden opgegeven.

Maar in werkelijkheid vraag ik me af of ik me meer zorgen maak dat onze gegevens worden verzameld of door het feit dat we niets weten over de algoritmen die een oordeel over ons uitspreken.

De mate van gedetailleerdheid van onze levens en gewoonten die los kunnen worden gezien van de gegevens die we achterlaten, is eerder besproken en krijgt een frisse neus als onderdeel van het debat rond de Britse versie Onderzoeksbevoegdheden Bill. We weten op zijn minst iets over welke gegevens worden verzameld en hoe lang het wordt bewaard, waarvan een deel wordt beheerst door de Britse en Europese wetgeving.

In het tekst van de ontwerpwetwe weten bijvoorbeeld dat de Britse regering "slechts" (ongerechtvaardigde) toegang zal eisen tot communicatie metadata, de headers en onderwerpen van e-mails en telefoongesprekken. Maar we weten ook hoe onthullende metadata alleen al kunnen zijn: bekijk de Het Immersion-project van MIT Media Lab voor een krachtig voorbeeld van hoeveel details er uit kunnen worden afgeleid. Het is zeker helemaal niet vergelijkbaar met een gespecificeerde telefoonrekening, zoals beweerd.


innerlijk abonneren grafisch


Dus voor beter of slechter hebben wij, het publiek, een idee van wat er wordt opgenomen. Maar we hebben absoluut geen idee welke analytische hulpmiddelen en technieken op deze gegevens worden toegepast - en de betekenis hiervan mag niet worden onderschat.

Wat Crunches The Numbers?

We kunnen weloverwogen gissingen doen. Nationale veiligheidsdiensten maken waarschijnlijk gebruik van onze metadata om sociale netwerken tussen mensen en plaatsen te genereren, onder andere om ons te verbinden. Deze relatienetwerken worden vervolgens geanalyseerd om vast te stellen of we een persoon van interesse zijn, bepaald door hoe u zich verhoudt tot andere personen van interesse, en hoe u contact maakt met bestaande personen van interesse of met hen in verband daarmee.

Onderzoekers die deze technieken gebruiken, begrijpen hun beperkingen en dat de algoritmen die ze gebruiken mogelijk fouten of onderliggende aannames bevatten die een diepgaand effect hebben op hun uitvoer. In dit geval kan dat betekenen dat u een terrorist bent of niet, of dat u in aanmerking komt voor een lening of hypotheek.

Het is ook niet helemaal duidelijk waar in de fuzzy border areas het bestaan ​​van een relatie wordt gedefinieerd. Leidt het bezoeken van dezelfde website als een terrorist tot gedeelde waarden, of elke dag op dezelfde busroute, suggereert u regelmatig te praten met terroristen? Het is heel goed mogelijk om sites bezocht door bekende terroristen te bezoeken om vele legitieme redenen. Als u uw nieuws ontvangt van dezelfde websites als terroristen, bent u dan eerder een terrorist? Discriminatie en vooroordelen kan worden geïntroduceerd op het punt van gegevensverzameling en vervolgens opnieuw wanneer beslissingen worden genomen over het analyseren van die gegevens. Algoritmen kunnen ook onderscheid maken.

Wazige grenzen

De mogelijkheid dat algoritmen ongewenste bias introduceren, is een zeer reële. Bijvoorbeeld, die gebruikt door de veiligheidsdiensten worden getraind op datasets van bekende terroristen en bekende niet-terroristen. Betekent dit dat, aangezien de meeste bekende terroristen mannen zijn van 20-30, bent u meer geneigd om als terrorist te worden geclassificeerd als louter mannelijk zijn en ongeveer 20-30 verouderen, ongeacht uw andere kenmerken ?. Zo ja, heeft dit een aanzienlijk effect op de manier waarop de gegevens worden gebruikt?

Het probleem komt voort uit het feit dat ik en andere academische onderzoekers die complexe netwerkanalyses, machine learning, pattern matching of artificial intelligence-technieken gebruiken, ons gebruik van die technieken publiek peer-reviewed hebben om de kracht van de technieken en de geldigheid van de conclusies te bepalen; overheidsbeveiligingsdiensten en organisaties in de particuliere sector niet. We hebben geen idee van de kwaliteit van hun methoden en hoe ze deze inzetten. Is hier een oplossing voor?

Degenen uit een ander gebied van beveiliging, cryptografie, hebben lang geleden al geleerd dat de beste manier om de kwaliteit, en dus de veiligheid, van de algoritmen ervan te verbeteren, ze openbaar te maken. Cryptografische implementaties en cijfers worden gepubliceerd en onderzoekers aangemoedigd om fouten of gebreken te vinden, waardoor de veiligheid voor iedereen die ze gebruikt verbetert. Bovendien is elke implementatie van closed-source (niet-openbare) cryptogafische algoritmen in het algemeen met argwaan bekeken. Als ze levensveranderende oordelen over ons moeten uitspreken - of we nu als terroristen worden bestempeld of financieel onwaardig - moet hetzelfde model worden toegepast op beveiligingsalgoritmen.

Een argument tegen een dergelijke stap is dat open en transparante algoritmen terroristen ertoe kunnen brengen hun werkelijke gedrag aan te passen om te voorkomen dat ze worden opgespoord. Dit zou betekenen dat dingen zoals hun interacties, associaties, surfgewoonten en mogelijk bewegingen worden veranderd. Maar dit, als de algoritmen goed werken, zou betekenen dat ze in wezen ophouden te handelen als terroristen. Als onze toekomstige veiligheid, vrijheid en veiligheid afhankelijk zullen zijn van deze algoritmen, moeten we zeker weten hoe en - hoe ze werken.

Over de auteurThe Conversation

Philip Garnett, docent aan de Universiteit van York.

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees de originele artikel.

Verwante Boek:

at