Napoleon had van het verleden kunnen leren. schilderij van Adolph Northen/wikipedia

Het is een cliché dat als je de geschiedenis niet kent, je die herhaalt. Zoals veel mensen ook hebben opgemerkt, is het enige dat we van de geschiedenis leren, dat we zelden iets van de geschiedenis leren. Mensen doen mee landoorlogen in Azië opnieuw en opnieuw. Ze herhalen ook steeds weer dezelfde datingfouten. Maar waarom gebeurt dit? En zal de technologie daar een einde aan maken?

Een probleem is vergeetachtigheid en “bijziendheid”: we zien niet hoe gebeurtenissen uit het verleden relevant zijn voor de huidige, waarbij we het zich ontvouwende patroon over het hoofd zien. Napoleon had de overeenkomsten moeten zien tussen zijn mars naar Moskou en de Zweedse koning Charles XII's mislukte poging om hetzelfde te doen ongeveer een eeuw voor hem.

Wij zijn ook slecht in leren als het mis gaat. In plaats van te bepalen waarom een ​​beslissing verkeerd was en hoe we kunnen voorkomen dat het ooit nog eens gebeurt, proberen we vaak de gênante gang van zaken te negeren. Dat betekent dat de volgende keer dat een vergelijkbare situatie zich voordoet, we de overeenkomst niet zien – en de fout herhalen.

Beide onthullen problemen met informatie. In het eerste geval onthouden we geen persoonlijke of historische informatie. In het tweede geval slagen we er niet in informatie te coderen wanneer deze beschikbaar is.

Dat gezegd hebbende, we maken ook fouten als we niet efficiënt kunnen afleiden wat er gaat gebeuren. Misschien is de situatie te complex of te tijdrovend om over na te denken. Of we zijn bevooroordeeld om verkeerd te interpreteren wat er aan de hand is.

De vervelende kracht van technologie

Maar technologie kan ons toch zeker helpen? We kunnen nu informatie buiten onze hersenen opslaan en computers gebruiken om het op te halen. Dat zou leren en onthouden gemakkelijk moeten maken, toch?

Het opslaan van informatie is nuttig wanneer deze goed terug te vinden is. Maar onthouden is niet hetzelfde als het ophalen van een bestand van een bekende locatie of datum. Herinneren houdt in dat je overeenkomsten ziet en dingen voor de geest haalt.

Een kunstmatige intelligentie (AI) moet ook in staat zijn om spontaan overeenkomsten in onze gedachten te brengen – vaak ongewenste overeenkomsten. Maar als het goed is in het opmerken van mogelijke overeenkomsten (het zou immers het hele internet en al onze persoonlijke gegevens kunnen doorzoeken), zal het ook vaak valse overeenkomsten opmerken.

Voor mislukte dates kan worden opgemerkt dat het allemaal om een ​​diner ging. Maar het was nooit het eten dat het probleem was. En het was puur toeval dat er tulpen op tafel stonden – geen reden om ze te mijden. We herhalen vaak datingfouten. 

Dat betekent dat het ons zal waarschuwen voor dingen waar we niet om geven, mogelijk op een irritante manier. Door de gevoeligheid af te stemmen, vergroot u het risico dat u geen waarschuwing krijgt wanneer dit nodig is.

Dit is een fundamenteel probleem en geldt evenzeer voor elke adviseur: de voorzichtige adviseur zal te vaak huilen, de optimistische adviseur zal risico's over het hoofd zien.

Een goede adviseur is iemand die we vertrouwen. Ze zijn ongeveer net zo voorzichtig als wij, en we weten dat ze weten wat we willen. Dit is moeilijk te vinden in een menselijke adviseur, en nog meer in een AI.

Waar stopt technologie fouten? Idiot-proofing werkt. Bij snijmachines moet u de knoppen ingedrukt houden en uw handen weghouden van de messen. Een “dodemansknop” stopt een machine als de bediener arbeidsongeschikt raakt.

Magnetrons schakelen de straling uit wanneer de deur wordt geopend. Om raketten te lanceren, moeten twee mensen tegelijkertijd sleutels door een kamer draaien. Hier maakt een zorgvuldig ontwerp het moeilijk om fouten te maken. Maar we geven niet genoeg om minder belangrijke situaties, waardoor het ontwerp daar veel minder idiot-proof is.

Als technologie goed werkt, vertrouwen we er vaak te veel op. Luchtvaartpiloten hebben tegenwoordig minder echte vlieguren dan in het verleden vanwege de verbazingwekkende efficiëntie van stuurautomaatsystemen. Dit is slecht nieuws als de automatische piloot uitvalt en de piloot minder ervaring heeft om de situatie recht te zetten.

De eerste van een nieuw soort olieplatform (Sleipnir A) zonk omdat ingenieurs vertrouwden op de softwareberekening van de krachten die erop inwerkten. Het model klopte niet, maar het presenteerde de resultaten op zo'n overtuigende manier dat ze er betrouwbaar uitzagen.

Veel van onze technologie is verbazingwekkend betrouwbaar. Zo merken we niet hoe achter de schermen steeds verloren datapakketjes op internet worden teruggevonden, hoe foutcorrigerende codes ruis wegnemen of hoe zekeringen en redundantie apparaten veilig maken.

Maar als we niveau na niveau van complexiteit stapelen, ziet het er erg onbetrouwbaar uit. We merken wel wanneer de Zoom-video achterblijft, het AI-programma verkeerd antwoordt of de computer crasht. Maar vraag iemand die 50 jaar geleden een computer of auto gebruikte, hoe ze echt werkten, en je zult zien dat ze zowel minder capabel als minder betrouwbaar waren.

We maken technologie complexer totdat het te vervelend of onveilig wordt om te gebruiken. Naarmate de onderdelen beter en betrouwbaarder worden, kiezen we er vaak voor om nieuwe opwindende en handige functies toe te voegen in plaats van vast te houden aan wat werkt. Dit maakt de technologie uiteindelijk minder betrouwbaar dan het zou kunnen zijn.

Er zullen fouten worden gemaakt

Dit is ook de reden waarom AI een tweesnijdend zwaard is om fouten te voorkomen. Automatisering maakt dingen vaak veiliger en efficiënter als het werkt, maar als het faalt, maakt het de problemen veel groter. Autonomie betekent dat slimme software ons denken kan aanvullen en ons kan ontlasten, maar als het niet denkt zoals we willen, kan het zich misdragen.

Hoe complexer het is, hoe fantastischer de fouten kunnen zijn. Iedereen die met zeer intelligente geleerden te maken heeft gehad, weet hoe goed ze dingen met grote vindingrijkheid kunnen verknoeien als hun gezond verstand hen in de steek laat - en AI heeft heel weinig menselijk gezond verstand.

Dit is ook een goede reden om je zorgen te maken over AI die de besluitvorming stuurt: ze maken nieuwe soorten fouten. Wij mensen kennen menselijke fouten, wat betekent dat we erop kunnen letten. Maar slimme machines kunnen fouten maken die we ons nooit kunnen voorstellen.

Bovendien worden AI-systemen door mensen geprogrammeerd en getraind. En er zijn tal van voorbeelden van dergelijke systemen bevooroordeeld en zelfs onverdraagzaam worden. Ze bootsen de vooroordelen na en herhalen de fouten uit de mensenwereld, zelfs als de betrokkenen die expliciet proberen te vermijden.

Uiteindelijk zullen fouten blijven gebeuren. Er zijn fundamentele redenen waarom we het bij het verkeerde eind hebben over de wereld, waarom we ons niet alles herinneren wat we zouden moeten doen en waarom onze technologie ons niet perfect kan helpen problemen te vermijden.

Maar we kunnen eraan werken om de gevolgen van fouten te verminderen. De knop Ongedaan maken en automatisch opslaan hebben talloze documenten op onze computers opgeslagen. Het monument in Londen, tsunami stenen in Japan en andere monumenten herinneren ons aan bepaalde risico's. Goede ontwerppraktijken maken ons leven veiliger.

Uiteindelijk is het mogelijk om iets te leren van de geschiedenis. Ons doel moet zijn om te overleven en te leren van onze fouten, niet om te voorkomen dat ze ooit gebeuren. Technologie kan ons daarbij helpen, maar we moeten goed nadenken over wat we er eigenlijk van willen – en dienovereenkomstig ontwerpen.

Over de auteur

Anders Sandberg, James Martin Research Fellow, Future of Humanity Institute & Oxford Martin School, Universiteit van Oxford

Dit artikel is opnieuw gepubliceerd vanaf The Conversation onder een Creative Commons-licentie. Lees de originele artikel.