We leven in een wereld die zowel steeds complexer wordt als geautomatiseerde. Dus net zoals we te maken krijgen met complexere problemen, leidt automatisering tot een atrofie van menselijke vaardigheden die ons kwetsbaarder kunnen maken wanneer we reageren op onverwachte situaties of wanneer er iets misgaat.

Houd rekening met de laatste minuten van Air France Flight 447, dat in mei 2009 in de Atlantische Oceaan neerstortte na het verlaten van Rio de Janeiro, Brazilië, voor Parijs, Frankrijk.

Zijn vluchtrecorder onthuld totale verwarring in de cockpit. Het vliegtuig werd bij 15º naar boven gekanteld met een geautomatiseerde stem die herhaaldelijk "stall, stall" noemde. Toch waren de piloten aan het rollen, een uitroepend: "[...] we begrijpen niets."

Dit is niet de plek om de ins en outs van die noodlottige vlucht te bespreken, behalve om op te merken dat elk systeem dat is ontworpen om automatisch om te gaan met onvoorziene omstandigheden het grootste deel van de tijd een gedegradeerde vaardigheden achterlaat voor de minderheid van situaties die de ontwerpers niet konden niet voorzien.

Sprekend tot Vanity Fair, Nadine Sarter, een industrieel ingenieur aan de Universiteit van Michigan, herinnert zich een gesprek met vijf ingenieurs die betrokken zijn bij het bouwen van een bepaald vliegtuig.

Ik begon te vragen: 'Wel, hoe werkt dit of dat?' En zij konden het niet eens worden over de antwoorden. Dus ik dacht, als deze vijf ingenieurs het er niet mee eens kunnen zijn, de arme piloot, als hij ooit die specifieke situatie tegenkomt ... wel, veel succes.

In feite is de complexiteit van ijverig vliegende, zeer ingewikkelde hightechvliegtuigen uitbesteed aan een robot, met boordingenieurs zijn in alle opzichten verdwenen van cockpits. Alleen oudere piloten en ex-luchtmachtpiloten behouden die gedetailleerde vaardigheden.

Terug op vaste grond, in een autonome rijwereld zouden er hele toekomstige generaties kunnen zijn zonder enige praktische ervaring in rijden en navigeren een voertuig.

We zien al een indicatie van wat kan verkeerd gaan wanneer mensen de controle overlaten aan autonome systemen.

Een onderzoek naar de fatale crash van een Tesla Model S met automatische piloot merkte op dat het bedrijf informatie over "systeembeperkingen" aan bestuurders verstrekte. In dat geval is het nog steeds aan bestuurders om op te letten.

Maar welke kans zou iemand hebben om controles over te nemen, dan zou het in de toekomst mis kunnen gaan volledig autonoom voertuig. Zouden ze zelfs weten hoe ze de eerste tekenen van een dreigende ramp zouden kunnen herkennen?

Onze zin verliezen?

Het aansturen van dit is een technologisch determinisme dat gelooft dat elke innovatie intrinsiek goed is. Terwijl opkomende technologieën misschien nog wel definiëren wat het is om mens te zijn, is de uitdaging om herkent het risico en wat te doen om ervoor te zorgen dat dingen niet misgaan.

Dat wordt moeilijker omdat we de complexiteit hebben vergroot, vooral met autonoom rijden treinen in de voorsteden, luchttaxi's en bezorg drones.

Systeemontwerpers hebben grotere en meer met elkaar verweven systemen gebouwd om de belasting van computerverwerking te delen, hoewel dit hun creaties tot de belangrijkste kandidaten voor uitsplitsing maakt. Ze zien het feit over het hoofd dat zodra alles met elkaar verbonden is, problemen zich net zo gemakkelijk kunnen verspreiden als oplossingen, soms nog meer.

De groeiende en immense complexiteit van een geautomatiseerde wereld brengt vergelijkbare risico's met zich mee.

Gevaarspunten

Achteraf gezien, is er behoefte aan een mogelijkheid om netwerken vrij te maken wanneer er faalpunten zijn, of op zijn minst om delen van een enkel netwerk af te sluiten wanneer er ergens anders faalpunten in zitten.

Deze 'eilandvorming' is een kenmerk van slimme elektriciteitsnetten die ruimte bieden om het netwerk te splitsen in fragmenten die in staat zijn om hun interne energievraag zelf te ondersteunen. Modellering heeft dat aangetoond minder verbindingen kunnen tot meer veiligheid leiden.

Kan de opkomende complexiteitswetenschap helpen vaststellen waar de gevarenpunten liggen in onderling sterk verbonden netwerken? Marten Scheffer en collega's dat dacht ik al. Hij had overeenkomsten gezien tussen het gedrag van (zijn) natuurlijke systemen en economische en financiële systemen.

Zijn eerder werk op meren, koraalriffen, zeeën, bossen en graslanden, ontdekte dat omgevingen die onderhevig zijn aan geleidelijke veranderingen zoals klimaat, nutriëntbelasting en habitatverlies kantelpunten kunnen bereiken die hen in een soms onomkeerbare lagere staat veranderen.

Zouden bankiers en economen die worstelen met de stabiliteit van financiële markten leren van onderzoekers in ecologie, epidemiologie en klimatologie om markers te ontwikkelen van de nabijheid van kritieke drempels en systeemuitval?

In februari 2016 kwam dit allemaal samen in de vorm van een paper over complexiteitstheorie en financiële regulering co-auteur van een breed scala van deskundigen waaronder een econoom, bankier, natuurkundige, klimatoloog, ecoloog, zoöloog, dierenarts en epidemioloog.

Ze bevalen een online integratie van gegevens, methoden en indicatoren aan, waarbij ze in bijna realtime worden onderworpen aan stresstests voor mondiale sociaaleconomische en financiële systemen. De eerste is vergelijkbaar met wat is bereikt in de omgang met andere complexe systemen zoals het weer.

We kunnen beginnen om te zien hoe ons voorbeeld van een autonome rijstijl zich oplost in vragen over netwerkstabiliteit. Stel je een sterk onderling verbonden netwerk van autonome voertuigen voor.

Er is een duidelijke behoefte om te weten hoe mogelijke faalpunten in een dergelijk netwerk te detecteren en te isoleren, voordat er dingen misgaan met mogelijk tragische gevolgen. Dit is meer dan alleen het beschermen van bestuurder en passagier tegen systeemstoringen in een enkel autonoom voertuig.

Het is tijd om na te denken over hoe we die multidisciplinaire ontwikkelingen in het begrijpen van de stabiliteit van dergelijke grootschalige netwerken kunnen gebruiken om drastische consequenties te vermijden.

Over de auteur

Peter Fisher, adjuncthoogleraar, Global, Urban and Social Studies, RMIT University

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees de originele artikel.

Verwante Boeken

at InnerSelf Market en Amazon