Volgens Dominic Cummings, de voormalige hoofdadviseur van de Britse premier Boris Johnson, hadden experts het catastrofaal mis. Cummings heeft betoogd dat het officiële wetenschappelijke advies van de Britse regering in maart 2020 enorm verkeerd begreep hoe de pandemie zou uitpakken, wat leidde tot een vertraging bij het afsluiten die duizenden levens kostte.

Volgens Cummings waren het bepaalde specialisten met minder kennis van pandemieën of medicijnen - zoals datawetenschapper Ben Warner, kunstmatige intelligentie-onderzoeker Demis Hassabis van DeepMind en wiskundige Tim Gowers - die op dit punt nauwkeurigere voorspellingen gaven.

Cummings staat ook bekend als een ventilator of Superforecasting door Philip Tetlock, een boek over mensen die toekomstige gebeurtenissen betrouwbaarder voorspellen dan de meesten. Sommige supervoorspellers zijn geprezen voor hun voorspellingen over de pandemie, terwijl anderen dat ook zijn geweest kritisch over de experts record.

Moeten regeringen dus meer gebruik maken van superforecasters in plaats van te vertrouwen op wetenschappelijke experts? Het bewijs is niet zo duidelijk. Maar er lijken zeker dingen te zijn die regeringen kunnen leren van superforecasting.

In een beroemde Amerikaanse studie op superforecasters die in 2014 werden gepubliceerd, waren ze een eliteploeg. Alleen de beste 2% van de kanshebbers presteerde goed genoeg in een geopolitiek voorspellingstoernooi om de titel te winnen. Hun taak was om kansen toe te kennen aan mogelijke antwoorden op tientallen vragen.

De onderzoekers geven enkele illustratieve voorbeelden. Wie zou in 2012 de president van Rusland zijn? Zal Noord-Korea de komende drie maanden nog een kernwapen laten ontploffen? Hoeveel vluchtelingen zullen volgend jaar Syrië ontvluchten?

Natuurlijk, alleen omdat iemand het een jaar goed doet, bewijst dat nog niet dat ze vaardiger zijn dan wie dan ook. Misschien hebben ze gewoon geluk gehad. We moeten kijken hoe goed ze het de volgende jaren deden om te evalueren hoe "super" ze werkelijk zijn.

Indrukwekkend, deze superforecasters behielden hun voorsprong terwijl het toernooi nog drie jaar duurde. Nadat ze waren samengevoegd tot 'superforecasting-teams' met alleen andere toppresteerders, stegen hun prestaties zelfs met een aanzienlijke marge. De onderzoekers ontdekten ook dat het werken in teams en het volgen van relevante training de prestaties van andere voorspellers verbeterde, vergeleken met voorspellers in een controleconditie.

Teams en trainingen

Of we Cummings nu wel of niet op zijn woord geloven dat de pandemieplanning in het VK te lijden had onder een "klassieke groepsdenkbubbel", we weten dat teams niet altijd verstandige beslissingen nemen. Wat maakte de teams succesvoller in het Amerikaanse onderzoek?

Het is moeilijk met zekerheid te zeggen, maar de onderzoekers moedigden de teams specifiek aan om precieze vragen te stellen om helderder na te denken over het bewijs dat een bepaalde voorspelling ondersteunt, om "bewijsmateriaal te zoeken dat uw huidige voorspelling tegenspreekt", en om constructief alternatieve standpunten te introduceren .

Zo'n debat zou best kunnen collectief oordeel verbeteren en beschermen tegen groepsdenken. Ook waren teamleden niet verplicht om tot een consensus te komen. Hoewel ze informatie en meningen deelden, deden ze nog steeds individuele voorspellingen die door algoritmen werden gecombineerd. Vooral Superforecaster-teams waren: zeer betrokken, regelmatig informatie delen met en vragen stellen aan andere teamleden.

Een andere studie onderzocht welke specifieke trainingstechnieken het meest leken te helpen. Drie technieken werden in het bijzonder geassocieerd met een hogere nauwkeurigheid. De eerste was het gebruik van zogenaamde vergelijkingsklassen.

Als ik bijvoorbeeld de waarschijnlijkheid probeer te voorspellen dat Benedict Cumberbatch en Sophie Hunter over vijf jaar nog steeds samen zullen zijn, kan het nuttig zijn om na te denken over andere 'klassen' die relevant zijn, bijvoorbeeld de klasse van huwelijken met beroemdheden, of zelfs huwelijken in het algemeen. Hierdoor kan ik naar de geschiedenis kijken om mijn voorspellingen te baseren: welk percentage van de huwelijken van beroemdheden eindigt in een bepaalde periode van vijf jaar?

De tweede was om, indien beschikbaar, gebruik te maken van wiskundige en statistische modellen om iemands standpunten te onderbouwen. De derde was om "de juiste vragen te selecteren" - een aanbeveling om meer tijd te besteden aan het voorspellen van antwoorden op vragen waarvan u meer dan anderen over het onderwerp weet, of waarvan aanvullend onderzoek waarschijnlijk de moeite waard is. De onderzoekers benadrukten echter dat alle componenten van de training kan een holistische bijdrage hebben geleverd aan betere prestaties.

Onderzoek heeft dat ook aangetoond nauwkeurigheid verbetert wanneer we onze prestaties uit het verleden bijhouden - maar het soort feedback is belangrijk. Zijn de resultaten waarvan u dacht dat ze in 20% van de gevallen zouden gebeuren, in 20% van de gevallen ook daadwerkelijk gebeurd? Hoe zit het met de resultaten waarvan je dacht dat ze 90% van de tijd zouden gebeuren? De prestaties verbeteren voor degenen die dit soort informatie ontvangen.

Kunnen overheden het beter doen?

Had de Britse regering het beter kunnen doen met betrekking tot COVID-19 door om input te vragen van teams van superforecasters? Het is mogelijk. Superforecasters bij Good Judgement Open en geoefende voorspellers bij Metaculus (waaraan ik heb deelgenomen) lijken elk het goed te hebben gedaan op COVID-19, waarbij Metaculus beweert te hebben beter gepresteerd dan experts in juni 2020. Dat gezegd hebbende, in a recente serie van COVID-19-gerelateerde voorspellingen waren getrainde voorspellers niet altijd nauwkeuriger dan experts. De onderzoekers achter het onderzoek experimenteren met manieren om voorspellingen van domeinexperts en getrainde voorspellers te combineren tot een 'consensusvoorspelling'.

Het lijkt ook aannemelijk dat zelfs de training die de niet-supers hielp om betere voorspellingen te maken nuttig zou zijn geweest. Cummings beweerde bijvoorbeeld dat hoewel er veel aandacht was voor epidemiologische modellen, bewijs dat in tegenspraak was met de veronderstellingen van de modellen - zoals gegevens die worden gerapporteerd door intensive care-afdelingen - werd genegeerd. Het lijkt zeker aannemelijk dat iemand die getraind is om "op zoek te gaan naar bewijs dat uw huidige voorspelling tegenspreekt" dit eerder heeft opgemerkt.

Natuurlijk zijn niet alle aanbevelingen uit de literatuur praktisch in overheidsomgevingen. In theorie zouden regeringen dergelijke aanbevelingen voor zichzelf kunnen testen en alle aanbevelingen overnemen die nuttig leken. Helaas kun je niet verbeteren wat je niet meet.

In Superforecasting, Tetlock benadrukt dat elke organisatie die serieus zijn prognoses wil verbeteren, daar concrete cijfers aan moet koppelen, in ieder geval intern. Een uitdrukking als "ernstige mogelijkheid" kan een kans van 20% betekenen voor de ene persoon en een kans van 80% voor een ander.

Dit is vrijwel zeker waar Cummings naar verwees toen hij zei: "Een man genaamd Phil Tetlock schreef een boek en in dat boek zei hij dat je geen woorden als redelijk en waarschijnlijk en waarschijnlijk moet gebruiken, omdat het iedereen in verwarring brengt." Het zou ons misschien niet moeten verbazen als organisaties die geen prognoses maken op een manier waarop ze kunnen worden geëvalueerd, niet zijn toegerust om te leren hoe ze deze kunnen verbeteren. Om te verbeteren, moet je eerst proberen.