Om te begrijpen of een nieuwe behandeling voor een ziekte echt beter is dan bij oudere behandelingen, zoeken artsen en onderzoekers naar het beste beschikbare bewijsmateriaal. Gezondheidswerkers willen een 'laatste woord' als bewijsmateriaal om vragen te beantwoorden over wat de beste behandelingswijzen zijn.

Maar niet alle medisch bewijs is gelijk gemaakt. En er is een duidelijke hiërarchie van bewijs: de mening van deskundigen en case reports over individuele gebeurtenissen bevinden zich op het laagste niveau en goed geleide, gerandomiseerde, gecontroleerde onderzoeken zijn bijna bovenaan. Helemaal bovenaan deze hiërarchie staan ​​meta-analyses - studies die de resultaten combineren van meerdere onderzoeken die dezelfde vraag stelden. En de zeer, zeer top van deze hiërarchie zijn meta-analyses uitgevoerd door een groep genaamd de Cochrane Collaboration.

Om lid te zijn van de Cochrane Collaboration, moeten individuele onderzoekers of onderzoeksgroepen zich houden aan zeer strikte richtlijnen over hoe meta-analyses moeten worden gerapporteerd en uitgevoerd. Dat is de reden waarom Cochrane-reviews over het algemeen worden beschouwd als de beste meta-analyses.

Niemand heeft ooit gevraagd of de resultaten in meta-analyses uitgevoerd door de Cochrane Collaboration anders zijn dan meta-analyses van andere bronnen. Als je in theorie een Cochrane- en een niet-Cocrhane-meta-analyse zou vergelijken, beide in een vergelijkbaar tijdsbestek gepubliceerd, zou je in theorie verwachten dat ze dezelfde studies hadden gekozen om te analyseren, en dat hun resultaten en interpretatie meer zouden zijn. of minder overeenkomen.

Ons team van de School of Public Health van de Boston University besloot dat uit te zoeken. En verrassend genoeg is dat niet het geval wat we vonden.

Wat is een meta-analyse eigenlijk?

Stel je voor dat je vijf kleine klinische onderzoeken hebt die allemaal over het algemeen een positief voordeel hebben gevonden voor, laten we zeggen, aspirine nemen om hartaanvallen te voorkomen. Maar omdat elk van de studies slechts een klein aantal proefpersonen had, kon niemand met zekerheid stellen dat de gunstige effecten niet alleen te wijten waren aan toeval. In statistisch taalgebruik zouden dergelijke studies als "te machtig" worden beschouwd.

Er is een goede manier om de statistische kracht van die onderzoeken te vergroten: combineer die vijf kleinere onderzoeken tot één. Dat is wat een meta-anaysis doet. Het combineren van verschillende kleinere onderzoeken tot één analyse en het nemen van het gemiddelde van die onderzoeken kan soms een weegschaal vormen en de medische gemeenschap met vertrouwen laten weten of een bepaalde interventie werkt of niet.

Meta-analyses zijn efficiënt en goedkoop omdat ze geen nieuwe proeven vereisen. Het is eerder een kwestie van het vinden van alle relevante studies die al zijn gepubliceerd, en dit kan verrassend moeilijk zijn. Onderzoekers moeten persistent en methodisch zijn in hun zoektocht. Het vinden van studies en het beslissen of ze goed genoeg zijn om te vertrouwen, is waar de kunst - en dwaling - van deze wetenschap een kritieke kwestie wordt.

Dat is eigenlijk een belangrijke reden waarom de Cochrane-samenwerking werd opgericht. Archie Cochrane, onderzoeker in de gezondheidszorg, erkende de kracht van meta-analyses, maar ook het enorme belang om ze goed te doen. De Cochrane Collaboration-meta-analyses moeten voldoen aan zeer hoge normen van transparantie en methodologische nauwkeurigheid en reproduceerbaarheid.

Jammer genoeg kunnen weinigen de tijd en moeite doen om zich bij de Cochrane-samenwerking aan te sluiten, en dat betekent dat de overgrote meerderheid van de meta-analyses niet door de samenwerking worden uitgevoerd en niet gebonden zijn aan hun normen. Maar doet dit er eigenlijk toe?

Hoe verschillend kunnen twee meta-analyses zijn?

Om dit te achterhalen, zijn we begonnen met het identificeren van 40-paren van meta-analyses, één van Cochrane en één niet, die dezelfde interventie (bijv. Aspirine) en uitkomst (bijv. Hartaanvallen) behandelden, en vervolgens vergeleken en vergeleken.

Ten eerste ontdekten we dat bijna 40 procent van de Cochrane en niet-Cochrane meta-analyses het oneens waren in hun bottom-line statistische antwoorden. Dat betekent dat typische lezers, artsen of gezondheidsbeleidsmakers bijvoorbeeld, een fundamenteel andere interpretatie zouden geven van de vraag of de interventie effectief was of niet, afhankelijk van welke meta-anlysen ze toevallig lazen.

Ten tweede leken deze verschillen systematisch. De niet-Cochrane-reviews hadden gemiddeld de neiging om te suggereren dat de interventies die ze aan het testen waren krachtiger waren, meer geneigd om de aandoening te genezen of een medische complicatie te voorkomen dan de Cochrane-reviews suggereerden. Tegelijkertijd waren de niet-Cochrane-beoordelingen minder nauwkeurig in hun nauwkeurigheid, wat betekent dat er een grotere kans was dat de bevindingen louter aan het toeval te wijten waren.

Een meta-analyse is niets meer dan alleen een fraai gewogen gemiddelde van de deelstudies. We waren verrast dat ongeveer 63 procent van de opgenomen studies uniek was voor de ene of de andere reeks meta-analyses. Met andere woorden, ondanks het feit dat de twee reeksen van meta-analyses vermoedelijk op dezelfde papieren zouden lijken, met behulp van vergelijkbare zoekcriteria, gedurende een vergelijkbare tijdsperiode en uit vergelijkbare databases, had slechts ongeveer een derde van de papieren van de twee sets inbegrepen waren hetzelfde.

Het lijkt waarschijnlijk dat de meeste of alle van deze verschillen neerkomen op het feit dat Cochrane aandringt op strengere criteria. Een meta-analyse is alleen zo goed als de studies die het bevat, en het nemen van het gemiddelde van slecht onderzoek kan leiden tot een slecht resultaat. Zoals het gezegde luidt: "vuilnis in, vuilnis buiten."

Interessant is dat de analyses die veel hogere effectgroottes rapporteerden, vaak in een veel hoger tempo worden geciteerd in andere artikelen dan de analyses die de lagere effectgrootte rapporteren. Dit is een statistische belichaming van het oude journalistieke gezegde: "Als het bloedt, leidt het." Grote en gewaagde effecten krijgen meer aandacht dan resultaten die marginale of dubbelzinnige uitkomsten laten zien. De medische gemeenschap is immers gewoon een mens.

Waarom is dit belangrijk?

Op het meest basale niveau toont dit dat Archie Cochrane absoluut correct was. Methodologische consistentie en striktheid en transparantie zijn essentieel. Zonder dat is er een risico om te concluderen dat iets werkt als het dat niet doet, of zelfs maar gewoon de voordelen overhadt.

Maar op een hoger niveau laat dit ons nogmaals zien hoe moeilijk het is om een ​​uniforme interpretatie van de medische literatuur te genereren. Meta-analyses worden vaak gebruikt als het laatste woord over een bepaald onderwerp, als de scheidsrechters van ambiguïteit.

Het is duidelijk dat deze rol wordt aangevochten door het feit dat twee meta-analyses, ogenschijnlijk over hetzelfde onderwerp, tot verschillende conclusies kunnen leiden. Als we de meta-analyse beschouwen als de 'gouden standaard' in ons huidige tijdperk van 'evidence-based medicine', hoe kan de gemiddelde arts, beleidsmaker of patiënt dan reageren wanneer twee gouden standaarden elkaar tegenspreken? Emptor van de waarschuwing.

Over de auteur

Christopher J. Gill, universitair hoofddocent, departement volksgezondheid; Infectious Diseases Specialist, Universiteit van Boston.

Dit artikel is oorspronkelijk gepubliceerd op The Conversation. Lees de originele artikel.

Verwante Boek:

at InnerSelf Market en Amazon