Towfiqu ahamed barbhuiya / Shutterstock

Wanneer u uw arts bezoekt, mag u aannemen dat de behandeling die zij voorschrijven, solide bewijzen heeft om dit te ondersteunen. Maar je zou het mis hebben. Slechts één op de tien medische behandelingen wordt ondersteund door kwalitatief hoogstaand bewijs, ons laatste onderzoek laat zien.

De analyse, die is gepubliceerd in het Journal of Clinical Epidemiology, omvatte 154 Cochrane systematische reviews die tussen 2015 en 2019 zijn gepubliceerd. Slechts 15 (9.9%) beschikten over kwalitatief hoogstaand bewijs volgens de gouden standaardmethode om te bepalen of ze bewijs van hoge of lage kwaliteit leveren, GRADE genaamd (beoordeling van aanbevelingen, beoordeling, ontwikkeling en evaluatie). Van deze hadden er slechts twee statistisch significante resultaten - wat betekent dat de resultaten waarschijnlijk niet waren ontstaan ​​als gevolg van een willekeurige fout - en volgens de auteurs van de recensie nuttig waren in de klinische praktijk. Met hetzelfde systeem had 37% matig, 31% had laag en 22% had bewijs van zeer lage kwaliteit.

Het GRADE-systeem kijkt naar zaken als het risico op bias. Onderzoeken die bijvoorbeeld “geblindeerd” zijn - waarbij patiënten niet weten of ze de daadwerkelijke behandeling of een placebo krijgen - bieden bewijs van hogere kwaliteit dan “niet-geblindeerde” onderzoeken. Blindering is belangrijk omdat mensen die weten welke behandeling ze krijgen, kunnen ervaren grotere placebo-effecten dan degenen die niet weten welke behandeling ze krijgen.

GRADE bekijkt onder meer of de onderzoeken onnauwkeurig waren vanwege verschillen in de manier waarop de behandeling werd toegepast. In de beoordeling van 2016 ontdekten onderzoekers dat 13.5% - ongeveer een op de zeven - meldde dat behandelingen werden ondersteund door hoogwaardig bewijs. Gebrek aan bewijs van hoge kwaliteit, volgens GRADE, betekent dat toekomstige studies de resultaten zouden kunnen vernietigen.

De 154 onderzoeken zijn gekozen omdat het updates waren van een eerdere review van 608 systematische reviews, uitgevoerd in 2016. Hierdoor kunnen we controleren of beoordelingen die waren bijgewerkt met nieuw bewijsmateriaal van hogere kwaliteit waren. Ze deden het niet. In de studie van 2016 meldde 13.5% dat behandelingen werden ondersteund door kwalitatief hoogstaand bewijs, dus er was een trend naar lagere kwaliteit naarmate er meer bewijs werd verzameld.

Er waren een paar beperkingen aan het onderzoek. Ten eerste was de steekproefomvang in de studie mogelijk niet representatief, en andere studies hebben dat gevonden meer dan 40% van de medische behandelingen is waarschijnlijk effectief. Ook was de steekproef in het onderzoek niet groot genoeg om te controleren of bepaalde soorten medische behandelingen (farmacologisch, chirurgisch, psychologisch) beter waren dan andere. Het is ook mogelijk dat de "gouden standaard" voor het rangschikken van bewijsmateriaal (GRADE) te streng is.

Te veel onderzoeken van lage kwaliteit

Er worden veel onderzoeken van slechte kwaliteit gepubliceerd, en onze studie weerspiegelde dit slechts. Vanwege de druk om "Publiceren of vergaan" om te overleven in de academische wereldworden er steeds meer onderzoeken gedaan. Alleen al in PubMed - een database van gepubliceerde medische artikelen - worden jaarlijks meer dan 12,000 nieuwe klinische onderzoeken gepubliceerd. Dat is Elke dag worden er 30 onderzoeken gepubliceerd. Systematische reviews zijn ontworpen om deze te synthetiseren, maar nu zijn er ook te veel: voorbij 2,000 per jaar alleen in PubMed gepubliceerd.

De evidence-based medicine-beweging slaat al meer dan 30 jaar op de trommel over de noodzaak om de kwaliteit van onderzoek te verbeteren, maar paradoxaal genoeg is er geen bewijs dat dingen zijn verbeterd ondanks een wildgroei van richtlijnen en begeleiding.

In 1994 pleitte Doug Altman, een professor in de statistiek in de geneeskunde aan de universiteit van Oxford, voor minder, maar beter, onderzoek. Dit zou goed zijn geweest, maar het tegenovergestelde is gebeurd. Het is onvermijdelijk dat de tsunami van processen die elk jaar worden gepubliceerd, in combinatie met de noodzaak om te publiceren om te overleven in de academische wereld, ertoe heeft geleid dat er veel onzin is gepubliceerd, en dat is in de loop van de tijd niet veranderd.

Bewijs van slechte kwaliteit is ernstig: zonder goed bewijs kunnen we er simpelweg niet zeker van zijn dat de behandelingen die we gebruiken werken.

Het was bedoeld als een grapje. Twitter

GRADE-systeem te hard

Een timmerman zou zijn gereedschap alleen als laatste redmiddel de schuld moeten geven, dus het excuus dat GRADE niet werkt, moet alleen met voorzichtigheid worden gebruikt. Toch is het waarschijnlijk waar dat het GRADE-systeem voor sommige contexten te streng is. Het is bijvoorbeeld bijna onmogelijk dat een proef waarin een bepaald oefeningsregime wordt geëvalueerd van hoge kwaliteit is.

Een oefenproef kan niet worden "verblind": iedereen die aan lichaamsbeweging doet, weet dat hij in de oefengroep zit, terwijl degenen in de controlegroep weten dat ze geen oefeningen doen. Ook is het moeilijk om grote groepen mensen exact dezelfde oefening te laten doen, terwijl het makkelijker is om iedereen dezelfde pil te laten slikken. Deze inherente problemen veroordelen oefeningsproeven tot een oordeel van mindere kwaliteit, ongeacht hoe nuttig veilige oefening is.

Onze methode was ook streng. Terwijl de systematische reviews veel uitkomsten hadden (die allemaal van hoge kwaliteit konden zijn), hebben we ons gericht op de primaire uitkomsten. Het primaire resultaat bij een beoordeling van pijnstillers zou bijvoorbeeld een vermindering van pijn zijn. Vervolgens kunnen ze ook een reeks secundaire uitkomsten meten, variërend van angstvermindering tot patiënttevredenheid.

Door te focussen op de primaire uitkomsten worden valse bevindingen voorkomen. Als we naar veel uitkomsten kijken, bestaat het gevaar dat een ervan van hoge kwaliteit is toevallig. Om dit te verzachten, hebben we gekeken of er een uitkomst was, zelfs als dit niet de primaire uitkomst was. We ontdekten dat een op de vijf behandelingen bewijs van hoge kwaliteit had voor elk resultaat.

Gemiddeld worden de meeste medische behandelingen waarvan de effectiviteit in systematische reviews is getest, niet ondersteund door kwalitatief hoogstaand bewijs. We hebben minder, maar beter onderzoek nodig om onzekerheden aan te pakken, zodat we meer vertrouwen krijgen in de behandelingen die we aannemen.

Over de auteur

Jeremy Howick, directeur van het Oxford Empathy-programma, Universiteit van Oxford

Dit artikel is opnieuw gepubliceerd vanaf The Conversation onder een Creative Commons-licentie. Lees de originele artikel.

books_science