Den virkelige skandalen om ivermectin

Påstander om stoffet er basert på elendig vitenskap - men den vitenskapen er helt uten bemerkelsesverdig i sin useriøsitet.

En ivermectin-medisinetikett som faller i biter

Atlanteren

Ivermectin er et antiparasittisk stoff, og et veldig godt. Hvis du er smittet med rundormene som forårsaker elveblindhet eller parasittmiddene som forårsaker skabb, er det fantastisk effektivt . Det er billig; den er tilgjengelig; og dets oppdagere vant Nobelprisen i 2015. Det har også blitt mye promotert som profylaktisk og behandlingsmiddel mot koronavirus.



Denne kampanjen har blitt bredt kritisert som en feberdrøm unnfanget i de memetiske innvollene på internett og som en praktisk støtte for dårlige argumenter mot vaksinasjon. Dette er ikke helt rettferdig. Kanskje 70 til 100 studier har blitt utført på bruken av ivermectin for å behandle eller forebygge COVID-19; flere dusin av dem støtter hypotesen om at stoffet er en pestbekjempende. To meta-analyser , som så på data samlet på tvers av undergrupper av disse studiene, konkluderte med at stoffet har verdi i kampen mot pandemien.

Så hvis du er den typen person som følger vitenskapen, kan det virke helt rasjonelt å slutte seg til de ivrige tilhengerne av ivermectin. Det kan til og med virke rimelig å foreslå, som en lege og kongressvitne gjorde nylig, det folk dør fordi de ikke vet om denne medisinen .

Problemet er at ikke all vitenskap er verdt å følge.

Jeg jobber i et lite team av forskere som gjør det man kan kalle rettsmedisinsk fagfellevurdering. I standard prosess for vitenskapelig publisering tar fagfellebedømmere et manuskript for det meste for pålydende: De sikrer at studien gir mening slik den er beskrevet. Vi gjør noe annet: Vi sjekker alt , og prøv å fjerne potensielle skjevheter i rapporterte mønstre av sifre, statistiske umuligheter, inkonsistens mellom hva forskere sa de ville gjøre og hva de faktisk gjorde, og plagierte setninger eller avsnitt. Og vi finner ofte fatale feil gjemt bak et slør av to-dollars ord og statistisk sjargong.

Ivermectin-litteraturen har ikke vært noe unntak. I løpet av de siste seks månedene har vi undersøkt rundt 30 studier av stoffets bruk for å behandle eller forebygge COVID-19, med fokus på randomiserte studier, eller ikke-randomiserte studier som har vært innflytelsesrike, med minst 100 deltakere. Vi har tatt kontakt direkte til forfatterne av disse studiene for å diskutere funnene våre, noen ganger engasjert i lange frem og tilbake; når det er aktuelt, har vi sendt meldinger til tidsskriftene der studier er publisert. Etter vår mening er et minimum av fem ivermektinpapirer enten feiloppfattet, unøyaktige eller på annen måte basert på studier som ikke kan eksistere som beskrevet. En studie har allerede vært trukket tilbake på grunnlag av vårt arbeid; de fire andre burde veldig mye være.

I den tilbaketrukne studien, et team i Egypt sammenlignet resultater blant COVID-19-pasienter som fikk og ikke fikk ivermectin – men for den sistnevnte gruppen inkluderte de dødsfall som hadde skjedd før studien startet. (Ifølge journalen Natur , hovedforfatteren forsvarte avisen i en e-post, og hevdet at uttaket skjedde uten hans viten. Han svarte ikke på en henvendelse fra Atlanteren .) Andre papirer har også alvorlige feil. Forskere i Argentina sa at de rekrutterte deltakere fra sykehus som ikke hadde noen oversikt over å ha deltatt i forskningen, og deretter skyldte på feil på en statistiker som hevdet å aldri ha blitt konsultert. Noen få studier viser klare bevis på alvorlige datauregelmessigheter. I en fra Libanon, for eksempel, gjentas den samme delen av pasientjournalene om og om igjen i datasettet, som om det hadde blitt kopiert og limt inn. (En forfatter på det papiret innrømmet at dataene var feil, og hevdet å ha bedt om tilbaketrekning .)

Alt det ovennevnte høres kanskje ikke ut at dårlig. Hvis fem av 30 forsøk har alvorlige problemer, betyr det kanskje at de andre 25 er klare. Det er 83 prosent! Du kan bli fristet til å tenke på disse papirene som billige lyspærer: Når vi har kastet dudsene med ødelagte filamenter, kan vi bare bruke de gode.

Det er ikke slik noe av dette fungerer. Vi kan finne åpenbare feil i en forskningsartikkel bare ved å analysere tallene som papiret er basert på, så det er sannsynlig at vi har gått glipp av noen andre, mer abstrakte problemer. Dessuten har vi bare så mye tid på dagen, og rettsmedisinsk fagfellevurdering kan ta uker eller måneder per papir. Vi velger ikke papirer for å undersøke tilfeldig, så det er mulig at dataene fra de 30 papirene vi valgte er noe mer pålitelig i gjennomsnitt enn resten. En bedre analogi ville være å tenke på papirene som nye biler: Hvis fem av 30 garantert ville eksplodere så snart de kommer inn på en motorvei, ville du foretrekke å ta bussen.

Mest problematisk, studiene vi er sikre på er upålitelige, er tilfeldigvis de samme som viser at ivermektin er mest effektivt. Generelt har vi funnet ut at mange av de inkonklusive forsøkene ser ut til å ha blitt tilstrekkelig utført. De av rimelig størrelse med spektakulære resultater, som antyder de mirakuløse effektene som har fått så mye offentlig oppmerksomhet og digital beryktethet, har ikke.

Gitt all omsorgen som går med å vedlikeholde vitenskapelig litteratur, hvordan fikk dette korthuset planleggingstillatelse? Svaret er at pandemien har skapt et svært vanskelig miljø for vitenskapelig publisering. Tidlig i 2020 oppsto det umiddelbart en hunger etter informasjon av høy kvalitet. Hvor redde for koronaviruset skal vi være, og hvordan skal vi oppføre oss? Hvordan sprer viruset seg? Hvor farlig er det? Hvilke avgjørelser bør regjeringer ta? For å svare på disse spørsmålene ble vitenskapelige studier produsert i rekordfart, fagfellevurdert nesten umiddelbart etter at de ble sendt inn, eller på annen måte satt i det offentlige domene via forhåndstrykk så snart de var ferdige. Publiseringsvitenskap går tregt; svært smittsomme sykdommer er raske.

Det er ikke det at under slike forhold, noen få dårlige studier var nødt til å slippe gjennom nettet. Heller, det er ikke noe nett . Fagfellevurdering, spesielt når den utføres i pandemihastighet, utøver ikke den ganske kjedelige vitenskapelige granskingen som er nødvendig for å identifisere problemene beskrevet ovenfor. Rettsmedisinsk arbeid som vårt er ikke organisert av vitenskapelige tidsskrifter. Vi får ikke betalt. Vi er ikke ansatt av universiteter, ansatt av myndigheter eller støttet av private penger til å gjøre dette. Vi gjør det fordi vi føler at det bør gjøres.

Som frivillige har vi ingen iboende autoritet. Når vi ber en forskergruppe om tilgang til dens originale data, i samsvar med en langvarig standard for å opprettholde vitenskapelig integritet, blir forespørslene våre ofte avvist eller ignorert. Og når vi finner det vi tror er alvorlige anomalier i en gitt artikkel, har det en tendens til å være et sted mellom utfordrende og umulig å få forfatterne, institusjonene de jobber for, eller deres utgivelsessteder til å returnere e-postene våre. Da vi så på en ivermectin studie publisert over sommeren i Asian Pacific Journal of Tropical Medicine , for eksempel fant vi et svært uvanlig mønster av tall som antydet en svikt i randomisering. Vi rapporterte dette problemet til tidsskriftet for mer enn tre måneder siden og har ikke hørt noe vesentlig tilbake. En av tidsskriftets sjefredaktører, Bo Cui, fortalte Atlanteren at studien representerer det beste tilgjengelige beviset på publiseringstidspunktet og har gjennomgått vitenskapelig fagfellevurdering og redaktørvurdering før den ble publisert; han sa også at tidsskriftet har bedt forfatterne om å ta opp randomiseringsspørsmålet og at en eventuell tilbaketrekning først vil komme etter rettferdig prosess, fri for tvang eller press. Studiens hovedforfatter, Morteza Niaee, fortalte Atlanteren via e-post at randomiseringsprosedyren var helt akseptabel og godt utført.

Dette er et gjennomgående tema i vårt arbeid. Vi kontakter forfatterne av hver artikkel, sammen med tidsskriftet eller preprint-tjenesten der arbeidet deres er publisert, lenge før disse sakene diskuteres offentlig. Noen ganger svarer forfatterne eller tidsskriftene til og med, selv om disse kommunikasjonene sjelden resulterer i noen form for undersøkelser, enn si en seriøs vurdering av problemene som reises.

I dette miljøet er det ikke nødvendig med noen skummel konspirasjon for å tillate konstruksjon av en uopprettelig mangelfull litteratur. Faktisk kan den mistenkelige kvaliteten på ivermectin/COVID-19-litteraturen være alarmerende vanlig. Husk at vårt lave anslag er at rundt 17 prosent av de store ivermektinstudiene er upålitelige. John Carlisle, berømt i metavitenskapelige kretser for å identifisere det mest produktive forskningssvindel i historien til medisinsk forskning – saken om Yoshitaka Fujii, en anestesilege som klarte å oppnå forbløffende 183 tilbaketrekkinger – anmeldte mer enn 500 forsøk sendt til tidsskriftet Anestesi i de tre årene før pandemien og konkluderte med det 14 prosent av dem inneholdt falske data. En undersøkelse fra 2012 av forskere ved fem akademiske medisinske sentre i Belgia rapporterte at 1 prosent innrømmet å ha fabrikkert data i løpet av de tre foregående årene, men 24 prosent sa at de hadde observert en kollega som gjorde det. EN meta-analyse om samme emne konkluderte på samme måte med at 2 prosent av forskerne innrømmer å ha begått alvorlig mishandling, mens 14 prosent sier de har observert det hos en kollega.

Richard Smith, den tidligere redaktøren av British Medical Journal , antydet i juli at det vitenskapelige miljøet er for lengst forfalt for å regne ut forekomsten av falske data i litteraturen. Vi har nå kommet til et punkt hvor de som gjør systematiske gjennomganger må begynne med forutsatt at en studie er uredelig til de kan ha noen bevis på det motsatte, skrev han. Dette er mindre fiendtlig enn det høres ut. Smith sier ikke at alt er uredelig, men snarere at alt bør evalueres fra en baseline av Jeg tror deg ikke før vi definitivt ser noe annet. Tenk på flyplasssikkerhetsarbeiderne som antar at du kan bære smuglergods eller våpen til du beviser at du ikke er det. Poenget er ikke at alle er bevæpnet, men at alle må gå gjennom maskinen.

Likevel har det ennå ikke sunket inn i den offentlige bevisstheten at vårt system for å bygge biomedisinsk kunnskap i stor grad ignorerer ethvert bevis på utbredt uredelighet. Med andre ord kan litteraturen om ivermektin være ganske dårlig - og i og med det kan den også være ganske umerkelig.

Hvis dette er tilfelle, hvordan klarer legevitenskapen å navigere i all den dårlige forskningen? Hvordan har vi ikke vendt tilbake til iglers og blodslitens tidsalder?

Hemmeligheten er igjen enkel: Mye forskning blir rett og slett ignorert av andre forskere fordi den enten ser ut eller er publisert på feil sted. En klem grå litteratur eksisterer parallelt med pålitelig klinisk forskning, inkludert arbeid publisert i lavkvalitets eller direkte rovtidsskrifter som vil publisere nesten hva som helst for pengene. På samme måte har forfatterne av fabrikkerte eller sterkt forvrengte artikler en tendens til å ha beskjedne ambisjoner: Poenget er å få arbeidet sitt på trykk og lagt til CV-en, ikke å lage bølger. Vi sier ofte at disse studiene er laget for å skrives, men ikke leses.

Selv om noen av papirene vi undersøkte for eksempel kan hevde at ivermectin er en perfekt COVID-19-profylaktikum, gjør de det basert på en liten studie av noen hundre mennesker – og arbeidet er publisert i tidsskrifter som under pre-pandemi tider. ville vært dypt uklar. Når en gruppe hevder å ha gjennomgått for eksempel 100 000 pasientjournaler – og deretter publiserer sine tvilsomme resultater i en høyprofilert journal – risikoer er betydelige.

I en pandemi, når innsatsen er høyest, har den noe porøse grensen mellom disse publikasjonsverdene nesten forsvunnet. Det er ingen grå litteratur nå: Alt er en magnet for umiddelbar oppmerksomhet og misforståelser. En utrolig, unøyaktig studie trenger ikke lenger å henge i uklarhet; det kan boble over i den offentlige bevisstheten så snart det vises på nettet, og bli sendt rundt på internett som en tapt kattunge i en førskole. Et øyeblikkelig forglemmelig preprint, som en gang ville blitt lest av bare noen få pedantiske eksperter, kan nå deles bredt blant hundretusener på sosiale medier.

Og arbeidet vårt vil begynne på nytt.

Det faktum at det ikke er ekte institusjonell årvåkenhet rundt en forskningslitteratur som påvirker nasjoners helse, at det er nødvendig for oss å gjøre dette, er uanstendig. Det er et bevis på hvor dårlig de vitenskapelige allmenningene forvaltes at produktene deres blir faktasjekket for første gang av en gruppe slitne frivillige.