Dimmi la verità, la verità (...)
perchè la verità tu non l'hai detta mai.
Antonio Ciacci
Ho sempre pensato che la maggior parte delle ricerche pubblicate,soprattutto su riviste mediche di prestigio, esprimano conclusioni veritiere. Con sorpresa ho potuto constatare come autorevoli voci non siano della stessa opinione. Anzi l'epidemiologo J.Ioannidis è del parere esattamente contrario: "...false findings may be themajority or even the vast majority of published research...". In un recente articolo apparso su Plos Medicine* ( speriamo aquesto punto che sia veritiero) senza mezzi termini egli spiega con puntiglio e dimostra con dovizia di formule matematiche, ilperchè della sua drastica asserzione. Vi è una tendenza diffusa che porta ad idolatrate il p-value > 0.05come unica garanzia di veridicità. Chi conduce una ricerca si preoccupa in genere di ottenere la significatività statistica, cioè che il risultato finale abbia solo il 5% di probabilità di essercasuale. Se però la ricerca è stata condotta con tali e tanti bias da distorcerne le conclusioni ecco che questa pura formalità statistica non ha alcun valore. La veridicità di una ricerca, oltre che dal p<0.05, letteralmente =" distorsione">
1. piccole dimensioni. E' più improbabile si giunga a risultati veritieri con campioni di grandezza limitata, di basso potere statistico
2. il cosiddetto effect size, cioè quanto forte è l'effetto che dobbiamo misurare. E' più probabile siano vere ricerche sull'impatto del fumo sul cancro o sul rischio cardiovascolare (RR3-20) piuttosto che il rischio genetico in una malattia poligenica(RR 1.1-1.5). Purtroppo la ricerca scientifica attuale si svolge in ambiti con RR appena superiore all'unità.
3. gli studi di conferma tendono a risultati più veritieri rispetto a studi che attuati allo scopo di generare nuove ipotesi di lavoro.
4. la flessibilità di uno studio: quanto è maggiore (definizione degli out comes, disegno dello studio, strumenti analitici usati)tanto più elevata la probabilità di false conclusioni.
5. conflitti di interesse, non solo quelli finanziari (non occorre spiegarli ai No grazie!) ma anche il pregiudizio scientifico (credere alle proprie teorie più che a quelle degli altri o all'opposto essere influenzati dall'ipotesi più in voga), riducono la probabilità che uno studio sia veridico.
6. quanto più 'scottante' è il campo della ricerca quanto più probabile ottenere falsi risultati. Non raro a questo proposito il fenomeno detto Proteo per cui risultati clamorosi vengono rapidamente smentiti e poi altrettanto rapidamente riaffermati in modo altalenante.
Questo accade spesso nelle ricerche di genetica molecolare. Se consideriamo quanto sopra e calcoliamo che una ricerca abbia il 50% di probabilità a priori (PPV) di essere stata impostata correttamente, otterremo risultati veritieri nell'85% dei casi. Sembra facile, ma una PPV del 50% non è facile da programmare,la può ottenere una metanalisi di RCT di conferma, tutti di buona qualità, mentre una metanalisi ben condotta ma su studi inconclusivi, allo scopo di cercare un risultato positivo, avrà invece,in un caso su tre, elevate probabilità di false conclusioni. Procedendo negli esempi si arriva alle ricerche sperimentali in campi come la genetica molecolare, dove è necessario condurre migliaia di test per ottenere un risultato positivo, dove la PPV sarà estremamente bassa (una su mille), anche con una eccellente elaborazione statistica ed efficienza nel minimizzare i bias già ricordati. Che fare ? Rigettare innanzitutto l'ipotesi di ineluttabilità dell'errore e cercare per quanto possibile di evitare di incorrere nei bias già ricordati, ottenendo così una buona PPV prima di iniziare uno studio. Va cambiata la mentalità dei ricercatori che devono sempre pre registrare il loro studio e aderire scrupolosamente al protocollo di ricerca senza cambiare o modificare gli out come, come purtroppo spesso succede. E noi, come lettori, dovremo tener conto che solo gli studi su larga scala che esplorino effetti molto ampi, hanno buona probabilità di essere veritieri; al contrario si dovrà diffidare di piccoli studi su questioni molto specifiche o marginali. Per fortuna che c'è la serendipità che qualche volta ci salva, anche ricerche male impostate possono arrivare a conclusioni utili ed importanti,ma si sa, l'eccezione non fa che confermare la regola.
* Ioannidis JPA (2005) Why Most Published Research Findings Are False. PLoS Med 2(8): e124.
http://www.plosmedicine.org/article/info%3Adoi%2F10.1371%2Fjournal.pmed.0020124
