La verità scientifica? Meglio metterci una pietra sopra.
Almeno per quanto riguarda i risultati della maggior parte degli studi
scientifici, per i quali bisogna rassegnarsi all’idea che «è più probabile che
siano falsi piuttosto che veri». Questa tesi, certamente provocatoria e tutt’altro
che incoraggiante, è stata illustrata (e dimostrata, numeri alla mano) sulla
rivista ad accesso libero PLoS Medicine da John Ioannidis dell’Università
greca di Ioannina, che non è nuovo ad affermazioni «forti» sulla validità o meno
degli studi scientifici. Nel luglio di quest’anno, infatti, su JAMA era
comparso uno studio dello stesso autore che si proponeva di valutare con quale
frequenza i risultati di studi clinici che dimostravano l’efficacia di una cura
fossero stati smentiti o ridimensionati da ricerche successive. Analizzando 45
studi, pubblicati sulle riviste mediche più prestigiose tra il 1990 e il 2003,
Ioannidis aveva osservato che i dati di 7 erano stati ribaltati e per altri 7
c’era stato un significativo ridimensionamento. Una smentita più o meno forte,
quindi, era arrivata per un terzo di questi studi.
Forte di questa premessa, Ioannidis ha inquadrato in un
modello matematico, quantificandoli, i parametri considerati significativi per
valutare la validità di uno studio e, quindi, le possibili fonti di errore. Il
più intuitivo di questi parametri, ma anche il meno accurato, è la
significatività statistica. Uno studio è considerato statisticamente
significativo se la probabilità che il risultato sia completamente dovuto al
caso è una contro venti: questo significa che, esaminando 20 differenti ipotesi
scelte a caso, una di esse, in media, potrà risultare statisticamente
significativa. Mentre dal punto di vista puramente matematico questo può
risultare un parametro affidabile per determinare la validità di un metodo, se
ci si cala nella realtà delle ipotesi che sono analizzate nelle ricerche ci si
rende conto che la significatività statistica non può essere l’unico elemento su
cui basarsi per valutare uno studio. Quando le possibili ipotesi da analizzare
sono centinaia (è il caso, per esempio, dell’influenza di un gene su una
malattia), questo standard può indurre in errore: infatti alcune ipotesi in
apparenza significative potrebbero essere, per gli scherzi del caso, false. O
per converso, se si prendono in considerazione, in modo del tutto casuale, 20
ipotesi false, una di esse potrebbe risultare vera.
Questo aspetto, per quanto importante, non è però l’unico che Ioannidis
considera nel suo modello. Vari altri fattori possono indurre errori negli studi
scientifici. Le limitate dimensioni dei campioni considerati, per esempio, o un
disegno poco accurato dello studio, che consente ai ricercatori di «pescare» tra
i propri dati quelli che provano la tesi iniziale. C’è poi da tenere nel dovuto
conto anche la «parzialità» dei ricercatori, dovuta all’attaccamento alla
propria teoria o ad aspetti più profani di interesse economico.
Elaborando tutti questi elementi secondo il proprio modello
matematico, Ioannidis arriva a concludere che uno studio disegnato secondo buoni
parametri può arrivare ad avere l’85 per cento delle probabilità di dare
risultati corretti; se i parametri non sono rispettati o lo sono solo in parte
questa probabilità scende fino al 17 per cento. Quindi, calcolatrice alla mano,
in media più della metà degli studi dà risultati falsi con buona probabilità.
Che fare, allora? «La verità scientifica è un bersaglio in movimento» commentano
gli editori di PLoS Medicine. «La possibilità che la maggior parte delle
conclusioni sia falsa fa inevitabilmente parte dell’impegno nella ricerca.
Chiunque sia coinvolto nella realizzazione e nella pubblicazione degli studi
deve necessariamente essere di mente aperta, rigoroso e onesto nel progettare
gli esperimenti, analizzare i risultati, comunicare le conclusioni, revisionare
i manoscritti, commentare i lavori e accettare che l’incertezza esiste nel campo
della ricerca».
A questo punto, non senza una punta di malignità, ci sarebbe da chiedersi, come
fa l’Economist: che probabilità c’è che lo studio di Ioannidis sia falso?
Come individuare i risultati falsi
Secondo
Ioannidis alcuni elementi aiutano a individuare i risultati che hanno maggiore
probabilità di essere falsi:
1. più sono piccole le dimensioni degli studi, più bassa è
la probabilità che diano risultati validi
2. più limitato è l’effetto misurato, più è probabile che i risultati siano
falsi: è più facile avere risultati validi quando si indagano effetti di grande
portata (per esempio la relazione tra fumo e malattie cardiovascolari) piuttosto
che quelli supposti «piccoli» (per esempio i fattori genetici di rischio di
alcune malattie)
3. più alto è il numero delle relazioni analizzate, più probabilmente lo studio
darà risultati falsi: gli studi disegnati per confermare un’ipotesi (trial
controllati e randomizzati in fase III o metanalisi), per esempio, hanno
maggiore probabilità di dare risultati veri
4. più elevata è la flessibilità nel disegno e nel metodo analitico dello
studio, maggiore è la probabilità di avere risultati falsi: l’aderenza a modelli
standard condivisi aumenta la proporzione di risultati positivi
5. più grandi sono gli interessi (economici e non) in gioco, minore è la
probabilità che lo studio dia risultati validi
6. più «caldo» è il campo di ricerca (con grande competizione tra molti gruppi
di ricercatori), più elevata è la probabilità che i risultati siano falsi: può
sembrare paradossale ma, quando la competizione è accesa, il fattore tempo
assume un’importanza fondamentale, spingendo i ricercatori a diffondere nel
minor tempo possibile i propri risultati ritenuti «positivi».
|