Writing > Il nascosto Dati
==================== MODULO 1: I DATI NASCOSTI ====================
==================== MODULO 2: IL PATTO (PRISMA) ====================
==================== MODULO 3: IL PROTOCOLLO ====================
==================== MODULO 4: IL TITOLO ====================
==================== MODULO 5: L'ASTRATTO ====================
==================== MODULO 6: LA QUESTIONE (PICO) ====================
==================== MODULO 7: LA RICERCA ====================
==================== MODULO 8: LA SELEZIONE ====================
==================== MODULO 9: RISCHIO DI BIAS ====================
==================== MODULO 10: ESTRAZIONE DATI ====================
==================== MODULO 11: MISURE D'EFFETTO ====================
==================== MODULO 12: LA SINTESI ====================
==================== MODULO 14: BIAS DELLA PUBBLICAZIONE ====================
==================== MODULO 15: LA TRAMA DELLA FORESTA ====================
==================== MODULO 16: CERTEZZA DELLA PROVA ====================
==================== MODULO 17: LA DISCUSSIONE ====================
==================== MODULO 19: IL CONTROLLO FINALE ====================
==================== MODULO 20: QUIZ E RIFERIMENTI ====================
==================== MODULO 21: STRUMENTI SOFTWARE ====================
==================== MODULO 22: LETTURA DI META-ANALISI ====================
==================== MODULO 23: META-ANALISI DELLA RETE ====================
Nodes = Treatments (size = sample)
Edges = Confronti diretti (larghezza = studi)
Dashed = Solo prove indirette
==================== MODULO 24: MODELLI DI PREVISIONE AI/ML ====================
==================== MODULO 25: COMUNICAZIONE CON IL PAZIENTE ====================
==================== MODULO 26: RECENSIONI VIVENTI E FUTURO ====================
Non hai sentito parlare dei processi nascosti,
dei dati che erano sepolti,
i documenti che raccontavano solo metà della verità?
dei dati che erano sepolti,
i documenti che raccontavano solo metà della verità?
Lo scandalo del Tamiflu
COCHRANE COLLABORATION, 2009-2014
Governments stockpiled $9 billion worth of Tamiflu to fight pandemic flu.
Ma quando i ricercatori Cochrane hanno cercato di verificare i benefici del farmaco, hanno scoperto che 60% of trial data had never been published.
Dopo un Dopo una battaglia durata 5 anni, hanno ottenuto i dati nascosti. La conclusione è cambiata: Tamiflu shortened symptoms by less than a day e non ha impedito complicazioni.
9 miliardi di dollari spesi per prove che non sono mai state completamente divulgate.
Ma quando i ricercatori Cochrane hanno cercato di verificare i benefici del farmaco, hanno scoperto che 60% of trial data had never been published.
Dopo un Dopo una battaglia durata 5 anni, hanno ottenuto i dati nascosti. La conclusione è cambiata: Tamiflu shortened symptoms by less than a day e non ha impedito complicazioni.
9 miliardi di dollari spesi per prove che non sono mai state completamente divulgate.
Jefferson T et al. Cochrane Database Syst Rev. 2014;4:CD008965
Why We Write Meta-Analyses
Lo scopo della sintesi
Individual Studies
↓
Problem?
Small samplesLow power
Conflicting resultsWhich to believe?
Publication biasMissing negatives
↓
Meta-AnalysisSystematic synthesis
↓
More precise estimate + Bias detection
La trasparenza del Tamiflu Campagna
2009-2014 | COCHRANE COLLABORATION vs. ROCHE
For years, governments worldwide stockpiled Tamiflu (oseltamivir) at a cost of billions of dollars, basata sulle affermazioni del produttore secondo cui avrebbe prevenuto complicazioni influenzali e ricoveri ospedalieri.
Quando i revisori della Cochrane hanno richiesto i dati completi dello studio per verificare queste affermazioni, Roche ha rifiutato per 5 anni, citando la "riservatezza che l'azienda aveva condotto". 10 studi clinici sul trattamento, ma solo 2 sono stati completamente pubblicati.
Dopo incessanti pressioni, i Clinical Study Reports sono stati finalmente pubblicati nel 2014. Il quadro è cambiato radicalmente: Tamiflu ha ridotto i sintomi di meno di un giorno e non ha mostrato alcuna prova di prevenzione di ricoveri ospedalieri o complicazioni gravi.
Quando i revisori della Cochrane hanno richiesto i dati completi dello studio per verificare queste affermazioni, Roche ha rifiutato per 5 anni, citando la "riservatezza che l'azienda aveva condotto". 10 studi clinici sul trattamento, ma solo 2 sono stati completamente pubblicati.
Dopo incessanti pressioni, i Clinical Study Reports sono stati finalmente pubblicati nel 2014. Il quadro è cambiato radicalmente: Tamiflu ha ridotto i sintomi di meno di un giorno e non ha mostrato alcuna prova di prevenzione di ricoveri ospedalieri o complicazioni gravi.
THE LESSON
Una meta-analisi è solo nella misura in cui i dati a cui può accedere possono far sembrare efficaci trattamenti inefficaci e costare miliardi in risorse sprecate.
"E l'azienda lo sapeva,
e le autorità di regolamentazione lo sapevano,
ma i documenti pubblicati non lo dicevano...
e sono stati spesi miliardi per una mezza verità."
e le autorità di regolamentazione lo sapevano,
ma i documenti pubblicati non lo dicevano...
e sono stati spesi miliardi per una mezza verità."
Ecco perché scriviamo meta-analisi: per trovare tutta la verità.
Se desideri che il tuo lavoro sia trusted,
devi stipulare un patto con i tuoi lettori.
Quel patto ha un nome:
PRISMA.
devi stipulare un patto con i tuoi lettori.
Quel patto ha un nome:
PRISMA.
PRISMA 2020
Elementi di reporting preferiti per revisioni sistematiche e meta-analisi
27
Checklist items
2020
Updated version
50K+
Citations
THE COVENANT
PRISMA non è burocrazia È una promessa ai tuoi lettori
che hai svolto il lavoro in modo trasparente e completo.
I Sette. Sezioni
1
Title
Identify as systematic review, meta-analysis, or both
2
Abstract
Sintesi strutturata dell'intera revisione
3
Introduction
Motivazione e obiettivi con PICO
4
Methods
Protocol, search, selection, data, bias, synthesis
5
Results
Flow diagram, characteristics, risk of bias, synthesis results
6
Discussion
Summary, limitations, interpretation, implications
7
Other
Registration, funding, conflicts of interest
La rivoluzione PRISMA
2009-PRESENT | TRANSFORMING SYSTEMATIC REVIEW REPORTING
Prima di PRISMA (2009), il reporting delle revisioni sistematiche era caotico. Alcune recensioni non riportavano affatto le loro strategie di ricerca. Altri hanno omesso il rischio di valutazioni parziali. Molti non sono riusciti a spiegare perché gli studi sono stati esclusi. Readers couldn't judge quality—they had to trust blindly.
La checklist di 27 elementi di PRISMA ha cambiato tutto. Richiedeva agli autori di documentare ogni passaggio: la strategia di ricerca completa, i criteri di selezione, i metodi di estrazione e le decisioni di sintesi.
Today, oltre 10.000 riviste sostengono PRISMA. Quella che una volta era una trasparenza eccezionale è diventata lo standard previsto.
La checklist di 27 elementi di PRISMA ha cambiato tutto. Richiedeva agli autori di documentare ogni passaggio: la strategia di ricerca completa, i criteri di selezione, i metodi di estrazione e le decisioni di sintesi.
Today, oltre 10.000 riviste sostengono PRISMA. Quella che una volta era una trasparenza eccezionale è diventata lo standard previsto.
THE LESSON
Una semplice lista di controllo ha trasformato un intero campo. Il reporting trasparente è passato dall'eccezione alla norma: la prova che gli standard contano.
"PRISMA è il patto tra autore e lettore:
Ti mostrerò tutto—
how I searched, what I found, what I excluded, why.
Così potrai giudicare il mio lavoro e fidarti, o mettere in dubbio, il mio conclusioni."
Ti mostrerò tutto—
how I searched, what I found, what I excluded, why.
Così potrai giudicare il mio lavoro e fidarti, o mettere in dubbio, il mio conclusioni."
Non hai visto il revisore
chi ha cambiato il risultato dopo aver visto i dati,
chi ha spostato i pali fino al risultati looked right?
chi ha cambiato il risultato dopo aver visto i dati,
chi ha spostato i pali fino al risultati looked right?
Le meta-analisi ritirate
MULTIPLE JOURNALS, 2010-2023
I ricercatori hanno scoperto che many retracted meta-analyses had no pre-registered protocol.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Aggiungere o rimuovere studi per modificare la conclusione
Il protocollo è tuo pre-commitment device— ti impedisce di ingannare da soli.
Without a protocol, reviewers could:
• Change inclusion criteria after seeing results
• Switch primary outcomes to show significance
• Aggiungere o rimuovere studi per modificare la conclusione
Il protocollo è tuo pre-commitment device— ti impedisce di ingannare da soli.
Defined outcome switching: PROSPERO registration prevents bias
Protocol Registration Decision Tree
Dove registrare il protocollo
Nuova revisione sistematica
↓
Type of Review?
Health/Medical
PROSPEROprospero.york.ac.uk
Any Field
OSFosf.io/registries
Cochrane
Cochrane LibraryIntegrated protocol
↓
Registration ID in PaperCite in Methods
What the Protocol Must Contain
Essential Protocol Elements
1. Domanda di ricerca (formato PICO)
2. Eligibility criteria (inclusion/exclusion)
3. Information sources and search strategy
4. Processo di selezione dello studio
5. Estrazione dei dati elementi
6. Strumento di valutazione del rischio di bias
7. Esiti primari e secondari
8. Metodi di sintesi (piano di meta-analisi)
9. Analisi di sottogruppo e sensibilità
"Scrivi il protocollo prima di vedere i dati.
Lock it in a public registry.
Then follow it—or explain why you deviated.
Così dimostri di non aver imbrogliato."
Lock it in a public registry.
Then follow it—or explain why you deviated.
Così dimostri di non aver imbrogliato."
Il titolo è la prima promessa che fai.
Deve dire al lettore:
Cosa hai studiato, come lo hai studiato e che tipo di studio è.
Deve dire al lettore:
Cosa hai studiato, come lo hai studiato e che tipo di studio è.
L'anatomia di un titolo
PRISMA Title Requirements
Title Must Include
↓
PopulationChi era studiato
InterventionCosa è stato fatto
OutcomeCosa è stato misurato
↓
+ "Revisione sistematica" o "Meta-analisi"
Good vs. Bad Titles
❌ BAD TITLE
"Una revisione del trattamento del diabete"
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
Problems: No population specified, no intervention, no outcome, doesn't say systematic review
✓ GOOD TITLE
"Efficacia del Inibitori SGLT2 sulla mortalità cardiovascolare negli adulti con diabete di tipo 2: una revisione sistematica e meta-analisi"
Popolazione, intervento, risultati e tipo di studio sono tutti chiari
Popolazione, intervento, risultati e tipo di studio sono tutti chiari
"Il titolo è la prima parola che dici al lettore.
Rendilo completo. Rendilo onesto.
Tell them exactly what they will find within."
Rendilo completo. Rendilo onesto.
Tell them exactly what they will find within."
Most readers will only read your abstract.
If the abstract lies, or omits, or misleads—
most readers will never know.
If the abstract lies, or omits, or misleads—
most readers will never know.
Il problema dello spin
BOUTRON ET AL., 2010
Researchers analyzed 72 RCTs with non-significant primary outcomes.
L'hanno trovato 40% of abstracts contained "spin"- reporting incentrato su risultati secondari, sottogruppi o modifiche all'interno del gruppo per far apparire i risultati più favorevoli di quanto non fossero.
L’abstract raccontava una storia diversa rispetto ai dati.
L'hanno trovato 40% of abstracts contained "spin"- reporting incentrato su risultati secondari, sottogruppi o modifiche all'interno del gruppo per far apparire i risultati più favorevoli di quanto non fossero.
L’abstract raccontava una storia diversa rispetto ai dati.
Boutron I et al. JAMA. 2010;303:2058-2064
Structured Abstract Elements
PRISMA Abstract Checklist
□ Contesto e obiettivi
□ Eligibility criteria
□ Information sources
□ Risk of bias assessment
□ Synthesis methods
□ Risultati (# studi, # partecipanti, stima dell'effetto con CI)
□ Limitations
□ Conclusioni e implicazioni
□ Registration number
Cosa succede quando l’abstract racconta una storia diversa rispetto al documento stesso?
REAL DATA
Pitkin et al. (1999, BMJ) hanno esaminato abstract strutturati in sei importanti riviste e lo hanno scoperto 18-68% degli abstract contenevano dati incoerenti con l’articolo completo. Le carenze andavano da errori numerici a conclusioni non supportate dai risultati riportati.
L'abstract fuorviante: Pitkin 1999
La tua meta-analisi ha rilevato un risultato primario non significativo (RR 0,92, IC 95% 0,78-1,09). Come si scrive l'abstract?
PERCORSO A: Gira l'astratto
Emphasize a significant secondary outcome and use language like "trend toward benefit"
↓
I lettori che vedono solo l'abstract si fanno un'impressione ingannevolmente positiva del trattamento
OUTCOME: Misleading clinical decisions
PATH B: Report Faithfully
Dichiarare chiaramente il risultato primario non significativo e annotare i risultati secondari come esplorativi
↓
I lettori ricevono un riepilogo accurato; chi ha bisogno di dettagli legge il documento completo
RISULTATO: Integrità delle prove preservata
THE REVELATION
La maggior parte dei lettori non va mai oltre l’abstract. Se l'abstract è fuorviante, l'onestà del documento completo non può riparare il danno.
"Non girare. Non nasconderti.
Se il risultato primario era nullo, dillo.
The abstract must be a faithful mirror—
non un ritratto lusinghiero."
Se il risultato primario era nullo, dillo.
The abstract must be a faithful mirror—
non un ritratto lusinghiero."
A vague question yields vague answers.
Prima di cercare, prima di scrivere...
devi saperlo esattamente quello che cerchi.
Prima di cercare, prima di scrivere...
devi saperlo esattamente quello che cerchi.
Il quadro PICO
Strutturare la domanda di ricerca
Research Question
↓
PPopulation
Who?
IIntervention
What treatment?
CComparator
Vs. what?
OOutcome
What measured?
PICO Example
TRASFORMARE UNA DOMANDA VAGA
Vague: "Does exercise help depression?"
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Ora sai esattamente cosa cercare.
PICO:
• P: Adults diagnosed with major depressive disorder
• I: Supervised aerobic exercise (≥3x/week for ≥8 weeks)
• C: Usual care or waitlist control
• O: Change in depression score (HAM-D or BDI)
Ora sai esattamente cosa cercare.
"Definisci la tua domanda con precisione.
Chi sono i pazienti? Cos'è il trattamento?
Che cos'è il comparatore? What will you measure?
PICO è la mappa prima del viaggio."
Chi sono i pazienti? Cos'è il trattamento?
Che cos'è il comparatore? What will you measure?
PICO è la mappa prima del viaggio."
Non hai sentito parlare della meta-analisi
that searched only one database,
ha mancato metà delle prove
e ha tratto il risultato wrong conclusion?
that searched only one database,
ha mancato metà delle prove
e ha tratto il risultato wrong conclusion?
The Search Strategy Decision Tree
Where to Search
Comprehensive Search
↓
Minimum Databases
MEDLINEPubMed
EmbaseEuropean focus
CENTRALCochrane trials
↓
Plus Additional Sources
Trial registriesClinicalTrials.gov
Grey literatureTheses, reports
Reference listsBackward citation
Documentare la ricerca
WHAT TO REPORT
• Full search strategy for at least one database (appendix)
• Date of search per ogni database
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Contatto con gli autori per dati inediti
• Date of search per ogni database
• Any limits (language, date, publication type)
• Hand-searching (journals, conference proceedings)
• Contatto con gli autori per dati inediti
IL TEST DI RIPRODUCIBILITÀ
Another researcher should be able to replica la tua ricerca esattamente
e trova lo stesso numero di record.
The Cochrane Search Strategy Discovery
2003 | REVISIONE DELLA METODOLOGIA COCHRANE
Cochrane researchers asked a simple question: What would happen if systematic reviewers only searched MEDLINE?
La risposta è stata allarmante. Avrebbero perso il 30% degli studi inclusi, inclusi alcuni che hanno cambiato completamente le conclusioni della meta-analisi.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Gli studi mancanti erano studi negativi più piccoli, indicizzati in database specializzati come EMBASE e PsycINFO.
La risposta è stata allarmante. Avrebbero perso il 30% degli studi inclusi, inclusi alcuni che hanno cambiato completamente le conclusioni della meta-analisi.
One striking example: an anti-depressant meta-analysis showed benefit when based on MEDLINE alone, but no benefit when all sources were included. Gli studi mancanti erano studi negativi più piccoli, indicizzati in database specializzati come EMBASE e PsycINFO.
THE LESSON
Le ricerche in un singolo database possono sistematicamente trascurare studi negativi. Gli studi non presenti in MEDLINE potrebbero essere proprio gli studi che cambiano la tua conclusione.
"Search wide. Search deep.
Document every database, every date, every term.
Le prove che ti mancano potrebbero essere le prove che contano di più."
Document every database, every date, every term.
Le prove che ti mancano potrebbero essere le prove che contano di più."
Devi scegliere tra migliaia di record.
But choose by what rule?
E chi controllerà le tue scelte?
But choose by what rule?
E chi controllerà le tue scelte?
Il diagramma di flusso PRISMA
PRISMA 2020 Flow Diagram
IDENTIFICATION
n = 3,847
Record da database
↓
Duplicates removed (n = 892)
SCREENING
n = 2,955
Titles/abstracts screened
↓
Excluded (n = 2,680)
ELIGIBILITY
n = 275
Full-text assessed
↓
Esclusi con motivi (n = 247)
INCLUDED
n = 28
Studies in synthesis
Selection Process Decision Tree
Who Selects? How?
Study Selection
↓
Two independent reviewersGold standard
↓
Disagreement?
ConsensusDiscussion
Third reviewerArbiter
One reviewer onlyAcknowledge limitation
REPORT AGREEMENT
Calcolo e report inter-rater agreement (kappa statistic).
Low agreement suggests unclear criteria.
Un'analisi post-hoc di sottogruppi da un singolo studio può rimodellare un intero campo per un decennio?
REAL DATA
La Women's Health Initiative (WHI, 2002) ha scoperto che la TOS increased cardiovascular risk overall. But post-hoc subgroup analysis suggested women aged <60 o entro 10 anni dalla menopausa potrebbe apportare benefici, mentre le donne più anziane sono state danneggiate. Questa "ipotesi temporale" ha alimentato anni di dibattito e ulteriori studi.
The HRT Timing Hypothesis: WHI 2002
La tua meta-analisi della TOS mostra danni complessivi, ma un sottogruppo esplorativo suggerisce benefici nelle donne più giovani questo?
PERCORSO A: sovrastimare il sottogruppo
Intestare il risultato del sottogruppo di età come se fosse il risultato primario
↓
I medici prescrivono la TOS sulla base del sottogruppo esplorativo e sottodimensionato, il risultato potrebbe non esserlo; replicare
OUTCOME: Premature clinical change
PATH B: Report Honestly
Present overall result as primary; label subgroup as exploratory and pre-specified or post-hoc
↓
Readers understand the hypothesis needs confirmation; future trials can be designed to test it
OUTCOME: Responsible hypothesis generation
THE REVELATION
Le analisi dei sottogruppi generano ipotesi, non conclusioni. Etichettarle sempre come esplorative e riportare prima il risultato complessivo.
"Every exclusion must have a reason.
Every reason must be documented.
Two pairs of eyes are better than one—
per quello che manca a uno, l'altro potrebbe coglierlo."
Every reason must be documented.
Two pairs of eyes are better than one—
per quello che manca a uno, l'altro potrebbe coglierlo."
Non hai visto la meta-analisi
che metteva insieme studi buoni e cattivi,
e chiamava la media truth?
che metteva insieme studi buoni e cattivi,
e chiamava la media truth?
Il pericolo di ignorare Bias
LO SCANDALO ANTIDEPRESSIVI
Turner et al. (2008) obtained FDA data on 74 antidepressant trials.
In the published literature: il 94% degli studi era positivo.
In the FDA database: solo il 51% era positivo.
Le meta-analisi pubblicate avevano raggruppato i dati riportati selettivamente. La dimensione dell'effetto era inflated by 32%.
In the published literature: il 94% degli studi era positivo.
In the FDA database: solo il 51% era positivo.
Le meta-analisi pubblicate avevano raggruppato i dati riportati selettivamente. La dimensione dell'effetto era inflated by 32%.
Turner EH et al. N Engl J Med. 2008;358:252-260
Strumenti di valutazione del rischio di bias
Quale strumento utilizzare?
Study Design
↓
RCTs
RoB 2Cochrane tool
Non-randomized
ROBINS-IInterventions
DTA studies
QUADAS-2Diagnostic
Observational
NOSNewcastle-Ottawa
RoB 2 Domains
Cochrane Risk of Bias 2.0 for RCTs
D1 Randomization process
D2 Deviazioni dagli interventi previsti
D3 Dati sui risultati mancanti
D4 Misurazione del risultato
D5 Selezione del risultato riportato
JUDGMENT OPTIONS
Each domain: Low risk /
Some concerns /
High risk
"Una meta-analisi di studi distorti
yields a biased conclusion—
con un intervallo di confidenza più ristretto.
Hai reso la menzogna più preciso."
yields a biased conclusion—
con un intervallo di confidenza più ristretto.
Hai reso la menzogna più preciso."
Da ogni studio, è necessario estrarre i numeri.
Estrai quello sbagliato e il tuo intero analisi
is built on sand.
Estrai quello sbagliato e il tuo intero analisi
is built on sand.
Modulo di estrazione dati
Elementi di dati essenziali
1 Study identifiers (author, year, country)
2 Progettazione e impostazione dello studio
3 Participant characteristics (n, age, sex, severity)
4 Intervention details (dose, duration, delivery)
5 Comparator details
6 Definizioni e misurazione dei risultati
7 Results (means, SDs, events, sample sizes)
8 Follow-up duration and loss to follow-up
9 Funding source and conflicts of interest
Extraction Decision Tree
Gestione dei dati mancanti
Dati non Segnalato
↓
What to Do?
First
Contact authorsEmail for data
If no response
Calculate/imputeDocument method
If impossible
Exclude from MAInclude in narrative
The Rosiglitazone Data Extraction Errore
2007 | NEW ENGLAND JOURNAL OF MEDICINE
Nissen and Wolski's 2007 meta-analysis of rosiglitazone (Avandia) found a 43% increased risk of heart attack. La scoperta ha innescato gli avvertimenti della FDA e ha causato il collasso delle prescrizioni in tutto il mondo.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. Piccole differenze nel modo in cui sono stati conteggiati gli eventi, estratti da fonti diverse, hanno cambiato significativamente i risultati.
La meta-analisi è stata influente e in gran parte corretta, ma la controversia ha evidenziato come small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
But later scrutiny revealed complications. Some effect estimates had been extracted from secondary publications rather than primary trial reports. Piccole differenze nel modo in cui sono stati conteggiati gli eventi, estratti da fonti diverse, hanno cambiato significativamente i risultati.
La meta-analisi è stata influente e in gran parte corretta, ma la controversia ha evidenziato come small extraction decisions can have billion-dollar consequences. Merck's competing drug gained market share; GSK faced massive litigation.
THE LESSON
Estrarre sempre da fonti primarie. Documenta ogni scelta. Una piccola discrepanza nei numeri estratti può cambiare le decisioni normative e le fortune del mercato.
"Extract in duplicate. Check each number.
One digit wrong can change the conclusion.
Il modulo di estrazione è il tuo registro—
keep it meticulous, keep it true."
One digit wrong can change the conclusion.
Il modulo di estrazione è il tuo registro—
keep it meticulous, keep it true."
La dimensione dell'effetto è il cuore della tua meta-analisi.
Scegli la misura sbagliata,
e la tua stima complessiva sarà meaningless.
Scegli la misura sbagliata,
e la tua stima complessiva sarà meaningless.
Effect Measure Decision Tree
Choosing the Right Effect Size
Outcome Type
↓
Binary
RR, OR, RDEvents/no events
Continuous
Same scale?
YesMD (mean diff)
NoSMD (Hedge's g)
Time-to-event
HRHazard ratio
Common Effect Measures
RR
Risk Ratio
Multiplicative
Multiplicative
OR
Odds Ratio
Case-control
Case-control
MD
Mean Diff
Same units
Same units
SMD
Std Mean Diff
Different scales
Different scales
THE PRINCIPLE
La misura dell'effetto deve essere comparabile tra gli studi.
If studies used different scales, standardize.
Can a trial that transforms global practice still have serious limitations?
REAL DATA
Lo studio RECOVERY (2020) ha dimostrato che il desametasone ha ridotto la mortalità a 28 giorni nei pazienti ospedalizzati con COVID-19 che necessitano di ossigeno: RR 0.83, 95% CI 0.75-0.93. Tuttavia, lo studio era in aperto (senza cieco), condotto prevalentemente negli ospedali del Regno Unito e il gruppo di controllo ha ricevuto cure abituali (che variavano).
Studio RECOVERY: 2020
La tua meta-analisi include RECOVERY come studio dominante. Come gestisci i limiti di uno studio altrimenti epocale?
PATH A: Minimize Limitations
Minimizza il design in aperto e la concentrazione geografica; focus on the striking mortality benefit
↓
Readers cannot judge generalizability to other settings; potential detection bias is obscured
RISULTATO: Valutazione delle prove incomplete
PATH B: Honest Limitations
Riconoscere la progettazione in aperto e le limitazioni geografiche, indicando chiaramente il beneficio in termini di mortalità
↓
I lettori comprendono sia la forza del risultato sia dove l'incertezza rimane
OUTCOME: Trustworthy, balanced reporting
THE REVELATION
Even groundbreaking le sperimentazioni hanno dei limiti. Riconoscerli non compromette i risultati; it builds reader trust and guides future research.
"Scegliere la misura che si adatta ai dati.
Rapporti di rischio per esiti comuni, odds ratio per rari.
Standardize when scales differ.
La misura sbagliata unisce mele con arance."
Rapporti di rischio per esiti comuni, odds ratio per rari.
Standardize when scales differ.
La misura sbagliata unisce mele con arance."
Non hai visto la foresta grafico
where studies pointed in opposite directions,
yet the diamond declared a single truth?
where studies pointed in opposite directions,
yet the diamond declared a single truth?
Fixed vs. Random Effects
Which Model to Use?
Meta-Analysis Model
↓
Ipotesi sul vero effetto?
One true effect
Fixed EffectTutti gli studi stimano lo stesso θ
↓
Rarely appropriateStudi molto simili
Effects vary
Random EffectsDistribution of θᵢ
↓
Usually preferredMore conservative
Quando NON raggruppare
Do Not Meta-Analyze If...
✗ Gli studi sono troppo eterogenei (clinici o metodologico)
✗ I risultati sono definiti in modo diverso
✗ Le popolazioni sono fondamentalmente diverse
✗ Risk of bias is too high across studies
✗ Publication bias is severe
THE WISDOM
Sometimes the most honest conclusion is:
"Questi studi non dovrebbero essere raggruppati."
Cosa succede quando una critica metodologica di una revisione Cochrane si trasforma in una questione organizzativa crisi?
REAL DATA
Nel 2018, Peter Gøtzsche e colleghi hanno pubblicato una critica alla revisione Cochrane del vaccino HPV, sostenendo che aveva escluso studi chiave e utilizzato criteri di inclusione inappropriati. La revisione Cochrane aveva incluso 26 studi con oltre 73.000 donneuna crisi di governance, culminata nell'espulsione di Gøtzsche dal consiglio di amministrazione di Cochrane.
La controversia Cochrane sull'HPV: 2018
Ricevi una critica metodologica della tua sintesi pubblicata sostenendo che avresti dovuto includere ulteriori studi?
PERCORSO A: Respingere la critica
Difendere l'approccio originale senza impegnarsi con i punti metodologici specifici sollevati
↓
La fiducia del pubblico erode; la controversia diventa personale piuttosto che scientifica; la base di prove non viene migliorata
OUTCOME: Polarization and lost credibility
PATH B: Engage Transparently
Condurre analisi di sensibilità che incorporino gli studi suggeriti pubblicare una risposta trasparente che mostri le conclusioni; cambiamento
↓
Le prove vengono rafforzate; il discorso metodologico fa avanzare il campo; la fiducia viene mantenuta
OUTCOME: Science self-corrects publicly
THE REVELATION
La critica metodologica è il modo in cui la scienza migliora, rispondendo con i dati, non con la difensiva, rafforza sia la revisione che il campo.
"Non fare pool per il bene di. raggruppamento.
Una meta-analisi di studi incompatibili
non è sintesi, è confusione.
Know when to say: these cannot be combined."
Una meta-analisi di studi incompatibili
non è sintesi, è confusione.
Know when to say: these cannot be combined."
Quando gli studi non sono d'accordo,
il disaccordo stesso è data.
Do not hide it. Explain it.
il disaccordo stesso è data.
Do not hide it. Explain it.
Heterogeneity Measures
Q
Cochran's Q
Significance test
Significance test
I²
Inconsistency
% variation
% variation
τ²
Tau-squared
Between-study var
Between-study var
PI
Prediction interval
Future studies
Future studies
Investigating Heterogeneity
When I² > 50%
High Heterogeneity
↓
Investigation Methods
Subgroup analysisPre-specified
Meta-regressionIf ≥10 studies
Sensitivity analysisExclude outliers
↓
Report unexplained heterogeneityLimitation
What if a meta-analysis of small positive trials is overturned by a single mega-trial?
REAL DATA
All'inizio Negli anni ’90, diversi piccoli studi hanno suggerito che la somministrazione di magnesio per via endovenosa riduceva la mortalità dopo infarto miocardico acuto. Una meta-analisi (Teo et al., 1991) li ha riuniti e ha riscontrato un beneficio significativo: OR 0.44, 95% CI 0.27-0.71. Quindi ISIS-4 (1995), un mega-esperimento con 58,050 patients, non ha trovato alcun beneficio. Gli effetti e l'eterogeneità dei piccoli studi erano stati ignorati.
La controversia sul magnesio: 1991-1995
La vostra meta-analisi di piccoli studi mostra un'elevata eterogeneità (I² superiore al 50%) ma la stima complessiva è significativa. Come lo presentate?
PERCORSO A: Seppellire l'eterogeneità
Report the significant pooled estimate prominently; mention I² only in passing
↓
I medici adottano il trattamento; un futuro ampio studio potrebbe contraddire la meta-analisi, erodendo la fiducia nel metodo
OUTCOME: Premature guideline changes
PATH B: Investigate Transparently
Evidenziare l'eterogeneità; indagare le fonti (dimensione dello studio, qualità); si noti che gli effetti di piccoli studi possono gonfiare la stima
↓
I lettori comprendono l'incertezza; le raccomandazioni richiedono un ampio studio definitivo prima di modificare la pratica
OUTCOME: Evidence-appropriate caution
THE REVELATION
L'eterogeneità è un segnale di avvertimento, non una nota a piè di pagina. Gli effetti di piccoli studi possono produrre una stima aggregata falsamente rassicurante che un singolo studio di grandi dimensioni può ribaltare.
"I-squared is not just a number to report.
La domanda è: perché questi studi non sono d'accordo?
Investigate. Explain. Or acknowledge ignorance."
La domanda è: perché questi studi non sono d'accordo?
Investigate. Explain. Or acknowledge ignorance."
Non hai sentito parlare del cassetto dei file,
dove vanno gli studi negativi die,
leaving only the positive survivors
to tell a distorted story?
dove vanno gli studi negativi die,
leaving only the positive survivors
to tell a distorted story?
Il disastro del Vioxx
MERCK, 2004
Vioxx (rofecoxib) was a blockbuster painkiller earning $2.5 billion/year.
Internal company documents showed Merck knew of cardiovascular risks but dati sfavorevoli soppressi and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Internal company documents showed Merck knew of cardiovascular risks but dati sfavorevoli soppressi and published only favorable analyses.
A meta-analysis using all available data revealed a 2-fold increased risk of heart attack.
Vioxx was withdrawn. It had caused an estimated 88,000-140,000 excess heart attacks.
Topol EJ. N Engl J Med. 2004;351:1707-1709
Detecting Publication Bias
Assessment Methods
Publication Bias Assessment
↓
Funnel plotVisual inspection
Egger's testStatistical asymmetry
Ritaglia e riempiImpute missing
↓
Requires ≥10 studiesLow power otherwise
Preventing Bias: The AllTrials Campaign
ALLTRIALS.NET
"All trials registered. All results reported."
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Contatta le aziende per dati non pubblicati
• Cita i numeri di registrazione nella tua recensione
• Riporta quali studi registrati mancano dalla tua analisi
• Search trial registries (ClinicalTrials.gov, WHO ICTRP)
• Contatta le aziende per dati non pubblicati
• Cita i numeri di registrazione nella tua recensione
• Riporta quali studi registrati mancano dalla tua analisi
"Il cassetto dei file non è vuoto.
Contiene gli studi che le aziende nascosto,
i risultati rifiutati dai giornali.
Il tuo compito è aprire quel cassetto, o dire che non puoi."
Contiene gli studi che le aziende nascosto,
i risultati rifiutati dai giornali.
Il tuo compito è aprire quel cassetto, o dire che non puoi."
Il forest plot è il volto della tua meta-analisi.
Mostra al lettore everything:
each study, each weight, each confidence interval,
e la stima aggregata finale.
Mostra al lettore everything:
each study, each weight, each confidence interval,
e la stima aggregata finale.
Leggere la foresta Grafico
Elementi del grafico forestale
Forest Plot
↓
Study namesLeft column
SquaresPoint estimates
Lines95% CI
DiamondPooled estimate
↓
Dimensione del quadrato = peso dello studioLarger = more precise
Forest Plot Checklist
What to Include
□ Identificatori dello studio (autore, anno)
□ Sample size per arm
□ Stima dell'effetto con 95% CI
□ Weight (% contribution)
□ Line of no effect (RR=1 or MD=0)
□ Stima aggregata con CI al 95%
□ Heterogeneity statistics (I², τ², Q)
□ Test for overall effect (Z, p-value)
I numeri Vioxx che hanno cambiato tutto
2004 | LA SPERIMENTAZIONE APPROVATA E IL RITIRO DAL MERCATO
Per anni, il forest plot per la sicurezza cardiovascolare del Vioxx (rofecoxib) ha mostrato uno schema rassicurante. Le stime puntuali di studi precedenti si raggruppavano attorno alla linea di assenza di effetti. Il diamante suggeriva che il farmaco era sicuro.
Poi è arrivato lo studio APPROVe. Quando i suoi dati sono stati aggiunti al diagramma della foresta, l'immagine è cambiata radicalmente. Il grande quadrato di APPROVe ha trascinato definitivamente il diamante raggruppato verso il danno. L'immagine era inconfondibile.
Quell'appezzamento di bosco ended Vioxx. Merck ha ritirato il farmaco volontariamente. Il successivo contenzioso costò alla società $4.85 billion in settlements. Migliaia di pazienti avevano subito attacchi di cuore mentre i precedenti studi più piccoli mostravano risultati ambigui.
Poi è arrivato lo studio APPROVe. Quando i suoi dati sono stati aggiunti al diagramma della foresta, l'immagine è cambiata radicalmente. Il grande quadrato di APPROVe ha trascinato definitivamente il diamante raggruppato verso il danno. L'immagine era inconfondibile.
Quell'appezzamento di bosco ended Vioxx. Merck ha ritirato il farmaco volontariamente. Il successivo contenzioso costò alla società $4.85 billion in settlements. Migliaia di pazienti avevano subito attacchi di cuore mentre i precedenti studi più piccoli mostravano risultati ambigui.
THE LESSON
Uno studio ben condotto e adeguatamente alimentato può spostare l'intera stima complessiva. I diagrammi forestali raccontano la storia di come le prove si accumulano e, talvolta, di come invertono il corso.
Il diagramma forestale fuorviante
Stai progettando un diagramma forestale per la tua meta-analisi. La scala dell'asse e l'ordine dello studio possono modificare l'impressione visiva. Come si procede?
PERCORSO A: Design for Impatto
Use a compressed axis scale to make effect sizes look larger; order studies to build a visual narrative
↓
I lettori si formano impressioni esagerate sulla portata dell'effetto; la trama diventa uno strumento di difesa piuttosto che una visualizzazione di dati
RISULTATO: distorsione visiva delle prove
PERCORSO B: progettazione per chiarezza
Use standard axis scaling; order studies by year or alphabetically; include all standard elements (weights, CIs, I²)
↓
I lettori possono esprimere i propri giudizi; la trama funge da visualizzazione trasparente dei dati
OUTCOME: Honest visual communication
"The forest plot hides nothing.
Every study visible. Every weight transparent.
Lascia che il lettore veda ciò che hai visto tu—
e giudicare da soli."
Every study visible. Every weight transparent.
Lascia che il lettore veda ciò che hai visto tu—
e giudicare da soli."
Una stima aggregata non è sufficiente.
Devi anche dire al lettore:
How confident should they be in this result?
Devi anche dire al lettore:
How confident should they be in this result?
GRADE Certainty Assessment
Valutazione delle prove
Start: RCTs = High, Obs = Low
↓
Reasons to Downgrade?
Risk of bias-1 or -2
Inconsistency-1 or -2
Indirectness-1 or -2
Imprecision-1 or -2
Pub. bias-1 or -2
GRADE Certainty Levels
⊕⊕⊕⊕
HIGH
Very confident
Very confident
⊕⊕⊕◯
MODERATE
Likely close
Likely close
⊕⊕◯◯
LOW
May differ
May differ
⊕◯◯◯
VERY LOW
Uncertain
Uncertain
What happens when a GRADE assessment of "low certainty" collides with a public health emergency?
REAL DATA
La revisione Cochrane del 2023 sugli interventi fisici per ridurre la diffusione del virus respiratorio (Jefferson et al.) ha rilevato che le prove a favore delle maschere in contesti comunitari erano low certainty per GRADO, con ampi intervalli di confidenza. La revisione è stata ampiamente riportata come una prova che "le maschere non funzionano", anche se gli autori hanno affermato che le prove erano insufficienti per trarre conclusioni definitive in entrambe le direzioni.
La recensione della maschera Cochrane: 2023
La tua revisione sistematica su un argomento politicamente sensibile riceve una valutazione GRADE di "bassa certezza". Come lo comunichi?
PERCORSO A: ammorbidire il rating
Minimizzare la valutazione GRADE per evitare controversie politiche; enfatizzare la stima puntuale rispetto al livello di certezza
↓
La revisione perde credibilità metodologica; GRADE diventa visto come facoltativo piuttosto che rigoroso
OUTCOME: Compromised methodology
PATH B: Report Faithfully
Riporta onestamente la valutazione GRADE; spiegare chiaramente cosa significa (e non significa) “bassa certezza”; distinguere l’assenza di evidenza dall’evidenza di assenza
↓
Il pubblico può fraintendere, ma i dati scientifici sono accurati; le future direzioni della ricerca diventano chiare
OUTCOME: Methodological integrity
THE REVELATION
"Bassa certezza" non significa "nessun effetto". Le valutazioni GRADE devono essere riportate fedelmente, con una chiara spiegazione di cosa significano, soprattutto per argomenti politicamente carichi.
"La dimensione dell'effetto è il cosa.
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
GRADE certainty is the how sure.
Report both—or the reader cannot judge
how much to trust your conclusion."
La discussione è dove tu interpret.
Non girare. Per non esagerare.
But to explain what your findings mean—
e cosa fanno not mean.
Non girare. Per non esagerare.
But to explain what your findings mean—
e cosa fanno not mean.
Discussion Structure
1
Summary of Findings
Riformulare i principali risultati con valutazione di certezza
2
Confronto con la letteratura esistente
How do your findings relate to prior reviews?
3
Punti di forza e limiti
Sia della revisione che degli studi inclusi
4
Implicazioni per la pratica
What should clinicians/policymakers do?
5
Implicazioni per la ricerca
Quali studi sono ancora necessari?
Common Mistakes in Discussion
What NOT to Do
✗ Conclusioni esagerate oltre i dati
✗ Ignoring limitations
✗ Treating statistical significance as clinical importance
✗ Failing to address heterogeneity
✗ Fare affermazioni causali da dati osservativi
E se il documento metodologico più citato mai pubblicato avvertisse che la maggior parte dei risultati della ricerca sono falsi?
REAL DATA
L'articolo di John Ioannidis del 2005 su PLoS Medicine, "Perché la maggior parte dei risultati delle ricerche pubblicate sono falsi", è stato citato 10,000 times. Utilizzando la modellistica matematica, ha sostenuto che la probabilità che un risultato di una ricerca sia vero dipende dalla potenza dello studio, dai pregiudizi e dal numero di relazioni testate. Per molti progetti di ricerca, la probabilità post-studio di un risultato vero può essere inferiore al 50%.
Il risveglio di Ioannidi: 2005
La tua meta-analisi ha un risultato statisticamente significativo, ma gli studi inclusi sono piccoli, eterogenei e molti presentano un alto rischio di bias. Come scrivi la discussione?
PERCORSO A: sopravvalutare il risultato
Guidare con la stima aggregata significativa; ridurre al minimo le limitazioni; formulare forti raccomandazioni pratiche
↓
La constatazione entra prematuramente nelle linee guida; quando la replica fallisce, la colpa viene data all’intero metodo di meta-analisi
OUTCOME: Eroded trust in evidence synthesis
PERCORSO B: Calibrare l'interpretazione
Discutere il risultato nel contesto della qualità dello studio, dell'eterogeneità e della certezza; abbinare la forza della raccomandazione alla forza dell’evidenza
↓
Readers understand the degree of confidence warranted; future research priorities become clear
OUTCOME: Proportionate, trustworthy conclusions
THE REVELATION
La Discussione deve calibrare l’entusiasmo sulla qualità dell’evidenza. Affermazioni forti basate su prove deboli danneggiano la credibilità dell’intero campo.
"La discussione non è a scopo di advocacy.
È per un'interpretazione onesta.
Di' quello che mostrano le prove.
Admit what it does not show."
È per un'interpretazione onesta.
Di' quello che mostrano le prove.
Admit what it does not show."
Non hai sentito parlare del documento di Wakefield,
where conflicts of interest were hidden,
dove i dati sono stati fabbricati,
e milioni di bambini se ne andarono unvaccinated?
where conflicts of interest were hidden,
dove i dati sono stati fabbricati,
e milioni di bambini se ne andarono unvaccinated?
La frode MPR-autismo
THE LANCET, 1998-2010
Andrew Wakefield published a study linking MMR vaccine to autism.
Non ha rivelato di esserlo paid £435,643 by lawyers seeking to sue vaccine manufacturers.
Non ha rivelato di averlo fatto filed a patent for a competing single-dose measles vaccine.
Lo studio è stato infine ritirato. Wakefield è stato cancellato. Ma il danno era fatto: vaccination rates plummetede si ripresentarono epidemie di morbillo.
Non ha rivelato di esserlo paid £435,643 by lawyers seeking to sue vaccine manufacturers.
Non ha rivelato di averlo fatto filed a patent for a competing single-dose measles vaccine.
Lo studio è stato infine ritirato. Wakefield è stato cancellato. Ma il danno era fatto: vaccination rates plummetede si ripresentarono epidemie di morbillo.
Deer B. BMJ. 2011;342:c5347
Transparency Checklist
What to Declare
□ Protocol registration number
□ Funding sources (all)
□ Ruolo del finanziatore nella revisione
□ Conflicts of interest (all authors)
□ Dichiarazione sulla disponibilità dei dati
□ Deviazioni dal protocollo (con motivazioni)
□ Author contributions
L'iniziativa AllTrials
2013-PRESENT | A GRASSROOTS TRANSPARENCY MOVEMENT
Nel 2013, Ben Goldacre e colleghi della Cochrane Collaboration hanno lanciato AllTrials dopo aver scoperto una verità inquietante: approximately half of all clinical trials were never published. Gli studi mancanti erano in modo sproporzionato quelli con risultati negativi o scomodi.
La campagna si è riunita oltre 90.000 firmatari individuali e oltre 700 organizzazioni. Ha richiesto che tutte le sperimentazioni passate e future fossero registrate, con metodi completi e risultati riportati.
L’impatto è stato trasformativo. IL L’UE ora richiede la registrazione degli studi e la rendicontazione dei risultati. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
La campagna si è riunita oltre 90.000 firmatari individuali e oltre 700 organizzazioni. Ha richiesto che tutte le sperimentazioni passate e future fossero registrate, con metodi completi e risultati riportati.
L’impatto è stato trasformativo. IL L’UE ora richiede la registrazione degli studi e la rendicontazione dei risultati. The FDA strengthened its own requirements. Journals began demanding prospective registration. What started as advocacy became global policy.
THE LESSON
L'accesso ai dati impegnativo funziona. Un movimento di base ha cambiato le normative internazionali, dimostrando che i sostenitori della trasparenza possono rimodellare l’ecosistema delle prove.
La cascata di prestampa dell'idrossiclorochina: 2020
È l’inizio del 2020. Il tuo team ha i risultati preliminari della meta-analisi su un trattamento COVID-19. La prestampa Gautret (non randomizzata, 42 pazienti) è già diventata virale. Lo scandalo Surgisphere presto mostrerà dati falsificati nelle principali riviste. Hai fretta di prestampare o aspetti?
PERCORSO A: Prestampa per Speed
Pubblica immediatamente su medRxiv per influenzare la politica; saltare la revisione tra pari per urgenza
↓
Se gli studi inclusi contengono dati falsificati o metodi imperfetti, la tua meta-analisi amplifica gli errori; la ritrattazione danneggia la credibilità
OUTCOME: Accelerated misinformation
PATH B: Verify, Then Publish
Valutare rigorosamente la qualità dello studio; contattare gli autori per i dati grezzi; sottoporsi a una rapida revisione tra pari prima della pubblicazione
↓
Pubblicazione più lenta, ma l'analisi è solida; le conclusioni sopravvivono quando gli studi imperfetti vengono ritirati
RISULTATO: prove durevoli e affidabili
"La trasparenza non è un optional.
Dichiara il tuo finanziamento. Dichiara i tuoi conflitti.
The reader has a right to know
chi ha pagato per questo lavoro e perché."
Dichiara il tuo finanziamento. Dichiara i tuoi conflitti.
The reader has a right to know
chi ha pagato per questo lavoro e perché."
Prima di inviare
La lista di controllo finale
PRISMA 2020 Final Check
Have You...
□ Completed all 27 PRISMA checklist items?
□ Included the PRISMA flow diagram?
□ Provided full search strategy in appendix?
□ Elencati studi esclusi con motivazioni?
□ Rischio di bias segnalato per ogni studio?
□ Provided forest plot(s)?
□ bias di pubblicazione valutato (se ≥10 studi)?
□ Certezza graduale dell’evidenza (GRADE)?
□ Declared all conflicts of interest?
□ Cited protocol registration?
Supplementary Materials
WHAT TO INCLUDE
• Full search strategies per tutti i database
• Elenco degli studi esclusi with reasons
• Moduli di estrazione dati (vuoto e completato)
• Risk of bias details per ogni studio
• Additional forest plots (subgroups, sensitivity)
• Funnel plot e test statistici
• Profilo delle prove GRADE tables
• Elenco degli studi esclusi with reasons
• Moduli di estrazione dati (vuoto e completato)
• Risk of bias details per ogni studio
• Additional forest plots (subgroups, sensitivity)
• Funnel plot e test statistici
• Profilo delle prove GRADE tables
Per quanto tempo un articolo fraudolento può sopravvivere alla peer review, al controllo editoriale e alla sfida pubblica?
REAL DATA
Andrew Wakefield's 1998 Lancet paper linking MMR vaccine to autism took 12 years essere completamente retratto (2010). Durante quel periodo, il giornalista Brian Deer ha scoperto conflitti finanziari, violazioni etiche e manipolazione dei dati. Numerosi studi di grandi dimensioni (inclusa una coorte danese di over 650,000 children) found no association, yet the original paper's influence persisted.
La ritrazione di Wakefield: 1998-2010
Durante la peer review, un revisore solleva serie preoccupazioni su uno studio incluso nella tua meta-analisi, citando incongruenze nei dati. Come rispondi?
PERCORSO A: deviare la preoccupazione
Respingere la preoccupazione del revisore come eccessivamente cauta; mantenere lo studio incluso senza ulteriori indagini
↓
Se lo studio viene successivamente ritirato, la tua meta-analisi è contaminata; potrebbe essere necessario ritirare la conclusione
RISULTATO: sintesi delle prove contaminate
PATH B: Investigate Thoroughly
Contattare gli autori dello studio per i dati grezzi; eseguire analisi di sensibilità escludendo lo studio in questione; rivelare la preoccupazione in modo trasparente
↓
La tua meta-analisi è solida per l'inclusione o l'esclusione dello studio sospetto; l'analisi di sensitività è documentata
RISULTATO: revisione resiliente e autocorrettiva
THE REVELATION
La peer review è la tua ultima difesa prima della pubblicazione. Affronta le preoccupazioni dei revisori come opportunità per rafforzare il tuo lavoro, non come ostacoli da superare.
"Avete raccolto le prove.
L'hai soppesato abbastanza.
Lo hai scritto in modo trasparente.
Ora invia il tuo lavoro—
e lasciamo che la verità venga trovata, e ritrovata."
L'hai soppesato abbastanza.
Lo hai scritto in modo trasparente.
Ora invia il tuo lavoro—
e lasciamo che la verità venga trovata, e ritrovata."
References
Key Sources
- Page MJ et al. BMJ. 2021;372:n71. [PRISMA 2020]
- Jefferson T et al. Cochrane 2014;4:CD008965. [Tamiflu]
- Turner EH et al. N Engl J Med. 2008;358:252-260. [Antidepressants]
- Boutron I et al. JAMA. 2010;303:2058-2064. [Spin]
- Topol EJ. N Engl J Med. 2004;351:1707-1709. [Vioxx]
- Deer B. BMJ. 2011;342:c5347. [Wakefield]
- Sterne JAC et al. BMJ. 2019;366:l4898. [RoB 2]
- Higgins JPT et al. Cochrane Handbook. 2023.
- Schünemann HJ et al. GRADE Handbook. 2013.
- Ioannidis JPA. PLoS Med. 2005;2:e124. [Why most research is false]
What percentage of antidepressant trials appeared positive in published literature vs. FDA data?
Published 51%, FDA 94%
Published 94%, FDA 51%
Both about 75%
Published 80%, FDA 60%
Qual è lo scopo di registrare un protocollo prima di condurre una revisione sistematica?
To get funding
To claim priority
To prevent outcome switching and data-driven decisions
Per rendere la recensione pubblicabile
Quando NON dovresti raggruppare gli studi in una meta-analisi?
Quando ci sono meno di 10 studi
Quando gli studi sono troppo clinicamente o metodologicamente eterogenei
Quando l'effetto non è statisticamente significativo
Quando gli studi provengono da paesi diversi
✔
Course Complete
"Ora conosci il patto delle prove:
Registrati prima di cercare.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Pool saggiamente o per niente.
Write so that truth may be found,
e ritrovato, da coloro che seguono."
Registrati prima di cercare.
Search comprehensively. Select transparently.
Extract carefully. Assess bias honestly.
Pool saggiamente o per niente.
Write so that truth may be found,
e ritrovato, da coloro che seguono."
I metodi non sono nulla senza gli strumenti per eseguirli.
Quale software eseguirà la tua analisi
from protocol to forest plot?
Quale software eseguirà la tua analisi
from protocol to forest plot?
Software Decision Tree
Scegliere i tuoi strumenti
Meta-Analysis Software
↓
Your Context?
Cochrane Review
RevManFree, official
Academic/Flexible
R metaforFree, powerful
Institution License
Stata metaComprehensive
Point-and-Click
CMAUser-friendly
Il kit di strumenti essenziali
RevMan
Cochrane official
Free download
Free download
R + metafor
Most flexible
Reproducible code
Reproducible code
GRADEpro
Certainty tables
SoF tables
SoF tables
Rayyan
Screening tool
AI-assisted
AI-assisted
REPRODUCIBILITY
Gli strumenti basati su codice (R, Stata) creano reproducible analyses. Condividi il tuo codice in modo che altri possano verificare il tuo lavoro.
R metafor Example
BASIC META-ANALYSIS IN R
library(metafor)
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, Method="REML")
# Forest plot
forest(res, slab=paste(author, year))
# Calculate effect sizes
dat <- escalc(measure="RR", ai=events_tx, bi=noevents_tx,
ci=events_ctrl, di=noevents_ctrl, data=mydata)
# Random effects model
res <- rma(yi, vi, data=dat, Method="REML")
# Forest plot
forest(res, slab=paste(author, year))
Come coordini la scrittura quando una revisione sistematica ha dozzine di autori?
REAL DATA
Lo studio SPRINT (2015) elencato oltre 100 authors da dozzine di istituzioni. Il gruppo di scrittura comprendeva un comitato direttivo, investigatori del sito e statistici. Il coordinamento dei contributi, la gestione del controllo della versione e la determinazione del credito d'autore richiedevano strutture formali. I criteri ICMJE definiscono la paternità come richiedente un contributo sostanziale, redazione o revisione, approvazione finale e responsabilità.
Team Writing Challenges: Large Collaborative Reviews
Il tuo team di revisione sistematica è composto da 12 membri in 4 paesi. Come gestisci il processo di scrittura?
PATH A: Informal Coordination
Pass drafts via email; resolve authorship at the end; no writing plan or version control
↓
Duplication of effort; authorship disputes at submission; inconsistent voice and formatting; lost contributions
RISULTATO: ritardi e conflitti
PATH B: Structured Process
Assegna i lead della sezione in anticipo; utilizzare piattaforme condivise con controllo della versione; concordare i criteri ICMJE e l'ordine di paternità all'inizio
↓
Responsabilità chiara; output coerente; contributi trasparenti; paternità decisa prima che i risultati siano noti
OUTCOME: Efficient, fair collaboration
THE REVELATION
Concordare i criteri di paternità e le responsabilità di scrittura prima dell'inizio del lavoro. Le controversie sono più difficili da risolvere una volta che i risultati sono noti.
"Lo strumento non effettua l'analisi.
L'analista lo fa.
Ma scegli il tuo strumento con saggezza:
e condividi il tuo codice in modo che la verità possa essere verificato."
L'analista lo fa.
Ma scegli il tuo strumento con saggezza:
e condividi il tuo codice in modo che la verità possa essere verificato."
Non tutti scrivono meta-analisi.
But every clinician, every policymaker, every patient
must know how to read them.
But every clinician, every policymaker, every patient
must know how to read them.
Il Inversione della terapia ormonale sostitutiva
WOMEN'S HEALTH INITIATIVE, 2002
Per decenni, studi osservazionali hanno suggerito che la terapia ormonale sostitutiva (HRT) proteggeva le donne dalle malattie cardiache.
Le meta-analisi di questi studi hanno mostrato un 35-50% reduction in cardiovascular risk.
Poi lo studio randomizzato WHI ha rivelato la verità: TOS increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data— donne più sane ha scelto la terapia ormonale sostitutiva, non il contrario.
Le meta-analisi di questi studi hanno mostrato un 35-50% reduction in cardiovascular risk.
Poi lo studio randomizzato WHI ha rivelato la verità: TOS increased heart attack risk by 29%.
The observational meta-analyses had pooled confounded data— donne più sane ha scelto la terapia ormonale sostitutiva, non il contrario.
Rossouw JE et al. JAMA. 2002;288:321-333
How to Read a Forest Plot
Consumer's Guide
Leggere la foresta Grafico
↓
Line of no effectRR=1 or MD=0
Diamond positionLeft=benefit, Right=harm
Diamond widthNarrow=precise
↓
Does diamond cross the line?
NoStatistically significant
YesNot significant
Red Flags When Reading
Warning Signs in Published Meta-Analyses
⚠ No protocol registration cited
⚠ Single database searched
⚠ No risk of bias assessment
⚠ High I² but no investigation
⚠ Asymmetric funnel plot ignored
⚠ Finanziamenti dell'industria, nessuna analisi di sensibilità
⚠ Le conclusioni superano le prove
What GRADE Ratings Mean
PER CLINICI E PAZIENTI
HIGH: We are very confident. Future research unlikely to change.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
MODERATE: Probably close to truth. Future research may change estimate.
LOW: Uncertain. Future research likely to change substantially.
VERY LOW: Very uncertain. Any estimate is speculative.
"Leggere la foresta, non solo il diamante.
Cerca il protocollo. Controlla il bias.
Ask: Who funded this? What did they hide?
Il lettore informato è il custode della verità."
Cerca il protocollo. Controlla il bias.
Ask: Who funded this? What did they hide?
Il lettore informato è il custode della verità."
What if you must compare treatments
che non sono mai stati testati testa a testa?
Questo è il regno di network meta-analysis.
che non sono mai stati testati testa a testa?
Questo è il regno di network meta-analysis.
When to Use Network MA
NMA Decision Tree
Multiple Treatments
↓
Direct comparisons available?
All pairs directly compared
Pairwise MAStandard approach
Some indirect only
Network MABorrow strength
↓
Check transitivity assumptionSimilar populations across comparisons
La geometria della rete
VISUALIZZAZIONE DEL EVIDENZA
Nodes = Treatments (size = sample)
Edges = Confronti diretti (larghezza = studi)
Dashed = Solo prove indirette
League Tables
LETTURA RISULTATI NMA
League tables show all pairwise comparisons dalla rete.
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
• Each cell: effect estimate + 95% CI
• Row vs. Column: Treatment A vs. Treatment B
• Green = Favors row treatment
• Red = Favors column treatment
• Rankings (SUCRA/P-score) help identify best options
CRITICAL ASSUMPTION
Transitivity: Se A vs. B e B vs. C vengono confrontati in pazienti simili, possiamo stimare A vs. C indirettamente.
What happens to meta-analyses when a prolific author's entire body of work is retracted?
REAL DATA
Joachim Boldt, a German anesthesiologist, had over 220 papers retracted per la fabbricazione dei dati (scoperto nel 2010-2011). I suoi studi sulle soluzioni colloidali sono stati inclusi in numerose revisioni sistematiche e meta-analisi. Quando arrivarono le ritrattazioni, ogni meta-analisi contenente il suo lavoro dovette essere rivalutata. Alcune conclusioni sono cambiate sostanzialmente quando i suoi dati falsificati sono stati rimossi.
La Boldt Retraction Cascade: 2010-2011
Scopri che uno studio incluso nella meta-analisi pubblicata è stato ritirato per la fabbricazione di dati. Cosa fai?
PATH A: Hope No One Notices
Ignora la ritrazione; la meta-analisi è già pubblicata e lo studio ritirato era piccolo
↓
Altri citano la tua meta-analisi; i dati fabbricati si propagano attraverso citazioni secondarie; le decisioni sulla cura del paziente si basano su prove contaminate
OUTCOME: Cascading harm from inaction
PATH B: Self-Correct Publicly
Pubblicare una correzione o un'analisi aggiornata escludendo lo studio ritirato; avvisare il giornale; indicare se le conclusioni cambiano
↓
La documentazione scientifica è corretta; i lettori vedono l'analisi aggiornata; la tua reputazione di integrità sarà migliorata
OUTCOME: Scientific self-correction
THE REVELATION
L'integrità della sintesi delle prove dipende dalla vigilanza continua. Quando gli studi inclusi vengono ritirati, il dovere etico è quello di aggiornare e correggere, non di rimanere in silenzio.
"When treatments have never met,
la rete costruisce un ponte di prove.
But the bridge rests on transitivity—
verificare che le popolazioni siano comparabili."
la rete costruisce un ponte di prove.
But the bridge rests on transitivity—
verificare che le popolazioni siano comparabili."
Non hai visto l'intelligenza artificiale che ha predetto il cancro
con una precisione del 99% nel set di addestramento—
e ha fallito catastroficamente
quando utilizzato nel real world?
con una precisione del 99% nel set di addestramento—
e ha fallito catastroficamente
quando utilizzato nel real world?
Il fallimento dell'algoritmo per la sepsi
EPIC SEPSIS MODEL, 2021
Epic's sepsis prediction algorithm was deployed in hundreds of hospitals.
Internal validation showed excellent performance.
Ma uno studio indipendente presso la Michigan Medicine ha scoperto che il modello missed 67% of sepsis cases and generated excessive false alarms.
L'algoritmo era stato validato sulla stessa popolazione è stato addestrato su— una ricetta per overfitting e fallimento.
Internal validation showed excellent performance.
Ma uno studio indipendente presso la Michigan Medicine ha scoperto che il modello missed 67% of sepsis cases and generated excessive false alarms.
L'algoritmo era stato validato sulla stessa popolazione è stato addestrato su— una ricetta per overfitting e fallimento.
Wong A et al. JAMA Intern Med. 2021;181:1065-1070
AI Validation Decision Tree
Livelli di evidenza per AI/ML
AI Prediction Model
↓
Validation Level?
Internal onlyStessa suddivisione dei dati
HIGH RISK
TemporalDifferent time
MODERATE
ExternalDifferent site
BETTER
Impact RCTPatient outcomes
BEST
PROBAST & TRIPOD
PROBAST
Prediction model
Risk of Bias
Risk of Bias
TRIPOD
Reporting
guideline
guideline
TRIPOD-AI
AI-specific
extension
extension
CALIBRATION VS. DISCRIMINATION
AUC/c-statistic: Can the model rank patients? (discrimination)
Calibration: Sono probabilità previste accurato?
A model can have good AUC but poor calibration—and harm patients.
Calibration: Sono probabilità previste accurato?
A model can have good AUC but poor calibration—and harm patients.
"L'algoritmo ha imparato dai dati,
e i dati erano distorti.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
e i dati erano distorti.
It validated on itself,
and called its reflection truth.
External validation is not optional—it is survival."
La meta-analisi parla in numeri.
Ma il paziente sente paure e speranze.
Come colmerai il gap?
Ma il paziente sente paure e speranze.
Come colmerai il gap?
Translating Numbers to Meaning
Communication Decision Tree
Meta-Analysis Result
↓
Effect Size Type?
Relative (RR, OR)
Convert to NNTMore intuitive
Absolute (RD)
Use directly"X fewer per 1000"
Continuous (MD)
ContextualizeMinimal important diff
Script per i pazienti
EXPLAINING A POSITIVE RESULT
"La ricerca ha riunito 15 studi con 8.000 pazienti.
Ha scoperto che questo trattamento riduce il rischio di [esito] di circa il 30%.
In termini pratici: se trattiamo 100 persone come te, circa 5 in meno avranno [risultato] rispetto a nessun trattamento.
We're moderately confident in this—future research might change it slightly.
Che domande hai a riguardo?"
Ha scoperto che questo trattamento riduce il rischio di [esito] di circa il 30%.
In termini pratici: se trattiamo 100 persone come te, circa 5 in meno avranno [risultato] rispetto a nessun trattamento.
We're moderately confident in this—future research might change it slightly.
Che domande hai a riguardo?"
Questions Patients Should Ask
Empowering Patients
1 "Quanti studi e pazienti sono stati inclusi?"
2 "Quanto sono fiduciosi i ricercatori in questo risultato?"
3 "Quali sono le benefici E danni?"
4 "Persone come me sono state incluse in questi studi?"
5 "Chi ha finanziato questa ricerca?"
6 "Cosa significa questo per la mia situazione specifica?"
Can a spreadsheet error in an academic paper directly shape the economic policy of entire nations?
REAL DATA
L'articolo di Reinhart e Rogoff del 2010 affermava che i paesi con pubblico debito eccedente 90% of GDP registrato una crescita drammaticamente inferiore. Questa scoperta è stata ampiamente citata per giustificare le politiche di austerità in tutta Europa. Nel 2013 Herndon, Ash e Pollin scoprirono un errore nel foglio di calcolo: diversi paesi erano stati esclusi accidentalmente dai calcoli. Dopo la correzione, la netta soglia del 90% è scomparsa.
L'impatto della politica di Reinhart-Rogoff: 2010-2013
I risultati della vostra meta-analisi hanno chiare implicazioni politiche. I politici sono ansiosi di ricevere un messaggio semplice. Come si scrive il policy brief?
PERCORSO A: Semplificare eccessivamente per l'impatto
Fornire una soglia pulita o un numero di titolo; omettere avvertenze e intervalli di incertezza per la massima influenza sulla politica
↓
La politica è adottata sulla base di risultati semplificati; quando emergono sfumature o vengono rilevati errori, sia la ricerca che la politica risultante vengono screditate
OUTCOME: Policy built on a fragile foundation
PERCORSO B: Comunicare con integrità
Presentare le prove con adeguata incertezza; distinguere i risultati forti da quelli suggestivi; fornire sintesi attuabili che preservino le sfumature
↓
I politici comprendono cosa supporta l'evidenza e dove rimane l'incertezza; le decisioni vengono prese con la dovuta cautela
OUTCOME: Durable, evidence-informed policy
THE REVELATION
Policy briefs must communicate uncertainty honestly. Oversimplified findings may gain influence quickly but collapse when scrutinized, damaging trust in research-policy relationships.
"La meta-analisi parla in numeri.
Il paziente sente le paure e speranze.
Il tuo lavoro è essere il traduttore:
fedele all'evidenza, compassionevole verso il persona."
Il paziente sente le paure e speranze.
Il tuo lavoro è essere il traduttore:
fedele all'evidenza, compassionevole verso il persona."
Una revisione sistematica cattura le prove in un momento in tempo.
But science does not stop.
Come conserviamo le prove alive?
But science does not stop.
Come conserviamo le prove alive?
Living Systematic Reviews
COVID-19 PANDEMIC, 2020-2023
Durante la pandemia, le prove sono emerse più velocemente di quanto le revisioni tradizionali potessero sintetizzare.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
Il consorzio COVID-NMA ha prodotto revisioni viventi su trattamenti, vaccini e diagnostica, aggiornando le raccomandazioni real-time come prove evoluto.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Living systematic reviews were continuously updated as new trials reported— sometimes within days of publication.
Il consorzio COVID-NMA ha prodotto revisioni viventi su trattamenti, vaccini e diagnostica, aggiornando le raccomandazioni real-time come prove evoluto.
Hydroxychloroquine went from "promising" to "ineffective" within months.
Defined by Cochrane: continual updates at ≤monthly intervals
When to Use Living Reviews
Albero decisionale della revisione vivente
Decisione sul tipo di revisione
↓
Le prove sono in rapida evoluzione?
Yes + High Priority
Living ReviewContinuous updates
No / Stable
Standard ReviewUpdate every 2-5 years
↓
Resource intensiveRequires ongoing funding
Il futuro della sintesi delle prove
Automation
ML-assisted
screening
screening
IPD-MA
Individual patient
data pooling
data pooling
Real-World
EHR-based
evidence
evidence
Adaptive
Platform trials
+ MA
+ MA
"Il patto delle prove non è statico.
Cresce con ogni nuovo studio, ogni nuova domanda.
Mantieni vive le tue recensioni.
Mantieni i tuoi metodi trasparenti.
Mantieni la verità al centro di tutto ciò che fai."
Cresce con ogni nuovo studio, ogni nuova domanda.
Mantieni vive le tue recensioni.
Mantieni i tuoi metodi trasparenti.
Mantieni la verità al centro di tutto ciò che fai."
1 / 4