TruthCert > The Warning
==================== MODULO 1: L'AVVERTIMENTO ====================
Diapositiva 1.2: Il CAST Storia
Diapositiva 1.3: Il bilancio delle vittime
Diapositiva 1.4: Il ritornello
Diapositiva 1.5: La domanda
==================== MODULO 2: LE TERRE ====================
Diapositiva 3.5: I quattro gradi
Diapositiva 3.7: Il Proibito
==================== MODULO 4: IL METODO ====================
Diapositiva 5.2: La crisi
Diapositiva 5.3: Il seme
Diapositiva 5.5: Il ritornello
==================== MODULO 6: PER I DECISIONI ====================
Slide 6.2: La matrice decisionale
Diapositiva 6.4: Il riepilogo di una pagina
==================== MODULO 7: TUTORIAL PRATICO ====================
Diapositiva 7.2: Cosa ti serve
Diapositiva 7.3: I passaggi
Diapositiva 7.4: Fonti di dati
==================== MODULO 8: SOSTENIBILITÀ E LIMITI ====================
Diapositiva 8.3: L'onesta verità
==================== MODULO 9: RIFERIMENTI E QUIZ ====================
==================== MODULO 10: STORIE REALI ====================
Non hai sentito la storia dei medici
who, certain of their cure,
killed more patients than the disease itself?
who, certain of their cure,
killed more patients than the disease itself?
L'anno era 1989
UNITED STATES
Ogni cardiologo in America conosceva la logica: i battiti cardiaci irregolari dopo un attacco di cuore erano pericolosi. I farmaci in grado di sopprimere queste aritmie avrebbero sicuramente salvato vite umane.
Il ragionamento era valido. Il meccanismo era chiaro. I farmaci sono stati prescritti a 200,000 Americans every year.
Nessuno ha preteso prove. La logica era sufficiente.
Il ragionamento era valido. Il meccanismo era chiaro. I farmaci sono stati prescritti a 200,000 Americans every year.
Nessuno ha preteso prove. La logica era sufficiente.
Echt DS et al. NEJM 1991; Moore TJ. Deadly Medicine, 1995
E poi arrivò il processo chiamato CAST...
50,000
Americans killed by "the cure" each year
IN SIMPLE WORDS
I medici diedero medicine che made sense but had never been tested properly. La medicina ha ucciso più persone della guerra del Vietnam. Ogni anno.
"E i numeri erano nudi—
without witness, without proof, without certification.
E le persone morirono."
without witness, without proof, without certification.
E le persone morirono."
Ecco perché TruthCert esiste.
Do you think such catastrophes happen only in America?
Consider Africa.
Consider Africa.
L'onere delle prove prese in prestito
90%
of clinical trials
outside Africa
outside Africa
13%
of global disease
burden in Africa
burden in Africa
<2%
of global health
research funding
research funding
IN SIMPLE WORDS
Africa has many sick people but pochissimi studi about how to treat them.
Doctors must use treatments tested on people in other countries.
But what works in London may not work in Lagos.
Diapositiva 2.1: Le Tredici
Diapositiva 2.2: I Paesi
Diapositiva 2.4: Le sette afflizioni
Diapositiva 2.5: Il ritornello
==================== MODULO 3: LA SOLUZIONE ====================
Non avete visto le tredici nazioni
where mothers die giving life,
where children fall to fever,
where le decisioni vengono prese nell'oscurità?
where mothers die giving life,
where children fall to fever,
where le decisioni vengono prese nell'oscurità?
Thirteen Nations
Maternal deaths per 100,000 live births (WHO 2020)
NGA
Nigeria
917
GHA
Ghana
308
KEN
Kenya
342
TZA
Tanzania
524
UGA
Uganda
284
ZAF
South Africa
127
SLE
Sierra Leone
1,120
LBR
Liberia
652
CIV
Cote d'Ivoire
617
BEN
Benin
523
BFA
Burkina Faso
320
GMB
The Gambia
458
SWZ
Eswatini
240
Compare: UK = 10, USA = 21, Sweden = 4
SIERRA LEONE
In Freetown, a woman giving birth is 112 times more likely to die
than a woman in London.
Il ministro della sanità deve decidere: quali interventi meritano il budget limitato? Quali trattamenti salveranno la maggior parte delle madri?
Ha studi dall'Europa. Ha modelle dall'America.
But does she have proof that applies to her people?
Il ministro della sanità deve decidere: quali interventi meritano il budget limitato? Quali trattamenti salveranno la maggior parte delle madri?
Ha studi dall'Europa. Ha modelle dall'America.
But does she have proof that applies to her people?
WHO Maternal Mortality Report, 2023
Seven Disease Groups
HIV
25.6M in Africa
MAL
95% of deaths
MCH
Mother & Child
NCD
Chronic Disease
CVD
Heart Disease
NTD
Tropical Disease
HSP
Health Systems
13 countries x 7 disease groups = 91 configuration packs
"E presero le prove da lontano,
without testing if it fit their land,
without certifying if it fit their people.
E i numeri erano nudo."
without testing if it fit their land,
without certifying if it fit their people.
E i numeri erano nudo."
But what if every number had to show its face?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
TruthCert
Vestire i numeri nudi
🔒
Il Nucleo Regola
No number shall be shown to decision-makers
unless it carries proof of its origin,
proof of its transformation,
e prova della sua validità per questo contesto.
IN SIMPLE WORDS
Ogni numero deve rispondere: "Da dove vieni?" and "Posso fidarmi di te qui?"
What Is Proof?
1
Evidence Locator
Lo studio, il database o la fonte esatta da dove proviene questo numero
2
Content Hash
Un'impronta digitale che dimostra che i dati non sono stati modificati
3
Transformation Trail
Ogni passaggio del calcolo, dai dati grezzi al numero finale
4
Validation Status
I controlli automatici sono stati superati? Quali erano gli avvertimenti?
What TruthCert Output Looks Like
TRUTHCERT CERTIFIED CLAIM
claim: "Misoprostol reduces PPH by 24%"
grade: STABLE
context: NGA (Nigeria)
african_studies: k = 6 # meets GO threshold
effect_size: RR 0.76 [95% CI: 0.68-0.84]
evidence_locator: doi:10.1016/S0140-6736(10)60348-7
hash: sha256:a3f2c9...
cost_per_dose: NGN 450 # local currency
icer: NGN 12,400 per DALY averted
validated: PASS # all checks passed
Four Grades of Certainty
STABLE
Prove forti. Procedi con sicurezza.
MODERATE
Buone prove con lacune. Incertezza dello stato.
EXPOSED
Structural uncertainty. Scenarios only.
UNCERTAIN
Refuse false precision. Bounds only.
Come vengono assegnati i voti
Grade
African Studies (k)
Cosa puoi fare
STABLE
k >= 4 con bassa eterogeneità (I² < 50%)
Full HTA, PSA, VOI, point estimates
MODERATE
k >= 4 con alta eterogeneità, OPPURE k = 2-3
Full HTA with widened CIs, emphasize uncertainty
EXPOSED
k = 1, OR significant transportability concerns
Scenario analysis only, no point estimates
UNCERTAIN
k = 0, OR prove dalla memoria/non verificate
Bounds only, worst-case, value-of-research
What Is Forbidden
MEMORY-LEAK = BLOCK
Se qualcuno dice "Ricordo che la statistica era circa il 30%"—
that cannot be certified.
La memoria non è una prova. Il ricordo non è una prova.
that cannot be certified.
La memoria non è una prova. Il ricordo non è una prova.
IN SIMPLE WORDS
Non puoi dire "I think I heard..." or "Someone told me..."
Devi mostrare exactly where da dove viene il numero.
Diapositiva 4.1: La questione del valore
Diapositiva 4.3: La trappola del PIL
Diapositiva 4.4: Il modo migliore
Diapositiva 4.6: Il ritornello
==================== MODULO 5: LA DISCIPLINA ====================
When a government has only $50 per person per year for health,
how do you decide which treatments to fund?
how do you decide which treatments to fund?
Health Technology Assessment
LA DOMANDA FONDAMENTALE
For every Naira, Cedi, or Shilling spent,
how much health ci guadagniamo? E cos'altro could we have done con quei soldi?
La trappola della soglia
UN AVVISO DALLA STORIA
For years, economists said: "Cost-effective if it costs less than 3x GDP per capita."
Secondo questa logica, un trattamento da 3.000 dollari “varrebbe la pena” in America (PIL 76.000 dollari) ma “non ne varrebbe la pena” in Sierra Leone (PIL 500 dollari).
Lo stesso trattamento. Lo stesso vantaggio. Verdetti diversi in base a dove sei nato.
Secondo questa logica, un trattamento da 3.000 dollari “varrebbe la pena” in America (PIL 76.000 dollari) ma “non ne varrebbe la pena” in Sierra Leone (PIL 500 dollari).
Lo stesso trattamento. Lo stesso vantaggio. Verdetti diversi in base a dove sei nato.
Woods B et al. Lancet Global Health 2016; Revill P et al. Health Policy Plan 2018
A Better Way
A
Affordability Analysis
Can the health system actually pay? What else gets cut?
N
Net Health Benefit
Health gained minus health lost by diverting resources
V
Value of Information
Is it worth doing more research before deciding?
Local Currency. Always.
NGN
Nigerian Naira
GHS
Ghana Cedi
KES
Kenyan Shilling
XOF
CFA Franc
PERCHÉ QUESTO È IMPORTANTE
A minister in Accra budgets in Cedis.
She shouldn't have to convert from dollars.
Her budget, her currency, her decision.
"E quando i numeri erano nascosti prova,
when every claim showed its source,
quando la valuta corrispondeva alla terra—
then the decision-makers could see clearly."
when every claim showed its source,
quando la valuta corrispondeva alla terra—
then the decision-makers could see clearly."
In 2012, scientists at Amgen tried to reproduce
53 punto di riferimento del cancro studi.
How many could they replicate?
53 punto di riferimento del cancro studi.
How many could they replicate?
6
Only 6 of 53 landmark studies could be reproduced.
IN SIMPLE WORDS
L'89% degli studi "rivoluzionari" erano sbagliati or couldn't be repeated.
Treatments given to patients. Based on findings that failed.
Begley CG & Ellis LM. Nature 2012;483:531-533
La disciplina del Seme
THE REQUIREMENT
Ogni analisi TruthCert deve essere exactly reproducible.
An analyst in Nairobi and an analyst in Geneva must get identical results.
786888
Master Seed
Fixed
All Random Processes
Logged
Every Step
Progettata per la realtà
THE CONSTRAINT
A health economist in Freetown has an ordinary laptop, maybe unreliable internet.
TruthCert must run on what she actually has.
60s
Core Analysis
45s
Uncertainty (5K draws)
Offline
Works Without Internet
"E lo stesso seme fu piantato ad Accra e in Ginevra,
e in entrambi i luoghi cresceva lo stesso frutto.
E chiunque poteva piantare di nuovo il seme,
e raccogliere la stessa verità."
e in entrambi i luoghi cresceva lo stesso frutto.
E chiunque poteva piantare di nuovo il seme,
e raccogliere la stessa verità."
Per Ministri e Direttori
What you need to know in 3 minutes
Cosa significa per te ogni voto
When TruthCert Says... You Should...
STABLE
Procedi con sicurezza. Present point estimates. Defend the numbers.
MODERATE
Procedi con cautela. Show ranges. Say "between X and Y."
EXPOSED
Show scenarios. "If A, then X. If B, then Y." No single number.
UNCERTAIN
Say "we don't know." Request more research before committing.
Quando la politica è in conflitto con Prove
LA SITUAZIONE DIFFICILE
Un programma popolare ha prove INCERTE. Gli elettori lo richiedono?
TruthCert ti offre uno scudo:
"Voglio aiutare la nostra gente. Ma le prove dicono che non sappiamo se funziona qui. Permettimi di finanziare un pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
TruthCert ti offre uno scudo:
"Voglio aiutare la nostra gente. Ma le prove dicono che non sappiamo se funziona qui. Permettimi di finanziare un pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
Il tuo riepilogo di una pagina
1
Numbers must have sources
If staff can't show where a number came from, don't use it
2
Cerca prove sull'Africa
Chiedi "Quanti studi sono stati condotti in Africa?" (è necessario 4+ per sicurezza)
3
Demand local currency
Costs should be in Naira/Cedi/Shilling, not USD
4
Embrace uncertainty
"We don't know" is more honest than a fake precise number
Eseguire il tuo primo Analisi
A practical walkthrough
Che cosa ti serve
Browser
Chrome/Firefox/Edge
Data
Il tuo input YAML
~2 hrs
Training time
NO SPECIAL SOFTWARE NEEDED
TruthCert runs in your browser. No installation. Works offline after first load.
Five Steps
1
Select Country + Disease
Choose from 13 countries, 7 disease groups. Example: NGA + MCH
2
Input locale Dati
Unit costs, target population, budget. In NGN (local currency).
3
Select Evidence
Link agli studi. Il sistema conta automaticamente gli studi africani (k).
4
Run Analysis
Click "Certify." Wait ~60 seconds. System assigns grade.
5
Export Results
Scarica il rapporto in PDF. Tutte le affermazioni hanno localizzatori di prove + hash.
Dove ottenere i dati
1
Unit Costs
WHO-CHOICE database, iDSI costing studies, local MOH price lists
2
Disease Burden
GBD (Global Burden of Disease), DHS surveys, local HMIS
3
Effect Sizes
Cochrane reviews, published meta-analyses, WHO guidelines
4
Budget Data
National health accounts, MOF budget documents, donor reports
Quando le prove africane sono scarse
SE k < 4 (MENO DI 4 STUDI AFRICANI)
TruthCert non ti darà una risposta falsamente sicura. Invece:
1
Pivot to broader group
If "CVD in Ghana" has k=1, try "NCD in West Africa"
2
Utilizzare l'analisi dello scenario
Show best-case, worst-case, and middle scenarios
3
Calculate Value of Information
Would a new local study be worth funding?
Sustainability
How TruthCert survives long-term
📁
Open Source
Code is public. Anyone can run, modify, improve.
🎓
Train Locals
Each country builds own HTA capacity. Not dependent on outsiders.
💻
Offline-First
Works without internet. No cloud subscription needed.
What TruthCert Cannot Do
⚠
Impossibile creare prove. If no studies exist, TruthCert can't invent them.
⚠
Cannot guarantee political acceptance. Le prove sono necessarie ma non sufficienti per un cambiamento delle politiche.
⚠
Cannot replace judgment. It informs decisions, doesn't make them.
⚠
Impossibile correggere i dati errati. Se i costi di input sono errati, i risultati saranno errati.
⚠
Non è possibile tenere conto di implementazione. A cost-effective intervention badly implemented may fail.
"TruthCert does not promise certainty.
It promises onestà sull'incertezza.
E quell'onestà salva vite umane."
It promises onestà sull'incertezza.
E quell'onestà salva vite umane."
References
Fonti chiave citate in questo Corso
- Echt DS, Liebson PR, Mitchell LB, et al. Mortalità e morbilità nei pazienti che ricevono encainide, flecainide o placebo: il CAST. NEJM 1991;324:781-788.
- Moore TJ. Deadly Medicine: Why Tens of Thousands of Heart Patients Died in America's Worst Drug Disaster. Simon & Schuster, 1995.
- Begley CG, Ellis LM. Drug development: Raise standards for preclinical cancer research. Nature 2012;483:531-533.
- Woods B, Revill P, Sculpher M, Claxton K. Soglie di costo-efficacia a livello nazionale: stime iniziali e necessità di ulteriori ricerche. Lancet Global Health 2016;4:e594-e601.
- WHO. Trends in maternal mortality 2000-2020. Geneva: World Health Organization, 2023.
- WHO. World Malaria Report 2022. Geneva: World Health Organization, 2022.
- UNAIDS. Global HIV Statistics 2023. Geneva: UNAIDS, 2023.
- Revill P, Ochalek J, Lomas J, et al. Cost-effectiveness thresholds: guiding health care spending for population health improvement. Health Policy Plan 2018;33:707-716.
Nella storia dei medici che "sapevano" che la loro cura avrebbe funzionato, cosa ha rivelato lo studio CAST?
I farmaci hanno funzionato come previsto
The drugs killed more people than they saved
I farmaci non hanno avuto alcun effetto
Lo studio è stato inconcludente
Quando i numeri sono "nudi", cosa significa questo significa?
They are displayed without formatting
Sono approssimazioni
They have no proof of where they came from
Sono nella valuta sbagliata
A minister receives a TruthCert report marked "EXPOSED." What should she do?
Rifiuta completamente il programma
Procedi come se le prove fossero forti
Present scenarios ("if A then X, if B then Y") and consider a pilot
Aspetta informazioni più internazionali studi
Why does TruthCert insist on local currency?
To make calculations easier
Because ministers budget in local currency and shouldn't have to convert
To avoid exchange rate fluctuations
It's an arbitrary requirement
✔
Course Complete
"E quando i numeri furono vestiti,
when every claim carried its proof,
quando le prove furono testate nella terra dove sarebbero state usate,
allora le madri vivevano,
e i bambini prosperava,
e i decisori potevano dormire la notte."
when every claim carried its proof,
quando le prove furono testate nella terra dove sarebbero state usate,
allora le madri vivevano,
e i bambini prosperava,
e i decisori potevano dormire la notte."
This is TruthCert.
Slide 10.1: Apertura del modulo
Diapositiva 10.3: La storia di Reinhart-Rogoff
Diapositiva 10.7: La storia di Duke Cancer
Diapositiva 10.11: RIAT Storia
Diapositiva 10.15: Storia della crisi della replica
Diapositiva 10.19: Riepilogo del modulo
What if history had given us warnings—
scritto nei fogli di calcolo, nascosto nei dati,
buried in files no one thought to check?
scritto nei fogli di calcolo, nascosto nei dati,
buried in files no one thought to check?
Queste sono storie di certezze, errori e il prezzo della mancata verifica.
What if a spreadsheet error
influenza il destino delle nazioni?
influenza il destino delle nazioni?
Il foglio di calcolo che ha cambiato la storia
I DATI REALI
In 2010, Harvard economists Reinhart and Rogoff published "Growth in a Time of Debt".
Their claim: when a country's debt exceeds 90% of GDP, economic growth collapses.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, ponderazione selettiva dei dati e metodi non convenzionali. La vera relazione era much weaker.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, ponderazione selettiva dei dati e metodi non convenzionali. La vera relazione era much weaker.
Herndon, Ash & Pollin (2014). Cambridge Journal of Economics.
Le due strade
Sei un consulente politico. Reinhart-Rogoff è sulla tua scrivania. Cosa fai?
Percorso A: fidati del risultato
Accetta la soglia del 90% come dato di fatto
↓
Advocate austerity policies
↓
Millions suffer from unnecessary budget cuts, unemployment rises, recovery stalls
Percorso B: richiedi i dati
Richiedi il foglio di calcolo e metodi
↓
Scopri l'errore di Excel
↓
Make evidence-based policy che effettivamente serve ai cittadini
THE REVELATION
L'errore del foglio di calcolo di Excel è il motivo per cui abbiamo bisogno della riproducibilità. Se a Reinhart e Rogoff fosse stato richiesto di condividere il loro foglio di calcolo, l'errore sarebbe stato trovato nel 2010, non nel 2013.
Three years of policy built on a formula that missed five cells.
Three years of policy built on a formula that missed five cells.
THE LESSON
La riproducibilità non è burocrazia. È la differenza tra scoprire un errore prima che le nazioni agiscano di conseguenza e dopo.
What happens when genomic signatures
sono costruiti su sabbia?
sono costruiti su sabbia?
Gli studi basati sulla frode
I DATI REALI
Dr. Anil Potti at Duke University published genomic predictors claiming to match
cancer patients to the chemotherapy most likely to help them.
Gli studi clinici hanno arruolato pazienti. I trattamenti sono stati selezionati in base ai suoi algoritmi. La promessa: personalized medicine that could revolutionize cancer care.
Then investigations revealed: dati fabbricati, risultati impossibili, cifre manipolate. I processi furono interrotti. I pazienti avevano ricevuto cure basate su frodi.
Gli studi clinici hanno arruolato pazienti. I trattamenti sono stati selezionati in base ai suoi algoritmi. La promessa: personalized medicine that could revolutionize cancer care.
Then investigations revealed: dati fabbricati, risultati impossibili, cifre manipolate. I processi furono interrotti. I pazienti avevano ricevuto cure basate su frodi.
Baggerly & Coombes (2009). Annals of Applied Statistics. IOM Report (2012).
Le due strade
Sei un malato di cancro nel 2010. Ti viene offerto un trattamento guidato da Potti. Cosa fai?
Percorso A: fidarsi della pubblicazione
Accept the prestigious journal's findings
↓
Iscriversi allo studio clinico
↓
Receive treatment based on fraud—potentially harmful, definitely not personalized
Percorso B: chiedere informazioni sulla validazione
Richiedere prove di replica indipendente
↓
Discover none exists
↓
Avoid harmful treatment—wait for properly validated approaches
THE REVELATION
Reproducibility is not bureaucracy. It is patient protection.
Lo scandalo Duke ha portato l'Institute of Medicine a raccomandare che omics-based tests require independent validation before clinical use.
La politica è arrivata troppo tardi per i pazienti in quegli studi.
Lo scandalo Duke ha portato l'Institute of Medicine a raccomandare che omics-based tests require independent validation before clinical use.
La politica è arrivata troppo tardi per i pazienti in quegli studi.
THE LESSON
Independent validation saves lives. Un'istituzione prestigiosa, un famoso ricercatore, una rivista importante: nessuno di questi sostituisce il semplice atto di far controllare il lavoro a qualcun altro.
Can dead trials
be brought back to life?
be brought back to life?
La resurrezione delle prove sepolte
I DATI REALI
L'iniziativa RIAT (Restoring Invisible and Abandoned Trials) ha identificato studi clinici con risultati non pubblicati o riportati in modo errato.
Study 329 (paroxetina per la depressione adolescenziale): la pubblicazione originale del 2001 rivendicava il farmaco era "sicuro ed efficace." Per 14 anni, i medici lo hanno prescritto sulla base di questa affermazione.
I ricercatori del RIAT hanno ottenuto i dati completi. La loro rianalisi del 2015 ha rilevato: il farmaco era neither safe nor effective per questa popolazione. Gli autori originali avevano riportato selettivamente i risultati.
Study 329 (paroxetina per la depressione adolescenziale): la pubblicazione originale del 2001 rivendicava il farmaco era "sicuro ed efficace." Per 14 anni, i medici lo hanno prescritto sulla base di questa affermazione.
I ricercatori del RIAT hanno ottenuto i dati completi. La loro rianalisi del 2015 ha rilevato: il farmaco era neither safe nor effective per questa popolazione. Gli autori originali avevano riportato selettivamente i risultati.
Le Noury et al. (2015). BMJ. RIAT Project: riat-support.org
Le due strade
Scopri che uno studio è stato riportato in modo errato 15 anni fa. Il danno potrebbe ancora verificarsi. Cosa fate?
Path A: Accept It Is Too Late
Assume the moment has passed
↓
Lo studio difettoso rimane un documento
↓
Old harms continue—doctors keep prescribing based on false evidence
Percorso B: cercare i dati originali
Obtain raw data through legal/regulatory means
↓
Rianalizzare e pubblicare la correzione
↓
Prevent future harm—update guidelines, change practice
THE REVELATION
It is never too late to correct the record.
RIAT lo ha dimostrato con determinazione e dati accesso, even decades-old deceptions can be overturned.
La verità non scade. Neppure l'obbligo di richiederli.
RIAT lo ha dimostrato con determinazione e dati accesso, even decades-old deceptions can be overturned.
La verità non scade. Neppure l'obbligo di richiederli.
THE LESSON
L'accesso ai dati consente la giustizia. Quando i dati originali vengono tenuti sotto chiave, gli errori e le frodi diventano permanenti. Quando i dati sono accessibili, la documentazione scientifica può sempre essere corretta.
What fraction of published findings
sono effettivamente veri?
sono effettivamente veri?
La crisi della replica
I DATI REALI
The Open Science Collaboration (2015) attempted to replicate
100 psicologia pubblicata studi.
Original studies: il 97% ha riportato risultati statisticamente significativi.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
La "crisi della replicazione" è diventata mainstream. Ciò che pensavamo di sapere - sul priming, sull'esaurimento dell'ego, sull'atteggiamento di potere - era molto meno certo di quanto pubblicato.
Original studies: il 97% ha riportato risultati statisticamente significativi.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
La "crisi della replicazione" è diventata mainstream. Ciò che pensavamo di sapere - sul priming, sull'esaurimento dell'ego, sull'atteggiamento di potere - era molto meno certo di quanto pubblicato.
Open Science Collaboration (2015). Science. doi:10.1126/science.aac4716
The Numbers
97%
Original studies
significant
significant
36%
Replications
significant
significant
50%
Average effect
size drop
size drop
COSA SIGNIFICA
Per ogni 3 scoperte psicologiche di cui leggi, 2 potrebbero non replicarsi. Non a causa di una frode, ma a causa del rumore, della flessibilità nell'analisi e della pressione per pubblicare risultati positivi.
Le due strade
Stai progettando un programma clinico basato sulla ricerca psicologica pubblicata. Cosa fai?
Path A: Trust Original Publications
Build your program on published findings
↓
Invest resources in implementation
↓
Scoprire che le fondamenta sono inaffidabili—program fails to produce expected outcomes
Percorso B: verificare la presenza di repliche
Search for independent replications first
↓
Trovare il tasso di replica del 36%
↓
Richiedere prove più forti—pilot test, require multi-site replication before scale
THE REVELATION
"Published" does not mean "true."
La replica non lo è dubbio—è il metodo scientifico che funziona come previsto.
La crisi non è dovuta al fallimento della scienza. La crisi è stata che abbiamo scoperto quanto raramente controllavamo.
La replica non lo è dubbio—è il metodo scientifico che funziona come previsto.
La crisi non è dovuta al fallimento della scienza. La crisi è stata che abbiamo scoperto quanto raramente controllavamo.
THE LESSON
I singoli studi sono ipotesi, non fatti. Prima di costruire una politica sulla ricerca, chiediti: è stato replicato? Da chi? Con quale risultato?
Four Stories, One Truth
1
Reinhart-Rogoff
Condividi i tuoi dati. Un errore di Excel ha modellato la politica di austerità per anni.
2
Duke Cancer Scandal
Require independent validation. Prestige does not equal truth.
3
RIAT Initiative
It is never too late. Buried evidence can be resurrected.
4
Replication Crisis
Published does not mean true. Replication is how science works.
"E quando non verificarono,
when they trusted without checking,
quando presumevano che i prestigiosi fossero infallibili—
i numeri rimasero nudi,
e la gente pagò il prezzo."
when they trusted without checking,
quando presumevano che i prestigiosi fossero infallibili—
i numeri rimasero nudi,
e la gente pagò il prezzo."
"But when they demanded proof,
when they shared their data,
when they replicated before they trusted—
la verità è emersa,
e il danno è stato prevenuto,
e la conoscenza è progredita."
when they shared their data,
when they replicated before they trusted—
la verità è emersa,
e il danno è stato prevenuto,
e la conoscenza è progredita."
1 / 6