TruthCert > The Warning
==================== MÓDULO 1: LA ADVERTENCIA ====================
Diapositiva 1.2: El CAST Historia
Diapositiva 1.3: El número de muertos
Diapositiva 1.4: El estribillo
Diapositiva 1.5: La pregunta
===================== MÓDULO 2: LAS TIERRAS ====================
Diapositiva 3.5: Los cuatro grados
Diapositiva 3.7: Lo prohibido
===================== MÓDULO 4: EL MÉTODO ====================
Diapositiva 5.2: La crisis
Diapositiva 5.3: La semilla
Diapositiva 5.5: El estribillo
==================== MÓDULO 6: PARA TOMADORES DE DECISIONES ====================
Diapositiva 6.2: La matriz de decisiones
Diapositiva 6.4: El resumen de una página
==================== MÓDULO 7: TUTORIAL PRÁCTICO ====================
Diapositiva 7.2: Lo que necesitas
Diapositiva 7.3: Los pasos
Diapositiva 7.4: Fuentes de datos
==================== MÓDULO 8: SOSTENIBILIDAD Y LÍMITES ====================
Diapositiva 8.3: La verdad honesta
==================== MÓDULO 9: REFERENCIAS Y CUESTIONARIO ====================
==================== MÓDULO 10: HISTORIAS REALES ====================
¿No has escuchado la historia de los médicos?
who, certain of their cure,
killed more patients than the disease itself?
who, certain of their cure,
killed more patients than the disease itself?
Era el año 1989
UNITED STATES
Todos los cardiólogos de Estados Unidos conocían la lógica: los latidos cardíacos irregulares después de un ataque cardíaco eran peligrosos. Los medicamentos que suprimieran estas arritmias seguramente salvarían vidas.
El razonamiento era sólido. El mecanismo estaba claro. Los medicamentos fueron recetados a 200,000 Americans every year.
Nadie exigió pruebas. La lógica era suficiente.
El razonamiento era sólido. El mecanismo estaba claro. Los medicamentos fueron recetados a 200,000 Americans every year.
Nadie exigió pruebas. La lógica era suficiente.
Echt DS et al. NEJM 1991; Moore TJ. Deadly Medicine, 1995
Y luego vino el ensayo llamado CAST...
50,000
Americans killed by "the cure" each year
IN SIMPLE WORDS
Los médicos dieron medicamentos que made sense but had never been tested properly. La medicina mató a más personas que la guerra de Vietnam. Cada año.
"Y los números estaban desnudos—
without witness, without proof, without certification.
Y la gente pereció."
without witness, without proof, without certification.
Y la gente pereció."
Esta es la razón por la que existe TruthCert.
Do you think such catastrophes happen only in America?
Consider Africa.
Consider Africa.
La carga de la evidencia prestada
90%
of clinical trials
outside Africa
outside Africa
13%
of global disease
burden in Africa
burden in Africa
<2%
of global health
research funding
research funding
IN SIMPLE WORDS
Africa has many sick people but muy pocos estudios about how to treat them.
Doctors must use treatments tested on people in other countries.
But what works in London may not work in Lagos.
Diapositiva 2.1: Los Trece
Diapositiva 2.2: Los Países
Diapositiva 2.4: Las Siete Aflicciones
Diapositiva 2.5: El estribillo
==================== MÓDULO 3: LA SOLUCIÓN ====================
¿No has visto las trece naciones
where mothers die giving life,
where children fall to fever,
where las decisiones se toman en la oscuridad?
where mothers die giving life,
where children fall to fever,
where las decisiones se toman en la oscuridad?
Thirteen Nations
Maternal deaths per 100,000 live births (WHO 2020)
NGA
Nigeria
917
GHA
Ghana
308
KEN
Kenya
342
TZA
Tanzania
524
UGA
Uganda
284
ZAF
South Africa
127
SLE
Sierra Leone
1,120
LBR
Liberia
652
CIV
Cote d'Ivoire
617
BEN
Benin
523
BFA
Burkina Faso
320
GMB
The Gambia
458
SWZ
Eswatini
240
Compare: UK = 10, USA = 21, Sweden = 4
SIERRA LEONE
In Freetown, a woman giving birth is 112 times more likely to die
than a woman in London.
El Ministro de Salud debe decidir: ¿Qué intervenciones merecen el presupuesto limitado? ¿Qué tratamientos salvarán a la mayoría de las madres?
Tiene estudios de Europa. Tiene modelos de América.
But does she have proof that applies to her people?
El Ministro de Salud debe decidir: ¿Qué intervenciones merecen el presupuesto limitado? ¿Qué tratamientos salvarán a la mayoría de las madres?
Tiene estudios de Europa. Tiene modelos de América.
But does she have proof that applies to her people?
WHO Maternal Mortality Report, 2023
Seven Disease Groups
HIV
25.6M in Africa
MAL
95% of deaths
MCH
Mother & Child
NCD
Chronic Disease
CVD
Heart Disease
NTD
Tropical Disease
HSP
Health Systems
13 countries x 7 disease groups = 91 configuration packs
"Y tomaron la evidencia de lejos,
without testing if it fit their land,
without certifying if it fit their people.
Y los números fueron desnudo."
without testing if it fit their land,
without certifying if it fit their people.
Y los números fueron desnudo."
But what if every number had to show its face?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
TruthCert
Vestir los números desnudos
🔒
El núcleo Regla
No number shall be shown to decision-makers
unless it carries proof of its origin,
proof of its transformation,
y prueba de su validez para este contexto.
IN SIMPLE WORDS
Cada número debe responder: "¿De dónde vienes?" and "¿Puedo confiar en ti aquí?"
What Is Proof?
1
Evidence Locator
El estudio, base de datos o fuente exacta donde este número proviene de
2
Content Hash
Una huella digital que demuestra que los datos no han sido modificados
3
Transformation Trail
Cada paso de cálculo desde los datos sin procesar hasta el número final
4
Validation Status
¿Pasaron los controles automatizados? ¿Cuáles fueron las advertencias?
What TruthCert Output Looks Like
TRUTHCERT CERTIFIED CLAIM
claim: "Misoprostol reduces PPH by 24%"
grade: STABLE
context: NGA (Nigeria)
african_studies: k = 6 # meets GO threshold
effect_size: RR 0.76 [95% CI: 0.68-0.84]
evidence_locator: doi:10.1016/S0140-6736(10)60348-7
hash: sha256:a3f2c9...
cost_per_dose: NGN 450 # local currency
icer: NGN 12,400 per DALY averted
validated: PASS # all checks passed
Four Grades of Certainty
STABLE
Pruebas contundentes. Proceda con confianza.
MODERATE
Buena evidencia con lagunas. Incertidumbre del estado.
EXPOSED
Structural uncertainty. Scenarios only.
UNCERTAIN
Refuse false precision. Bounds only.
Cómo se asignan las calificaciones
Grade
African Studies (k)
Qué puedes hacer
STABLE
k >= 4 con baja heterogeneidad (I² < 50%)
Full HTA, PSA, VOI, point estimates
MODERATE
k >= 4 con alta heterogeneidad, O k = 2-3
Full HTA with widened CIs, emphasize uncertainty
EXPOSED
k = 1, OR significant transportability concerns
Scenario analysis only, no point estimates
UNCERTAIN
k = 0, O evidencia de memoria/no verificada
Bounds only, worst-case, value-of-research
What Is Forbidden
MEMORY-LEAK = BLOCK
Si alguien dice "Recuerdo que la estadística era alrededor del 30%"—
that cannot be certified.
La memoria no es evidencia. El recuerdo no es una prueba.
that cannot be certified.
La memoria no es evidencia. El recuerdo no es una prueba.
IN SIMPLE WORDS
No puedes decir "I think I heard..." or "Someone told me..."
Debes mostrar exactly where de dónde vino el número.
Diapositiva 4.1: La cuestión del valor
Diapositiva 4.3: La trampa del PIB
Diapositiva 4.4: La mejor manera
Diapositiva 4.6: El estribillo
=================== MÓDULO 5: LA DISCIPLINA =====================
When a government has only $50 per person per year for health,
how do you decide which treatments to fund?
how do you decide which treatments to fund?
Health Technology Assessment
LA PREGUNTA CENTRAL
For every Naira, Cedi, or Shilling spent,
how much health ¿ganamos? ¿Y qué más could we have done con ese dinero?
La trampa del umbral
UNA ADVERTENCIA DE LA HISTORIA
For years, economists said: "Cost-effective if it costs less than 3x GDP per capita."
Según esta lógica, un Un tratamiento de 3.000 dólares "valdría la pena" en Estados Unidos (PIB de 76.000 dólares), pero "no vale la pena" en Sierra Leona (PIB de 500 dólares).
El mismo trato. El mismo beneficio. Diferentes veredictos según el lugar donde naciste.
Según esta lógica, un Un tratamiento de 3.000 dólares "valdría la pena" en Estados Unidos (PIB de 76.000 dólares), pero "no vale la pena" en Sierra Leona (PIB de 500 dólares).
El mismo trato. El mismo beneficio. Diferentes veredictos según el lugar donde naciste.
Woods B et al. Lancet Global Health 2016; Revill P et al. Health Policy Plan 2018
A Better Way
A
Affordability Analysis
Can the health system actually pay? What else gets cut?
N
Net Health Benefit
Health gained minus health lost by diverting resources
V
Value of Information
Is it worth doing more research before deciding?
Local Currency. Always.
NGN
Nigerian Naira
GHS
Ghana Cedi
KES
Kenyan Shilling
XOF
CFA Franc
POR QUÉ ESTO IMPORTA
A minister in Accra budgets in Cedis.
She shouldn't have to convert from dollars.
Her budget, her currency, her decision.
"Y cuando los números estaban vestidos prueba,
when every claim showed its source,
cuando la moneda coincidía con la tierra—
then the decision-makers could see clearly."
when every claim showed its source,
cuando la moneda coincidía con la tierra—
then the decision-makers could see clearly."
In 2012, scientists at Amgen tried to reproduce
53 cáncer emblemático estudios.
How many could they replicate?
53 cáncer emblemático estudios.
How many could they replicate?
6
Only 6 of 53 landmark studies could be reproduced.
IN SIMPLE WORDS
89% de los estudios "revolucionarios" estaban equivocados or couldn't be repeated.
Treatments given to patients. Based on findings that failed.
Begley CG & Ellis LM. Nature 2012;483:531-533
La disciplina de la Semilla
THE REQUIREMENT
Cada análisis de TruthCert debe ser exactly reproducible.
An analyst in Nairobi and an analyst in Geneva must get identical results.
786888
Master Seed
Fixed
All Random Processes
Logged
Every Step
Diseñado para la realidad
THE CONSTRAINT
A health economist in Freetown has an ordinary laptop, maybe unreliable internet.
TruthCert must run on what she actually has.
60s
Core Analysis
45s
Uncertainty (5K draws)
Offline
Works Without Internet
"Y la misma semilla se plantó en Accra y en Ginebra,
y el mismo fruto creció en ambos lugares.
Y cualquiera podría volver a plantar la semilla,
y cosechar la misma verdad."
y el mismo fruto creció en ambos lugares.
Y cualquiera podría volver a plantar la semilla,
y cosechar la misma verdad."
Para ministros y directores
What you need to know in 3 minutes
Lo que cada grado significa para ti
When TruthCert Says... You Should...
STABLE
Proceda con confianza. Present point estimates. Defend the numbers.
MODERATE
Proceda con precaución. Show ranges. Say "between X and Y."
EXPOSED
Show scenarios. "If A, then X. If B, then Y." No single number.
UNCERTAIN
Say "we don't know." Request more research before committing.
Cuando la política entra en conflicto con la evidencia
LA SITUACIÓN DIFÍCIL
Un programa popular tiene evidencia INCIERTA. Los electores lo exigen. ¿A qué te dedicas?
TruthCert le ofrece un escudo:
"Quiero ayudar a nuestra gente. Pero la evidencia dice que no sabemos si esto funciona aquí. Déjenme financiar un pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
TruthCert le ofrece un escudo:
"Quiero ayudar a nuestra gente. Pero la evidencia dice que no sabemos si esto funciona aquí. Déjenme financiar un pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
Su resumen de una página
1
Numbers must have sources
If staff can't show where a number came from, don't use it
2
Busque evidencia africana
Pregunte "¿Cuántos estudios se realizaron en África?" (necesita 4+ para tener confianza)
3
Demand local currency
Costs should be in Naira/Cedi/Shilling, not USD
4
Embrace uncertainty
"We don't know" is more honest than a fake precise number
Ejecutando su primer análisis
A practical walkthrough
Lo que necesitas
Browser
Chrome/Firefox/Edge
Data
Tu entrada YAML
~2 hrs
Training time
NO SPECIAL SOFTWARE NEEDED
TruthCert runs in your browser. No installation. Works offline after first load.
Five Steps
1
Select Country + Disease
Choose from 13 countries, 7 disease groups. Example: NGA + MCH
2
Introducir datos locales
Unit costs, target population, budget. In NGN (local currency).
3
Select Evidence
Enlace a estudios. El sistema cuenta los estudios africanos (k) automáticamente.
4
Run Analysis
Click "Certify." Wait ~60 seconds. System assigns grade.
5
Export Results
Descargar informe en PDF. Todos los reclamos tienen localizadores de evidencia + hashes.
Dónde obtener datos
1
Unit Costs
WHO-CHOICE database, iDSI costing studies, local MOH price lists
2
Disease Burden
GBD (Global Burden of Disease), DHS surveys, local HMIS
3
Effect Sizes
Cochrane reviews, published meta-analyses, WHO guidelines
4
Budget Data
National health accounts, MOF budget documents, donor reports
Cuando la evidencia africana es escasa
SI k < 4 (MENOS DE 4 ESTUDIOS AFRICANOS)
TruthCert no le dará una respuesta falsa y segura. En cambio:
1
Pivot to broader group
If "CVD in Ghana" has k=1, try "NCD in West Africa"
2
Utilice el análisis de escenarios
Show best-case, worst-case, and middle scenarios
3
Calculate Value of Information
Would a new local study be worth funding?
Sustainability
How TruthCert survives long-term
📁
Open Source
Code is public. Anyone can run, modify, improve.
🎓
Train Locals
Each country builds own HTA capacity. Not dependent on outsiders.
💻
Offline-First
Works without internet. No cloud subscription needed.
What TruthCert Cannot Do
⚠
No se pueden crear pruebas. If no studies exist, TruthCert can't invent them.
⚠
Cannot guarantee political acceptance. La evidencia es necesaria pero no suficiente para el cambio de políticas.
⚠
Cannot replace judgment. It informs decisions, doesn't make them.
⚠
No se pueden corregir datos incorrectos. Si los costos de los insumos son incorrectos, los resultados también serán incorrectos.
⚠
No se puede dar cuenta de la implementación. A cost-effective intervention badly implemented may fail.
"TruthCert does not promise certainty.
It promises honestidad sobre la incertidumbre.
Y esa honestidad salva vidas".
It promises honestidad sobre la incertidumbre.
Y esa honestidad salva vidas".
References
Fuentes clave citadas en este Curso
- Echt DS, Liebson PR, Mitchell LB, et al. Mortalidad y morbilidad en pacientes que reciben encainida, flecainida o placebo: The CAST. NEJM 1991;324:781-788.
- Moore TJ. Deadly Medicine: Why Tens of Thousands of Heart Patients Died in America's Worst Drug Disaster. Simon & Schuster, 1995.
- Begley CG, Ellis LM. Drug development: Raise standards for preclinical cancer research. Nature 2012;483:531-533.
- Woods B, Revill P, Sculpher M, Claxton K. Umbrales de costo-efectividad a nivel de país: estimaciones iniciales y la necesidad de más investigaciones. Lancet Global Health 2016;4:e594-e601.
- WHO. Trends in maternal mortality 2000-2020. Geneva: World Health Organization, 2023.
- WHO. World Malaria Report 2022. Geneva: World Health Organization, 2022.
- UNAIDS. Global HIV Statistics 2023. Geneva: UNAIDS, 2023.
- Revill P, Ochalek J, Lomas J, et al. Cost-effectiveness thresholds: guiding health care spending for population health improvement. Health Policy Plan 2018;33:707-716.
En la historia de los médicos que "sabían" que su cura funcionaría, ¿qué hizo ¿Revelado el ensayo CAST?
Los medicamentos funcionaron como se esperaba
The drugs killed more people than they saved
Los medicamentos no tuvieron ningún efecto
El ensayo no fue concluyente
Cuando los números están "desnudos", ¿qué significa esto?
They are displayed without formatting
¿Lo son? aproximaciones
They have no proof of where they came from
Están en la moneda incorrecta
A minister receives a TruthCert report marked "EXPOSED." What should she do?
Rechace el programa por completo
Proceda como si la evidencia fuera sólida
Present scenarios ("if A then X, if B then Y") and consider a pilot
Esperar más estudios internacionales
Why does TruthCert insist on local currency?
To make calculations easier
Because ministers budget in local currency and shouldn't have to convert
To avoid exchange rate fluctuations
It's an arbitrary requirement
✔
Course Complete
"Y cuando los números vestidos,
when every claim carried its proof,
cuando la evidencia fue probada en la tierra donde se usaría—
entonces las madres vivieron,
y los niños prosperaron,
y los tomadores de decisiones podían dormir a noche."
when every claim carried its proof,
cuando la evidencia fue probada en la tierra donde se usaría—
entonces las madres vivieron,
y los niños prosperaron,
y los tomadores de decisiones podían dormir a noche."
This is TruthCert.
Diapositiva 10.1: Apertura del módulo
Diapositiva 10.3: Historia de Reinhart-Rogoff
Diapositiva 10.7: Historia del cáncer de Duke
Diapositiva 10.11: RIAT Historia
Diapositiva 10.15: Historia de la crisis de replicación
Diapositiva 10.19: Resumen del módulo
What if history had given us warnings—
escrito en hojas de cálculo, oculto en datos,
buried in files no one thought to check?
escrito en hojas de cálculo, oculto en datos,
buried in files no one thought to check?
Estas son las historias de certeza, error y el precio de no verificar.
What if a spreadsheet error
¿da forma al destino de las naciones?
¿da forma al destino de las naciones?
La hoja de cálculo que cambió Historia
LOS DATOS REALES
In 2010, Harvard economists Reinhart and Rogoff published "Growth in a Time of Debt".
Their claim: when a country's debt exceeds 90% of GDP, economic growth collapses.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, ponderación selectiva de datos y métodos no convencionales. La verdadera relación era much weaker.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, ponderación selectiva de datos y métodos no convencionales. La verdadera relación era much weaker.
Herndon, Ash & Pollin (2014). Cambridge Journal of Economics.
Los dos caminos
Usted es un asesor de políticas. Reinhart-Rogoff está en su escritorio. ¿Qué haces?
Ruta A: Confía en el resultado
Acepta el umbral del 90% como un hecho
↓
Advocate austerity policies
↓
Millions suffer from unnecessary budget cuts, unemployment rises, recovery stalls
Ruta B: Solicita los datos
Solicita la hoja de cálculo y métodos
↓
Descubre el error de Excel
↓
Make evidence-based policy que realmente sirve a los ciudadanos
THE REVELATION
El error de la hoja de cálculo de Excel es la razón por la que necesitamos reproducibilidad. Si a Reinhart y Rogoff se les hubiera pedido que compartieran su hoja de cálculo, el error se habría encontrado en 2010, no en 2013.
Three years of policy built on a formula that missed five cells.
Three years of policy built on a formula that missed five cells.
THE LESSON
La reproducibilidad no es burocracia. Es la diferencia entre descubrir un error antes de que las naciones actúen en consecuencia y después.
What happens when genomic signatures
se basan en ¿arena?
se basan en ¿arena?
Los ensayos basados en el fraude
LOS DATOS REALES
Dr. Anil Potti at Duke University published genomic predictors claiming to match
cancer patients to the chemotherapy most likely to help them.
Los ensayos clínicos inscribieron a pacientes. Los tratamientos se seleccionaron en función de sus algoritmos. La promesa: personalized medicine that could revolutionize cancer care.
Then investigations revealed: datos fabricados, resultados imposibles, cifras manipuladas. Los juicios fueron suspendidos. Los pacientes habían recibido tratamientos basados en fraude.
Los ensayos clínicos inscribieron a pacientes. Los tratamientos se seleccionaron en función de sus algoritmos. La promesa: personalized medicine that could revolutionize cancer care.
Then investigations revealed: datos fabricados, resultados imposibles, cifras manipuladas. Los juicios fueron suspendidos. Los pacientes habían recibido tratamientos basados en fraude.
Baggerly & Coombes (2009). Annals of Applied Statistics. IOM Report (2012).
Los dos caminos
Usted es un paciente de cáncer en 2010. Se le ofrece un tratamiento guiado por Potti. ¿Qué haces?
Ruta A: Confiar en la publicación
Accept the prestigious journal's findings
↓
Inscribirse en el ensayo clínico
↓
Receive treatment based on fraud—potentially harmful, definitely not personalized
Ruta B: Pregunte sobre la validación
Solicitar evidencia de replicación independiente
↓
Discover none exists
↓
Avoid harmful treatment—wait for properly validated approaches
THE REVELATION
Reproducibility is not bureaucracy. It is patient protection.
El escándalo de Duke llevó al Instituto de Medicina a recomendar que omics-based tests require independent validation before clinical use.
La política llegó demasiado tarde para los pacientes en esos ensayos.
El escándalo de Duke llevó al Instituto de Medicina a recomendar que omics-based tests require independent validation before clinical use.
La política llegó demasiado tarde para los pacientes en esos ensayos.
THE LESSON
Independent validation saves lives. Una institución prestigiosa, un investigador famoso, una revista importante: ninguno de estos reemplaza el simple hecho de que otra persona revise el trabajo.
Can dead trials
be brought back to life?
be brought back to life?
La resurrección de la evidencia enterrada
LOS DATOS REALES
La iniciativa RIAT (Restoring Invisible and Abandoned Trials) identificó ensayos clínicos con resultados no publicados o mal informados.
Study 329 (paroxetina para la depresión adolescente): la publicación original de 2001 afirmaba que el medicamento era "seguro y eficaz". Durante 14 años, los médicos lo recetaron basándose en esta afirmación.
Los investigadores del RIAT obtuvieron los datos completos. Su nuevo análisis de 2015 encontró: el medicamento era neither safe nor effective para esta población. Los autores originales habían informado los resultados de forma selectiva.
Study 329 (paroxetina para la depresión adolescente): la publicación original de 2001 afirmaba que el medicamento era "seguro y eficaz". Durante 14 años, los médicos lo recetaron basándose en esta afirmación.
Los investigadores del RIAT obtuvieron los datos completos. Su nuevo análisis de 2015 encontró: el medicamento era neither safe nor effective para esta población. Los autores originales habían informado los resultados de forma selectiva.
Le Noury et al. (2015). BMJ. RIAT Project: riat-support.org
Los dos caminos
Descubres que un ensayo fue informado erróneamente hace 15 años. Es posible que todavía se estén produciendo daños. ¿Qué haces?
Path A: Accept It Is Too Late
Assume the moment has passed
↓
El estudio defectuoso sigue siendo el registro
↓
Old harms continue—doctors keep prescribing based on false evidence
Ruta B: buscar los datos originales
Obtain raw data through legal/regulatory means
↓
Volver a analizar y publicar la corrección
↓
Prevent future harm—update guidelines, change practice
THE REVELATION
It is never too late to correct the record.
RIAT demostró eso con determinación y datos acceso, even decades-old deceptions can be overturned.
La verdad no caduca. Tampoco lo hace la obligación de buscarlo.
RIAT demostró eso con determinación y datos acceso, even decades-old deceptions can be overturned.
La verdad no caduca. Tampoco lo hace la obligación de buscarlo.
THE LESSON
El acceso a los datos permite la justicia. Cuando los datos originales se guardan bajo llave, los errores y el fraude se vuelven permanentes. Cuando los datos son accesibles, el registro científico siempre se puede corregir.
What fraction of published findings
¿son realmente ciertos?
¿son realmente ciertos?
La crisis de replicación
LOS DATOS REALES
The Open Science Collaboration (2015) attempted to replicate
100 psicología publicada estudios.
Original studies: 97% informaron resultados estadísticamente significativos.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
La "crisis de replicación" se generalizó. Lo que pensábamos que sabíamos (sobre preparación, agotamiento del ego, poses de poder) era mucho menos seguro de lo publicado.
Original studies: 97% informaron resultados estadísticamente significativos.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
La "crisis de replicación" se generalizó. Lo que pensábamos que sabíamos (sobre preparación, agotamiento del ego, poses de poder) era mucho menos seguro de lo publicado.
Open Science Collaboration (2015). Science. doi:10.1126/science.aac4716
The Numbers
97%
Original studies
significant
significant
36%
Replications
significant
significant
50%
Average effect
size drop
size drop
QUÉ ESTO SIGNIFICA
Por cada 3 hallazgos de psicología sobre los que lees, 2 pueden no replicarse. No por fraude, sino por el ruido, la flexibilidad en el análisis y la presión para publicar resultados positivos.
Los dos caminos
Estás diseñando un programa clínico basado en investigaciones de psicología publicadas. ¿A qué te dedicas?
Path A: Trust Original Publications
Build your program on published findings
↓
Invest resources in implementation
↓
Descubra que la base no es confiable—program fails to produce expected outcomes
Ruta B: Verifique las replicaciones
Search for independent replications first
↓
Encuentre la tasa de replicación del 36 %
↓
Exija pruebas más sólidas—pilot test, require multi-site replication before scale
THE REVELATION
"Published" does not mean "true."
La replicación no lo es duda—es el método científico que funciona según lo previsto.
La crisis no fue que la ciencia fallara. La crisis fue que descubrimos lo poco que habíamos estado comprobando.
La replicación no lo es duda—es el método científico que funciona según lo previsto.
La crisis no fue que la ciencia fallara. La crisis fue que descubrimos lo poco que habíamos estado comprobando.
THE LESSON
Los estudios individuales son hipótesis, no hechos. Antes de elaborar una política sobre investigación, pregunte: ¿Se ha replicado esto? ¿Por quién? ¿Con qué resultado?
Four Stories, One Truth
1
Reinhart-Rogoff
Comparte tus datos. Un error de Excel dio forma a la política de austeridad durante años.
2
Duke Cancer Scandal
Require independent validation. Prestige does not equal truth.
3
RIAT Initiative
It is never too late. Buried evidence can be resurrected.
4
Replication Crisis
Published does not mean true. Replication is how science works.
"Y cuando no verificaron,
when they trusted without checking,
cuando asumieron que los prestigiosos eran infalibles—
los números quedaron desnudos,
y la gente pagó el precio."
when they trusted without checking,
cuando asumieron que los prestigiosos eran infalibles—
los números quedaron desnudos,
y la gente pagó el precio."
"But when they demanded proof,
when they shared their data,
when they replicated before they trusted—
la verdad surgió,
y el daño se evitó,
y el conocimiento avanzó."
when they shared their data,
when they replicated before they trusted—
la verdad surgió,
y el daño se evitó,
y el conocimiento avanzó."
1 / 6