TruthCert > The Warning
=================== MÓDULO 1: O AVISO ===================
Slide 1.2: O CAST História
Slide 1.3: O número de mortes
Slide 1.4: O refrão
Slide 1.5: A questão
==================== MÓDULO 2: AS TERRAS ==================
Slide 3.5: Os Quatro Graus
Slide 3.7: O Proibido
==================== MÓDULO 4: O MÉTODO ==================
Slide 5.2: A Crise
Slide 5.3: A Semente
Slide 5.5: O Refrão
==================== MÓDULO 6: PARA DECISÕES ====================
Slide 6.2: A Matriz de Decisão
Slide 6.4: O resumo de uma página
==================== MÓDULO 7: TUTORIAL PRÁTICO ====================
Slide 7.2: O que você precisa
Slide 7.3: As etapas
Slide 7.4: Fontes de dados
==================== MÓDULO 8: SUSTENTABILIDADE E LIMITES ====================
Slide 8.3: A Verdade Honesta
==================== MÓDULO 9: REFERÊNCIAS E TESTE ====================
==================== MÓDULO 10: HISTÓRIAS REAIS ====================
Você não ouviu a história dos médicos
who, certain of their cure,
killed more patients than the disease itself?
who, certain of their cure,
killed more patients than the disease itself?
O ano era 1989
UNITED STATES
Todo cardiologista na América conhecia a lógica: batimentos cardíacos irregulares após um ataque cardíaco eram perigosos. Medicamentos que suprimissem essas arritmias certamente salvariam vidas.
O raciocínio era sólido. O mecanismo era claro. Os medicamentos foram prescritos para 200,000 Americans every year.
Ninguém exigiu provas. A lógica foi suficiente.
O raciocínio era sólido. O mecanismo era claro. Os medicamentos foram prescritos para 200,000 Americans every year.
Ninguém exigiu provas. A lógica foi suficiente.
Echt DS et al. NEJM 1991; Moore TJ. Deadly Medicine, 1995
E então veio o julgamento chamado CAST...
50,000
Americans killed by "the cure" each year
IN SIMPLE WORDS
Os médicos deram remédios que made sense but had never been tested properly. O remédio matou mais pessoas do que a Guerra do Vietnã. Todos os anos.
"E os números estavam nus—
without witness, without proof, without certification.
E as pessoas morreram."
without witness, without proof, without certification.
E as pessoas morreram."
É por isso que o TruthCert existe.
Do you think such catastrophes happen only in America?
Consider Africa.
Consider Africa.
O fardo das evidências emprestadas
90%
of clinical trials
outside Africa
outside Africa
13%
of global disease
burden in Africa
burden in Africa
<2%
of global health
research funding
research funding
IN SIMPLE WORDS
Africa has many sick people but muito poucos estudos about how to treat them.
Doctors must use treatments tested on people in other countries.
But what works in London may not work in Lagos.
Slide 2.1: As Treze
Slide 2.2: Os países
Slide 2.4: As Sete Aflições
Slide 2.5: O refrão
==================== MÓDULO 3: A SOLUÇÃO ===================
Você não viu as treze nações
where mothers die giving life,
where children fall to fever,
where as decisões são tomadas no escuro?
where mothers die giving life,
where children fall to fever,
where as decisões são tomadas no escuro?
Thirteen Nations
Maternal deaths per 100,000 live births (WHO 2020)
NGA
Nigeria
917
GHA
Ghana
308
KEN
Kenya
342
TZA
Tanzania
524
UGA
Uganda
284
ZAF
South Africa
127
SLE
Sierra Leone
1,120
LBR
Liberia
652
CIV
Cote d'Ivoire
617
BEN
Benin
523
BFA
Burkina Faso
320
GMB
The Gambia
458
SWZ
Eswatini
240
Compare: UK = 10, USA = 21, Sweden = 4
SIERRA LEONE
In Freetown, a woman giving birth is 112 times more likely to die
than a woman in London.
O ministro da saúde deve decidir: Que intervenções merecem o orçamento limitado? Quais tratamentos salvarão mais mães?
Ela tem estudos na Europa. Ela tem modelos da América.
But does she have proof that applies to her people?
O ministro da saúde deve decidir: Que intervenções merecem o orçamento limitado? Quais tratamentos salvarão mais mães?
Ela tem estudos na Europa. Ela tem modelos da América.
But does she have proof that applies to her people?
WHO Maternal Mortality Report, 2023
Seven Disease Groups
HIV
25.6M in Africa
MAL
95% of deaths
MCH
Mother & Child
NCD
Chronic Disease
CVD
Heart Disease
NTD
Tropical Disease
HSP
Health Systems
13 countries x 7 disease groups = 91 configuration packs
"E eles pegaram as evidências de longe,
without testing if it fit their land,
without certifying if it fit their people.
E os números eram nu."
without testing if it fit their land,
without certifying if it fit their people.
E os números eram nu."
But what if every number had to show its face?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
TruthCert
Vestindo os números nus
🔒
O Núcleo Regra
No number shall be shown to decision-makers
unless it carries proof of its origin,
proof of its transformation,
e prova de sua validade para este contexto.
IN SIMPLE WORDS
Cada número deve responder: "De onde você veio?" and "Posso confiar em você aqui?"
What Is Proof?
1
Evidence Locator
O estudo exato, banco de dados ou fonte onde este número veio de
2
Content Hash
Uma impressão digital provando que os dados não foram alterados
3
Transformation Trail
Cada etapa de cálculo, desde os dados brutos até o número final
4
Validation Status
As verificações automatizadas foram aprovadas? Quais foram os avisos?
What TruthCert Output Looks Like
TRUTHCERT CERTIFIED CLAIM
claim: "Misoprostol reduces PPH by 24%"
grade: STABLE
context: NGA (Nigeria)
african_studies: k = 6 # meets GO threshold
effect_size: RR 0.76 [95% CI: 0.68-0.84]
evidence_locator: doi:10.1016/S0140-6736(10)60348-7
hash: sha256:a3f2c9...
cost_per_dose: NGN 450 # local currency
icer: NGN 12,400 per DALY averted
validated: PASS # all checks passed
Four Grades of Certainty
STABLE
Evidências fortes. Prossiga com confiança.
MODERATE
Boas evidências com lacunas. Incerteza do estado.
EXPOSED
Structural uncertainty. Scenarios only.
UNCERTAIN
Refuse false precision. Bounds only.
Como as notas são atribuídas
Grade
African Studies (k)
O que você pode fazer
STABLE
k >= 4 com baixa heterogeneidade (I² < 50%)
Full HTA, PSA, VOI, point estimates
MODERATE
k >= 4 com alta heterogeneidade, OU k = 2-3
Full HTA with widened CIs, emphasize uncertainty
EXPOSED
k = 1, OR significant transportability concerns
Scenario analysis only, no point estimates
UNCERTAIN
k = 0, OU evidência de memória/não verificada
Bounds only, worst-case, value-of-research
What Is Forbidden
MEMORY-LEAK = BLOCK
Se alguém disser "Lembro que a estatística era de cerca de 30%"—
that cannot be certified.
Memória não é evidência. Lembrança não é prova.
that cannot be certified.
Memória não é evidência. Lembrança não é prova.
IN SIMPLE WORDS
Você não pode dizer "I think I heard..." or "Someone told me..."
Você deve mostrar exactly where de onde veio o número.
Slide 4.1: A questão do valor
Slide 4.3: A armadilha do PIB
Slide 4.4: A melhor maneira
Slide 4.6: O refrão
=================== MÓDULO 5: A DISCIPLINA ====================
When a government has only $50 per person per year for health,
how do you decide which treatments to fund?
how do you decide which treatments to fund?
Health Technology Assessment
A QUESTÃO PRINCIPAL
For every Naira, Cedi, or Shilling spent,
how much health ganhamos? E o que mais could we have done com esse dinheiro?
A armadilha do limite
UM AVISO DA HISTÓRIA
For years, economists said: "Cost-effective if it costs less than 3x GDP per capita."
Por isso lógica, um tratamento de 3.000 dólares “valeria a pena” na América (PIB de 76.000 dólares), mas “não valeria a pena” na Serra Leoa (PIB de 500 dólares).
O mesmo tratamento. O mesmo benefício. Veredictos diferentes com base em onde você nasceu.
Por isso lógica, um tratamento de 3.000 dólares “valeria a pena” na América (PIB de 76.000 dólares), mas “não valeria a pena” na Serra Leoa (PIB de 500 dólares).
O mesmo tratamento. O mesmo benefício. Veredictos diferentes com base em onde você nasceu.
Woods B et al. Lancet Global Health 2016; Revill P et al. Health Policy Plan 2018
A Better Way
A
Affordability Analysis
Can the health system actually pay? What else gets cut?
N
Net Health Benefit
Health gained minus health lost by diverting resources
V
Value of Information
Is it worth doing more research before deciding?
Local Currency. Always.
NGN
Nigerian Naira
GHS
Ghana Cedi
KES
Kenyan Shilling
XOF
CFA Franc
POR QUE ISSO É IMPORTANTE
A minister in Accra budgets in Cedis.
She shouldn't have to convert from dollars.
Her budget, her currency, her decision.
"E quando os números foram vestidos prova,
when every claim showed its source,
quando a moeda correspondia à terra—
then the decision-makers could see clearly."
when every claim showed its source,
quando a moeda correspondia à terra—
then the decision-makers could see clearly."
In 2012, scientists at Amgen tried to reproduce
53 marco câncer estudos.
How many could they replicate?
53 marco câncer estudos.
How many could they replicate?
6
Only 6 of 53 landmark studies could be reproduced.
IN SIMPLE WORDS
89% dos estudos "inovadores" estavam errados or couldn't be repeated.
Treatments given to patients. Based on findings that failed.
Begley CG & Ellis LM. Nature 2012;483:531-533
A Disciplina do Semente
THE REQUIREMENT
Cada análise TruthCert deve ser exactly reproducible.
An analyst in Nairobi and an analyst in Geneva must get identical results.
786888
Master Seed
Fixed
All Random Processes
Logged
Every Step
Projetada para a Realidade
THE CONSTRAINT
A health economist in Freetown has an ordinary laptop, maybe unreliable internet.
TruthCert must run on what she actually has.
60s
Core Analysis
45s
Uncertainty (5K draws)
Offline
Works Without Internet
"E a mesma semente foi plantada em Accra e em Genebra,
e o mesmo fruto cresceu em ambos os lugares.
E qualquer um poderia plantar a semente novamente,
e colher a mesma verdade."
e o mesmo fruto cresceu em ambos os lugares.
E qualquer um poderia plantar a semente novamente,
e colher a mesma verdade."
Para Ministros e Diretores
What you need to know in 3 minutes
O que cada série significa para você
When TruthCert Says... You Should...
STABLE
Prossiga com confiança. Present point estimates. Defend the numbers.
MODERATE
Proceda com cautela. Show ranges. Say "between X and Y."
EXPOSED
Show scenarios. "If A, then X. If B, then Y." No single number.
UNCERTAIN
Say "we don't know." Request more research before committing.
Quando a política entra em conflito com as evidências
A SITUAÇÃO DIFÍCIL
Um programa popular tem evidências INCERTAS. Os constituintes exigem isso. O que você faz?
TruthCert oferece um escudo:
"Quero ajudar nosso povo. Mas as evidências dizem que não sabemos se isso funciona aqui. Deixe-me financiar um pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
TruthCert oferece um escudo:
"Quero ajudar nosso povo. Mas as evidências dizem que não sabemos se isso funciona aqui. Deixe-me financiar um pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
Seu resumo de uma página
1
Numbers must have sources
If staff can't show where a number came from, don't use it
2
Procure evidências africanas
Pergunte "Quantos estudos foram feitos em África?" (precisa de 4+ para confiança)
3
Demand local currency
Costs should be in Naira/Cedi/Shilling, not USD
4
Embrace uncertainty
"We don't know" is more honest than a fake precise number
Executando sua primeira análise
A practical walkthrough
O que você precisa
Browser
Chrome/Firefox/Edge
Data
Sua entrada YAML
~2 hrs
Training time
NO SPECIAL SOFTWARE NEEDED
TruthCert runs in your browser. No installation. Works offline after first load.
Five Steps
1
Select Country + Disease
Choose from 13 countries, 7 disease groups. Example: NGA + MCH
2
Insira dados locais
Unit costs, target population, budget. In NGN (local currency).
3
Select Evidence
Link para estudos. O sistema conta os estudos africanos (k) automaticamente.
4
Run Analysis
Click "Certify." Wait ~60 seconds. System assigns grade.
5
Export Results
Baixe o relatório em PDF. Todas as reivindicações possuem localizadores de evidências + hashes.
Onde obter dados
1
Unit Costs
WHO-CHOICE database, iDSI costing studies, local MOH price lists
2
Disease Burden
GBD (Global Burden of Disease), DHS surveys, local HMIS
3
Effect Sizes
Cochrane reviews, published meta-analyses, WHO guidelines
4
Budget Data
National health accounts, MOF budget documents, donor reports
Quando as evidências africanas são escassas
SE k <4 (MENOS DE 4 ESTUDOS AFRICANO)
TruthCert não lhe dará uma resposta falsa e confiante. Em vez de:
1
Pivot to broader group
If "CVD in Ghana" has k=1, try "NCD in West Africa"
2
Use análise de cenário
Show best-case, worst-case, and middle scenarios
3
Calculate Value of Information
Would a new local study be worth funding?
Sustainability
How TruthCert survives long-term
📁
Open Source
Code is public. Anyone can run, modify, improve.
🎓
Train Locals
Each country builds own HTA capacity. Not dependent on outsiders.
💻
Offline-First
Works without internet. No cloud subscription needed.
What TruthCert Cannot Do
⚠
Não é possível criar evidências. If no studies exist, TruthCert can't invent them.
⚠
Cannot guarantee political acceptance. A evidência é necessária mas não suficiente para a mudança política.
⚠
Cannot replace judgment. It informs decisions, doesn't make them.
⚠
Não é possível corrigir dados incorretos. Se seus custos de insumos estiverem errados, os resultados estarão errados.
⚠
Não é possível contabilizar a implementação. A cost-effective intervention badly implemented may fail.
"TruthCert does not promise certainty.
It promises honestidade sobre a incerteza.
E essa honestidade salva vidas."
It promises honestidade sobre a incerteza.
E essa honestidade salva vidas."
References
Principais fontes citadas neste Curso
- Echt DS, Liebson PR, Mitchell LB, et al. Mortalidade e morbidade em pacientes recebendo encainida, flecainida ou placebo: O CAST. NEJM 1991;324:781-788.
- Moore TJ. Deadly Medicine: Why Tens of Thousands of Heart Patients Died in America's Worst Drug Disaster. Simon & Schuster, 1995.
- Begley CG, Ellis LM. Drug development: Raise standards for preclinical cancer research. Nature 2012;483:531-533.
- Woods B, Revill P, Sculpher M, Claxton K. Limites de custo-efetividade em nível de país: estimativas iniciais e a necessidade de pesquisas adicionais. Lancet Global Health 2016;4:e594-e601.
- WHO. Trends in maternal mortality 2000-2020. Geneva: World Health Organization, 2023.
- WHO. World Malaria Report 2022. Geneva: World Health Organization, 2022.
- UNAIDS. Global HIV Statistics 2023. Geneva: UNAIDS, 2023.
- Revill P, Ochalek J, Lomas J, et al. Cost-effectiveness thresholds: guiding health care spending for population health improvement. Health Policy Plan 2018;33:707-716.
Na história dos médicos que "sabia" que sua cura funcionaria, o que o Teste CAST revelado?
Os medicamentos funcionaram como esperado
The drugs killed more people than they saved
Os medicamentos não tiveram efeito
O ensaio foi inconclusivo
Quando os números estão "nus", o que isso significa?
They are displayed without formatting
Eles são aproximações
They have no proof of where they came from
Eles estão na moeda errada
A minister receives a TruthCert report marked "EXPOSED." What should she do?
Rejeite o programa completamente
Proceda como se as evidências fossem fortes
Present scenarios ("if A then X, if B then Y") and consider a pilot
Espere por mais estudos internacionais
Why does TruthCert insist on local currency?
To make calculations easier
Because ministers budget in local currency and shouldn't have to convert
To avoid exchange rate fluctuations
It's an arbitrary requirement
✔
Course Complete
"E quando os números foram vestidos,
when every claim carried its proof,
quando a evidência foi testada na terra onde seria usada—
então as mães viveram,
e as crianças prosperaram,
e os tomadores de decisão puderam dormir em noite."
when every claim carried its proof,
quando a evidência foi testada na terra onde seria usada—
então as mães viveram,
e as crianças prosperaram,
e os tomadores de decisão puderam dormir em noite."
This is TruthCert.
Slide 10.1: Abertura do módulo
Slide 10.3: História de Reinhart-Rogoff
Slide 10.7: História do Câncer Duke
Slide 10.11: RIAT História
Slide 10.15: História da Crise de Replicação
Slide 10.19: Resumo do módulo
What if history had given us warnings—
escrito em planilhas, escondido em dados,
buried in files no one thought to check?
escrito em planilhas, escondido em dados,
buried in files no one thought to check?
Essas são as histórias de certeza, erro e o preço de não verificar.
What if a spreadsheet error
moldam o destino das nações?
moldam o destino das nações?
A planilha que mudou História
OS DADOS REAIS
In 2010, Harvard economists Reinhart and Rogoff published "Growth in a Time of Debt".
Their claim: when a country's debt exceeds 90% of GDP, economic growth collapses.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, ponderação seletiva de dados e métodos não convencionais. O verdadeiro relacionamento era much weaker.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, ponderação seletiva de dados e métodos não convencionais. O verdadeiro relacionamento era much weaker.
Herndon, Ash & Pollin (2014). Cambridge Journal of Economics.
Os dois caminhos
Você é um consultor de políticas. Reinhart-Rogoff está na sua mesa. O que você faz?
Caminho A: Confie no resultado
Aceite o limite de 90% como fato
↓
Advocate austerity policies
↓
Millions suffer from unnecessary budget cuts, unemployment rises, recovery stalls
Caminho B: Solicite os dados
Peça a planilha e métodos
↓
Descubra o erro do Excel
↓
Make evidence-based policy que realmente atende aos cidadãos
THE REVELATION
O erro da planilha do Excel é o motivo pelo qual precisamos de reprodutibilidade. Se Reinhart e Rogoff tivessem sido obrigados a compartilhar sua planilha, o erro teria sido encontrado em 2010, e não em 2013.
Three years of policy built on a formula that missed five cells.
Three years of policy built on a formula that missed five cells.
THE LESSON
Reprodutibilidade não é burocracia. É a diferença entre descobrir um erro antes que as nações ajam sobre ele - e depois.
What happens when genomic signatures
são construídos sobre areia?
são construídos sobre areia?
Os ensaios baseados em fraude
OS DADOS REAIS
Dr. Anil Potti at Duke University published genomic predictors claiming to match
cancer patients to the chemotherapy most likely to help them.
Ensaios clínicos inscreveram pacientes. Os tratamentos foram selecionados com base em seus algoritmos. A promessa: personalized medicine that could revolutionize cancer care.
Then investigations revealed: dados fabricados, resultados impossíveis, números manipulados. Os julgamentos foram interrompidos. Os pacientes receberam tratamentos baseados em fraude.
Ensaios clínicos inscreveram pacientes. Os tratamentos foram selecionados com base em seus algoritmos. A promessa: personalized medicine that could revolutionize cancer care.
Then investigations revealed: dados fabricados, resultados impossíveis, números manipulados. Os julgamentos foram interrompidos. Os pacientes receberam tratamentos baseados em fraude.
Baggerly & Coombes (2009). Annals of Applied Statistics. IOM Report (2012).
Os dois caminhos
Você é um paciente com câncer em 2010. É oferecido a você um tratamento guiado por Potti. O que você faz?
Caminho A: Confiar na publicação
Accept the prestigious journal's findings
↓
Inscrever-se no ensaio clínico
↓
Receive treatment based on fraud—potentially harmful, definitely not personalized
Caminho B: Perguntar sobre validação
Solicitar evidência de replicação independente
↓
Discover none exists
↓
Avoid harmful treatment—wait for properly validated approaches
THE REVELATION
Reproducibility is not bureaucracy. It is patient protection.
O escândalo Duke levou o Instituto de Medicina a recomendar que omics-based tests require independent validation before clinical use.
A política chegou tarde demais para os pacientes nesses ensaios.
O escândalo Duke levou o Instituto de Medicina a recomendar que omics-based tests require independent validation before clinical use.
A política chegou tarde demais para os pacientes nesses ensaios.
THE LESSON
Independent validation saves lives. Uma instituição de prestígio, um pesquisador famoso, um periódico de destaque – nada disso substitui o simples ato de ter outra pessoa verificando o trabalho.
Can dead trials
be brought back to life?
be brought back to life?
A ressurreição de evidências enterradas
OS DADOS REAIS
A iniciativa RIAT (Restoring Invisible and Abandoned Trials) identificou ensaios clínicos com resultados não publicados ou relatados incorretamente.
Study 329 (paroxetina para depressão em adolescentes): A publicação original de 2001 reivindicou o o medicamento era "seguro e eficaz." Por 14 anos, os médicos o prescreveram com base nesta afirmação.
Os pesquisadores da RIAT obtiveram os dados completos. A reanálise de 2015 descobriu: o medicamento era neither safe nor effective para esta população. Os autores originais relataram resultados seletivamente.
Study 329 (paroxetina para depressão em adolescentes): A publicação original de 2001 reivindicou o o medicamento era "seguro e eficaz." Por 14 anos, os médicos o prescreveram com base nesta afirmação.
Os pesquisadores da RIAT obtiveram os dados completos. A reanálise de 2015 descobriu: o medicamento era neither safe nor effective para esta população. Os autores originais relataram resultados seletivamente.
Le Noury et al. (2015). BMJ. RIAT Project: riat-support.org
Os dois caminhos
Você descobre que um estudo foi relatado incorretamente há 15 anos. O dano ainda pode estar ocorrendo. O que você faz?
Path A: Accept It Is Too Late
Assume the moment has passed
↓
O estudo falho permanece o registro
↓
Old harms continue—doctors keep prescribing based on false evidence
Caminho B: Buscar os dados originais
Obtain raw data through legal/regulatory means
↓
Reanalisar e publicar a correção
↓
Prevent future harm—update guidelines, change practice
THE REVELATION
It is never too late to correct the record.
RIAT provou isso com determinação e dados acesso, even decades-old deceptions can be overturned.
A verdade não expira. Nem a obrigação de procurá-los.
RIAT provou isso com determinação e dados acesso, even decades-old deceptions can be overturned.
A verdade não expira. Nem a obrigação de procurá-los.
THE LESSON
O acesso aos dados permite a justiça. Quando os dados originais são bloqueados, os erros e as fraudes tornam-se permanentes. Quando os dados estão acessíveis, o registro científico sempre pode ser corrigido.
What fraction of published findings
são realmente verdadeiros?
são realmente verdadeiros?
A Crise de Replicação
OS DADOS REAIS
The Open Science Collaboration (2015) attempted to replicate
100 psicologia publicada estudos.
Original studies: 97% relataram resultados estatisticamente significativos.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
A "crise de replicação" se tornou popular. O que pensávamos que sabíamos - sobre priming, esgotamento do ego, pose de poder - era muito menos certo do que o publicado.
Original studies: 97% relataram resultados estatisticamente significativos.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
A "crise de replicação" se tornou popular. O que pensávamos que sabíamos - sobre priming, esgotamento do ego, pose de poder - era muito menos certo do que o publicado.
Open Science Collaboration (2015). Science. doi:10.1126/science.aac4716
The Numbers
97%
Original studies
significant
significant
36%
Replications
significant
significant
50%
Average effect
size drop
size drop
O QUE ISSO SIGNIFICA
Para cada 3 descobertas psicológicas que você leu, 2 podem não ser replicadas. Não por causa de fraude, mas por causa do ruído, da flexibilidade na análise e da pressão para publicar resultados positivos.
Os dois caminhos
Você está projetando um programa clínico baseado em pesquisas psicológicas publicadas. O que você faz?
Path A: Trust Original Publications
Build your program on published findings
↓
Invest resources in implementation
↓
Descubra que a base não é confiável—program fails to produce expected outcomes
Caminho B: Verifique se há replicações
Search for independent replications first
↓
Encontre a taxa de replicação de 36%
↓
Exija evidências mais fortes—pilot test, require multi-site replication before scale
THE REVELATION
"Published" does not mean "true."
A replicação não é dúvida—é o método científico funcionando como pretendido.
A crise não foi porque a ciência falhou. A crise foi que descobrimos quão raramente estávamos verificando.
A replicação não é dúvida—é o método científico funcionando como pretendido.
A crise não foi porque a ciência falhou. A crise foi que descobrimos quão raramente estávamos verificando.
THE LESSON
Estudos individuais são hipóteses, não fatos. Antes de construir uma política de pesquisa, pergunte: isso foi replicado? Por quem? Com que resultado?
Four Stories, One Truth
1
Reinhart-Rogoff
Compartilhe seus dados. Um erro do Excel moldou a política de austeridade durante anos.
2
Duke Cancer Scandal
Require independent validation. Prestige does not equal truth.
3
RIAT Initiative
It is never too late. Buried evidence can be resurrected.
4
Replication Crisis
Published does not mean true. Replication is how science works.
"E quando eles não verificaram,
when they trusted without checking,
quando presumiram que o prestígio era infalível—
os números permaneceram nus,
e as pessoas pagaram o preço."
when they trusted without checking,
quando presumiram que o prestígio era infalível—
os números permaneceram nus,
e as pessoas pagaram o preço."
"But when they demanded proof,
when they shared their data,
when they replicated before they trusted—
a verdade emergiu,
e o dano foi evitado,
e o conhecimento avançou."
when they shared their data,
when they replicated before they trusted—
a verdade emergiu,
e o dano foi evitado,
e o conhecimento avançou."
1 / 6