TruthCert > The Warning
===================== 모듈 1: 경고 ===================
슬라이드 1.2: CAST 스토리
슬라이드 1.3: 사망자 수
슬라이드 1.4: 자제
슬라이드 1.5: 질문
==================== 모듈 2: 땅 ====================
슬라이드 3.5: 4등급
슬라이드 3.7: 금지된
===================== 모듈 4: 방법 ====================
슬라이드 5.2: 위기
슬라이드 5.3: 씨앗
슬라이드 5.5: 후렴
===================== 모듈 6: 의사 결정자용 ====================
슬라이드 6.2: 결정 매트릭스
슬라이드 6.4: 한 페이지 요약
==================== 모듈 7: 실습 튜토리얼 ===================
슬라이드 7.2: 필요한 것
슬라이드 7.3: 단계
슬라이드 7.4: 데이터 소스
===================== 모듈 8: 지속 가능성 및 한계 ===================
슬라이드 8.3: 정직한 진실
==================== 모듈 9: 참조 및 퀴즈 ===================
===================== 모듈 10: 실제 이야기 ====================
의사들의 이야기를 들어보셨나요
who, certain of their cure,
killed more patients than the disease itself?
who, certain of their cure,
killed more patients than the disease itself?
연도는 1989년
UNITED STATES
미국의 모든 심장 전문의는 심장 마비 후 불규칙한 심장 박동이 위험하다는 논리를 알고 있었습니다. 이러한 부정맥을 억제하는 약물은 반드시 생명을 구할 것입니다.
그 추론은 타당했습니다. 메커니즘은 명확했습니다. 약물은 200,000 Americans every year.
아무도 증거를 요구하지 않도록 처방되었습니다. 논리는 충분했습니다.
그 추론은 타당했습니다. 메커니즘은 명확했습니다. 약물은 200,000 Americans every year.
아무도 증거를 요구하지 않도록 처방되었습니다. 논리는 충분했습니다.
Echt DS et al. NEJM 1991; Moore TJ. Deadly Medicine, 1995
그리고 나서 CAST...
50,000
Americans killed by "the cure" each year
IN SIMPLE WORDS
의사가 약을 투여한 made sense but had never been tested properly이라는 실험이 시작되었습니다. 이 약은 베트남 전쟁보다 더 많은 사람을 죽였습니다. 매년.
"그리고 숫자는 적나라했습니다.
without witness, without proof, without certification.
그리고 사람들은 멸망했습니다."
without witness, without proof, without certification.
그리고 사람들은 멸망했습니다."
이것이 TruthCert가 존재하는 이유입니다.
Do you think such catastrophes happen only in America?
Consider Africa.
Consider Africa.
차용된 증거의 부담
90%
of clinical trials
outside Africa
outside Africa
13%
of global disease
burden in Africa
burden in Africa
<2%
of global health
research funding
research funding
IN SIMPLE WORDS
Africa has many sick people but 거의 연구 about how to treat them.
Doctors must use treatments tested on people in other countries.
But what works in London may not work in Lagos.
슬라이드 2.1: 13개국
슬라이드 2.2: 국가
슬라이드 2.4: 일곱 가지 고통
슬라이드 2.5: 자제
===================== 모듈 3: 솔루션 =====================
13개국
where mothers die giving life,
where children fall to fever,
where 암흑 속에서 결정이 내려지는 것을 보지 못하셨습니까?
where mothers die giving life,
where children fall to fever,
where 암흑 속에서 결정이 내려지는 것을 보지 못하셨습니까?
Thirteen Nations
Maternal deaths per 100,000 live births (WHO 2020)
NGA
Nigeria
917
GHA
Ghana
308
KEN
Kenya
342
TZA
Tanzania
524
UGA
Uganda
284
ZAF
South Africa
127
SLE
Sierra Leone
1,120
LBR
Liberia
652
CIV
Cote d'Ivoire
617
BEN
Benin
523
BFA
Burkina Faso
320
GMB
The Gambia
458
SWZ
Eswatini
240
Compare: UK = 10, USA = 21, Sweden = 4
SIERRA LEONE
In Freetown, a woman giving birth is 112 times more likely to die
than a woman in London.
보건부 장관은 다음을 결정해야 합니다. 어떤 개입이 제한된 예산에 적합한가? 어떤 치료법이 가장 많은 산모들을 구할 수 있을까요?
그녀는 유럽에서 연구를 했습니다. 그녀는 미국 출신의 모델을 보유하고 있습니다.
But does she have proof that applies to her people?
보건부 장관은 다음을 결정해야 합니다. 어떤 개입이 제한된 예산에 적합한가? 어떤 치료법이 가장 많은 산모들을 구할 수 있을까요?
그녀는 유럽에서 연구를 했습니다. 그녀는 미국 출신의 모델을 보유하고 있습니다.
But does she have proof that applies to her people?
WHO Maternal Mortality Report, 2023
Seven Disease Groups
HIV
25.6M in Africa
MAL
95% of deaths
MCH
Mother & Child
NCD
Chronic Disease
CVD
Heart Disease
NTD
Tropical Disease
HSP
Health Systems
13 countries x 7 disease groups = 91 configuration packs
"그리고 그들은 멀리서 증거를 확보했습니다.
without testing if it fit their land,
without certifying if it fit their people.
그리고 그 숫자는 다음과 같습니다. naked."
without testing if it fit their land,
without certifying if it fit their people.
그리고 그 숫자는 다음과 같습니다. naked."
But what if every number had to show its face?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
TruthCert
알몸의 숫자에 옷 입히기
🔒
핵심 규칙
No number shall be shown to decision-makers
unless it carries proof of its origin,
proof of its transformation,
및 이 컨텍스트에 대한 유효성 증명.
IN SIMPLE WORDS
모든 숫자는 다음과 같이 대답해야 합니다. "어디서 오셨나요?" and "여기서 당신을 믿을 수 있습니까?"
What Is Proof?
1
Evidence Locator
정확한 연구, 데이터베이스 또는 이 번호의 출처
2
Content Hash
데이터가 변경되지 않았음을 증명하는 디지털 지문
3
Transformation Trail
원시 데이터부터 최종 번호까지의 모든 계산 단계
4
Validation Status
자동 확인이 통과되었나요? 경고는 무엇이었습니까?
What TruthCert Output Looks Like
TRUTHCERT CERTIFIED CLAIM
claim: "Misoprostol reduces PPH by 24%"
grade: STABLE
context: NGA (Nigeria)
african_studies: k = 6 # meets GO threshold
effect_size: RR 0.76 [95% CI: 0.68-0.84]
evidence_locator: doi:10.1016/S0140-6736(10)60348-7
hash: sha256:a3f2c9...
cost_per_dose: NGN 450 # local currency
icer: NGN 12,400 per DALY averted
validated: PASS # all checks passed
Four Grades of Certainty
STABLE
강력한 증거. 자신있게 진행하세요.
MODERATE
틈이 있는 좋은 증거입니다. 상태 불확실성.
EXPOSED
Structural uncertainty. Scenarios only.
UNCERTAIN
Refuse false precision. Bounds only.
등급 할당 방법
Grade
African Studies (k)
수행할 수 있는 작업
STABLE
k >= 4, 낮은 이질성(I² < 50%)
Full HTA, PSA, VOI, point estimates
MODERATE
k >= 4, 높은 이질성, 또는 k = 2-3
Full HTA with widened CIs, emphasize uncertainty
EXPOSED
k = 1, OR significant transportability concerns
Scenario analysis only, no point estimates
UNCERTAIN
k = 0, 또는 메모리의 증거/검증되지 않은 증거
Bounds only, worst-case, value-of-research
What Is Forbidden
MEMORY-LEAK = BLOCK
누군가 "통계가 30% 정도였던 것으로 기억합니다"라고 말한다면—
that cannot be certified.
기억은 증거가 아닙니다. 기억은 증거가 아닙니다.
that cannot be certified.
기억은 증거가 아닙니다. 기억은 증거가 아닙니다.
IN SIMPLE WORDS
말할 수 없습니다 "I think I heard..." or "Someone told me..."
발신 번호를 표시해야 합니다 exactly where 실제로 시민에게 서비스를 제공하는
슬라이드 4.1: 가치에 대한 질문
슬라이드 4.3: GDP 함정
슬라이드 4.4: 더 나은 방법
슬라이드 4.6: 후렴
==================== 모듈 5: 규율 ===================
When a government has only $50 per person per year for health,
how do you decide which treatments to fund?
how do you decide which treatments to fund?
Health Technology Assessment
핵심 질문
For every Naira, Cedi, or Shilling spent,
how much health 얻을 수 있습니까? 그리고 could we have done 그 돈으로 또 무엇을 할까요?
문턱 함정
역사에 대한 경고
For years, economists said: "Cost-effective if it costs less than 3x GDP per capita."
이것으로 논리에 따르면 3,000달러짜리 치료는 미국(GDP $76,000)에서는 "가치가 있는 것"이지만 시에라리온(GDP $500)에서는 "가치가 없는 것"입니다.
동일한 치료법입니다. 동일한 이점. 태어난 곳에 따라 다른 평결.
이것으로 논리에 따르면 3,000달러짜리 치료는 미국(GDP $76,000)에서는 "가치가 있는 것"이지만 시에라리온(GDP $500)에서는 "가치가 없는 것"입니다.
동일한 치료법입니다. 동일한 이점. 태어난 곳에 따라 다른 평결.
Woods B et al. Lancet Global Health 2016; Revill P et al. Health Policy Plan 2018
A Better Way
A
Affordability Analysis
Can the health system actually pay? What else gets cut?
N
Net Health Benefit
Health gained minus health lost by diverting resources
V
Value of Information
Is it worth doing more research before deciding?
Local Currency. Always.
NGN
Nigerian Naira
GHS
Ghana Cedi
KES
Kenyan Shilling
XOF
CFA Franc
이것이 중요한 이유
A minister in Accra budgets in Cedis.
She shouldn't have to convert from dollars.
Her budget, her currency, her decision.
"그리고 숫자가 입혀졌을 때 증거,
when every claim showed its source,
통화가 토지와 일치했을 때—
then the decision-makers could see clearly."
when every claim showed its source,
통화가 토지와 일치했을 때—
then the decision-makers could see clearly."
In 2012, scientists at Amgen tried to reproduce
53 랜드마크 암 연구.
How many could they replicate?
53 랜드마크 암 연구.
How many could they replicate?
6
Only 6 of 53 landmark studies could be reproduced.
IN SIMPLE WORDS
"획기적" 연구의 89%가 틀렸습니다 or couldn't be repeated.
Treatments given to patients. Based on findings that failed.
Begley CG & Ellis LM. Nature 2012;483:531-533
씨앗
THE REQUIREMENT
모든 TruthCert 분석은 exactly reproducible.
An analyst in Nairobi and an analyst in Geneva must get identical results.
786888
Master Seed
Fixed
All Random Processes
Logged
Every Step
현실을 위해 설계되어야 합니다
THE CONSTRAINT
A health economist in Freetown has an ordinary laptop, maybe unreliable internet.
TruthCert must run on what she actually has.
60s
Core Analysis
45s
Uncertainty (5K draws)
Offline
Works Without Internet
"그리고 동일한 씨앗이 아크라와 제네바에 심어졌고
두 곳에서 같은 열매가 자랐습니다.
그리고 누구든지 다시 씨앗을 심을 수 있었습니다.
동일한 진실을 수확하세요."
두 곳에서 같은 열매가 자랐습니다.
그리고 누구든지 다시 씨앗을 심을 수 있었습니다.
동일한 진실을 수확하세요."
목사 및 이사용
What you need to know in 3 minutes
각 등급의 의미
When TruthCert Says... You Should...
STABLE
자신감을 갖고 진행하세요. Present point estimates. Defend the numbers.
MODERATE
주의 깊게 진행하세요. Show ranges. Say "between X and Y."
EXPOSED
Show scenarios. "If A, then X. If B, then Y." No single number.
UNCERTAIN
Say "we don't know." Request more research before committing.
정치가 다음과 충돌할 때 증거
어려운 상황
구성원들이 이를 요구하는 불확실한 증거가 있습니다.
TruthCert는 당신에게 보호막을 제공합니다.
"나는 우리를 돕고 싶습니다. 사람들. 그러나 증거에 따르면 이것이 여기서 작동하는지 알 수 없습니다. 자금을 지원하겠습니다 pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
TruthCert는 당신에게 보호막을 제공합니다.
"나는 우리를 돕고 싶습니다. 사람들. 그러나 증거에 따르면 이것이 여기서 작동하는지 알 수 없습니다. 자금을 지원하겠습니다 pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
한 페이지 요약
1
Numbers must have sources
If staff can't show where a number came from, don't use it
2
아프리카 증거 찾기
"아프리카에서 얼마나 많은 연구가 이루어졌습니까?"라고 질문하세요. (신뢰를 위해 4+ 필요)
3
Demand local currency
Costs should be in Naira/Cedi/Shilling, not USD
4
Embrace uncertainty
"We don't know" is more honest than a fake precise number
첫 번째 실행 분석
A practical walkthrough
필요한 것
Browser
Chrome/Firefox/Edge
Data
입력 YAML
~2 hrs
Training time
NO SPECIAL SOFTWARE NEEDED
TruthCert runs in your browser. No installation. Works offline after first load.
Five Steps
1
Select Country + Disease
Choose from 13 countries, 7 disease groups. Example: NGA + MCH
2
로컬 입력 데이터
Unit costs, target population, budget. In NGN (local currency).
3
Select Evidence
연구 링크. 시스템은 아프리카 연구(k)를 자동으로 계산합니다.
4
Run Analysis
Click "Certify." Wait ~60 seconds. System assigns grade.
5
Export Results
PDF 보고서를 다운로드하세요. 모든 주장에는 증거 위치 지정자 + 해시가 있습니다.
데이터를 얻을 수 있는 곳
1
Unit Costs
WHO-CHOICE database, iDSI costing studies, local MOH price lists
2
Disease Burden
GBD (Global Burden of Disease), DHS surveys, local HMIS
3
Effect Sizes
Cochrane reviews, published meta-analyses, WHO guidelines
4
Budget Data
National health accounts, MOF budget documents, donor reports
아프리카 증거가 희박한 경우
IF k < 4(4보다 작은 아프리카) 연구)
TruthCert는 거짓된 자신감 있는 답변을 제공하지 않습니다. 대신:
1
Pivot to broader group
If "CVD in Ghana" has k=1, try "NCD in West Africa"
2
시나리오 분석 사용
Show best-case, worst-case, and middle scenarios
3
Calculate Value of Information
Would a new local study be worth funding?
Sustainability
How TruthCert survives long-term
📁
Open Source
Code is public. Anyone can run, modify, improve.
🎓
Train Locals
Each country builds own HTA capacity. Not dependent on outsiders.
💻
Offline-First
Works without internet. No cloud subscription needed.
What TruthCert Cannot Do
⚠
생성할 수 없음 증거. If no studies exist, TruthCert can't invent them.
⚠
Cannot guarantee political acceptance. 정책 변경에는 증거가 필요하지만 충분하지 않습니다.
⚠
Cannot replace judgment. It informs decisions, doesn't make them.
⚠
잘못된 데이터를 수정할 수 없습니다. 입력 비용이 잘못되면 출력도 잘못됩니다.
⚠
설명할 수 없습니다. 구현. A cost-effective intervention badly implemented may fail.
"TruthCert does not promise certainty.
It promises 불확실성에 대한 정직.
그리고 그 정직은 생명을 구합니다."
It promises 불확실성에 대한 정직.
그리고 그 정직은 생명을 구합니다."
References
여기에 인용된 주요 출처 과정
- Echt DS, Liebson PR, Mitchell LB, 외. 엔카이니드, 플레카이니드 또는 위약을 투여받는 환자의 사망률 및 이환율: CAST. NEJM 1991;324:781-788.
- Moore TJ. Deadly Medicine: Why Tens of Thousands of Heart Patients Died in America's Worst Drug Disaster. Simon & Schuster, 1995.
- Begley CG, Ellis LM. Drug development: Raise standards for preclinical cancer research. Nature 2012;483:531-533.
- Woods B, Revill P, Sculpher M, Claxton K. 국가 수준 비용 효율성 임계값: 초기 추정치 및 추가 연구의 필요성. Lancet Global Health 2016;4:e594-e601.
- WHO. Trends in maternal mortality 2000-2020. Geneva: World Health Organization, 2023.
- WHO. World Malaria Report 2022. Geneva: World Health Organization, 2022.
- UNAIDS. Global HIV Statistics 2023. Geneva: UNAIDS, 2023.
- Revill P, Ochalek J, Lomas J, et al. Cost-effectiveness thresholds: guiding health care spending for population health improvement. Health Policy Plan 2018;33:707-716.
자신의 치료법을 "알고" 있는 의사들의 이야기에서 CAST 시험에서 밝혀진 점은 무엇입니까?
약물은 예상대로 효과가 있었습니다
The drugs killed more people than they saved
약물은 효과가 없었습니다
시험은 결론이 나지 않았습니다
숫자가 "알몸"인 경우 이것은 무엇입니까? 무슨 뜻인가요?
They are displayed without formatting
근사치입니다
They have no proof of where they came from
통화가 잘못되었습니다
A minister receives a TruthCert report marked "EXPOSED." What should she do?
프로그램을 완전히 거부하세요
증거가 확실한 것처럼 진행하세요
Present scenarios ("if A then X, if B then Y") and consider a pilot
국제적인 소식을 기다리세요 연구
Why does TruthCert insist on local currency?
To make calculations easier
Because ministers budget in local currency and shouldn't have to convert
To avoid exchange rate fluctuations
It's an arbitrary requirement
✔
Course Complete
"그리고 숫자가 적용되었을 때,
when every claim carried its proof,
증거가 사용될 땅에서 테스트되었을 때—
그런 다음 어머니들은 살았고
아이들은 번성했고
의사 결정자들은 밤에 잠을 잘 수 있었습니다."
when every claim carried its proof,
증거가 사용될 땅에서 테스트되었을 때—
그런 다음 어머니들은 살았고
아이들은 번성했고
의사 결정자들은 밤에 잠을 잘 수 있었습니다."
This is TruthCert.
슬라이드 10.1: 모듈 열기
슬라이드 10.3: 라인하르트-로고프 스토리
슬라이드 10.7: Duke Cancer Story
슬라이드 10.11: RIAT 스토리
슬라이드 10.15: 복제 위기 이야기
슬라이드 10.19: 모듈 요약
What if history had given us warnings—
스프레드시트에 기록되고 데이터에 숨겨진
buried in files no one thought to check?
스프레드시트에 기록되고 데이터에 숨겨진
buried in files no one thought to check?
확실성, 오류, 검증하지 않음에 따른 대가에 대한 이야기입니다.
What if a spreadsheet error
국가의 운명이 결정됩니까?
국가의 운명이 결정됩니까?
역사를 바꾼 스프레드시트
실제 데이터
In 2010, Harvard economists Reinhart and Rogoff published "Growth in a Time of Debt".
Their claim: when a country's debt exceeds 90% of GDP, economic growth collapses.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, 선택적 데이터 가중치 부여, 그리고 색다른 방법. 진정한 관계는 much weaker.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, 선택적 데이터 가중치 부여, 그리고 색다른 방법. 진정한 관계는 much weaker.
Herndon, Ash & Pollin (2014). Cambridge Journal of Economics.
두 가지 경로
였습니다. 귀하는 정책 고문입니다. 라인하르트-로고프(Reinhart-Rogoff)가 당신 책상 위에 있습니다. 어떻게 하시나요?
경로 A: 결과 신뢰
90% 임계값을 사실로 수락
↓
Advocate austerity policies
↓
Millions suffer from unnecessary budget cuts, unemployment rises, recovery stalls
경로 B: 데이터 요청
스프레드시트 및 방법 요청
↓
검색 실제로 시민에게 서비스를 제공하는 Excel 오류
↓
Make evidence-based policy 에서 나온 번호입니다.
THE REVELATION
Excel 스프레드시트 오류는 재현성이 필요한 이유입니다. Reinhart와 Rogoff가 스프레드시트를 공유해야 했다면 오류는 2013년이 아니라 2010년에 발견되었을 것입니다.
Three years of policy built on a formula that missed five cells.
Three years of policy built on a formula that missed five cells.
THE LESSON
재현성은 관료주의가 아닙니다. 국가가 조치를 취하기 전과 실행한 후에 오류를 발견하는 것의 차이가 있습니다.
What happens when genomic signatures
sand?
sand?
사기를 기반으로 한 실험
실제 데이터
Dr. Anil Potti at Duke University published genomic predictors claiming to match
cancer patients to the chemotherapy most likely to help them.
임상 실험에 환자가 등록되었습니다. 그의 알고리즘을 기반으로 치료법이 선택되었습니다. 약속: personalized medicine that could revolutionize cancer care.
Then investigations revealed: 위조된 데이터, 불가능한 결과, 조작된 수치. 재판이 중단되었습니다. 환자들은 사기를 바탕으로 치료를 받았습니다.
임상 실험에 환자가 등록되었습니다. 그의 알고리즘을 기반으로 치료법이 선택되었습니다. 약속: personalized medicine that could revolutionize cancer care.
Then investigations revealed: 위조된 데이터, 불가능한 결과, 조작된 수치. 재판이 중단되었습니다. 환자들은 사기를 바탕으로 치료를 받았습니다.
Baggerly & Coombes (2009). Annals of Applied Statistics. IOM Report (2012).
두 가지 경로
귀하는 2010년 암 환자입니다. 귀하는 포티 유도 치료를 받았습니다. 어떻게 하시나요?
경로 A: 출판물 신뢰
Accept the prestigious journal's findings
↓
임상 시험 등록
↓
Receive treatment based on fraud—potentially harmful, definitely not personalized
경로 B: 검증에 대해 문의
독립 복제 증거 요청
↓
Discover none exists
↓
Avoid harmful treatment—wait for properly validated approaches
THE REVELATION
Reproducibility is not bureaucracy. It is patient protection.
듀크 스캔들이 연구소로 이어졌습니다. of Medicine에서는 omics-based tests require independent validation before clinical use.
해당 임상시험에서 환자에게 정책이 너무 늦었습니다.
듀크 스캔들이 연구소로 이어졌습니다. of Medicine에서는 omics-based tests require independent validation before clinical use.
해당 임상시험에서 환자에게 정책이 너무 늦었습니다.
THE LESSON
Independent validation saves lives. 유명한 기관, 유명한 연구원, 일류 저널 등 어느 누구도 다른 사람이 작업을 확인하도록 하는 단순한 행위를 대체할 수 없습니다.
Can dead trials
be brought back to life?
be brought back to life?
숨겨진 증거의 부활
실제 데이터
RIAT 이니셔티브(Restoring Invisible and Abandoned Trials)에서는 미발표 또는 잘못 보고된 결과가 있는 임상 시험을 확인했습니다.
Study 329 (청소년 우울증에 대한 파록세틴): 2001년 원본 출판물 주장 그 약은 "안전하고 효과적이었습니다." 14년 동안 의사들은 이 주장에 근거하여 이 약을 처방했습니다.
RIAT 연구원들은 전체 데이터를 얻었습니다. 2015년 재분석 결과에 따르면 해당 약물은 neither safe nor effective 이 모집단에 사용되었습니다. 원저자들은 선별적으로 결과를 보고했습니다.
Study 329 (청소년 우울증에 대한 파록세틴): 2001년 원본 출판물 주장 그 약은 "안전하고 효과적이었습니다." 14년 동안 의사들은 이 주장에 근거하여 이 약을 처방했습니다.
RIAT 연구원들은 전체 데이터를 얻었습니다. 2015년 재분석 결과에 따르면 해당 약물은 neither safe nor effective 이 모집단에 사용되었습니다. 원저자들은 선별적으로 결과를 보고했습니다.
Le Noury et al. (2015). BMJ. RIAT Project: riat-support.org
두 가지 경로
당신은 15년 전에 한 임상시험이 잘못 보고되었음을 발견했습니다. 피해가 여전히 발생할 수 있습니다. 어떻게 하시나요?
Path A: Accept It Is Too Late
Assume the moment has passed
↓
결함이 있는 연구는 기록으로 남습니다
↓
Old harms continue—doctors keep prescribing based on false evidence
경로 B: 원본 데이터 찾기
Obtain raw data through legal/regulatory means
↓
수정 사항을 재분석하고 게시
↓
Prevent future harm—update guidelines, change practice
THE REVELATION
It is never too late to correct the record.
RIAT는 결단력과 데이터로 이를 입증했습니다 액세스, even decades-old deceptions can be overturned.
진실은 만료되지 않습니다. 이를 추구할 의무도 없습니다.
RIAT는 결단력과 데이터로 이를 입증했습니다 액세스, even decades-old deceptions can be overturned.
진실은 만료되지 않습니다. 이를 추구할 의무도 없습니다.
THE LESSON
데이터 액세스는 정의를 가능하게 합니다. 원본 데이터가 잠겨 있으면 오류와 사기가 영구적으로 남게 됩니다. 데이터에 액세스할 수 있으면 과학 기록은 언제든지 수정될 수 있습니다.
What fraction of published findings
실제로 사실입니까?
실제로 사실입니까?
복제 위기
실제 데이터
The Open Science Collaboration (2015) attempted to replicate
100 출판된 심리학 연구.
Original studies: 97%가 통계적으로 유의미한 결과를 보고했습니다.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
'복제 위기'가 주류를 이루었습니다. 프라이밍, 자아 고갈, 파워 포즈에 대해 우리가 알고 있다고 생각했던 내용은 발표된 것보다 훨씬 확실하지 않았습니다.
Original studies: 97%가 통계적으로 유의미한 결과를 보고했습니다.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
'복제 위기'가 주류를 이루었습니다. 프라이밍, 자아 고갈, 파워 포즈에 대해 우리가 알고 있다고 생각했던 내용은 발표된 것보다 훨씬 확실하지 않았습니다.
Open Science Collaboration (2015). Science. doi:10.1126/science.aac4716
The Numbers
97%
Original studies
significant
significant
36%
Replications
significant
significant
50%
Average effect
size drop
size drop
이것이 의미하는 바
당신이 읽은 3가지 심리학 연구 결과마다 2는 복제되지 않을 수 있습니다. 사기 때문이 아니라 소음, 분석의 유연성, 긍정적인 결과를 발표해야 한다는 압박감 때문입니다.
두 가지 경로
당신은 출판된 심리학 연구를 기반으로 임상 프로그램을 설계하고 있습니다. 당신은 무엇을합니까?
Path A: Trust Original Publications
Build your program on published findings
↓
Invest resources in implementation
↓
기초가 신뢰할 수 없다는 사실을 발견하세요—program fails to produce expected outcomes
경로 B: 복제 확인
Search for independent replications first
↓
36% 복제율 찾기
↓
더 강력한 증거를 요구하다—pilot test, require multi-site replication before scale
THE REVELATION
"Published" does not mean "true."
복제에는 의심의 여지가 없습니다.그것은 의도한 대로 작동하는 과학적 방법이다.
위기는 과학이 실패해서가 아니었다. 위기는 우리가 얼마나 드물게 확인했는지를 발견했다는 것입니다.
복제에는 의심의 여지가 없습니다.그것은 의도한 대로 작동하는 과학적 방법이다.
위기는 과학이 실패해서가 아니었다. 위기는 우리가 얼마나 드물게 확인했는지를 발견했다는 것입니다.
THE LESSON
단일 연구는 사실이 아니라 가설입니다. 연구에 대한 정책을 수립하기 전에 다음과 같이 질문하십시오. 이것이 복제되었습니까? 누구에 의해? 그 결과는 어떠하였습니까?
Four Stories, One Truth
1
Reinhart-Rogoff
데이터를 공유하세요. 수년 동안 Excel 오류로 인해 긴축 정책이 발생했습니다.
2
Duke Cancer Scandal
Require independent validation. Prestige does not equal truth.
3
RIAT Initiative
It is never too late. Buried evidence can be resurrected.
4
Replication Crisis
Published does not mean true. Replication is how science works.
"그리고 그들이 확인하지 않았을 때,
when they trusted without checking,
명망 높은 사람은 절대 오류가 없다고 생각했을 때-
숫자는 그대로 남아 있었고,
그리고 사람들은 그 대가를 치렀습니다."
when they trusted without checking,
명망 높은 사람은 절대 오류가 없다고 생각했을 때-
숫자는 그대로 남아 있었고,
그리고 사람들은 그 대가를 치렀습니다."
"But when they demanded proof,
when they shared their data,
when they replicated before they trusted—
진실이 드러났고,
피해를 예방했고,
그리고 지식이 발전했습니다."
when they shared their data,
when they replicated before they trusted—
진실이 드러났고,
피해를 예방했고,
그리고 지식이 발전했습니다."
1 / 6