TruthCert > The Warning
=================== МОДУЛЬ 1: ПРЕДУПРЕЖДЕНИЕ ===================
Слайд 1.2: История CAST
Слайд 1.3: Число погибших
Слайд 1.4: Припев
Слайд 1.5: Вопрос
=================== МОДУЛЬ 2: ЗЕМЛИ ===================
Слайд 3.5: Четыре класса
Слайд 3.7: Запретное
=================== МОДУЛЬ 4: МЕТОД ===================
Слайд 5.2: Кризис
Слайд 5.3: Семя
Слайд 5.5: Припев
=================== МОДУЛЬ 6: ДЛЯ ЛИЦ, ПРИНИМАЮЩИХ РЕШЕНИЯ ===================
Слайд 6.2: Матрица решений
Слайд 6.4: Одностраничное резюме
=================== МОДУЛЬ 7: Практическое занятие ===================
слайд 7.2: Что вам нужно
Слайд 7.3: Шаги
Слайд 7.4: Источники данных
=================== МОДУЛЬ 8: УСТОЙЧИВОЕ РАЗВИТИЕ И ОГРАНИЧЕНИЯ ===================
Слайд 8.3: Честная правда
=================== МОДУЛЬ 9: ССЫЛКИ И ВИКТОРИНА ===================
==================== МОДУЛЬ 10: РЕАЛЬНЫЕ ИСТОРИИ ===================
Разве вы не слышали рассказ о врачах?
who, certain of their cure,
killed more patients than the disease itself?
who, certain of their cure,
killed more patients than the disease itself?
Год был 1989
UNITED STATES
Каждый кардиолог в Америке знал логику: нерегулярное сердцебиение после сердечного приступа опасно. Лекарства, подавляющие эти аритмии, несомненно, спасут жизни.
Аргументация была здравой. Механизм был ясен. Препараты были назначены 200,000 Americans every year.
Доказательств никто не требовал. Логики было достаточно.
Аргументация была здравой. Механизм был ясен. Препараты были назначены 200,000 Americans every year.
Доказательств никто не требовал. Логики было достаточно.
Echt DS et al. NEJM 1991; Moore TJ. Deadly Medicine, 1995
А потом пришел суд под названием CAST...
50,000
Americans killed by "the cure" each year
IN SIMPLE WORDS
Врачи дали лекарство, которое made sense but had never been tested properly. Лекарство убило больше людей, чем война во Вьетнаме. Каждый год.
«И цифры были голые —
without witness, without proof, without certification.
И люди погибли».
without witness, without proof, without certification.
И люди погибли».
Вот почему существует TruthCert.
Do you think such catastrophes happen only in America?
Consider Africa.
Consider Africa.
Бремя заимствованных доказательств
90%
of clinical trials
outside Africa
outside Africa
13%
of global disease
burden in Africa
burden in Africa
<2%
of global health
research funding
research funding
IN SIMPLE WORDS
Africa has many sick people but очень мало исследований about how to treat them.
Doctors must use treatments tested on people in other countries.
But what works in London may not work in Lagos.
Слайд 2.1: Тринадцать
Слайд 2.2: Страны
Слайд 2.4: Семь страданий
Слайд 2.5: Припев
=================== МОДУЛЬ 3: РЕШЕНИЕ ===================
Разве ты не видел тринадцать народов?
where mothers die giving life,
where children fall to fever,
where решения принимаются в темноте?
where mothers die giving life,
where children fall to fever,
where решения принимаются в темноте?
Thirteen Nations
Maternal deaths per 100,000 live births (WHO 2020)
NGA
Nigeria
917
GHA
Ghana
308
KEN
Kenya
342
TZA
Tanzania
524
UGA
Uganda
284
ZAF
South Africa
127
SLE
Sierra Leone
1,120
LBR
Liberia
652
CIV
Cote d'Ivoire
617
BEN
Benin
523
BFA
Burkina Faso
320
GMB
The Gambia
458
SWZ
Eswatini
240
Compare: UK = 10, USA = 21, Sweden = 4
SIERRA LEONE
In Freetown, a woman giving birth is 112 times more likely to die
than a woman in London.
Министр здравоохранения должен решить: какие меры заслуживают ограниченного бюджета? Какие методы лечения спасут больше всего матерей?
У нее есть учеба в Европе. У нее есть модели из Америки.
But does she have proof that applies to her people?
Министр здравоохранения должен решить: какие меры заслуживают ограниченного бюджета? Какие методы лечения спасут больше всего матерей?
У нее есть учеба в Европе. У нее есть модели из Америки.
But does she have proof that applies to her people?
WHO Maternal Mortality Report, 2023
Seven Disease Groups
HIV
25.6M in Africa
MAL
95% of deaths
MCH
Mother & Child
NCD
Chronic Disease
CVD
Heart Disease
NTD
Tropical Disease
HSP
Health Systems
13 countries x 7 disease groups = 91 configuration packs
«И они взяли доказательства издалека,
without testing if it fit their land,
without certifying if it fit their people.
И цифры были голыми».
without testing if it fit their land,
without certifying if it fit their people.
И цифры были голыми».
But what if every number had to show its face?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
What if every statistic had to name its witness?
What if naked numbers were forbidden?
TruthCert
Одежда голых номеров
🔒
Основное правило
No number shall be shown to decision-makers
unless it carries proof of its origin,
proof of its transformation,
и доказательство его достоверности для данного контекста.
IN SIMPLE WORDS
Каждый номер должен ответить: — Откуда ты взялся? and «Могу ли я доверять тебе здесь?»
What Is Proof?
1
Evidence Locator
Точное исследование, база данных или источник, откуда взялось это число.
2
Content Hash
Цифровой отпечаток пальца, подтверждающий, что данные не были изменены.
3
Transformation Trail
Каждый шаг расчета от исходных данных до окончательного числа
4
Validation Status
Пройдены ли автоматические проверки? Какие были предупреждения?
What TruthCert Output Looks Like
TRUTHCERT CERTIFIED CLAIM
claim: "Misoprostol reduces PPH by 24%"
grade: STABLE
context: NGA (Nigeria)
african_studies: k = 6 # meets GO threshold
effect_size: RR 0.76 [95% CI: 0.68-0.84]
evidence_locator: doi:10.1016/S0140-6736(10)60348-7
hash: sha256:a3f2c9...
cost_per_dose: NGN 450 # local currency
icer: NGN 12,400 per DALY averted
validated: PASS # all checks passed
Four Grades of Certainty
STABLE
Веские доказательства. Действуйте уверенно.
MODERATE
Хорошие доказательства с пробелами. Государственная неопределенность.
EXPOSED
Structural uncertainty. Scenarios only.
UNCERTAIN
Refuse false precision. Bounds only.
Как выставляются оценки
Grade
African Studies (k)
Что вы можете сделать
STABLE
k >= 4 с низкой неоднородностью (I² < 50%)
Full HTA, PSA, VOI, point estimates
MODERATE
k >= 4 при высокой неоднородности, ИЛИ k = 2-3
Full HTA with widened CIs, emphasize uncertainty
EXPOSED
k = 1, OR significant transportability concerns
Scenario analysis only, no point estimates
UNCERTAIN
k = 0, ИЛИ данные по памяти/непроверенные
Bounds only, worst-case, value-of-research
What Is Forbidden
MEMORY-LEAK = BLOCK
Если кто-то скажет: «Я помню, статистика была около 30%» —
that cannot be certified.
Память не является доказательством. Воспоминание не является доказательством.
that cannot be certified.
Память не является доказательством. Воспоминание не является доказательством.
IN SIMPLE WORDS
Вы не можете сказать "I think I heard..." or "Someone told me..."
Вы должны показать exactly where номер пришел откуда.
Слайд 4.1: Вопрос ценности
Слайд 4.3: Ловушка ВВП
Слайд 4.4: Лучший способ
Слайд 4.6: Припев
=================== МОДУЛЬ 5: ДИСЦИПЛИНА ===================
When a government has only $50 per person per year for health,
how do you decide which treatments to fund?
how do you decide which treatments to fund?
Health Technology Assessment
ОСНОВНОЙ ВОПРОС
For every Naira, Cedi, or Shilling spent,
how much health мы выиграем? И что еще could we have done с этими деньгами?
Пороговая ловушка
ПРЕДУПРЕЖДЕНИЕ ИЗ ИСТОРИИ
For years, economists said: "Cost-effective if it costs less than 3x GDP per capita."
По этой логике, лечение стоимостью 3000 долларов «стоит того» в Америке (ВВП 76 000 долларов США), но «не стоит того» в Сьерра-Леоне (ВВП 500 долларов США).
То же самое лечение. Та же выгода. Различные вердикты в зависимости от того, где вы родились.
По этой логике, лечение стоимостью 3000 долларов «стоит того» в Америке (ВВП 76 000 долларов США), но «не стоит того» в Сьерра-Леоне (ВВП 500 долларов США).
То же самое лечение. Та же выгода. Различные вердикты в зависимости от того, где вы родились.
Woods B et al. Lancet Global Health 2016; Revill P et al. Health Policy Plan 2018
A Better Way
A
Affordability Analysis
Can the health system actually pay? What else gets cut?
N
Net Health Benefit
Health gained minus health lost by diverting resources
V
Value of Information
Is it worth doing more research before deciding?
Local Currency. Always.
NGN
Nigerian Naira
GHS
Ghana Cedi
KES
Kenyan Shilling
XOF
CFA Franc
ПОЧЕМУ ЭТО ВАЖНО
A minister in Accra budgets in Cedis.
She shouldn't have to convert from dollars.
Her budget, her currency, her decision.
«И когда цифры были облечены в доказательство,
when every claim showed its source,
когда валюта соответствовала земле —
then the decision-makers could see clearly."
when every claim showed its source,
когда валюта соответствовала земле —
then the decision-makers could see clearly."
In 2012, scientists at Amgen tried to reproduce
53 знаковых исследования рака.
How many could they replicate?
53 знаковых исследования рака.
How many could they replicate?
6
Only 6 of 53 landmark studies could be reproduced.
IN SIMPLE WORDS
89% «прорывных» исследований оказались ошибочными or couldn't be repeated.
Treatments given to patients. Based on findings that failed.
Begley CG & Ellis LM. Nature 2012;483:531-533
Дисциплина семени
THE REQUIREMENT
Каждый анализ TruthCert должен быть exactly reproducible.
An analyst in Nairobi and an analyst in Geneva must get identical results.
786888
Master Seed
Fixed
All Random Processes
Logged
Every Step
Создано для реальности
THE CONSTRAINT
A health economist in Freetown has an ordinary laptop, maybe unreliable internet.
TruthCert must run on what she actually has.
60s
Core Analysis
45s
Uncertainty (5K draws)
Offline
Works Without Internet
«И то же семя было посажено в Аккре и в Женеве,
и в обоих местах рос один и тот же плод.
И любой мог снова посадить семя,
и пожинайте ту же истину».
и в обоих местах рос один и тот же плод.
И любой мог снова посадить семя,
и пожинайте ту же истину».
Для министров и директоров
What you need to know in 3 minutes
Что для вас означает каждая оценка
When TruthCert Says... You Should...
STABLE
Действуйте уверенно. Present point estimates. Defend the numbers.
MODERATE
Действуйте осторожно. Show ranges. Say "between X and Y."
EXPOSED
Show scenarios. "If A, then X. If B, then Y." No single number.
UNCERTAIN
Say "we don't know." Request more research before committing.
Когда политика противоречит фактам
СЛОЖНАЯ СИТУАЦИЯ
Популярная программа имеет НЕОПРЕДЕЛЕННЫЕ доказательства. Избиратели требуют этого. Что вы делаете?
TruthCert дает вам щит:
«Я хочу помочь нашему народу. Но факты говорят, что мы не знаем, сработает ли это здесь. Позвольте мне профинансировать pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
TruthCert дает вам щит:
«Я хочу помочь нашему народу. Но факты говорят, что мы не знаем, сработает ли это здесь. Позвольте мне профинансировать pilot study first—so we can be sure we're helping, not harming."
You're not saying no. You're saying "let's be sure."
Ваше одностраничное резюме
1
Numbers must have sources
If staff can't show where a number came from, don't use it
2
Ищите африканские доказательства
Спросите: «Сколько исследований было проведено в Африке?» (для уверенности нужно 4+)
3
Demand local currency
Costs should be in Naira/Cedi/Shilling, not USD
4
Embrace uncertainty
"We don't know" is more honest than a fake precise number
Проведение вашего первого анализа
A practical walkthrough
Что вам нужно
Browser
Chrome/Firefox/Edge
Data
Ваш входной YAML
~2 hrs
Training time
NO SPECIAL SOFTWARE NEEDED
TruthCert runs in your browser. No installation. Works offline after first load.
Five Steps
1
Select Country + Disease
Choose from 13 countries, 7 disease groups. Example: NGA + MCH
2
Ввод локальных данных
Unit costs, target population, budget. In NGN (local currency).
3
Select Evidence
Ссылка на исследования. Система автоматически подсчитывает африканские исследования (k).
4
Run Analysis
Click "Certify." Wait ~60 seconds. System assigns grade.
5
Export Results
Скачать отчет в формате PDF. Все претензии имеют локаторы доказательств + хеши.
Где взять данные
1
Unit Costs
WHO-CHOICE database, iDSI costing studies, local MOH price lists
2
Disease Burden
GBD (Global Burden of Disease), DHS surveys, local HMIS
3
Effect Sizes
Cochrane reviews, published meta-analyses, WHO guidelines
4
Budget Data
National health accounts, MOF budget documents, donor reports
Когда африканских свидетельств мало
ЕСЛИ k < 4 (МЕНЬШЕ 4 АФРИКАНСКИХ ИССЛЕДОВАНИЙ)
TruthCert не даст вам фальшивого уверенного ответа. Вместо:
1
Pivot to broader group
If "CVD in Ghana" has k=1, try "NCD in West Africa"
2
Используйте анализ сценариев
Show best-case, worst-case, and middle scenarios
3
Calculate Value of Information
Would a new local study be worth funding?
Sustainability
How TruthCert survives long-term
📁
Open Source
Code is public. Anyone can run, modify, improve.
🎓
Train Locals
Each country builds own HTA capacity. Not dependent on outsiders.
💻
Offline-First
Works without internet. No cloud subscription needed.
What TruthCert Cannot Do
⚠
Не могу создать доказательства. If no studies exist, TruthCert can't invent them.
⚠
Cannot guarantee political acceptance. Доказательства необходимы, но недостаточны для изменения политики.
⚠
Cannot replace judgment. It informs decisions, doesn't make them.
⚠
Невозможно исправить неверные данные. Если ваши входные затраты неверны, результаты будут неправильными.
⚠
Не могу отчитаться за реализацию. A cost-effective intervention badly implemented may fail.
"TruthCert does not promise certainty.
It promises честность в отношении неопределенности.
И эта честность спасает жизни».
It promises честность в отношении неопределенности.
И эта честность спасает жизни».
References
Ключевые источники, цитируемые в этом курсе
- Эхт Д.С., Либсон П.Р., Митчелл Л.Б. и др. Смертность и заболеваемость у пациентов, получающих энкаинид, флекаинид или плацебо: CAST. NEJM 1991;324:781-788.
- Moore TJ. Deadly Medicine: Why Tens of Thousands of Heart Patients Died in America's Worst Drug Disaster. Simon & Schuster, 1995.
- Begley CG, Ellis LM. Drug development: Raise standards for preclinical cancer research. Nature 2012;483:531-533.
- Вудс Б., Ревилл П., Скалфер М., Клэкстон К. Пороги экономической эффективности на уровне страны: первоначальные оценки и необходимость дальнейших исследований. Lancet Global Health 2016;4:e594-e601.
- WHO. Trends in maternal mortality 2000-2020. Geneva: World Health Organization, 2023.
- WHO. World Malaria Report 2022. Geneva: World Health Organization, 2022.
- UNAIDS. Global HIV Statistics 2023. Geneva: UNAIDS, 2023.
- Revill P, Ochalek J, Lomas J, et al. Cost-effectiveness thresholds: guiding health care spending for population health improvement. Health Policy Plan 2018;33:707-716.
Что показало испытание CAST в истории врачей, которые «знали», что их лечение подействует?
Препараты подействовали, как и ожидалось
The drugs killed more people than they saved
Препараты не оказали никакого эффекта
Суд был безрезультатным
Когда цифры «голые», что это означает?
They are displayed without formatting
Это приближения
They have no proof of where they came from
Они в неправильной валюте
A minister receives a TruthCert report marked "EXPOSED." What should she do?
Полностью отказаться от программы
Действуйте так, как если бы доказательства были вескими
Present scenarios ("if A then X, if B then Y") and consider a pilot
Подождите новых международных исследований
Why does TruthCert insist on local currency?
To make calculations easier
Because ministers budget in local currency and shouldn't have to convert
To avoid exchange rate fluctuations
It's an arbitrary requirement
✔
Course Complete
«И когда числа были одеты,
when every claim carried its proof,
когда доказательства были проверены в стране, где они будут использоваться —
тогда матери жили,
и дети процветали,
и лица, принимающие решения, могли спать по ночам».
when every claim carried its proof,
когда доказательства были проверены в стране, где они будут использоваться —
тогда матери жили,
и дети процветали,
и лица, принимающие решения, могли спать по ночам».
This is TruthCert.
Слайд 10.1: Открытие модуля
Слайд 10.3: История Рейнхарта-Рогоффа
Слайд 10.7: История рака герцога
Слайд 10.11: RIAT История
Слайд 10.15: История кризиса репликации
Слайд 10.19: Краткое описание модуля
What if history had given us warnings—
записанные в электронных таблицах, скрытые в данных,
buried in files no one thought to check?
записанные в электронных таблицах, скрытые в данных,
buried in files no one thought to check?
Это истории об уверенности, ошибках и цене отсутствия проверки.
What if a spreadsheet error
творит судьбы народов?
творит судьбы народов?
Электронная таблица, изменившая историю
РЕАЛЬНЫЕ ДАННЫЕ
In 2010, Harvard economists Reinhart and Rogoff published "Growth in a Time of Debt".
Their claim: when a country's debt exceeds 90% of GDP, economic growth collapses.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, выборочное взвешивание данных и нетрадиционные методы. Истинные отношения были much weaker.
Politicians worldwide cited this to justify austerity measures—cutting public spending, reducing services, freezing wages.
Then in 2013, a graduate student named Thomas Herndon asked for their spreadsheet. He found: an Excel error that excluded 5 countries, выборочное взвешивание данных и нетрадиционные методы. Истинные отношения были much weaker.
Herndon, Ash & Pollin (2014). Cambridge Journal of Economics.
Два пути
Вы — политический советник. Рейнхарт-Рогофф у тебя на столе. Что вы делаете?
Путь А: Доверьтесь результату
Примите порог в 90% как факт
↓
Advocate austerity policies
↓
Millions suffer from unnecessary budget cuts, unemployment rises, recovery stalls
Путь Б: запрос данных
Запросите таблицу и методы
↓
Обнаружьте ошибку Excel
↓
Make evidence-based policy который на самом деле служит гражданам
THE REVELATION
Ошибка электронной таблицы Excel — вот почему нам нужна воспроизводимость. Если бы Рейнхарту и Рогоффу пришлось поделиться своей электронной таблицей, ошибка была бы обнаружена в 2010 году, а не в 2013 году.
Three years of policy built on a formula that missed five cells.
Three years of policy built on a formula that missed five cells.
THE LESSON
Воспроизводимость – это не бюрократия. В этом разница между обнаружением ошибки до того, как страны начнут действовать по ней, и после.
What happens when genomic signatures
построены на песке?
построены на песке?
Испытания, построенные на мошенничестве
РЕАЛЬНЫЕ ДАННЫЕ
Dr. Anil Potti at Duke University published genomic predictors claiming to match
cancer patients to the chemotherapy most likely to help them.
В клинические исследования включались пациенты. Лечение подбиралось по его алгоритмам. Обещание: personalized medicine that could revolutionize cancer care.
Then investigations revealed: сфабрикованные данные, невозможные результаты, манипулируемые цифры. Суды были остановлены. Пациенты получали лечение, основанное на мошенничестве.
В клинические исследования включались пациенты. Лечение подбиралось по его алгоритмам. Обещание: personalized medicine that could revolutionize cancer care.
Then investigations revealed: сфабрикованные данные, невозможные результаты, манипулируемые цифры. Суды были остановлены. Пациенты получали лечение, основанное на мошенничестве.
Baggerly & Coombes (2009). Annals of Applied Statistics. IOM Report (2012).
Два пути
В 2010 году вы больны раком. Вам предлагается лечение под руководством Потти. Что вы делаете?
Путь A: Доверьтесь публикации
Accept the prestigious journal's findings
↓
Запишитесь на участие в клиническом исследовании
↓
Receive treatment based on fraud—potentially harmful, definitely not personalized
Путь B: Спросите о проверке
Запросите доказательства независимой репликации
↓
Discover none exists
↓
Avoid harmful treatment—wait for properly validated approaches
THE REVELATION
Reproducibility is not bureaucracy. It is patient protection.
Герцог скандал привел к тому, что Институт медицины рекомендовал, чтобы omics-based tests require independent validation before clinical use.
Эта политика была принята слишком поздно для пациентов, участвовавших в этих исследованиях.
Герцог скандал привел к тому, что Институт медицины рекомендовал, чтобы omics-based tests require independent validation before clinical use.
Эта политика была принята слишком поздно для пациентов, участвовавших в этих исследованиях.
THE LESSON
Independent validation saves lives. Престижное учреждение, известный исследователь, ведущий журнал — ничто из этого не заменяет простого действия, когда кто-то другой проверяет работу.
Can dead trials
be brought back to life?
be brought back to life?
Возрождение скрытых доказательств
РЕАЛЬНЫЕ ДАННЫЕ
Инициатива RIAT (Restoring Invisible and Abandoned Trials) выявила клинические испытания с неопубликованными или неверно сообщенными результатами.
Study 329 (пароксетин при подростковой депрессии): в оригинальной публикации 2001 года утверждалось, что препарат был "безопасным и эффективным". В течение 14 лет врачи прописывали его на основании этого утверждения.
Исследователи РИАТ получили полные данные. Их повторный анализ 2015 года показал: препарат был neither safe nor effective для этой группы населения. Первоначальные авторы выборочно сообщали о результатах.
Study 329 (пароксетин при подростковой депрессии): в оригинальной публикации 2001 года утверждалось, что препарат был "безопасным и эффективным". В течение 14 лет врачи прописывали его на основании этого утверждения.
Исследователи РИАТ получили полные данные. Их повторный анализ 2015 года показал: препарат был neither safe nor effective для этой группы населения. Первоначальные авторы выборочно сообщали о результатах.
Le Noury et al. (2015). BMJ. RIAT Project: riat-support.org
Два пути
Вы обнаруживаете, что 15 лет назад об исследовании было неверно сообщено. Вред все еще может иметь место. Что вы делаете?
Path A: Accept It Is Too Late
Assume the moment has passed
↓
Некорректное исследование остается записью
↓
Old harms continue—doctors keep prescribing based on false evidence
Путь B: поиск исходных данных
Obtain raw data through legal/regulatory means
↓
Повторно проанализировать и опубликовать исправление
↓
Prevent future harm—update guidelines, change practice
THE REVELATION
It is never too late to correct the record.
RIAT доказал это решительностью и данными доступ, even decades-old deceptions can be overturned.
Правда не имеет срока действия. Не действует и обязательство искать их.
RIAT доказал это решительностью и данными доступ, even decades-old deceptions can be overturned.
Правда не имеет срока действия. Не действует и обязательство искать их.
THE LESSON
Доступ к данным обеспечивает справедливость. Когда исходные данные заблокированы, ошибки и мошенничество становятся постоянными. Когда данные доступны, научные данные всегда можно исправить.
What fraction of published findings
действительно ли это правда?
действительно ли это правда?
Кризис репликации
РЕАЛЬНЫЕ ДАННЫЕ
The Open Science Collaboration (2015) attempted to replicate
100 опубликованных публикаций по психологии исследования.
Original studies: 97% сообщили о статистически значимых результатах.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
"Кризис репликации" стал мейнстримом. То, что мы думали, что знаем — о прайминге, истощении эго, силовом позировании — было гораздо менее достоверным, чем опубликовано.
Original studies: 97% сообщили о статистически значимых результатах.
Replications: Only 36% achieved significance. Effect sizes dropped by half on average.
"Кризис репликации" стал мейнстримом. То, что мы думали, что знаем — о прайминге, истощении эго, силовом позировании — было гораздо менее достоверным, чем опубликовано.
Open Science Collaboration (2015). Science. doi:10.1126/science.aac4716
The Numbers
97%
Original studies
significant
significant
36%
Replications
significant
significant
50%
Average effect
size drop
size drop
ЧТО ЭТО ЗНАЧИТ
На каждые три психологических открытия, о которых вы читали, 2 могут не повториться. Не из-за мошенничества, а из-за шума, гибкости анализа и давления с целью публикации положительных результатов.
Два пути
Вы разрабатываете клиническую программу на основе опубликованных исследований в области психологии. Что вы делаете?
Path A: Trust Original Publications
Build your program on published findings
↓
Invest resources in implementation
↓
Обнаружьте, что основа ненадежна—program fails to produce expected outcomes
Путь B: Проверка репликации
Search for independent replications first
↓
Определите уровень репликации 36%
↓
Требуйте более веских доказательств—pilot test, require multi-site replication before scale
THE REVELATION
"Published" does not mean "true."
Репликация не является сомнение—это научный метод, работающий так, как задумано.
Кризис заключался не в том, что наука потерпела неудачу. Кризис заключался в том, что мы обнаружили, как редко мы проводили проверки.
Репликация не является сомнение—это научный метод, работающий так, как задумано.
Кризис заключался не в том, что наука потерпела неудачу. Кризис заключался в том, что мы обнаружили, как редко мы проводили проверки.
THE LESSON
Отдельные исследования – это гипотезы, а не факты. Прежде чем строить политику на основе исследований, спросите: было ли это воспроизведено? Кем? Какой результат?
Four Stories, One Truth
1
Reinhart-Rogoff
Поделитесь своими данными. Ошибка Excel на протяжении многих лет формировала политику жесткой экономии.
2
Duke Cancer Scandal
Require independent validation. Prestige does not equal truth.
3
RIAT Initiative
It is never too late. Buried evidence can be resurrected.
4
Replication Crisis
Published does not mean true. Replication is how science works.
"И когда они не проверили,
when they trusted without checking,
когда они предположили, что престиж непогрешим -
цифры остались голыми,
и люди заплатили цена."
when they trusted without checking,
когда они предположили, что престиж непогрешим -
цифры остались голыми,
и люди заплатили цена."
"But when they demanded proof,
when they shared their data,
when they replicated before they trusted—
истина открылась,
и вред был предотвращен,
и знания расширились."
when they shared their data,
when they replicated before they trusted—
истина открылась,
и вред был предотвращен,
и знания расширились."
1 / 6