DTA Course > The Fraud
==================== MÓDULO 1: A FRAUDE (THERANOS) ====================
Slide 1.2: História de Theranos
Slide 1.3: A Fraude
Slide 1.4: As Vítimas
Slide 1.5: O refrão
==================== MÓDULO 2: OS QUATRO RESULTADOS ====================
Slide 2.2: A Árvore de Decisão
Slide 2.3: Os Quatro Quadrantes
Slide 2.4: A tabela 2x2
Slide 2.5: O refrão
==================== MÓDULO 3: SENSIBILIDADE E ESPECIFICIDADE ====================
Slide 3.4: A compensação
Slide 3.5: SnNout e SpPin
==================== MÓDULO 4: O ESCÂNDALO DO TESTE DE COVID =====================
Slide 4.2: A promessa
Slide 4.3: A realidade
Slide 4.4: A consequência
==================== MÓDULO 5: RAZÕES DE PROBABILIDADE ===================
Slide 5.2: O problema com Sens/Spec
=================== MÓDULO 6: A CONTROVÉRSIA DA MAMMOGRAFIA ===================
Slide 6.2: A promessa da triagem
Slide 6.4: Os Números
==================== MÓDULO 7: META-ANÁLISE DE DTA ====================
Slide 7.3: O modelo bivariado
==================== MÓDULO 9: O KIT DE FERRAMENTAS DTA ====================
Slide 9.2: As Medidas
Slide 9.3: Ferramentas e Software
Slide 9.4: A lista de verificação
==================== MÓDULO 10: HISTÓRIAS DE DECISÃO DO MUNDO REAL =====================
Você não ouviu a história da mulher
who promised to mude o mundo com uma gota de sangue,
who raised billions on a test that never worked?
who promised to mude o mundo com uma gota de sangue,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
Um jovem de dezenove anos abandonou a faculdade com uma visão: um dispositivo que pudesse realizar centenas de exames de sangue a partir de uma única gota, picada sem dor em um dedo.
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
No more needles. No more vials. No more waiting.
Investors believed. Walgreens believed. The Pentagon believed.
They gave her $9 billion.
Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. 2018
Mas os testes lied.
$9 Billion
Built on a test that didn't work
WHAT HAPPENED
As máquinas Theranos deram wrong results. Os pacientes foram informados de que tinham HIV, quando na verdade não tinham. Os pacientes foram informados de que seu sangue estava normal quando foram dying. A empresa escondeu a verdade por 15 years.
The Victims
PHOENIX, ARIZONA
Uma mulher grávida foi informada de que seu bebê nasceria com uma anomalia cromossômica. Ela estava se preparando para o pior. Ela estava de luto.
O teste estava errado. O bebê estava saudável.
But how many women, receiving the same news, made different decisions?
O teste estava errado. O bebê estava saudável.
But how many women, receiving the same news, made different decisions?
THE QUESTION
How do we know when a test is telling the truth?
How do we measure a test's honesty?
"E o teste mentiu,
e a mentira estava vestida de certeza,
e ninguém questionou os números."
e a mentira estava vestida de certeza,
e ninguém questionou os números."
É por isso que estudamos a precisão dos testes de diagnóstico.
When a test gives a result,
existem apenas four possible truths.
Dois são bênçãos. Dois são maldições.
existem apenas four possible truths.
Dois são bênçãos. Dois são maldições.
A Árvore dos Resultados
Every Test Result Has a Reality Behind It
Patient Tested
↓
Test Says: POSITIVE
"You have it"
Test Says: NEGATIVE
"You're clear"
↓
TP
FP
FN
TN
Has disease
Test: Positive
Test: Positive
No disease
Test: Positive
Test: Positive
Has disease
Test: Negative
Test: Negative
No disease
Test: Negative
Test: Negative
As Quatro Verdades
True Positive (TP)
Sick person correctly identified.
O teste disse a verdade.
False Positive (FP)
Healthy person wrongly alarmed.
O teste mentiu.
False Negative (FN)
Sick person wrongly reassured.
A mentira mais mortal.
True Negative (TN)
Healthy person correctly cleared.
O teste disse a verdade.
A Mesa Sagrada
A Matriz de Confusão 2x2
| Disease Present | Disease Absent | |
|---|---|---|
| Test Positive | TP True Positive |
FP False Positive |
| Test Negative | FN False Negative |
TN True Negative |
REMEMBER
Todo estudo diagnóstico deve relatar esses four numbers.
Without them, you cannot judge a test.
"Two outcomes save. Two outcomes harm.
Know them by name.
TP, TN: o teste falou verdade.
FP, FN: o teste mentiu."
Know them by name.
TP, TN: o teste falou verdade.
FP, FN: o teste mentiu."
A test has two virtues and two vices.
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity asks: Can it find the sick?
Specificity asks: Can it spare the healthy?
Sensitivity
“De todos os doentes, quantos o teste detectou?”
THE FORMULA
Sensitivity = TP / (TP + FN)
True Positives divided by All Diseased
IN SIMPLE WORDS
Se 100 pessoas tiverem câncer e o teste encontrar 90 delas,
sensitivity = 90%.
High sensitivity = few false negatives = few missed cases.
High sensitivity = few false negatives = few missed cases.
Specificity
"De todos os saudáveis, quantos o teste poupou?"
THE FORMULA
Specificity = TN / (TN + FP)
True Negatives divided by All Non-Diseased
IN SIMPLE WORDS
Se 100 pessoas são saudáveis, e o teste diz corretamente "negativo" para 95 delas,
specificity = 95%.
High specificity = few false positives = few false alarms.
High specificity = few false positives = few false alarms.
O cruel Trade-off
THE DILEMMA
A test cannot have both perfect sensitivity AND perfect specificity.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect—a gangorra do diagnóstico.
Lower the threshold to catch more sick people? You'll alarm more healthy people.
Raise the threshold to spare healthy people? You'll miss more sick people.
This is the threshold effect—a gangorra do diagnóstico.
As Regras da Memória
Sn
SnNout: Sensitive tests rule OUT
A highly sensitive test, when negative, rules out disease. If it didn't find it, it's probably not there.
Sp
SpPin: Specific tests rule IN
Um teste altamente específico, quando positivo, governa a doença. Se diz que você tem, provavelmente você tem.
REMEMBER
SnNout: Sensitive Negative rules OUT
SpPin: Specific Positive rules IN
SpPin: Specific Positive rules IN
"A sensibilidade pega os doentes.
A especificidade poupa o bem.
But no test masters both perfectly—
Este é o fardo que devemos ter urso."
A especificidade poupa o bem.
But no test masters both perfectly—
Este é o fardo que devemos ter urso."
No ano de 2020, quando a peste varreu o terra,
o mundo precisava de um teste que pudesse encontrar os infectados rapidamente.
But what if the rapid test missed too many?
o mundo precisava de um teste que pudesse encontrar os infectados rapidamente.
But what if the rapid test missed too many?
A promessa de testes rápidos
15 min
Results Time
$5
Cost per Test
Home
Self-Administered
THE HOPE
Rapid antigen tests could be used at home, at work, before gatherings.
They could stop outbreaks before they started.
The Reality
REVISÃO SISTEMÁTICA COCHRANE, 2022
Quando os pesquisadores reuniram dados de 155 estudos sobre testes rápidos de antígeno para COVID-19:
Em pessoas COM sintomas:
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
Quase metade dos infectados pessoas assintomáticas foram informadas de que estavam curadas.
Em pessoas COM sintomas:
Sensitivity: 73% (missed 27% of cases)
In people WITHOUT symptoms:
Sensitivity: 55% (missed 45% of cases)
Quase metade dos infectados pessoas assintomáticas foram informadas de que estavam curadas.
Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
A disseminação de falsos negativos
1
Thanksgiving Dinners
Families tested negative in the morning, gathered indoors, unknowingly infected grandparents
2
Workplace Outbreaks
Workers tested negative, came to work, infected colleagues in the break room
3
Hospital Transmission
Patients tested negative, admitted to wards, infected vulnerable patients
THE LESSON
A 55% sensitivity means 45% false negative rate.
False negatives are invisible. They feel safe. They spread disease.
"E o teste disse 'negativo',
e a família reuniram-se,
e o avô abraçou seus netos,
e no final do inverno, ele se foi."
e a família reuniram-se,
e o avô abraçou seus netos,
e no final do inverno, ele se foi."
Sensibilidade e especificidade descrevem o teste.
Mas o paciente faz uma pergunta diferente:
"I tested positive. What are my chances?"
Mas o paciente faz uma pergunta diferente:
"I tested positive. What are my chances?"
The Disconnect
A DOCTOR'S DILEMMA
A test has 99% sensitivity and 95% specificity. Sounds excellent.
Seu paciente testa positivo para uma doença rara (prevalência 1 em 1000).
Question: Qual é a probabilidade de ele realmente ter a doença?
A maioria dos médicos diz 95%. A verdadeira resposta? About 2%.
Seu paciente testa positivo para uma doença rara (prevalência 1 em 1000).
Question: Qual é a probabilidade de ele realmente ter a doença?
A maioria dos médicos diz 95%. A verdadeira resposta? About 2%.
Likelihood Ratios
How much a test result changes the odds
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a positive result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a negative result in sick vs healthy?
What Good LRs Look Like
LR+ > 10
Strong rule-in
LR+ 5-10
Moderate rule-in
LR+ 2-5
Weak evidence
LR- < 0.1
Strong rule-out
LR- 0.1-0.2
Moderate rule-out
LR- 0.2-0.5
Weak evidence
"Sensitivity tells how many sick the test will catch.
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
O que esse resultado significa para ESTE paciente?"
Specificity tells how many well it will spare.
But only the likelihood ratio answers:
O que esse resultado significa para ESTE paciente?"
Você não ouviu a controvérsia da triagem
that found too much?
When does finding disease become causing harm?
that found too much?
When does finding disease become causing harm?
O sonho da detecção precoce
1970s - PRESENT
A lógica era linda: encontrar o câncer precocemente, tratá-lo precocemente, salvar vidas.
Mammography could detect tumors too small to feel.
Foi dito às mulheres: "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
Mammography could detect tumors too small to feel.
Foi dito às mulheres: "Annual mammograms save lives."
But what if some of those "cancers" would never have killed?
A maldição do sobrediagnóstico
19-30%
of screen-detected breast cancers may be overdiagnosed
WHAT IS OVERDIAGNOSIS?
Encontrar um “câncer” que never have caused symptoms or death
durante a vida da pessoa.
A mulher é diagnosticada, tratada com cirurgia, radioterapia, quimioterapia... por uma doença que nunca a teria prejudicado.
A mulher é diagnosticada, tratada com cirurgia, radioterapia, quimioterapia... por uma doença que nunca a teria prejudicado.
Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
Para cada 10.000 mulheres examinadas
3-4
Lives saved
do câncer de mama
do câncer de mama
~15
Overdiagnosed
(treated unnecessarily)
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
(anxiety, biopsies)
THE TRADE-OFF
To save 3-4 lives, você deve aceitar isso ~15 women
serão tratados de cânceres que nunca os teriam prejudicado, e ~500 women will experience false alarms.
Este é um bom comércio? A resposta depende de valores, não apenas de números.
Este é um bom comércio? A resposta depende de valores, não apenas de números.
“E o teste encontrou o que estava escondido,
e chamou isso de doença,
e a mulher foi cortada, queimada e envenenada -
por uma sombra que nunca teria obscurecido seus dias."
e chamou isso de doença,
e a mulher foi cortada, queimada e envenenada -
por uma sombra que nunca teria obscurecido seus dias."
Este é o problema do sobrediagnóstico.
Um estudo pode mentir. Um estudo pode ser lisonjeiro.
Mas quando você se reúne todos os estudos,
quando você pesa suas evidências juntas -
The truth becomes harder to hide.
Mas quando você se reúne todos os estudos,
quando você pesa suas evidências juntas -
The truth becomes harder to hide.
Por que reunir as evidências?
1
More Precision
Combining studies gives narrower confidence intervals, reducing uncertainty
2
Detect Heterogeneity
Why do different studies give different answers? Setting? Population? Threshold?
3
Expose Publication Bias
Os estudos negativos estão sendo ocultados? Gráficos de funil revelam assimetria
4
Explore Thresholds
Build SROC curves to understand the sensitivity-specificity trade-off
O modelo bivariado
WHY IT'S SPECIAL
Você não pode agrupar sensibilidade e especificidade separadamente.
They are correlated: quando um sobe, o outro tende a descer (efeito limiar).
The bivariate model explica esta correlação, fornecendo estimativas agrupadas válidas.
They are correlated: quando um sobe, o outro tende a descer (efeito limiar).
The bivariate model explica esta correlação, fornecendo estimativas agrupadas válidas.
Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990
A curva ROC resumida
ROC Space
Perfect test
1-Specificity (FPR) →
Cada ponto = um estudo
A curva mostra o trade-off
Higher = better test
A curva mostra o trade-off
Higher = better test
↓ Sensitivity
Useless test (chance line)
LENDO O SROC
Top-left corner = perfect test (100% sens, 100% spec)
Diagonal line = useless test (random guessing)
The curve = resumo do desempenho de todos os estudos
Diagonal line = useless test (random guessing)
The curve = resumo do desempenho de todos os estudos
"Um estudo pode enganar. Muitos estudos, ponderados em conjunto,
começar a revelar a verdade.
A curva SROC é o caminho da evidência –
showing what the test can truly do."
começar a revelar a verdade.
A curva SROC é o caminho da evidência –
showing what the test can truly do."
Mas e se os estudos disagree?
Um estudo diz que a sensibilidade é de 95%.
Another says 60%.
Em qual verdade você acredita?
Um estudo diz que a sensibilidade é de 95%.
Another says 60%.
Em qual verdade você acredita?
Heterogeneidade: o desacordo
DEFINITION
Heterogeneity é a variação entre os estudos que não pode ser explicada apenas pelo acaso.
High heterogeneity means os estudos estão medindo coisas diferentes— or the test performs differently in different settings.
High heterogeneity means os estudos estão medindo coisas diferentes— or the test performs differently in different settings.
Por que os estudos discordam
T
Threshold Differences
Diferentes pontos de corte para resultados “positivos” (por exemplo, diferentes limiares de HbA1c para diabetes)
P
Population Differences
Disease severity, age, comorbidities differ between studies
S
Setting Differences
Primary care vs. specialist clinic vs. emergency room
Q
Quality Differences
Risk of bias, verification bias, spectrum bias
Medindo o desacordo
I² < 25%
Low heterogeneity
Studies agree
Studies agree
I² 25-75%
Moderate
Some disagreement
Some disagreement
I² > 75%
High heterogeneity
Major disagreement
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless.
Você não pode calcular a média de maçãs e laranjas. Você deve explain why studies differ before pooling them.
Você não pode calcular a média de maçãs e laranjas. Você deve explain why studies differ before pooling them.
“Quando os estudos discordam,
não silencie a dissidência.
Ask: Why do they see differently?
A própria discordância ensina."
não silencie a dissidência.
Ask: Why do they see differently?
A própria discordância ensina."
Seu kit de ferramentas DTA
As medidas essenciais e quando usá-las
Essential Metrics
1
Sensitivity & Specificity
How well the test performs on sick vs. healthy people
2
Likelihood Ratios (LR+, LR-)
How much a result changes the probability of disease
3
Diagnostic Odds Ratio (DOR)
Single measure of test discrimination (DOR = LR+ / LR-)
4
Área sob a curva SROC (AUC)
Overall test performance across all thresholds (0.5 = useless, 1.0 = perfect)
Ferramentas do comércio
mada
R package for
bivariate meta-analysis
bivariate meta-analysis
metaDTA
Stata module
para análises do DTA
para análises do DTA
DTA Pro
Browser-based
ferramenta de acesso aberto
ferramenta de acesso aberto
AS REFERÊNCIAS PADRÃO
Reitsma et al. 2005 - Bivariate model
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Rutter & Gatsonis 2001 - HSROC model
Cochrane Handbook Ch. 10 - DTA methods
Antes de confiar em um estudo DTA
✓
Was there a valid reference standard?
Gold standard test applied to all patients?
✓
Os intérpretes ficaram cegos?
Test readers unaware of diagnosis, and vice versa?
✓
O espectro era apropriado?
Patients similar to your clinical population?
✓
O limite foi pré-especificado?
Ou foi escolhido para maximizar resultados?
"Armed with sensitivity, specificity, likelihood,
armado com o SROC e a medida de acordo,
você pode ver através da mentira do teste -
e julgue a sua verdade por si mesmo."
armado com o SROC e a medida de acordo,
você pode ver através da mentira do teste -
e julgue a sua verdade por si mesmo."
========== HISTÓRIA 1: A MIRAGEM DE THERANOS ==========
Slide 10.2: Caixa de Dados Reais
Slide 10.4: A revelação
========== HISTÓRIA 2: O TESTE RÁPIDO DE COVID CHAOS ==========
Slide 10.6: Caixa de Dados Reais
Slide 10.8: A Revelação
=========== HISTÓRIA 3: A CONTROVÉRSIA DA MAMMOGRAFIA ==========
Slide 10.10: Caixa de dados reais
Slide 10.12: A Revelação
========== HISTÓRIA 4: O PARADOXO PSA ==========
Slide 10.14: Caixa de dados reais
Slide 10.16: A revelação
=========== HISTÓRIA 5: O TESTE DE TB EM DUAS POPULAÇÕES ==========
Slide 10.18: Caixa de dados reais
Slide 10.20: A revelação
Slide 10.21: Resumo do módulo
==================== MÓDULO 11: REFERÊNCIAS E TESTE ====================
Have you considered what happens when a test promises everything?
When a machine claims to see what no other machine can see,
e ninguém pergunta: "Mostre-me a prova"?
When a machine claims to see what no other machine can see,
e ninguém pergunta: "Mostre-me a prova"?
A Miragem de Theranos
REAL DATA: FDA INSPECTION FINDINGS
Theranos claimed: 200+ tests from a single finger prick
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero estudos de validação revisados por pares publicados
• Os pacientes receberam resultados HIV positivos para amostras negativas
FDA found:
• Results varied by 146% between runs on the same sample
• Edison machines failed 87% of proficiency tests
• Zero estudos de validação revisados por pares publicados
• Os pacientes receberam resultados HIV positivos para amostras negativas
Sources: FDA Warning Letter 2016; Carreyrou J. Bad Blood. 2018; CMS Inspection Reports.
A árvore de decisão
Você é um administrador hospitalar. Theranos oferece a você um contrato.
O que você escolhe?
Theranos Contract Offered
↓
PATH A: Trust Marketing Claims
↓
Assine o contrato
↓
Misdiagnose thousands
Face lawsuits
Harm patients
Face lawsuits
Harm patients
CAMINHO B: Dados de validação de demanda
↓
Não encontre estudos revisados por pares
↓
Rejeite o Contrato
Proteja seus pacientes
Avoid Scandal
Proteja seus pacientes
Avoid Scandal
THE REVELATION
Elizabeth Holmes never validated a single test externally.
A $9 billion valuation became a criminal fraud conviction.
Todo hospital que exigiu dados de validação antes de assinar
foi protegido da mentira.
Todo hospital que confiou no marketing
became complicit in harming patients.
A $9 billion valuation became a criminal fraud conviction.
Todo hospital que exigiu dados de validação antes de assinar
foi protegido da mentira.
Todo hospital que confiou no marketing
became complicit in harming patients.
THE LESSON
No peer-reviewed validation = No trust.
A ausência de evidências não é um problema de marketing.
It is a patient safety emergency.
A ausência de evidências não é um problema de marketing.
It is a patient safety emergency.
When speed defeats accuracy,
quem paga o preço?
The test result comes in 15 minutes.
Mas o que se o resultado para 15 minutes of false confidence?
quem paga o preço?
The test result comes in 15 minutes.
Mas o que se o resultado para 15 minutes of false confidence?
The COVID Rapid Test Chaos
DADOS REAIS: FABRICANTE VS. REALIDADE
Manufacturer claims: 97% sensitivity
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
Quase metade das pessoas assintomáticas infectadas foram informadas de que estavam "limpas".
Real-world performance (Cochrane 2022):
• Symptomatic individuals: 73% sensitivity (missed 27%)
• Asymptomatic individuals: 58% sensitivity (missed 42%)
• Early infection (days 0-3): ~50% sensitivity
Quase metade das pessoas assintomáticas infectadas foram informadas de que estavam "limpas".
Source: Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705
A árvore de decisão
Você é enfermeira escolar durante um surto de COVID. Um professor sintomático testa negativo no teste rápido.
O que você escolhe?
Symptomatic Teacher + Negative Rapid Test
↓
PATH A: Trust the Negative Result
↓
Send Teacher to Class
↓
Outbreak infects 30 students
School closure
Three hospitalizations
School closure
Three hospitalizations
PATH B: Remember Sensitivity Limits
↓
Require PCR Confirmation
↓
PCR positive confirmed
Teacher isolates
Outbreak prevented
Teacher isolates
Outbreak prevented
THE REVELATION
A negative test não significa no infection.
It means: "not detected."
A diferença entre essas duas frases
is measured in lives.
It means: "not detected."
A diferença entre essas duas frases
is measured in lives.
THE LESSON
When sensitivity is 58%, a negative result in a symptomatic person
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
is almost meaningless.
SnNout only works when sensitivity is HIGH.
Know your test's limits before trusting its verdict.
Pode um teste que finds cancer
still cause harm?
E se o câncer for encontrado
would never have hurt you?
still cause harm?
E se o câncer for encontrado
would never have hurt you?
A Mamografia Controvérsia
DADOS REAIS: O PARADOXO DA TRIAGEM
Test characteristics:
Sensitivity: ~85% | Specificity: ~90%
Para 1.000 mulheres examinadas anualmente durante 10 anos:
• 1 death prevented do câncer de mama
• 5 women overtreated para cânceres que nunca as teriam prejudicado
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Sensitivity: ~85% | Specificity: ~90%
Para 1.000 mulheres examinadas anualmente durante 10 anos:
• 1 death prevented do câncer de mama
• 5 women overtreated para cânceres que nunca as teriam prejudicado
• 100-500 false alarms leading to biopsies, anxiety, repeat imaging
Overdiagnosis rate: 19-30% of screen-detected cancers
Source: Independent UK Panel on Breast Cancer Screening. Lancet. 2012;380:1778-1786
A árvore de decisão
A 45-year-old woman asks your advice on mammography screening.
O que você escolhe?
Patient Asks: "Should I Get Annual Mammograms?"
↓
PATH A: Recommend Without Context
↓
Small Tumor Found
↓
Mastectomy performed
O tumor era indolente (DCIS)
Would never have harmed her
O tumor era indolente (DCIS)
Would never have harmed her
PATH B: Explain Trade-offs
↓
Shared Decision-Making
↓
Patient makes informed choice
Compreende os benefícios E os malefícios
Autonomy preserved
Compreende os benefícios E os malefícios
Autonomy preserved
THE REVELATION
A precisão do teste não é a única métrica.
A test can be accurate e ainda causa harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
A test can be accurate e ainda causa harm.
When overdiagnosis exceeds lives saved,
we must ask: Is finding always helping?
THE LESSON
Os danos de falsos positivos e sobrediagnóstico
pode exceder o benefício de true positives.
Always weigh benefits against harms.
A triagem nem sempre salva.
pode exceder o benefício de true positives.
Always weigh benefits against harms.
A triagem nem sempre salva.
What if finding the disease
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
is worse than missing it?
What if the treatment causes more suffering
than the disease ever would?
O paradoxo do PSA
DADOS REAIS: A ARMADILHA DO LIMITE
PSA cutoff of 4.0 ng/mL:
• Sensibilidade para câncer de alto grau: 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
• Sensibilidade para câncer de alto grau: 21%
• Detects many indolent cancers that would never harm
Lower cutoff to 2.5 ng/mL:
• Sensitivity rises to: 40%
• But overdiagnosis doubles
Treatment consequences:
• 20-30% of men experience incontinence after prostatectomy
• 30-70% experience erectile dysfunction
Source: US Preventive Services Task Force. JAMA. 2018;319(18):1901-1913
A árvore de decisão
Você está definindo uma política de triagem de PSA para um sistema de saúde. Três caminhos estão diante de você.
Qual limite você escolhe?
PSA Screening Policy Decision
↓
PATH A: Low Threshold (2.5)
↓
Maximize sensitivity
Thousands of unnecessary
biópsias e tratamentos
Thousands of unnecessary
biópsias e tratamentos
PATH B: High Threshold (4.0)
↓
Miss some cancers
But most missed are indolent
Fewer unnecessary treatments
But most missed are indolent
Fewer unnecessary treatments
PATH C: Abandon PSA Screening
↓
Miss aggressive cancers
Some preventable deaths
No overtreatment harm
Some preventable deaths
No overtreatment harm
THE REVELATION
There is no "right" cutoff.
Every threshold trades sensibilidade para especificidade,
detecção de sobrediagnóstico.
A escolha não é médica. É ethical.
Depende de quais danos você está disposto a aceitar.
Every threshold trades sensibilidade para especificidade,
detecção de sobrediagnóstico.
A escolha não é médica. É ethical.
Depende de quais danos você está disposto a aceitar.
THE LESSON
O efeito limite não é um problema técnico.
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
It is a values problem.
Before choosing a cutoff, ask:
What is worse: missing disease or overtreating the healthy?
O mesmo teste. O mesmo ponto de corte.
Different truths.
How can identical numbers
mean opposite things?
Different truths.
How can identical numbers
mean opposite things?
O teste de TB em duas populações
REAL DATA: SAME TEST, DIFFERENT MEANING
Tuberculin Skin Test (10mm cutoff)
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Sensitivity: ~80% | Specificity: ~95%
In high-prevalence setting (TB prevalence 10%):
• Positive Predictive Value: 85%
• A positive test usually means TB
In low-prevalence setting (TB prevalence 0.1%):
• Positive Predictive Value: 15%
• A positive test is usually a false positive
Source: Pai M et al. Lancet Infect Dis. 2014;14(8):765-773
A árvore de decisão
Você é um médico em Londres atendendo um imigrante de um país com alto índice de TB. O TST é positivo.
O que você conclui?
Positive TST in Immigrant Patient
↓
PATH A: Apply UK Population PPV
↓
Assume "Probably False Positive"
↓
Miss active TB
Patient infects family
Atrasa o diagnóstico por meses
Patient infects family
Atrasa o diagnóstico por meses
PATH B: Consider Patient's Pre-Test Probability
↓
Recognize PPV Depends on Prevalence
↓
Investigate further
Chest X-ray, sputum
Treat early if confirmed
Chest X-ray, sputum
Treat early if confirmed
THE REVELATION
Sensibilidade e especificidade are properties of the test.
PPV e NPV are properties of the population.
O mesmo resultado significa different things
in different people.
PPV e NPV are properties of the population.
O mesmo resultado significa different things
in different people.
THE LESSON
Never interpret a test result without knowing the pre-test probability.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
A positive test in a high-risk patient means disease.
The same positive in a low-risk patient means probably nothing.
Context is everything.
Five Stories, Five Lessons
1
Theranos: Demand Validation
No peer-reviewed data = no trust, regardless of marketing claims
2
COVID Rapid Tests: Know Sensitivity Limits
"Não detectado" não é o mesmo que "não infectado"
3
Mammography: Weigh Benefits vs. Harms
Finding is not always helping; overdiagnosis causes real harm
4
PSA: The Threshold is a Values Choice
Todos o ponto de corte troca sensibilidade por especificidade; não há resposta "certa"
5
TB Test: Context Determines Meaning
The same result means different things in different populations
References
Principais fontes citadas neste Curso
- Carreyrou J. Bad Blood: Secrets and Lies in a Silicon Valley Startup. Knopf, 2018.
- Dinnes J, et al. Rapid, point-of-care antigen tests for diagnosis of SARS-CoV-2 infection. Cochrane Database Syst Rev. 2022;7:CD013705.
- Painel Independente do Reino Unido sobre Rastreio do Cancro da Mama. Os benefícios e malefícios do rastreamento do câncer de mama. Lancet. 2012;380:1778-1786.
- Reitsma JB, et al. A análise bivariada de sensibilidade e especificidade produz medidas resumidas informativas em revisões diagnósticas. J Clin Epidemiol. 2005;58:982-990.
- Rutter CM, Gatsonis CA. A hierarchical regression approach to meta-analysis of diagnostic test accuracy evaluations. Stat Med. 2001;20:2865-2884.
- Deeks JJ, et al. The performance of tests of publication bias in systematic reviews of diagnostic test accuracy. J Clin Epidemiol. 2005;58:882-893.
- Macaskill P, et al. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. Chapter 10. 2023.
- Higgins JPT, Thompson SG. Quantifying heterogeneity in a meta-analysis. Stat Med. 2002;21:1539-1558.
- US Food and Drug Administration. Warning Letter to Theranos Inc. 2016.
- US Preventive Services Task Force. Screening for Prostate Cancer. JAMA. 2018;319(18):1901-1913.
- Pai M, et al. Tuberculosis. Lancet Infect Dis. 2014;14(8):765-773.
Na história da Theranos, qual era o problema fundamental com seus exames de sangue?
Eles eram muito caros
Eles deram resultados errados que poderiam prejudicar os pacientes
Eles eram muito lento
They required too much blood
A COVID rapid test has 55% sensitivity in asymptomatic people. What does this mean?
55% dos resultados positivos estão corretos
O teste funciona 55% das vezes
The test misses 45% of infected asymptomatic people
55% dos resultados negativos estão errados
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
A sensitive test should be used for screening
Sensibilidade e especificidade são negativas correlacionado
Por que você não pode agrupar sensibilidade e especificidade separadamente na meta-análise?
They use different scales
Eles estão correlacionados devido ao efeito de limite
They come from different populations
It's computationally too difficult
✔
Course Complete
"Agora você conhece os quatro resultados,
as duas virtudes de um teste,
a troca cruel do limite,
e a arte de agrupar evidência.
Quando o próximo teste estiver para você—
you will know how to see through it."
as duas virtudes de um teste,
a troca cruel do limite,
e a arte de agrupar evidência.
Quando o próximo teste estiver para você—
you will know how to see through it."
Quando o teste estiver — Agora você sabe.
1 / 5