DTA > The Fraud
==================== MÓDULO 1: A FRAUDE (Theranos) ==================
Você não ouviu a história da mulher
who promised to mude o mundo com uma gota de sangue,
who raised billions on a test that never worked?
Palo Alto, 2003
STANFORD UNIVERSITY
Um jovem de dezenove anos desistiu com uma visão: centenas de exames de sangue com uma única gota.

Investors believed. Walgreens believed. The Pentagon believed.

They gave her $9 billion.

Mas os testes deram resultados errados. Os pacientes foram informados de que tinham HIV, quando na verdade não tinham. Os pacientes foram informados de que seu sangue estava normal quando foram dying.
Carreyrou J. Bad Blood. 2018
A árvore de decisão do engano

What Theranos Did vs. What Should Happen

New Diagnostic Test
↓
SHOULD DO
Validate Against Gold Standard
↓
Publish TP/FP/FN/TN
↓
FDA Approval
THERANOS DID
Skip Validation
↓
Hide Failures
↓
Harm Patients
"E o teste mentiu,
e a mentira estava vestida de certeza,
e ninguém pediu a mesa 2×2.”

É por isso que estudamos a precisão dos testes de diagnóstico.

==================== MÓDULO 2: OS QUATRO RESULTADOS ====================
When a test speaks,
existem apenas four possible truths.

Dois são bênçãos. Dois são maldições.
A Árvore dos Resultados

Every Test Result Has a Reality Behind It

Patient Tested
↓
Qual é a VERDADE?
Has Disease
D+
↓
TPTest +
FNTest -
No Disease
D-
↓
FPTest +
TNTest -
A Sagrada Mesa 2×2

HIV Rapid Test Example (Real Data)

HIV+HIV-Total
Test +983101
Test -2895897
Total100898998
DESTA MESA VEM TODA A VERDADE
Sensitivity = 98/100 = 98%
Specificity = 895/898 = 99.7%
"Two outcomes save. Two outcomes harm.
TP, TN: o teste falou verdade.
FP, FN: o teste mentiu.
Know them by name, for they determine fate."
==================== MÓDULO 3: PERÍODO DE JANELA DO HIV ====================
Você não ouviu falar do sangue que foi testado,
found clean,
e dado a milhares -
while death swam within it?
A crise do abastecimento de sangue, 1985
UNITED STATES
When HIV testing began, doctors celebrated: they could now screen the blood supply.

Mas o teste teve um window period—semanas após a infecção, quando o vírus estava presente, mas undetectable.

O sangue foi testado. O sangue era "negativo". O sangue foi transfundido.

8,000-12,000 Americans foram infectados por meio de transfusões antes que testes melhores fechassem a janela.
CDC. MMWR. 1987;36(49):833-840
The Window Period Decision Tree

Why False Negatives Are Deadly

Person Recently Infected
↓
Time Since Infection?
< 2 weeks
Test NEGATIVEVirus present!
↓
Blood DonatedOthers infected
> 4 weeks
Test POSITIVECorrectly detected
↓
Blood DiscardedSupply safe
A sensibilidade muda ao longo do tempo
0%
Day 1-7
Eclipse period
~50%
Day 14
Seroconversion
~95%
Day 21
Most detected
99.9%
Day 45+
Window closed
THE LESSON
A sensibilidade não é fixa. It depends on when you test. A "99% sensitive" test may be 0% sensitive in early infection.
"E o teste disse 'limpo',
pois o vírus ainda não tinha mostrado a sua cara.
E o sangue foi compartilhado,
e a infecção se espalhou para os inocentes."
==================== MÓDULO 4: DES TRAGÉDIA ==================
Você não ouviu falar da pílula dada às mães
to protect their pregnancies,
that planted cancer in their daughters
twenty years before it bloomed?
A tragédia do DES, 1938-1971
UNITED STATES & EUROPE
Diethylstilbestrol (DES) was given to millions of pregnant women to prevent miscarriage.

No proper clinical trial was ever conducted. Doctors assumed it worked because it seemed reasonable.

Decades later, their daughters developed a rare cancer: clear cell adenocarcinoma of the vagina. A cancer so rare it was a diagnostic signal in itself.

5-10 million women foram expostas. gerações.
Herbst AL et al. N Engl J Med. 1971;284:878-881
A árvore de decisão de validação

What Should Have Happened

New Medical Intervention
↓
Foi testada corretamente?
YES
Randomized Trial
↓
Long-term Follow-up
↓
Know True EffectsBenefícios E danos
NO (DES)
Assumption Only
↓
Widespread Use
↓
Hidden HarmDiscovered too late
O sinal de diagnóstico
QUANDO A RARIDADE SE TORNA EVIDÊNCIA
O adenocarcinoma de células claras da vagina era tão raro em mulheres jovens que 7 cases in one hospital triggered an investigation.

O cluster em si era o teste de diagnóstico:
Sensitivity to DES exposure: nearly 100%
Se você tem esse câncer nessa idade, é quase certo que você foi exposto.
1:1000
Risk of clear cell
cancer in DES daughters
5-10M
Women exposed
worldwide
"E as mães tomaram a pílula em esperança,
e as filhas cresceram na sombra,
e vinte anos depois o câncer floresceu—
a diagnosis that indicted a generation of medicine."
==================== MÓDULO 5: SENSIBILIDADE E ESPECIFICIDADE ==================
A test has two virtues and two vices.

Sensitivity: Pode encontrar os doentes?

Specificity: Pode poupar os saudáveis?
Sensibilidade: O Caçador
THE FORMULA
Sensitivity = TP / (TP + FN)
"Of all the sick, how many did we catch?"

Worked Example: COVID PCR Test

Given: 200 infected patients tested
TP = 196 (correctly positive), FN = 4 (missed)
Sensitivity = 196 / (196 + 4) = 196/200 = 98%
Interpretation: Test catches 98 of every 100 infected people
Especificidade: O Guardião
THE FORMULA
Specificity = TN / (TN + FP)
"Of all the healthy, how many did we spare?"

Worked Example: Same COVID PCR Test

Given: 1000 uninfected people tested
TN = 999 (correctly negative), FP = 1 (false alarm)
Specificity = 999 / (999 + 1) = 999/1000 = 99.9%
Interpretation: Test correctly clears 999 of every 1000 healthy people
As Regras da Memória

When to Use Which Test

O que você precisa?
RULE OUT disease
Use HIGH SENSITIVITY
↓
SnNoutSensitive Negative = OUT
RULE IN disease
Use HIGH SPECIFICITY
↓
SpPinSpecific Positive = IN
"A sensibilidade pega os doentes.
A especificidade poupa o bem.
But no test masters both perfectly—
este é o fardo que carregamos."
================== MÓDULO 6: A FALÁCIA DA TAXA BASE ===================
Você não viu o médico
who saw 99% accurate
and believed a positive result meant 99% certainty?

Este é o erro mais mortal da medicina.
A falácia da taxa básica
THE PUZZLE
A disease affects 1 in 1000 people.
Um teste é 99% sensível e 99% específico.
A patient tests positive.

Qual é a probabilidade de eles terem a doença?

Most doctors say ~99%. A verdadeira resposta é cerca de 9%.
A matemática revelada

Testing 100,000 People (Prevalence 1/1000)

Step 1: 100 have disease, 99,900 healthy
Step 2: Of 100 sick: 99 test positive (TP), 1 negative (FN)
Step 3: Of 99,900 healthy: 999 test positive (FP), 98,901 negative (TN)
Step 4: Total positives = 99 + 999 = 1,098
PPV = TP / All Positives = 99 / 1,098 = 9%
91% dos resultados positivos são FALSOS POSITIVOS!
Interactive Base Rate Calculator

See How Prevalence Changes PPV

Prevalence:
1%
Sensitivity:
99%
Specificity:
99%
9%
Positive Predictive Value (PPV)
91% dos positivos são falsos alarmes
A Árvore de Decisão de Prevalência

Same Test, Different Settings

Test: 99% Sens, 99% Spec
↓
Where Is Testing Done?
General Pop
0.1%
PPV = 9%91% false +
High-Risk
10%
PPV = 92%8% false +
Confirmatory
50%
PPV = 99%1% false +
“E o médico disse '99% de precisão',
e o paciente ouviu '99% de certeza',
e ambos foram enganados -
pois esqueceram de perguntar: Quão rara é esta doença?
Você nunca ouviu falar da máquina
that could find TB in two hours,
que foi chamada revolutionary—
mas perdeu a drug-resistant strains?
A história do GeneXpert, África do Sul
CAPE TOWN, 2010
Durante um século, o diagnóstico de TB exigiu o crescimento de bactérias durante semanas. Depois veio o GeneXpert: resultados em 2 hours.

South Africa deployed it nationwide. The WHO endorsed it.

Mas em pacientes com low bacterial loads—often HIV co-infected— sensitivity dropped to 67%. One in three cases missed.

E para detectar resistência à rifampicina, ele perdeu 5% de casos resistentes. Esses pacientes receberam o tratamento errado. A propagação da TB resistente.
Steingart KR et al. Cochrane Database Syst Rev. 2014;1:CD009593
TB Diagnosis Decision Tree

Quando o GeneXpert não é suficiente

Suspected TB Patient
↓
GeneXpert Test
↓
Positive
↓
Rifampicin?
SensitiveStandard Tx
ResistantMDR-TB Tx
Negative
↓
HIV+ or High Suspicion?
YesCulture needed
NoLikely negative
Sensitivity by Patient Type
98%
Smear-positive
(high bacterial load)
67%
Smear-negative
(low bacterial load)
61%
HIV co-infected
(immune suppressed)
THE LESSON
A sensibilidade de um teste em ensaios clínicos pode não corresponder à sensibilidade dos seus pacientes. Conheça a sua população.
"E a máquina disse 'negativo',
e o médico acreditou na máquina,
e o paciente foi para casa com tuberculose nos pulmões,
tosse resistência para o mundo."
===================== MÓDULO 8: CONTROVÉRSIA PSA ====================
Você não ouviu falar do teste para homens
que encontrou cânceres que never kill,
e levou a tratamentos que destroyed lives?
A tragédia da triagem PSA
UNITED STATES, 1990s-2010s
PSA (Prostate-Specific Antigen) could detect prostate cancer early.

Os médicos examinaram milhões de homens. Cânceres foram encontrados. As próstatas foram removidas.

Mas muitos destes “cancros” nunca teriam causado sintomas. A cirurgia causou impotência e incontinência in men who would have died of old age, not cancer.
Moyer VA. Ann Intern Med. 2012;157:120-134
Os números do dano
1
Vida salva de
prostate cancer
per 1000 screened
30-40
Men made impotent
or incontinent
per 1000 screened
100+
False positives
(biopsies, anxiety)
per 1000 screened
THE REVERSAL
In 2012, the US Preventive Services Task Force recommended against triagem de PSA de rotina. O teste consistia em encontrar muitas coisas que não precisavam ser encontradas.
Patient Decision Aid: PSA Screening

Se 1.000 homens de 55 a 69 anos forem examinados por 13 anos

Deaths from prostate cancer prevented
1-2 men
Men who will have false positive requiring biopsy
100-120 men
Homens diagnosticados com câncer que nunca os prejudicariam
20-50 men
Men left impotent or incontinent from treatment
30-40 men
Essa compensação é aceitável para você?
"E o teste encontrou a sombra,
e o cirurgião cortou,
e o homem viveu – impotente, incontinente –
de um câncer que nunca teria acordado."
==================== MÓDULO 9: TROPONINA E ATAQUES CARDÍACOS ===================
Você nunca ouviu falar do homem com dor no peito
cuja primeira troponina foi normal,
que foi mandado para casa—
e morreu antes manhã?
O problema do tempo de troponina
EMERGENCY DEPARTMENTS WORLDWIDE
A troponina é o padrão ouro para o diagnóstico de ataque cardíaco. Mas é preciso 3-6 hours to rise after myocardial injury.

A patient arrives one hour after chest pain begins. Troponin is tested: normal. "You're fine. Go home."

O coração estava morrendo. A proteína ainda não havia vazado.

Studies show 2-5% of MI patients sent home from ED die within 30 days.
Pope JH et al. N Engl J Med. 2000;342:1163-1170
Serial Testing Decision Tree

O Protocolo de Duas Troponinas

Chest Pain Patient
↓
First Troponin
↓
Elevated
↓
Treat as MI
Normal
↓
When Did Pain Start?
<6 hrs
Wait 3 hrsRepeat troponin
>6 hrs
Low riskConsider d/c
High-Sensitivity Troponin
~70%
Conventional troponin
sensitivity at 0 hrs
~95%
hs-Troponin
sensitivity at 0 hrs
99%
hs-Troponin
at 3 hrs serial
THE TRADE-OFF
High-sensitivity troponin catches more heart attacks early. But it also has more false positives—elevated in kidney disease, heart failure, sepsis, and marathon runners.
"E o teste disse 'normal',
pois o coração estava apenas começando a morrer.
E o paciente estava tranquilizado,
and went home to finish dying."
==================== MÓDULO 10: RELAÇÕES DE PROBABILIDADE ===================
A sensibilidade descreve o teste.
A especificidade descreve o teste.

Mas o paciente pergunta:
"I tested positive. What are MY chances?"
Likelihood Ratios
POSITIVE LIKELIHOOD RATIO
LR+ = Sensitivity / (1 - Specificity)
How much more likely is a + result in sick vs healthy?
NEGATIVE LIKELIHOOD RATIO
LR- = (1 - Sensitivity) / Specificity
How much more likely is a - result in sick vs healthy?
O Nomograma Fagan

Da probabilidade pré-teste ao pós-teste

Pre-Test
Probability
99%
50%
20%
5%
1%
Likelihood
Ratio
100
10
1
0.1
0.01
Post-Test
Probability
99%
80%
50%
20%
1%
Draw a line from pre-test through LR to find post-test probability
Interpreting Likelihood Ratios

Quão poderoso é este teste?

LR+ Value?
LR+ > 10Strong rule-in
5-10Moderate
2-5Weak
1-2Useless
LR- Value?
< 0.1Strong rule-out
0.1-0.2Moderate
0.2-0.5Weak
0.5-1Useless
"A sensibilidade fala dos doentes.
A especificidade fala do poço.
But the likelihood ratio answers:
O que esse resultado significa para ESTE paciente?"
==================== MÓDULO 11: RDTs de MALÁRIA ===================
Você não viu a criança com febre na aldeia,
o teste rápido que dizia negative,
and the Plasmodium que continuou se multiplicando?
O problema do RDT da malária
SUB-SAHARAN AFRICA
Malaria kills 600,000 people yearly, mostly children under 5.

Rapid Diagnostic Tests were meant to guide treatment in remote areas without microscopes or laboratories.

But when parasitemia is low—o RDT perde casos. And when P. falciparum exclui o gene HRP2— the RDT sees nothing at all.
WHO. Malaria RDT Performance. 2022
A árvore de decisão clínica

Child with Fever in Malaria-Endemic Area

Febrile Child
↓
Perform RDT
↓
RDT Positive
↓
Tratamento para malária
RDT Negative
↓
Clinical Suspicion?
High
Treat Anywayor Microscopy
Low
Look forOther Cause
Sensitivity Varies by Parasitemia
95%
High parasitemia
(>200/μL)
75%
Low parasitemia
(100-200/μL)
50%
Very low
(<100/μL)
A LIÇÃO CLÍNICA
A negative RDT does not rule out malaria in endemic areas. Clinical judgment must override the test when suspicion is high.
"E o teste disse 'negativo',
e a criança foi mandada para casa,
e os parasitas se multiplicaram no escuro,
e pela manhã a criança não conseguia acordar."
=================== MÓDULO 12: TESTES RÁPIDOS DE COVID ====================
No ano da pestilência,
o mundo precisava de um teste que fosse fast.

Mas rápido não é o mesmo que accurate.
O veredicto Cochrane

COVID-19 Rapid Antigen Tests (155 Studies)

PopulationSensitivityMissed
Symptomatic73%27%
Asymptomatic55%45%
First 7 days80%20%

Dinnes J et al. Cochrane Database Syst Rev. 2022;7:CD013705

The False Security Decision Tree

Thanksgiving 2020: What Happened

Family Member Tests Negative
↓
Truly Negative?
55% if asymptomatic
True NegativeSafe to gather
45% if asymptomatic
FALSE NegativeInfectious!
↓
Reúne-se com a famíliaGrandparents infected
"E o teste disse 'negativo',
e a família se abraçou,
e no final do inverno,
o avô foi enterrado."
Você não ouviu falar da triagem
que encontrou cânceres que would never kill,
e levou a tratamentos que caused more harm than the disease?
O problema do sobrediagnóstico
3-4
Lives saved
per 10,000 screened
~15
Overdiagnosed
(treated unnecessarily)
~500
False alarms
(anxiety, biopsies)
THE QUESTION
Para salvar de 3 a 4 vidas, cerca de 15 mulheres recebem cirurgia, radiação e quimioterapia para cânceres que nunca as teriam prejudicado.

Essa troca vale a pena?
Patient Decision Aid: Mammography

Se 10.000 mulheres de 50 a 69 anos são examinadas por 10 anos

Deaths from breast cancer prevented
3-4 women
Women called back for false alarms
~500 women
Unnecessary biopsies
~200 women
Mulheres tratadas de câncer que nunca as prejudicaria
~15 women
O rastreamento é adequado para você?
The Screening Cascade Decision Tree

10.000 mulheres examinadas ao longo de 10 anos

10,000 Women
↓
~1,000 RecalledAbnormal
↓
~500 False
Alarm
~500 Biopsy
~50 cancer
~9,000 Cleared
Of ~50 Cancers Found
~35 Would Kill3-4 saved
~15 Would Never KillOverdiagnosed
"E o teste encontrou a sombra,
e chamou isso de câncer,
e a mulher foi cortada e queimada -
por uma sombra que nunca teria obscurecido seus dias."
==================== MÓDULO 14: AMILOIDE DE ALZHEIMER ===================
Você nunca ouviu falar do exame
que encontra as placas no cérebro,
mas não pode te dizer
se a mente irá fade?
O Paradoxo Amiloide
ALZHEIMER'S RESEARCH, 2010s-2020s
PET scans can now detect amyloid plaques—the hallmark of Alzheimer's.

But 30% of cognitively normal elderly have amyloid plaques. They may never develop dementia.

And 10-20% das pessoas com demência have no amyloid.

O teste encontra as placas, mas as placas não são a doença. Estamos testando um substituto, não o. resultado.
Jack CR et al. Lancet Neurol. 2018;17:760-773
Surrogate vs. Outcome Decision Tree

O que estamos realmente testando?

Diagnostic Test
↓
What Does It Detect?
Outcome itself
Direct Diagnosispor exemplo, biópsia para câncer
↓
High clinical value
Surrogate marker
Indirect Signalpor exemplo, amilóide para demência
↓
Validated link?
YesUse cautiously
NoLimited value
"E a varredura encontrou o placas,
e o médico chamou de Alzheimer,
e o paciente vivia aterrorizado—
of a forgetting that might never come."
==================== MÓDULO 15: QUALIDADE QUADAS-2 ==================
Nem todos os estudos são criados iguais.

Some are biased.
Some are poorly designed.
Alguns não deveriam ser trusted.

Como separamos o trigo do joio?
QUADAS-2: A lista de verificação de qualidade

Four Domains of Risk of Bias

1
Patient Selection

Foi inscrita uma amostra consecutiva ou aleatória? Foi evitado um desenho caso-controle?

2
Index Test

O teste foi interpretado sem conhecimento do padrão de referência? O limite foi pré-especificado?

3
Reference Standard

É provável que o padrão de referência classifique corretamente a condição? Foi interpretado às cegas?

4
Fluxo e temporização

Houve intervalo adequado entre os testes? Todos os pacientes receberam o mesmo padrão de referência?

QUADAS-2 Decision Tree

Você deve confiar neste estudo?

DTA Study
↓
Check All 4 Domains
All Low Risk
High QualityTrust results
Some Unclear
ModerateUsar com cautela
Any High Risk
Low QualityOs resultados podem ser tendenciosos
Vieses comuns no DTA Estudos
!

Verification Bias

Only positive tests get the reference standard → inflates sensitivity

!

Spectrum Bias

A população do estudo difere da realidade clínica → os resultados não generalizam

!

Incorporation Bias

Index test is part of reference standard → artificially high accuracy

!

Review Bias

Index test interpreted knowing reference result → inflates both metrics

"Antes de confiar nos números,
ask: How were they gathered?
Um estudo tendencioso fala com confiança—
but its confidence is a lie."
===================== MÓDULO 16: META-ANÁLISE E SROC ====================
Um estudo pode enganar.
Um estudo pode ser lisonjeiro.

Mas quando você se reúne todas as evidências—
the truth becomes harder to hide.
Why DTA Meta-Analysis Is Different
THE PROBLEM
Sensibilidade e especificidade são correlated. When one goes up, the other tends to go down.

Você não pode agrupá-los separadamente como efeitos de tratamento. Você precisa do bivariate model.
A Curva SROC

Summary Receiver Operating Characteristic

Sensitivity
1 - Specificity (False Positive Rate)
Individual studies
Summary estimate
Lendo o SROC

O que a curva diz Você?

SROC Curve Position
↓
Top-Left Corner
Excellent TestHigh sens + spec
Near Diagonal
Useless TestNo better than chance
Points Scattered
High HeterogeneityInvestigate sources
"Um estudo pode enganar.
Muitos estudos, ponderados juntos,
traçar o caminho da verdade -
a curva SROC que revela o que o teste pode realmente fazer."
Mas e se os estudos disagree?

One says sensitivity is 95%.
Another says 60%.

Em qual verdade você acredita?
Sources of Heterogeneity

Por que os estudos discordam

Mesmo teste, resultados diferentes?
ThresholdDifferent cutoffs
PopulationSeverity, age
SettingPrimary vs specialist
QualityBias, blinding
Measuring Disagreement: I²
I² < 25%
Low
Studies agree
I² 25-75%
Moderate
Some variation
I² > 75%
High
Major disagreement
THE WARNING
When I² > 75%, the pooled estimate may be meaningless. Explain the disagreement before averaging.
“Quando os estudos discordam,
não silencie a dissidência.
Ask: Why do they see differently?
A própria discordância ensina."
==================== MÓDULO 18: O KIT DE FERRAMENTAS ===================
Seu kit de ferramentas DTA
As medidas essenciais e quando usá-las
The Checklist
✓

Was there a valid reference standard?

Gold standard applied to ALL patients?

✓

Os intérpretes ficaram cegos?

Test readers unaware of diagnosis?

✓

O espectro era apropriado?

Pacientes semelhantes à sua população?

✓

O limite foi pré-especificado?

Ou escolhido para maximizar resultados?

When Results Don't Match Suspicion

The Clinical Override Decision Tree

Test Negative, High Suspicion
↓
What Is the LR-?
LR- < 0.1
Strong rule-outAccept negative
LR- 0.1-0.5
Repeat testOr different test
LR- > 0.5
Trust judgmentTest is weak
Sequential Testing Decision Tree

When One Test Isn't Enough

Initial Screening Test
↓
Positive
↓
Confirmatory TestHigh specificity
↓
PositiveDiagnose
NegativeFalse alarm
Negative
↓
Likely negativeIf high sens screen
"Armed with sensitivity, specificity, likelihood,
armado com o SROC e a medida de acordo,
você pode ver através da mentira do teste -
e julgue a sua verdade por si mesmo."
==================== MÓDULO 19: SANGUE ERROS DE TRANSFUSÃO ===================
Você não ouviu falar do paciente
que recebeu o wrong blood,
não porque o teste estava errado,
but because no one performed it?
O teste que não foi Feito
HOSPITALS WORLDWIDE
ABO blood typing is nearly 100% accurate when performed.

Yet transfusion reactions still kill—não por falha no teste, mas por human failure:

• Wrong blood drawn from wrong patient
• Etiquetas trocadas no laboratório
• Bedside check skipped in emergency

In the UK, 1 in 13,000 transfusions vai para o paciente errado O teste funcionou.
Bolton-Maggs PHB. Transfus Med. 2016;26:303-311
Test vs. System Decision Tree

Where Can Things Go Wrong?

Diagnostic Process
↓
Error Source?
Test itself
Analytical ErrorSens/Spec issue
↓
Better test needed
Pre-analytical
Wrong sampleID error
↓
System fix needed
Post-analytical
Wrong actionReporting error
↓
Process fix needed
"The perfect test means nothing
se o sangue errado for. desenhado,
a etiqueta errada é aplicada,
a bolsa errada é pendurada."

Os estudos do DTA medem a precisão do teste. Eles não medem a precisão do sistema.

Você não viu o algoritmo
que aprendeu com biased data,
e espalhou esse preconceito
to every patient it touched?
A revolução do diagnóstico de IA
STANFORD & BEYOND, 2017-PRESENT
Deep learning algorithms now match dermatologists at detecting skin cancer.

Mas os dados de treinamento foi predominantly light skin. On dark skin, performance dropped significantly.

O algoritmo aprendeu os padrões, mas também o biases.

E quando implantado sem validação externa, teve um desempenho pior do que o esperado porque training population didn't match the clinical population.
Esteva A et al. Nature. 2017;542:115-118; Adamson AS. JAMA Dermatol. 2018
AI Validation Decision Tree

Esta IA está pronta para uso clínico?

AI Diagnostic Tool
↓
Validation Type?
Internal only
High RiskOverfitting likely
↓
Not ready
External validation
BetterBut check population
↓
Corresponde ao seu pacientes?
YesConsider use
NoCaution
Prospective RCT
Gold StandardPatient outcomes
Calibração de IA: o problema oculto
DISCRIMINATION VS. CALIBRATION
Discrimination (AUC/ROC): Can the AI rank patients by risk?

Calibration: When the AI says "80% risk," do 80% actually have disease?

Muitas ferramentas de IA têm good AUC but poor calibration. Esta é a falácia da taxa básica em forma algorítmica.
AUC
Can it rank?
(usually reported)
CAL
Is probability accurate?
(often ignored)
"E o algoritmo aprendeu com os dados,
e os dados eram tendenciosos,
e o preconceito se espalhou para todas as previsões -
e ninguém perguntou: Quem faltou no conjunto de treinamento?"
==================== MÓDULO 21: COMUNICAÇÃO COM O PACIENTE ====================
O paciente pergunta: "Is my test positive?"

But what they mean is:
"Eu tenho a doença?"

Como você preenche essa lacuna?
Communication Scripts
SCRIPT 1: EXPLAINING A POSITIVE RESULT
"Seu teste deu positivo. Mas quero explicar o que isso significa."

“Este teste é bom para encontrar pessoas com a doença, mas também apresenta alarmes falsos”.

"Com base nos seus fatores de risco, há cerca de um [X]% chance de que isso seja um verdadeiro positivo."

"We'll do a confirmatory test to be certain before any treatment."
Communication Scripts
SCRIPT 2: EXPLAINING A NEGATIVE RESULT (HIGH SUSPICION)
"Your test came back negative, but I'm still concerned."

“Este teste pode não detectar casos, especialmente no início da doença”.

"Dados os seus sintomas, gostaria de repetir o teste em alguns dias ou tentar um teste diferente."

"A negative test doesn't always mean you're clear—seus sintomas também são importantes."
Communication Decision Tree

Como explicar os resultados dos testes

Test Result
↓
Positive
↓
PPV?
>90%"Very likely true"
<90%"Need to confirm"
Negative
↓
NPV?
>95%"Very reassuring"
<95%"Still watch symptoms"
Perguntas para fazer ao seu médico
1

"Quão preciso é este teste?"

Peça sensibilidade e especificidade em linguagem simples

2

“E se o resultado estiver errado?”

Entenda as consequências de falsos positivos e negativos

3

"What happens next?"

Will there be a confirmatory test? Repeat test? Treatment?

4

"What if I don't get tested at all?"

Entenda as vantagens e desvantagens de testar versus não testar

“O teste fala em números.
O paciente ouve medos e esperanças.
A tarefa do curador é a tradução –
para preencher a lacuna entre estatística e alma."
==================== MÓDULO 22: CUSTO EFICÁCIA E GRAU ====================
A test may be accurate.
But is it worth it?

What does it cost—in money,
in anxiety, in harm?
O limite de teste-tratamento

When Is Testing Worthwhile?

Pre-Test Probability
↓
Very Low
Below Test ThresholdDon't test, reassure
Intermediate
Testing ZoneTest will change management
Very High
Above Treat ThresholdDon't test, treat
THE PRINCIPLE
Test only when the result will mude o que você faz. If you'd treat regardless, or not treat regardless—why test?
Qualidade de Evidência GRADE

Classificando evidências de DTA

⊕⊕⊕⊕
HIGH

Vários estudos de alta qualidade, resultados consistentes, diretamente aplicáveis

⊕⊕⊕○
MODERATE

Some limitations in study quality, consistency, or applicability

⊕⊕○○
LOW

Serious limitations—may need to downgrade recommendations

⊕○○○
VERY LOW

Very serious limitations—evidence uncertain

Cost-Consequence Analysis

Example: Universal vs. Targeted Screening

Cost per case detected (universal)
$50,000
Cost per case detected (high-risk only)
$5,000
Cases missed by targeted approach
~10%
False positives avoided by targeted
~90%
Qual abordagem é a certa para sua população?
"A test is not just accurate or inaccurate.
It has costs—in money, in worry, in harm.
O clínico sábio pesa tudo isso -
e testes apenas quando os testes servem ao paciente."
==================== MÓDULO 23: SROC AVANÇADO ====================
A curva SROC mostra where o teste é executado.

But how certain are we?
E quanto será vary in practice?
Confidence vs. Prediction Regions

Two Types of Uncertainty

95% CI (summary estimate)
Previsão de 95% (estudos futuros)
What Each Region Tells You
CI

Confidence Region (smaller ellipse)

Onde estamos 95% confiantes de que true average mentiras de sensibilidade/especificidade. Incerteza sobre a estimativa resumida.

PI

Prediction Region (larger ellipse)

Where we expect 95% of future studies cair. Considera a heterogeneidade entre os estudos.

CLINICAL IMPLICATION
Se a região de previsão for grande, o teste poderá ter um desempenho muito diferente no seu ambiente do que a média sugere. Wide prediction = high heterogeneity = investigate sources.
Bivariate Model Interpretation

Lendo resultados de meta-análise

Summary Sens/Spec
↓
Check Regions
CI narrow, PI narrow
ConsistentConfie na média
CI narrow, PI wide
HeterogeneousA média pode não se aplicar
CI wide
UncertainPrecisa de mais estudos
“A região de confiança lhe diz: até que ponto temos certeza?
A região de previsão lhe diz: Quanto isso irá variar?
Both questions matter—
para o teste que você usará amanhã pode não ser a média."
==================== MÓDULO 24: TESTE E REFERÊNCIAS ====================
References

Key Sources

  1. Carreyrou J. Bad Blood. Knopf, 2018. [Theranos]
  2. CDC. MMWR. 1987;36(49):833-840. [HIV blood supply]
  3. Herbst AL et al. N Engl J Med. 1971;284:878-881. [DES]
  4. Moyer VA. Ann Intern Med. 2012;157:120-134. [PSA]
  5. Pope JH et al. N Engl J Med. 2000;342:1163-1170. [Troponin]
  6. Steingart KR et al. Cochrane 2014;1:CD009593. [GeneXpert]
  7. Dinnes J et al. Cochrane 2022;7:CD013705. [COVID RAT]
  8. UK Panel. Lancet. 2012;380:1778-1786. [Mammography]
  9. Jack CR et al. Lancet Neurol. 2018;17:760-773. [Amyloid]
  10. WHO. Malaria RDT Performance. 2022.
  11. Reitsma JB et al. J Clin Epidemiol. 2005;58:982-990. [Bivariate]
  12. Whiting PF et al. Ann Intern Med. 2011;155:529-536. [QUADAS-2]
  13. Bolton-Maggs PHB. Transfus Med. 2016;26:303-311.
Um teste é 99% sensível e 99% específico. A prevalência da doença é de 1/1000. Um paciente testa positivo. Qual é a probabilidade de eles terem a doença?
99%
90%
About 9%
50%
What does "SnNout" mean?
A highly Sensitive test, when Negative, rules OUT disease
A highly Specific test, when Negative, rules OUT disease
Sensitivity should be used for screening
Specificity should be above 90%
Por que o suprimento de sangue foi contaminado com HIV apesar dos testes?
The tests had low specificity
Tests had a window period with zero sensitivity in early infection
Os testes não foram realizados corretamente
Os testes foram muito caros
Qual domínio do QUADAS-2 avalia se o exame foi interpretado sem o conhecimento do diagnóstico?
Patient Selection
Index Test
Reference Standard
Fluxo e temporização
✔
Course Complete
"Agora você conhece os quatro resultados,
as duas virtudes de um teste,
a falácia da base taxa,
a arte de reunir evidências,
e os preconceitos que escondem a verdade.

Quando o próximo teste estiver para você—
você saberá."
1 / 4