認真問 什麼叫錯誤率 80% ? 那如果永遠把結果反著看會怎麼樣？

ByronWen: 根本沒這種詞

所以那位「捷克專家」是想表達中國試劑品質不佳 但用了一個很聳動的假標題

斯維奇諾瓦說，上週六，他們在一家大學醫院裏對這些中方試劑盒進行了測試，通過對採集樣本的檢測發現，檢測結果錯誤率特別高，包括假陽性和假陰性結果都會出現。

她說，「幸運的是，我們很有遠見，立即取樣對試劑盒進行了檢查，證明了其檢測錯誤率。」

ByronWen: 我能想到的是...偽陽性+偽陰性的比例高到沒辦法判斷

有病驗成陰性, 沒病驗成陽性

6_k: 不是這樣的,這樣顛倒過來用就好

也不是假標題，就是以這批試劑的敏感性特異性，搭配到捷克的檢測母體，跑出完全不能用的結果，這種情形很常見

這比把脈還不準吧？

例如，100人中有10人感染，用敏感特異都90%的試劑，10個感染抓到9個，90個沒感染的也驗出9個

結果就是驗出18個陽性，其中9個是真的有，50%

比擲筊還爛XD

precision高，recall不夠好，我的理解是這樣

ㄉㄅㄑ，我們品管腦看到9以下的數字就會爆炸

大概就是毫無準確度可言吧，譬如已知有病的與已知沒病的滴下去結果陽性反應的數量差不多這樣XD

MILGM: 不愧是王大人

Jinbo: 對

用血清免疫法抓病毒蛋白質外殼，但是SARS-CoV-2的蛋白質和SARS或同家族的其他冠狀病毒的相似性很高(70%?)，所以如果你感染到其他冠狀病毒也會篩成陽性。

感染其他冠狀病毒的機率很很很低啦

也許和其他無關蛋白質也起反應所以就沒辦法用啦。

80% of coronavirus test kits 'gifted'... | Taiwan Ne...裡面提到"the tests yield both false positive and negative results"，代表反過來看也沒用，因為有中可能被當沒中，沒中可能被當成有中......會不會擲硬幣還比較準XD?

美國早期在自己疫情爆發前就發現自己第一批試劑盒有問題，不呈現陰也不呈現陽

武漢肺炎（COVID-19）檢測秀逗？ 美國 CDC 緊急撤回部分缺陷檢測試劑 | GeneOnline...

一部分算是中國品質的問題

根本是拿捷克那邊做實驗吧

我光看標題的話以為是十隻試劑裡有八隻測出來結果是錯的

認真疑惑
這裡的錯誤率是指False positive rate還是false negative rate還是1-accuracy?
任何一種檢驗方式都會出現FP或FN的狀況
通常會偏向某一邊
而只要不要太誇張都有其用途
除非是FPR跟FNR都接近50%那種才叫真。垃圾(跟擲筊沒兩樣
如果兩個都偏高，那真的就反過來看就好了
如果是指1-accuracy那也是反過來看就有80%正確率
所以這80%怎麼出來的很奇怪
而且就我所知核酸檢驗會比抗體抓抗原的檢測方式更準確
primer是要設計得多失敗才會發生錯誤率80%?

xPIKAx: 大概就是毫無準確度可言吧，譬如已知有病的與已知沒病的滴下去結果陽性反應的數量差不多這樣XD

不過假設幾種狀況
50個TP →10 positive→FNR=80%
50個TN→40 positive→FPR=80%
accuracy=20%
反過來看就萬事ok
50個TP →25 positive→FNR=50%
50個TN→25 positive→FPR=50%
accuracy=50%
這就是真。垃圾
但是不知道80%這數字怎麼來的
有股農場味

我推測有機會的應該類似這樣
50個TP →10 positive→FNR=80%
50個TN→5 positive→FPR=10%
accuracy=55%

因為檢驗測試不會只做一份啊，大概是這樣: 把患者那邊收來的樣本我們說分裝成20個，然後每個都滴測試劑下去，如果有18個以上變成藍色那這個人就有病這樣(critical 18~20)

Rychlotesty na koronavirus z Číny mají podle krajské...

然後支那的試劑可能是這樣: 不管甚麼樣本收來滴下去都是8~12個樣本便藍色，而且數量還跟被檢體到底有沒有病沒關係XD

Jinbo: 原來是這樣測的啊

Jinbo: 原來如此!!xD那就是FNR極高，照你說18個以上變色是判斷標準，那麼8-12就是negative我可以這樣理解嗎@@?
50個TP →0 positive→FNR=100%
50個TN→0 positive→FPR=0%
accuracy=50%

比方而已啦，我又不是理科實際怎麼測我哪知，但要用到hypothesis的測試都不會只做一份應該是通常狀況吧

哦哦...@@
我是不知道快篩是怎樣
但PCR通常不會做這麼多份的

應該是拿這個的結果和pcr結果比對發現根本不吻合

accuracy不到50的模型怎麼會有存在的價值

世界上不存在低於50% accuracy的檢驗
越接近50%的越垃圾
所以我才疑惑80%這數字怎麼來的xD

xPIKAx: 原來外國也有這種口語...我有八成把握

FP大於80%也不是奇怪的事情

FPR大於80%不奇怪
但是FPR跟FNR都大於50%就奇怪了(反過來看就好了
FPR高FNR低的檢測還是有其用處
可以做為初步篩選減少進行標準PCR測試的人數
FNR高FPR低可以快速找到真實確診者，再搭配其他防疫措施
而這則新聞最奇怪的是
前面說快篩不準要回到傳統PCR方法
後面又說有人說核酸檢測不準
叫停血清檢測的快篩??
充滿矛盾到讓人無法不懷疑真實性

Los test rápidos de coronavirus comprados en China n...

西班牙買的中國檢測試劑也被報導效果不佳

以這個病毒的特性來說，不大容易做出特異很好敏感不好的試劑

我看中研院的快篩之前是說推測準確率(accuracy)60%
但這個80%錯誤率不知道是指甚麼
我認為不可能是1-accuracy
因為真是這樣那結果反過來解釋就是80% accuracy了
所以拿60%準確率跟這個80%錯誤率比看起來差異很大根本是張飛打岳飛
最有可能就是FPR或FNR是80%
如果猜測中國偏好檢測出來都是陰性的試劑
先假設是FNR=80%
那最慘的情況就是這樣

要比準確率的話就是60%比50% (不會有比50%更慘了，因為再慘反過來看就有>50了%)

還有真心提醒噗首的新聞很多邏輯錯誤
前面說血清檢測快篩不準所以只能回到PCR方式
後面又說阿共好壞竟然叫停很準的血清檢測只認可不準的PCR...

另外昨天我上面留言的TP、TN用詞錯誤
應該是actual positive、actual negative 抱歉>"<

同意樓上，用錯誤率來描述模型很詭異，用precision，recall，accuracy，TP/TN/FP/FN等英文定義才清楚

MILGM:看了您上面舉的例子

您講的50%是Positive predictive value (PPV)
並不是準確率(Accuracy)
這個例子而言
這是非常非常非常優秀的檢驗耶
原本要驗100個PCR現在只要驗18個
只會錯放1個

我覺得沒必要糾結這個，只要知道他不準到沒法用就可以了 XD

80% of the tests are faulty和上面講的有什麼關係啊 XD

反過來看萬事ok更是讓人昏倒

自己算算看100個人裡有10個人是TP，sensitivity和specificity都是20%會怎樣好了

這個設定下，10個TP只有2個被驗出來。90個TN只有18個被驗出來。所以一共2+18=20個人被驗對。耶～～～剛好80% of the tests are faulty捏～

gonadotropin: 好喔，照您的設定幫您算好了，看您的算法應該是認為這個80%錯誤率是指1-accuracy

自己看看反過來解釋會怎麼樣

Jinbo: 不準大概是真的xD
但是80%這個數字真心讓人問號

....... 你自己想想看為什麼法規單位是規定快篩sensitivity要 > 80% ，而不是 > 80% or < 20%好了.....

gonadotropin: 不是因為這是個one-sided test嗎 XD

照這個看來，sensitivity=precision，給你全生病的，試劑能驗出陽性的比例 生物統計學-靈敏度與特異度概念,基礎醫學教室-高...

就模型經驗而論，presision高過某程度可能會降低recall，即越多沒生病的也被驗成陽性

Jinbo: 你不要一直卡在統計詞。不然我加背一個：1-accuracy = error!!! 然後勒？還是搞不懂為什麼沒有核可20% sensitivity的檢驗試劑，反正反過來看就好這種事。你想想看要怎樣可以設計得出20% sensitivity的試劑，還有當你不知道TP和TN，放到population底下會怎樣就好

其實站在開發者的角度想
如果你發現你開發出來的檢測是20% accuracy
那你是會直接這樣出出去還是把陽性陰性重新定義xD

一個好的快篩是寧願FP高也不要FN高
所以我猜會到不堪使用大概是FNR=80%吧
然後算最爛的情況(accuracy=50%)
大概是這個樣子(就算反過來解讀也沒救，因為不管怎樣都有接近一半的人要重新用PCR驗，然後FPR也不管怎樣都接近50%所以醫療成本多消耗很多)

所以我才說越接近50%的檢驗才越爛

如果直接反過來看就好，有什麼差呢 XD

你先把accuracy放下來，因為這是一個validation後的結果。用抗體的快篩做基礎，依照你定義的前提（寧願FP高不要FN高*），設計檢驗的時候一般是怎麼起頭的？

*這不一定是對的哦

你把錯誤率定義成1-accuracy，就不要叫別人放下accuracy別談啦xD
前面在討論的就是這個80%錯誤率究竟代表甚麼的疑惑欸
我說過反過來看就好的情況是"accuracy小於50%，或是FPR、FNR同時大於50%"的狀況
而且我也沒說萬事ok，如果他本來就都接近50%，那反過來看還是接近50%，一樣垃圾，所以我才提出了單一個FNR=80%的可能猜測現在的狀況
至於寧願FP高不要FN高是我問醫檢師朋友說的
以梅毒為例:

這樣可以做為第一關篩選關卡縮小範圍再去進行Specificity高的檢驗
不過我覺得到底這些FPR跟FNR可以接受到多少程度
還是得看為了彌補這些而做的措施會產生多少成本
到底是B>Z還是Z>B

gonadotropin: 你是不是回錯人了 😅

原報導說80% of the tests are faulty，我只是跟你說按照上面的討論這完全是可以發生的，對lay people來說他只要知道是拿到的tests有80%和預期結果不符就好。現在的問題是卡在為什麼西班牙、捷克這麼笨，不會反過來看就好，而要退貨？

你的醫檢師朋友有告訴你檢驗要fit for purpose嗎？FP高用來做毒品快篩，配合錯誤解讀就GG了耶

gonadotropin: 對，所以我認為這個80%不可能是指1-accuracy
不是誇張報導就是大概是其他數值但記者搞不懂亂套(然後民眾跟著亂套)
如果是要到不堪用的程度
大概是FNR=80%, accuracy=50%的狀況

現在這個狀況就是在講疾病的快篩
又不是說positive就直接認定是確診
既然是快篩就要搭配其他方法
我是不知道化學檢驗是否會比較準沒生物的東西那麼飄
如果是用在毒品檢驗要定罪的情況或許就是FP低FN高比較好(當然都不高最好啦)

我會建議你先不要一直抓著accuracy是因為他會同時受到兩個變數影響，會比較複雜。你在設計檢驗的時候不會直接由這個角度出發去設計

xPIKAx: 疾病也一樣呀，你要知道快篩是要用來做什麼的，才知道FP和FN怎麼取捨

譬如美國現在想用快篩抓asymptomatic者的比例，以利評估transmission model，並依此制定下一步防疫政策，這時候FP高就不是好事

醫學檢驗特別的是，醫生會抓旅遊史或症狀可疑的去驗，所以是有先挑過個案的，這種情況對於醫學試劑的要求會變成是以sensitivity(precision，精確率)高為主，不要漏診，不是要求accuracy(準確率)高，accuracy比較適用在其他領域

gonadotropin: 可是你要知道他是無症狀感染者還是首先得確診他
任何檢測都會有FP跟FN，高低差異而已
如果你用一個FP低FN高的檢驗
就是準確地抓出了感染者，但是也漏掉了一堆感染者
而漏掉的通常是檢體病毒量較低導致偵測不到
這樣抓屋症狀感染者真的有比較好?

twtzuchun: 認同
但真的不是我愛講accuracy
而是大家都認為這個80%錯誤率是代表20%accuracy

你可以查查外電啦。西班牙的例子是Spanish Society of Infectious Diseases and Clinical Microbiology發的聲明，低於30% accuracy被退貨

這個到底是怎樣沒人知道，Bioeasy那個試劑現在吵翻天了。但你說的反過來看就好，不論是新聞有問題沒問題，都不是正確的觀念

gonadotropin: 我是有查到外媒也有報導啦
但是我不覺得所有記者都懂檢驗
除非看到你說的單位直接這樣聲明
不過這就很奇怪了，30% accuracy被退貨，如果重複性很高一直維持這樣的機率
那真的是反過來看就有70%，作為快篩還真是不錯
廠商內部測試沒有把陰性陽性反過來定義簡直匪夷所思
除非他沒測試直接丟出來

gonadotropin: 我已經舉了多少例子給你看
F跟N反過來的話
accuracy就會變1-accuracy...

我問你哦，你在20% accuracy的情況下，internal control怎麼設計？

gonadotropin: 你想說的是positive control吧
internal control是在實驗時確定下的量是否一致、操作是否穩定拿來判斷的東西...
我就舉個例子好了
Control就放可以偵測檢體裡面必定存在的東西的抗體
這樣檢體跑完有一條線代表有進行反應
那原本廠商覺得他弄了個抗體可以來檢測病毒抗原好棒
但實際上發生了詭異的事情:抗體完美個避開了病毒的抗原，就是不喜歡抓它
結果non specific的反應，可能抓到了其他人體內的蛋白質
而這個蛋白質可能跟病毒的protein會interaction，導致它的抗原決定位不會被抗體辨識到，但是病毒不存在的時候，抗原決定位就露出來可以被辨識到
這就會產生照原本預期的做出來結果accuracy是20%，但實際上應該要反過來看的情況

不是，positive control是下一步。先講internal

gonadotropin: 你要快篩定性還是定量xD?

Internal control可以做standard來benchmark，但做standard不是internal control的唯一作用喔

gonadotropin: 一般快篩都是放一個control確定反應有正常進行
那我就問你你設計快篩是怎麼設計xD
還有我已經解釋了也是有反向辨認的狀況

你的反向辨認是設計不出來的啊 XD
而且你那個不是accuracy 20%呀

你的internal control只有用來看有沒有反應就對了

假設你說的我們定義成in-built procedural control，你還會設計什麼internal （to the test）呀？

gonadotropin: 你是不是不懂生物學...
我所敘述的情況，在沒病毒時那個抗體抓到蛋白質的機率很高，在有病毒時抓到蛋白質的機率很低(因為被擋住了)
但由於預期有病毒的情況下抗體應該要抓到蛋白質，所以原本設定抓到蛋白質是陽性
這就會造就極低的accuracy
當然依照抗體開發流程，在不知道這個機制的情況下應該是不會產生這個狀況的，所以我才覺得80%錯誤率很奇怪

然後我不知道你一直在糾結internal control又提不出例子是怎麼樣
我舉一個流感快篩的例子，一個control區確認反應正常，一個test區做檢驗
衛生福利部食品藥物管理署
我就問你還想放甚麼control

你自己都說設計不出來了 XD
Procedural controls不是在開發階段唯一需要的intetnal呀。不過我不懂生物學，只好閉嘴了。

gonadotropin: 好吧那我不講生物的東西
就來看陽性及陰性反解讀究竟是甚麼狀況
你一直說反解讀讓人昏倒、是錯誤觀念
那我就算給你看

所以反解讀準確率確實會變成1-原先的accuracy呢!!

ㄜ...

準確與精密 - 维基百科，自由的百科全书

痾...不衝突呀
準度就是有沒有打中靶心
也就是TN跟TP加起來除以全部總數
判定檢測有多凖的各項指標 @ 有勁的基因資訊 :: 痞客邦 ::

xPIKAx: ㄜ...所以你看不懂促性素說什麼

我只簡單地問一句好了...

你認為捷克的試劑是那四張靶圖的哪一個

為什麼捷克他們認為不能用

liuchienyi: 我上面說過了啊
FNR80%
accuracy接近50%的情況

好吧...加油...繼續努力吧

xPIKAx: 因為你一開始講的就有問題...人家說的是錯誤率80%

你真覺得這種特異性和敏感性爛成這樣的試劑可以反過來用?

所以我才問這個錯誤率是指什麼
上面的大大算法就是1-accuracy

那麼在這樣的情況下
且特異性跟敏感性都極爛的情況下算出來是這樣
但是反過來看就真的還不錯...

xPIKAx: 反過來,ㄜ...你有進過實驗室嗎?

或者是...檢驗室?

有啊
但我意思是說
真是這樣的結果
廠商出出來之前就會重新定義陰性陽性了

xPIKAx: 那你知道為什麼捷克他不反過來看結果了嗎?

所以我懷疑可能性就是80%錯誤率指的不是1-accuracy是記者誤植
可能是FNR, FPR, 1-PPV, 1-NPV
不然就是
中國試劑沒測試過直接丟出來...?

xPIKAx: 我不知道其他醫院怎麼處理,但是如果一個試劑光跑內部檢測錯誤率就高成這樣

一定是整批退回,請他們換一批試劑再來

不可能有甚麼好像錯誤率很高,顛倒過來判讀就好這種事

liuchienyi: 原來如此
確實我沒想到實務上收到這樣的東西必須這樣做比較合理
我是在開發檢驗平台的公司工作
用多基因檢測去做藥物適用性之類的
生資人員曾表明不會有低於50%的accuracy
因為如果一直做出來都是那樣的話
他只要把model反過來就可以了
可能是database偏了或是演算法弄錯了
所以要是真的只有20% accuracy 這大概就是內部連測都沒測就丟出來賣了

不過我還是覺得這種錯誤率高到有點太奇妙

liuchienyi: gonadotropin: 感謝您們的回覆

看完這個應該可以回答今天討論多數的問題。
https://www.fda.gov/...

中國快篩試劑有多爛？「西班牙烏龍案」媒體說不清楚的病毒科學

gonadotropin: 我大概掃了一下還沒全部仔細看完
不過我想你應該是想說20% accuracy是在帶著control跑且control是正常的情況下跑出來的，因此20%就是20%，不能反過來看?
那我舉個例子：
我今天搞出了一種抗體想要辨識病毒
但大量測試時發現
測出來的accuracy、specificity、sensitivity皆只有20%，確認有反應的control正常，且實驗中我插到positive ctrl是兩條線，negative contro是一條線
那麼，我合理懷疑，我的抗體可能在病毒存在時就是辨認不到target，而工廠在一開始就把pos ctrl跟neg ctrl包裝反了

可能機制為：
1.抗體辨識到會跟病毒interaction的蛋白，抗原結合位被遮住。不過一般來說不刻意小心處理sample，protein-protein interaction不太會被保留，故可能性低
2.抗體辨識到了病毒存在時，會被嚴重抑制的蛋白
(要是篩選抗體時ctrl就搞反了，這是有可能發生的)

那麼我會去測試ctrl是否真的搞反
如果真是如此，那就可以修正錯誤
把陽性陰性反過來解讀
此時我出貨時
我的產品accuracy, specificity, sensitivity就都是80%
(為何是這樣算我想我前面都證明了，依照你們頭腦聰明程度應該不需要再解釋?)
只是原理部分可能有點不明，當然要更嚴謹測試也行
就是看screening的 data有哪些人類的gene是會被病毒大量抑制的，針對這些候選去進行測試找出我的抗體到底抓到了啥
如果還有什麼因素是我沒考量到，而你認為不能反過來看的，那就...你可以直接提出來或我找時間看完那份再討論?

不過那麼多國家哀嚎我認為中國試劑應該是真的爛
可能
1.他沒測試直接丟出來，我同意實驗人員不該自己把結果反解讀，畢竟沒有經過驗證
2.數值可能是記者誤植，也許是指其他統計數值，比如FNR。
3.捷克測試出來20%可能樣本不夠大，要是樣本夠大，最後各項數值可能會趨於50% ，也就是最爛的那種檢驗模型

fantasydavid: 這個闢謠的好仔細🧐

fantasydavid: 他講的有些地方也不見得對。只有FN沒有FP幾乎是不可能的。新聞也有說FP、FN都有。收到kits做validation的時候，一定是TN、TP都會做，如果sensitivity有30%，specificity 99%，不太可能80%測出來的結果是錯的

xPIKAx: 我這樣問你好了，先不要空想怎樣的情況會造成可以或不行反過來解讀，你的公司檢驗試劑出去前有沒有做release QC?

fantasydavid: Abbott那台都還沒被”FDA cleared”，就要附那麼多資訊了。連續幾個國家的專業人員都不識字也看不懂文件，錯誤是基於使用方式錯誤或溝通不良，也是非常扯 XD

gonadotropin: 我也這麼覺得

gonadotropin: 當然有啊，每個步驟都要Q，不過研發階段的QC通常是很混亂甚至還沒建立好的，凡是人工就有出錯的可能，根據QC的優良程度
這可能在進料就發現、也有可能中途才發現、甚至最後出貨前才發現
所以我不是也提出了中國的試劑也許沒有測試過就拿出來賣的可能?

至於有沒有錯誤率很高顛倒判就變好這種事
假設Sensitivity跟Specificity是固定數值
Accuracy在陰陽樣本數相同的情況下會=(Sensitivity+Specificity)/2
而陽性樣本數愈多Acc會愈趨近Sensitivity，反之則趨近Specificity
所以Acc的值不管樣本數如何分佈都會落在這兩值之間
所以若此二值遠低於50%造成Acc遠低於50%
那當然是合理懷疑系統哪邊出問題導致陰性陽性判反了

你自己不是都把答案講出來了嗎？如果今天沒Q，你怎麼知道這個batch的sensitivity和specificity有沒有跑掉？你怎麼知道你可以預期的LOD是什麼？你的TP看到positive是因為on-target interactions引起的嗎？你怎麼知道你的in-built procedural control is working properly？你的FN會不會是LOD off了呢？你怎麼知道你的試劑有沒有contamination？最重要的，你怎麼確定試劑之間有consistency，可以被視為有一樣的sensitivity和specificity？

如果你有Q，然後validation還差那麼多，那就更扯。先趕快自己抓回來validate，看是不是整套QA和QC都出問題比較重要。Q老半天什麼毛病都抓不到，跟沒Q不是一樣

FDA之類的機構要求medical device之類的東西要附一堆文件資料才能被certified不是來亂的，試劑到了client site做validation，是要和試劑的文件做比較的。如果和文件一樣（文件顯示就是爛），那再爛也就用吧，雖然我是不覺得正常國家會讓鳥試劑拿到certificate啦。如果不一樣那就大條了，趕快先找問題阿，什麼反過來看，你Q完出去的東西還要反過來看，廠都要被audit爆了。沒有辦法確定consistency跟quality的東西，同一批裡的兩個檢驗搞不好performance都天差地遠了，誰有辦法知道到底是出什麼事啦

研發階段的QC很混亂我也同意，那就更代表商品的生產商不具有量產能力，拿出去的東西可以用叫運氣，不能用才是正常。

你的反過來看，完全是放在試劑之間consistency很高的狀況。問題是假定你的Q有問題或沒Q，你怎麼知道這成立？又，如果你有Q，Q又有效，那怎麼會出廠前沒抓出來？何況你自己都說你前面講的完美狀況根本很難設計出來（which is true），而且這個設計還要完美避過所有的Q讓最後結果是反的，誰那麼強設計出來看看好了

現實就是會發生一些奇奇怪怪的問題啊
假設研發某一癌症篩檢的產品
跟醫院簽約要了400個healthy donor跟某一癌症病患的樣本(各半)
用來建立database
而負責給Sample list的人，在做去連結處理、還有將兩個excel檔合併成一個要對外的檔案時
很粗心的把healthy donor的分頁跟癌症病患的分頁命名打反了
於是我們以這個database為基礎建立了演算法
接下來又跟醫院簽約要了100個樣本做測試
你覺得測試出來對答案會發生甚麼事www
試劑跟機台都Q過沒問題、所有儀器定期較驗符合設定標準