亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

醫(yī)療AI數(shù)據(jù)困境與破局:專業(yè)標(biāo)注體系的構(gòu)建與實(shí)踐

醫(yī)療AI數(shù)據(jù)困境與破局:專業(yè)標(biāo)注體系的構(gòu)建與實(shí)踐 在醫(yī)療AI這個(gè)賽道摸爬滾打這幾年我越來(lái)越清晰地感受到一個(gè)事實(shí)真正卡住項(xiàng)目脖子的往往不是模型結(jié)構(gòu)不夠新也不是算力不夠猛而是喂給算法的數(shù)據(jù)根本不夠“專業(yè)”。醫(yī)療AI的數(shù)據(jù)瓶頸和普通圖像識(shí)別、語(yǔ)音識(shí)別的數(shù)據(jù)瓶頸完全不是一回事它不光是“量”的問題更是“質(zhì)”和“專業(yè)度”的鴻溝。同樣的標(biāo)注任務(wù)放在通用領(lǐng)域可能只需要兩三個(gè)小時(shí)培訓(xùn)但在醫(yī)療場(chǎng)景里沒有扎實(shí)的解剖學(xué)基礎(chǔ)和臨床知識(shí)連病灶的邊界都畫不準(zhǔn)。這也正是“匯眾天智”這類聚焦專業(yè)標(biāo)注的平臺(tái)存在的根本邏輯把眾包模式的規(guī)?;芰藿拥结t(yī)療場(chǎng)景極高的專業(yè)門檻上用一套嚴(yán)格的醫(yī)學(xué)標(biāo)注體系去破解數(shù)據(jù)困境。這篇文章我想結(jié)合自己參與醫(yī)療AI數(shù)據(jù)項(xiàng)目的實(shí)際體感聊聊醫(yī)療數(shù)據(jù)瓶頸到底“卡”在哪幾個(gè)環(huán)節(jié)專業(yè)標(biāo)注為什么是破局的核心鑰匙以及一套可落地的專業(yè)標(biāo)注體系應(yīng)該怎么搭、怎么管、怎么避坑。如果你正在做醫(yī)療影像AI、臨床文本挖掘或者健康管理模型又苦于數(shù)據(jù)質(zhì)量上不去、標(biāo)注成本居高不下這篇文章應(yīng)該能給你一些直接能用的思路。1. 醫(yī)療AI的數(shù)據(jù)困境遠(yuǎn)不止“數(shù)據(jù)少”這么簡(jiǎn)單很多人一提到醫(yī)療AI的數(shù)據(jù)瓶頸第一反應(yīng)就是“數(shù)據(jù)不夠多”。這話沒錯(cuò)但不全面。我在實(shí)際項(xiàng)目中體會(huì)到醫(yī)療數(shù)據(jù)的困局是一個(gè)層層嵌套的結(jié)構(gòu)表面上看起來(lái)是數(shù)據(jù)量不足往下挖會(huì)發(fā)現(xiàn)是數(shù)據(jù)獲取難、標(biāo)注專業(yè)度要求極高、數(shù)據(jù)分布極度不均衡這三座大山疊加在一起。1.1 數(shù)據(jù)獲取的“圍城”效應(yīng)醫(yī)療數(shù)據(jù)天然帶有強(qiáng)隱私屬性患者信息、診療記錄、影像數(shù)據(jù)都受嚴(yán)格的法律法規(guī)保護(hù)。這導(dǎo)致醫(yī)療數(shù)據(jù)呈現(xiàn)著一種奇特的“圍城”狀態(tài)醫(yī)院內(nèi)部積累了大量數(shù)據(jù)但因?yàn)殡[私合規(guī)、數(shù)據(jù)脫敏流程繁瑣、院內(nèi)系統(tǒng)接口封閉等原因這些數(shù)據(jù)很難順暢地流出醫(yī)院提供給算法團(tuán)隊(duì)使用。而AI研發(fā)團(tuán)隊(duì)在院外往往拿著錢也買不到高質(zhì)量的數(shù)據(jù)只能通過公開數(shù)據(jù)集、科研合作、臨床試驗(yàn)等渠道一點(diǎn)點(diǎn)積累。在實(shí)際操作中我們和某三甲醫(yī)院合作過一個(gè)影像AI項(xiàng)目光是為了解決數(shù)據(jù)的匿名化授權(quán)問題就往返溝通了將近兩個(gè)月。數(shù)據(jù)從醫(yī)院影像系統(tǒng)導(dǎo)出后還需要經(jīng)過DICOM文件頭信息清洗、患者姓名和住院號(hào)替換、敏感區(qū)域遮罩等環(huán)節(jié)每一個(gè)步驟都要留在臺(tái)面上經(jīng)得起審計(jì)。這種合規(guī)成本是醫(yī)療數(shù)據(jù)特有的也是做通用AI時(shí)根本不會(huì)遇到的。1.2 醫(yī)療數(shù)據(jù)的“小樣本”和“長(zhǎng)尾”困境即便數(shù)據(jù)能拿到手醫(yī)療數(shù)據(jù)本身還有一個(gè)天然屬性——極度不均衡。常見的疾病類別或者正常的解剖結(jié)構(gòu)影像數(shù)據(jù)量可能非常充足但真正算法需要識(shí)別的高價(jià)值類別比如早期腫瘤病灶、罕見病變、細(xì)微骨折往往只占全部數(shù)據(jù)的極小比例。用技術(shù)術(shù)語(yǔ)講這叫作長(zhǎng)尾分布。我參與的一個(gè)肺結(jié)節(jié)檢測(cè)項(xiàng)目訓(xùn)練集里良性結(jié)節(jié)和正常組織的數(shù)據(jù)占了九成以上但真正需要模型精確識(shí)別的早期惡性結(jié)節(jié)只有不到幾百例。這其實(shí)就是醫(yī)學(xué)影像AI的常態(tài)越有價(jià)值的目標(biāo)越稀少而算法又恰恰需要大量樣本才能學(xué)得穩(wěn)。如果單純靠堆數(shù)據(jù)量去解決會(huì)發(fā)現(xiàn)邊際效應(yīng)遞減得非常厲害因?yàn)楹诵念悇e的人口基數(shù)本身就很有限。1.3 標(biāo)注的專業(yè)性鴻溝普通標(biāo)注員根本下不了手這是醫(yī)療數(shù)據(jù)瓶頸里最隱蔽、也最要命的一環(huán)。通用圖像標(biāo)注里畫個(gè)框、拉個(gè)多邊形、標(biāo)注一個(gè)類別培訓(xùn)成本很低甚至眾包平臺(tái)上隨便一個(gè)兼職都能做。但在醫(yī)療影像標(biāo)注里情況完全不一樣。一張肺部CT有幾百層切片每一層都需要識(shí)別解剖結(jié)構(gòu)、判斷病灶位置、區(qū)分病灶類型實(shí)性、磨玻璃、鈣化這已經(jīng)屬于醫(yī)學(xué)影像科醫(yī)生的專業(yè)工作范疇了。我見過不少項(xiàng)目組嘗試用通用的眾包標(biāo)注平臺(tái)去做醫(yī)療影像標(biāo)注結(jié)果這群沒有醫(yī)學(xué)背景的標(biāo)注員畫出來(lái)的框肉眼看著都“差不多”但模型訓(xùn)練出來(lái)就是不穩(wěn)定。因?yàn)樗麄兎植磺逖軘嗝婧头谓Y(jié)節(jié)的影像差異也搞不懂什么是“毛刺征”、什么是“胸膜凹陷”這些臨床語(yǔ)義一旦標(biāo)錯(cuò)模型學(xué)習(xí)的其實(shí)就是錯(cuò)誤特征。可以說(shuō)醫(yī)療AI的數(shù)據(jù)瓶頸中“專業(yè)標(biāo)注人員稀缺”是最深的一個(gè)坑。2. 專業(yè)標(biāo)注為何是破局的核心鑰匙既然數(shù)據(jù)瓶頸是多層的那解開這個(gè)結(jié)的突破口在哪我的答案一直是專業(yè)標(biāo)注。只有把標(biāo)注的專業(yè)度做上去才能讓有限的醫(yī)療數(shù)據(jù)發(fā)揮出超過其本身規(guī)模的訓(xùn)練價(jià)值讓算法真正學(xué)到臨床上有意義的特征。2.1 標(biāo)注不只是畫框而是在“轉(zhuǎn)譯”臨床知識(shí)我越來(lái)越傾向于把醫(yī)療標(biāo)注理解為一種“知識(shí)轉(zhuǎn)譯”工作。醫(yī)生在看一張影像時(shí)大腦里運(yùn)行的是幾十年的臨床經(jīng)驗(yàn)積累這個(gè)區(qū)域的密度異??赡軐?duì)應(yīng)什么病變這個(gè)形態(tài)特征提示什么分期這些信息很多不是顯性的文字規(guī)則而是高度依賴于專業(yè)直覺。標(biāo)注的真正價(jià)值就是把這些藏在醫(yī)生腦子里的隱性知識(shí)轉(zhuǎn)換成算法能夠理解的顯性表達(dá)——邊界框、分割掩膜、關(guān)鍵點(diǎn)、分類標(biāo)簽。舉個(gè)例子在標(biāo)注腦出血區(qū)域的時(shí)候普通標(biāo)注員只能按照影像上的灰度差異去勾畫范圍但在神經(jīng)科醫(yī)生看來(lái)出血區(qū)域周圍往往還有一圈水腫帶這圈水腫帶雖然在CT上不那么“顯眼”但卻是臨床評(píng)估病情嚴(yán)重程度的重要依據(jù)。如果標(biāo)注時(shí)把水腫帶和出血核心分開標(biāo)注模型就能學(xué)到更完整的病理變化模式如果標(biāo)成一團(tuán)模型就丟失了關(guān)鍵信息。這就是專業(yè)標(biāo)注和普通標(biāo)注之間的信息量差距。2.2 多模態(tài)醫(yī)療數(shù)據(jù)每一種都考驗(yàn)標(biāo)注功力醫(yī)療AI不是只有影像一條線。病理切片、心電圖、基因組數(shù)據(jù)、臨床文本、可穿戴設(shè)備信號(hào)每一種模態(tài)的標(biāo)注挑戰(zhàn)都不一樣但共同點(diǎn)是都需要專業(yè)背景。病理切片標(biāo)注是另一類典型的專業(yè)標(biāo)注場(chǎng)景。一張數(shù)字病理切片可能有上萬(wàn)乘以上萬(wàn)像素醫(yī)生要在顯微鏡級(jí)別的放大倍數(shù)下判斷細(xì)胞形態(tài)異常區(qū)域并區(qū)分是原位癌還是浸潤(rùn)癌邊界往往非常細(xì)微。這種標(biāo)注工作幾乎沒有速成的可能也沒有哪個(gè)通用標(biāo)注平臺(tái)能處理。心電圖標(biāo)注則需要理解P波、QRS波群、ST段等波形特征判斷心律失常類型這些同樣需要心內(nèi)科知識(shí)儲(chǔ)備。臨床文本標(biāo)注更是需要理解病歷書寫習(xí)慣、診斷術(shù)語(yǔ)體系、藥物名稱映射否則連實(shí)體識(shí)別的邊界都會(huì)畫錯(cuò)。所以專業(yè)標(biāo)注的“專業(yè)”二字不只是一個(gè)形容詞而是決定了數(shù)據(jù)可用性的硬門檻??邕^這道門檻的標(biāo)注數(shù)據(jù)才有資格叫訓(xùn)練數(shù)據(jù)跨不過去的只能叫“有噪聲的圖片集合”。2.3 標(biāo)注質(zhì)量直接決定模型天花板模型比賽里我聽過一句話Garbage in, garbage out。在醫(yī)療AI項(xiàng)目里這句話的體驗(yàn)尤其深刻。模型性能天花板不是由模型結(jié)構(gòu)決定的而是由標(biāo)注質(zhì)量的上限決定的。一個(gè)ResNet或者Transformer結(jié)構(gòu)再先進(jìn)如果訓(xùn)練數(shù)據(jù)的標(biāo)注錯(cuò)誤率在5%以上模型輸出基本就不可用了。尤其在醫(yī)療場(chǎng)景里漏診一個(gè)病灶帶來(lái)的后果是嚴(yán)重的所以對(duì)標(biāo)注質(zhì)量的要求不是“盡量高”而是“可以溯源、可以審計(jì)、可以復(fù)現(xiàn)”。從這個(gè)角度來(lái)看投在專業(yè)標(biāo)注上的時(shí)間和成本不是“消耗”而是對(duì)整個(gè)AI項(xiàng)目的一種保險(xiǎn)。省下了標(biāo)注的專業(yè)度后面花在模型調(diào)優(yōu)和返工上的時(shí)間往往是標(biāo)注節(jié)省成本的數(shù)倍。3. 匯眾天智式專業(yè)標(biāo)注體系怎么搭講了這么多瓶頸和專業(yè)標(biāo)注的重要性更核心的問題是一套可落地的專業(yè)標(biāo)注體系到底該怎么搭我自己在項(xiàng)目里摸索出來(lái)的經(jīng)驗(yàn)是不能只靠某一類人群?jiǎn)未颡?dú)斗而是要把醫(yī)生、標(biāo)注專員、質(zhì)控人員和算法工程師有效組織成一條流水線每一個(gè)環(huán)節(jié)都有清晰的標(biāo)準(zhǔn)和檢查點(diǎn)。3.1 角色分工誰(shuí)來(lái)做、做什么、憑什么能做好一套成熟的醫(yī)療專業(yè)標(biāo)注體系至少要分成這幾個(gè)角色標(biāo)注專員醫(yī)療背景的標(biāo)注執(zhí)行者經(jīng)過專項(xiàng)培訓(xùn)后負(fù)責(zé)具體的標(biāo)注操作。這個(gè)崗位可以是影像科醫(yī)生兼職也可以是醫(yī)學(xué)專業(yè)畢業(yè)生經(jīng)過培訓(xùn)后轉(zhuǎn)崗關(guān)鍵是具備解讀醫(yī)療影像或病歷的基礎(chǔ)能力。審核醫(yī)生高級(jí)醫(yī)生或主治醫(yī)師級(jí)別的審核者負(fù)責(zé)對(duì)標(biāo)注結(jié)果進(jìn)行專業(yè)復(fù)核解決疑難病例。質(zhì)控人員不一定是醫(yī)生但要懂?dāng)?shù)據(jù)質(zhì)量管理流程負(fù)責(zé)隨機(jī)抽檢、一致性評(píng)估、反饋閉環(huán)管理。算法工程師負(fù)責(zé)定義標(biāo)注規(guī)范中算法層面的需求比如是否需要邊界平滑、是否需要排除某些偽影、類別的優(yōu)先級(jí)是什么同時(shí)跟進(jìn)模型訓(xùn)練結(jié)果反哺標(biāo)注規(guī)范的迭代。在實(shí)際項(xiàng)目里我見過一些團(tuán)隊(duì)想省事只安排醫(yī)生直接標(biāo)注跳過標(biāo)注專員和質(zhì)控角色。結(jié)果就是醫(yī)生的時(shí)間被大量消耗在重復(fù)性標(biāo)注上標(biāo)注效率很低而且因?yàn)闆]有獨(dú)立的質(zhì)控環(huán)節(jié)標(biāo)注錯(cuò)誤往往要到模型訓(xùn)練階段才暴露出來(lái)返工成本非常高。3.2 標(biāo)注規(guī)范要先“寫清楚”不能只靠口頭傳在醫(yī)療標(biāo)注項(xiàng)目里一份清晰、可執(zhí)行的標(biāo)注規(guī)范文檔是整個(gè)體系的靈魂。這份文檔不是簡(jiǎn)單寫“把病灶框出來(lái)”這種話而是要對(duì)每一個(gè)標(biāo)注類別定義清楚邊界條件、排除條件、歧義處理規(guī)則。以肺結(jié)節(jié)標(biāo)注為例規(guī)范的細(xì)節(jié)程度要做到什么地步呢最小標(biāo)注尺寸閾值小于3毫米的結(jié)節(jié)是否需要標(biāo)注通常規(guī)范會(huì)規(guī)定小于一定尺寸的微小結(jié)節(jié)可以不標(biāo)注以免引入過多噪聲。形態(tài)判斷標(biāo)準(zhǔn)磨玻璃影和實(shí)性結(jié)節(jié)如何區(qū)分密度值范圍是多少邊緣特征定義分葉、毛刺、光滑邊緣分別對(duì)應(yīng)什么影像特性和標(biāo)注方式。多重病灶的處理同一張影像上存在多個(gè)結(jié)節(jié)全部標(biāo)注還是選擇最大徑的這直接影響數(shù)據(jù)分布。偽影排除規(guī)則呼吸移動(dòng)產(chǎn)生的偽影、血管截面產(chǎn)生的類圓形影如何在規(guī)范中提示標(biāo)注員避免誤判。這些規(guī)范看著瑣碎但每一條背后都是醫(yī)學(xué)專業(yè)知識(shí)和算法訓(xùn)練需求之間的碰撞。制度上沒有寫清楚的地方標(biāo)注員就只能憑感覺標(biāo)注誤差就會(huì)急劇放大。3.3 雙人標(biāo)注與仲裁機(jī)制用流程保證質(zhì)量在構(gòu)建專業(yè)標(biāo)注體系時(shí)我最推薦的質(zhì)量保障機(jī)制是雙人獨(dú)立標(biāo)注加仲裁復(fù)核。具體來(lái)說(shuō)同一份數(shù)據(jù)分配給兩個(gè)有資質(zhì)的標(biāo)注員獨(dú)立完成任務(wù)如果兩個(gè)人的標(biāo)注結(jié)果一致直接通過如果不一致由上級(jí)審核醫(yī)生進(jìn)行仲裁判定。這個(gè)流程看起來(lái)增加了人力成本但對(duì)醫(yī)療AI項(xiàng)目來(lái)說(shuō)是必要的。兩個(gè)獨(dú)立標(biāo)注者的一致率其實(shí)本身就是衡量任務(wù)難度和數(shù)據(jù)質(zhì)量的一個(gè)指標(biāo)。如果一致率很低說(shuō)明標(biāo)注規(guī)范不清晰或者任務(wù)本身太難這時(shí)候需要進(jìn)行規(guī)范修訂和人員再培訓(xùn)而不是盲目地把標(biāo)注結(jié)果交給算法團(tuán)隊(duì)訓(xùn)練。我在一個(gè)骨折檢測(cè)項(xiàng)目中統(tǒng)計(jì)過實(shí)行雙人獨(dú)立標(biāo)注后標(biāo)注一致率從最初的82%提升到了94%模型在驗(yàn)證集上的mAP也提升了近5個(gè)百分點(diǎn)。這就是流程機(jī)制的價(jià)值——它不只是“檢查錯(cuò)誤”更是在倒逼整個(gè)標(biāo)注體系不斷調(diào)優(yōu)。3.4 疑難病例的“不放過”機(jī)制醫(yī)療數(shù)據(jù)里總有那么一小部分病例連有經(jīng)驗(yàn)的醫(yī)生看了都會(huì)猶豫。我的處理原則是寧缺毋濫不順延混過。在標(biāo)注流程里我們會(huì)設(shè)置一條“疑難病例通道”任何標(biāo)注員遇到拿不準(zhǔn)的情況都可以一鍵標(biāo)記為疑難病例然后由更高年資的醫(yī)生會(huì)診決定。如果一個(gè)病例在會(huì)診后仍然沒有明確結(jié)論那這條數(shù)據(jù)寧可不進(jìn)入訓(xùn)練集也不帶著模糊標(biāo)簽硬塞進(jìn)去。這套機(jī)制看起來(lái)?yè)p失了一點(diǎn)數(shù)據(jù)量但它保住了整個(gè)數(shù)據(jù)集的干凈度。模糊標(biāo)簽對(duì)模型的傷害尤其是對(duì)邊界情況的誤判遠(yuǎn)大于少一條數(shù)據(jù)的損失。醫(yī)療AI的安全邊界本來(lái)就高數(shù)據(jù)上多較真一分模型在臨床上就多可靠一分。4. 實(shí)操中的管理流程與踩坑紀(jì)實(shí)光有體系還不夠?qū)嶋H跑起來(lái)之后會(huì)遇到各種文檔里不會(huì)寫的問題。我自己在帶標(biāo)注項(xiàng)目的過程中踩過不少坑這里總結(jié)幾條印象最深的給準(zhǔn)備做醫(yī)療AI數(shù)據(jù)的團(tuán)隊(duì)提個(gè)醒。4.1 標(biāo)注工具的選型失誤是最貴的坑剛開始做醫(yī)療影像標(biāo)注時(shí)團(tuán)隊(duì)圖省事直接用通用標(biāo)注工具加手工數(shù)坐標(biāo)的方式工作結(jié)果效率極低。兩個(gè)人標(biāo)一張復(fù)雜的CT序列可能需要一整天。后來(lái)?yè)Q成了專業(yè)的醫(yī)學(xué)影像標(biāo)注工具支持DICOM直接讀取、窗寬窗位調(diào)節(jié)、切片聯(lián)動(dòng)、半自動(dòng)分割等功能效率提升非常明顯。這里要提醒的是醫(yī)療影像標(biāo)注工具和普通工具的最大區(qū)別一是要支持DICOM格式和影像后處理操作二是要支持標(biāo)簽層級(jí)和標(biāo)注屬性的精細(xì)化管理。如果工具不支持窗寬窗位調(diào)節(jié)標(biāo)注員連磨玻璃影和實(shí)性結(jié)節(jié)的密度差異都看不準(zhǔn)后續(xù)質(zhì)量根本沒保障。工具選錯(cuò)后面的流程再正規(guī)也是白搭。4.2 醫(yī)生時(shí)間和標(biāo)注效率的平衡很多醫(yī)療標(biāo)注項(xiàng)目啟動(dòng)時(shí)都想著“讓資歷越高的醫(yī)生來(lái)標(biāo)越放心”實(shí)際跑下來(lái)很容易出現(xiàn)兩個(gè)問題一是資深醫(yī)生時(shí)間碎片化嚴(yán)重根本無(wú)法保證持續(xù)投入二是讓高年資醫(yī)生花費(fèi)大量時(shí)間做基礎(chǔ)框選工作其實(shí)是很大的資源浪費(fèi)。我的做法是把工作分級(jí)基礎(chǔ)的結(jié)構(gòu)分割和病灶初篩交給經(jīng)過培訓(xùn)的標(biāo)注專員資深醫(yī)生只做疑難病例的會(huì)診和最終審核。這樣既保證了標(biāo)注質(zhì)量也保護(hù)了核心專業(yè)人力資源。效率和質(zhì)量之間的平衡一定要在設(shè)計(jì)流程的時(shí)候就考慮好否則上線一兩個(gè)月就會(huì)被現(xiàn)實(shí)狠狠教訓(xùn)。4.3 標(biāo)注規(guī)范是“活文檔”不是“死規(guī)矩”標(biāo)注規(guī)范一定不能寫完就封存它必須跟隨項(xiàng)目進(jìn)展不斷迭代。我見過太多團(tuán)隊(duì)花兩周時(shí)間寫了一份詳盡的規(guī)范然后三個(gè)月都不更新導(dǎo)致標(biāo)注員在處理越來(lái)越多新情況時(shí)無(wú)所適從只能自己自由發(fā)揮。更好的做法是規(guī)范文檔保持可變更狀態(tài)每次仲裁復(fù)核中發(fā)現(xiàn)新的邊界案例就同步補(bǔ)充進(jìn)規(guī)范文檔并且通過定期的標(biāo)注員培訓(xùn)同步更新認(rèn)知。規(guī)范的價(jià)值不在于一次寫得多完美而在于能不能持續(xù)貼合真實(shí)數(shù)據(jù)分布。4.4 一致性指標(biāo)不能只看平均值很多團(tuán)隊(duì)在做質(zhì)量評(píng)估時(shí)喜歡看一個(gè)“平均一致率”但這個(gè)指標(biāo)很容易掩蓋局部分布的問題。比如某一大類的數(shù)據(jù)標(biāo)注一致率很高但另一個(gè)較小但更關(guān)鍵的類別一致率很低平均一下看起來(lái)“還能接受”實(shí)際上算法已經(jīng)在關(guān)鍵類別上嚴(yán)重翻車了。我建議把一致性指標(biāo)按照標(biāo)注類別、數(shù)據(jù)來(lái)源、影像質(zhì)量分層拆開統(tǒng)計(jì)。不同醫(yī)院、不同設(shè)備廠商的影像在質(zhì)量上差異很大一致性在一個(gè)子集上很高不代表在所有子集上都是可信的。分層的質(zhì)量監(jiān)控才能讓問題的暴露不滯后。5. 醫(yī)療AI數(shù)據(jù)體系的常見問題速查最后整理一個(gè)我在項(xiàng)目過程中總結(jié)的常見問題排查表希望能讓后來(lái)者少走幾步彎路問題現(xiàn)象可能原因排查思路模型在驗(yàn)證集上表現(xiàn)不錯(cuò)但實(shí)際臨床數(shù)據(jù)上一塌糊涂訓(xùn)練數(shù)據(jù)來(lái)源單一設(shè)備機(jī)型、影像參數(shù)分布覆蓋不全按數(shù)據(jù)來(lái)源設(shè)備廠商、醫(yī)院、掃描參數(shù)分層統(tǒng)計(jì)分布并擴(kuò)充多樣性標(biāo)注員之間對(duì)不同類別的理解差異越來(lái)越大標(biāo)注規(guī)范描述不清晰缺少典型示例和邊界案例組織典型錯(cuò)誤案例復(fù)盤更新規(guī)范并增加示意圖標(biāo)注效率越來(lái)越低標(biāo)注工具操作繁瑣病例難度分布不均優(yōu)化工具快捷鍵路徑將簡(jiǎn)單病例和疑難病例分開排隊(duì)處理仲裁病例積壓過多審核醫(yī)生時(shí)間不足仲裁流程太重設(shè)立分級(jí)審核機(jī)制簡(jiǎn)單爭(zhēng)議由標(biāo)注組長(zhǎng)確認(rèn)復(fù)雜爭(zhēng)議再上會(huì)診數(shù)據(jù)脫敏不徹底導(dǎo)致合規(guī)風(fēng)險(xiǎn)對(duì)DICOM頭文件信息清洗不徹底上線自動(dòng)清洗工具增加敏感字段掃描抽查環(huán)節(jié)這個(gè)表看著簡(jiǎn)單但每一條背后都是我真實(shí)踩過的坑。醫(yī)療AI數(shù)據(jù)體系建設(shè)說(shuō)到底是一件“慢工出細(xì)活”的事急不來(lái)也省不得。專業(yè)標(biāo)注的價(jià)值不是在數(shù)據(jù)上多花多少錢的問題而是決定了你訓(xùn)練出來(lái)的模型究竟是一個(gè)在實(shí)驗(yàn)室里好看的PPT還是真正能經(jīng)得起臨床考驗(yàn)的產(chǎn)品。以我自己這些年的體感來(lái)說(shuō)做醫(yī)療AI最大的成就感不是模型指標(biāo)刷得多高而是標(biāo)注體系真正穩(wěn)定運(yùn)轉(zhuǎn)起來(lái)之后團(tuán)隊(duì)可以不再每天為了數(shù)據(jù)質(zhì)量焦頭爛額而是能騰出精力去做更多有價(jià)值的算法探索。數(shù)據(jù)瓶頸的破局從來(lái)不是靠某一次靈光一現(xiàn)而是靠一整套專業(yè)、耐心、嚴(yán)謹(jǐn)?shù)臉?biāo)注機(jī)制一點(diǎn)一點(diǎn)夯出來(lái)的。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色av中文字| 大香蕉免费3| 国产精品一级特黄aaa大片在线观看| 日本91白丝| 欧美高清无码免费视频高清版| 99re在线视频国产| 屌逼麻豆| 影音先锋国产精品| 亚洲精品一区二区精华| 亚州大图综合色图| 无码视频一区二区| 亚洲囯产精品女人久久久| 久艹免费| 98超碰日本| 色婷婷丁香五月天| 久久东京伊人一本到鬼色| 91白虎| 东北女人av| 伊人久久综合影院| 日韩成年人性爱视频| 欧美日韩亚洲电影| 东京成人一区| 这里是精品| 日韩激情啪啪| 丁香久久| 成人性交午夜免费片| 人妻少妇无码| 情侣操 逼视频99| 97 亚洲 日韩 欧美 在线| 亚洲美乱| 亚洲成?V人片在线观看福利| 午夜AV人气不卡| 乱伦熟女专区| 女欧美一区二三区| 国产无码精品无码| 亚洲无码国产探花在线观看| 国产辣妈在线视频福利| 久久在线观看免费视频| 欧美精品69性爱| 东京热男人的天堂| 亚洲AV成人精品网站在AV| 亚洲熟女诱惑| 无遮挡男女激烈动态图| 亚洲精品97| 校园春色综合网| 视频国产欧美在线播放| 韩国三级一线观看久| 青娱乐淫乱1314| 很很操在线| 国产久久成人| 欧美一级做a爰片免费视频| 大香蕉视频一二三区| 日本三级一区二区 在线| AA级电影三区| 人人干人人搞人人摸| 久久五月视频| 欧美黄色图片| 中文无线日韩一区| 国产精品视频内谢女人| 亚洲天堂电影精品一区| 屌色在线97视频| 亚洲日韩东京热一区| 亚洲AO在线| 亚洲色欧美| 18禁无码永久免费无限制| 精品丝袜无码一区二区三APP| 午夜.DJ高清在线观看免费7| 丰满人妻一区二区三区大胸懂色| 成人五月香网在线| 天天射夜夜| 97这里有精品| 人妻精品视频一区二区| 懂色AV中文| 啊啊在线| 日本精品不卡一二三区| 日本黄色裸日本黄色裸体| 美女爽到高潮91| 日本一区二区中文字幕久久| 一区三区啪啪| 亚洲国产亚洲天堂| 国产精品无套内谢| 一牛一区二区三区久久| 欧美日韩国产成人高清| 国产超碰国产97| 久超碰这里只有精品| 一区操逼| 97精品97| 爽极品影院| 美女主播色欲91抠b在线播放| 欧美se综合| 成人性爱电影一区二区| 亚洲同性aV综合| 亚洲黄色视频在线观看视频| 日本不卡三级网在线播放| 青草成人免费视频一COm| 播播亚洲小说亚洲| 欧美另类丝袜熟女| 伊人97超碰| 国产精品爆乳懂色蜜乳| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 久久久中文版| 私人尤物在线精品不卡| 欧美老妇综合网| 国产精品不卡少妇白| 91中文在线| 国产成人五月天丁香花| 久久久爆乳翘臀一线天伦理视频| 综合网亚洲| 久久久久七视频| 手机在线中文字幕国产| 96麻豆精品一区二区三区| 99这里都是精品| 手机午夜电影神马久久| 久久视频,这里只有精品 | 蜜臀久久久久久999| 久草加勒比一区在线| 欧美亚洲第1页| 欧美一级久久久丰满| 在线播放中文字幕| 大奶啊啊好爽 | 丰满搜索结果 -第18页- 久久高清无码| 人妻夜夜爽天天爽三区麻豆AV网站| 嗯……啊…嗯嗯…啊…好舒服| 日本操逼视频不卡直接放| 91熟女视频网| 91在线丝袜视频| 玖玖色综合| 91人妻精华帖| 国产无码三级视频在线观看| 欧美视频一区二区三区| 欧美大色交| 91精品国久久久久久无码| 99操| 97国产高清视频在线观看| 久久久久女教师免费一区| 亚洲图片欧美制度| 精品射1999| 嗯啊不要在线| 67194国产| 手机看片1024你懂的国产| 偷拍精品一区二区三区| 国产成人在线观看网址| 欧美色图第一页| 鸥美中出| 国产乱伦搜索结果91P| 九九九国产| 日日AAvv| 91美女视频在线观看| 91美女看B| 国产精品69久久久久久久| 啊啊啊好舒服好爽啊啊啊视频| 99在线精品视频| 婷婷综合在线| 亚洲国产一区二区三区在线 | 精品无码久久久久久久久果冻糖心| 97超碰欧美手机在线| 日韩欧美天天爽爽爽天天爽爽| 色诱中文字幕| 天天天天天超碰| 欧美伦乱爱| 9999亚洲精品| 午夜爽爽爽| 日本操逼视频免费| ..日韩av毛片精品久久久| 欧美一区二区三区互相| 中文字幕av亚洲在线| 亚洲精品国产精品乱码不99| 亚洲国男人的天堂| 大香蕉国产中文自拍| 欧美乱色| 九月AV| 免费的黄片有限公司| 精品人妻久久久| 国内毛片热久久思思热| 老司机老司机午夜影院| 白嫩国模丰满一二三区| 黄色污污污污污污网站| 啊嗯嗯啊好大好爽| 男人的天堂 在线一区| 国产特级毛片AAAAAA高潮流水 | 97操碰| 久久久久78| 国产精品午夜AV完会免费| 久久精品国产亚洲AV嘿嘿| 亚洲制服aⅴ中文字幕| 六月天婷婷| 麻豆精品三区视频| 日韩情色一区二区| 免费的黄片wwwwww| 亚洲精品国产熟女久久久| 中国91AV| 九九热精品| 性色一线| 蜜桃狠狠色伊人亚洲综合网站| 中国女人内射6XXXXX| 人人妻人人色| 五月天玖玖资源站| 欧美,日韩,中文,另类| 殴美色网| 婷婷五月天小说| 欧美亚洲清纯| 5月婷婷6月六月丁香| 久久大精品乱码视频人妻熟女| 欧美日韩性爱操大逼| 久久精品老司| 亚洲天堂 视频你懂的| 精品少妇高潮久久| 免费看日产一区二区三区| 九九九999久久久网站| 欧美日韩国产三级黄色| 欧美成人色| 91人妻人人澡人人爽人人精品| 中文字幕国产| 国产精品91ai| 日本操逼aaaaa| 欧美精品在线观看| 又大又大又大又粗爽高潮观看| 国产精品无码AV网站| 色制服丝袜夫妻av一区| 四虎午夜影院| 五十路人妻在线| 日韩 欧美 视频 在线 一区| 九九综合网| 亚洲AV永久无码一区仙野| 色悠久久久av| 婷婷亚洲综合| 国产精品乱码久久久久久久久| 色婷婷aV一区二区三区麻豆综合| 婷婷色综合欧美日韩| 狠狠躁AV| 国产高清视频无码在线| 精彩国产视频播放1区2区| 天天视频黄| 国产熟女| 国产做?爰片久久毛片?片美国| 欧美色图亚洲色,麻豆| 99视频内射三四| 精品人妻久久久| 精品妇女一区二区三区| 91丨九色丨国产丨人妻在线| 综合av影片| 极品综合| 婷婷10月天青娱乐| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 久久这里只精品99re66图| 美女天天干| 久久九九99| 亚洲AV成人精品网站在AV| 欧美日韩国产男人| 色噜噜精品一区二区三| 男人的天堂免费| 91新在线欧美| 国产又操| 91大神精品长腿在线观看网站| 很狠操| 韩国久久97| 国产精品嫩草影院免费| 乱伦熟妇一区二区| 老熟女综合| 亚洲综合射| 好湿好紧好爽 视频| 国产精品久久久久久久毛片1| 啊啊啊啊无码| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 国产和美国毛片| 性色一线| 色99色| 亚洲91在线播放影院| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 夜夜欧美 | 天天综合香 ld视频| 激情专区综合| 欧美亚洲另类在线蜜桃| 欧美十八禁视频| 亚洲欧洲激情卡通另类文学四射小说网站| 久久三区四区| 啊啊啊爽爽| 18精品一二区| 国产精品午夜精品| 色网亚洲人| 97久久国产亚洲精品超碰热| www.男人天堂| 久久一本大香蕉 | 久操91视频| 亚洲综合色图欧美| 亚洲AV不卡在线观看| 欧美精品 - 91爱爱| 亚州操操穴网| 91亚·色| 操九九九九九九| 五月丁香色色网| 婷婷丁香成人| 伊人久久大香大香线蕉中文 | 中文字幕乱码在线| 超碰午夜| 四虎国产精品永久入口| 樱花蜜乳av| 大香蕉免费3| 欧美人体性爱互联网第一页婷婷日本| 欧美性爽xyxOOOO| 亚洲欧美国产va在线播放频| 91精品人| 天天谢天天干| 中国国国产一级特黄毛片| 免费人成在线观看网站品爱网| 在线观看不卡一区二区三区| 一本精品日本在线视频精品| 亚一综合久久久久久久久久| 思思性爱| 天天色播| 大香蕉伊人一区在线观看| 天天综和| 日韩视频小说在线观看| 偷拍99| 97色欧洲| 60秒不遮不挡| a片 xxxx受爽视频| 国产真乱mangent| 天天色,天天干,天天干| 亚洲日韩成人性爱视频| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 97国产精品久久久久| 伊人视频| 精品国产乱码久久| 国产久久av| 婷婷激情五月| 安徽熟妇视频| 天美传媒婬乱在| 操啊国产| 开心五月深爱五月| 天天夜夜久久| 国产久久天堂资源| 久久丁香久草综合网| 乱欲一区二区| 日韩啪啪啪啪啪| 超碰 另类 欧美 | 99亚洲人人| 亚洲情色 自拍| 97在线免费观看| 被男人添B超爽视频| 亚洲超碰AV| 一本色道久久综合狠狠操| 精品美女少妇一区二区| 一区二区三区成人高清视频| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 亚洲精品国产精品乱码不卡| 偷拍99| 国产在线能看的你懂的| 亚洲中文字幕三级在线| 青青草视频在线观看一区二区| 久久久九九| 亚洲国产成人精品女人久久久| 草草影院最新网址| 中文字幕二区日韩天堂| 四虎884| 中文字幕一区二区免费在线| 中文字幕在线播放2中文字幕在线观看2 | 日韩国产欧美伦理在线| 日韩偷拍色图| 91精品国| 狠狠操夜夜| 欧美另类色| 97综合久第一页| 精品日韩中文在线| 97色色视频| 搡老熟女免费视频 | 日本黄色精品专区网站| 最新日产中文在线麻豆| 啊啊啊轻点在线观看| 草草草草视频| 在线97视频| 日韩一级二级| 欧美日韩亚洲国产中文永久天天看| 无码天天操| 91干熟女| 99九九久久| 搡老熟女老女人老熟妇免费视频| 在线视频97| 亚洲 另类 丝袜 自拍 动漫| 超碰人人操97碰| 九九九久| 亚洲欧洲偷拍一区| 欧美综合网A| 97亚洲色图| 亚洲精品蜜桃久久久| 午夜色婷婷| 人妻偷拍一区二区三区| 亚洲h片在线免费观看| 大香蕉在线视频重口味毛片在线| 亚洲精品人妻吞精av| 天天综合网~91| 51一区二区三区| 丰满人妻aA一区二区三区| JIZZJIZZ亚洲女人被躁| 日韩av在线播放不卡| 久久久999日本大片| 亚洲成人色情五月天丁香花| 热99这里有精品综合久久 | 亚洲国产成人精品女人久久久| 欧美爱三级日韩久久| 天天看,天天做| 中文字幕人妻色偷偷久久皮| 男人天堂东京热| 国产黄色av大片网站| 啊好爽受不了无码| 91丝袜在线播放| 精品久久人妻成人网| 色五月69夫妻| 久久久久久99AV无码免费网站| 妺妺跟我一起洗澡没忍住| 婷婷色香| 日韩成人在线性爱视频| 久久、1234| 26uuu成人影片| 国产精品久久久蜜臀| 人人爽天天爽| 色五月婷婷在线| 欧洲与亚洲欧美精品中文字幕| 亚洲色婷婷久久久综合日本| SS久久| 亚洲资源站| 98一区二区精品| 亚洲欧洲成人在线电影| 69综合网| 日韩精品人妻一| 秋霞福利网| 另类专区在线观看| 伊人天天久久动态图| 不卡超碰护士AV在线免费播放| 欧美高清色| 欧美日韩222| 亚洲天堂AV在线播放| 五十路熟女,国产欧美精品区一区二区三区| 一区二区三区探花在线观看| 久久中文字幕女同性恋一区| 涩涩五月天| 综合伊人激情| 欧美在线大香999| 国产精品久久发布| 激情干在线| 中文字幕精品探花视频| 玖玖爱伊人玖玖爱| 伊人久久国产免费观看视频| 国产精品一级特黄aaa大片在线观看| 性色高清..……| 99热综合在线| 久久国内| 女人被男人桶爽视频网站| 欧美成人精品一区二区男人蜜臀| 亚洲中文字幕妇伦久久| 天天日天天干天天整| 91被操| 久久久一区二区三区麻豆| 人人澡人人弄| 色性荡荡荡荡视频| 大香蕉操久久| 亚洲欧洲网站免费观看| 探花熟女,姿勢到位,體驗感也到位| 婷婷去俺也去六月色| 久热伊人| 天天狂操夜夜狂日| 少妇色欲综合网2| 久操视频免费观看| se,,,亚洲欧美| 韩国轻伦国内自拍一区| 天综合中文| 天天做天天爱| 中文字幕精品一区二区精品| 自拍鲍鱼一区在线高清观看免费| 日本丝袜人妻内射| 国产操逼逼网| 亚洲超碰AV| 国内精品久久久久影院亚洲| 深夜国产一区二区三区在线看| 欧美高清无码免费视频高清版| 欧美姓爱综合网| 嗯嗯啊啊啊好爽| 亚洲 日本 不卡| 久久久久熟女| 国产精品人妻无码久久久老鸭窝 | 少妇久久久久久| 亚洲学生妹高清av| 欧美丰满少妇xx高潮| 波多野42部无码喷潮在线观看 | 2020天天色综合| 肥臀熟女一区二区三区视频| 日韩欧美加勒比| 日韩免费簧片| 亚洲 一区二区 自拍| 国产成人久久久精品免费AV| 色蜜AV| 久偷拍欧美日韩三区| 少妇人妻在线| 国产在线观看91精品一区| 国产综合网站在线播放| 99热啪啪| 亚州色国| 日本成a人v网站在线观看| 操迟操逼在巾线Fre看| 亚洲97精品| 天天躁夜夜躁狠狠躁AV| 日本操逼二区| 91jk色拍| 激情抓乳插进去啪啪啪日韩 | 欧美不卡在线美女| 乱伦一二三| 天天干人人乐| 国产精品制服丝袜清纯唯美| 婷婷五月天小说| 大香蕉综合在线| 日韩肏逼视频| 色五月激情网| 天天日天天看| 欧美性爱精品一区二区| 黄日韩| 91在线秘 男同| www.色婷婷| 国产日韩中文字幕欧美| 熟女字幕| 日韩99999| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 欧美熟妇色| 日人妻视频91| 亚州日韩97| 欧美一区二区福利在线| AV天堂男人的天堂| 久久久久久亚洲Av无码| 成人日韩中文字幕| 免费一级a毛片久久久久久鸭绿欲| 中出91| 97超碰9| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 亚洲五码一区二区三区| 伊人久久AV诱惑悠悠| 欧美丝袜制服久久| 青青操日韩| 99综合视频一体| 精品久久97| 密臀在线免费观看| 亚洲熟女性高潮久久久| 亚洲图片在线| 97精品一二区| caoni国产亚洲av| 欧美爱国产综合、| 91日日| 玖玖玖玖精品国产剧情| 日韩熟女精一区二区三区不卡| 超碰调教97| 国产精品一二三在线看| 男人天堂新在线| 玖玖爱一区在线| 五月婷婷六月激情| 国产精品亚洲天堂网址| 少妇激情一区二区三区视频| 亚洲国产精品久久久男人的天堂| 欧美精品久久久久久久久88| 久久69| 国产超碰欧美| 国内97干免费看| 日韩美脚一区二区网站| 成人午夜小视频手机在线看| 天天干天天操天天操夜夜操天天操 | 成人性爱电影网| 91久久久久久久久久久| 国产精品久久久久久 百度| 日本一区二区三区午夜观看| 无码人妻精品一区二区三区九九 | 亚洲欧美精品一区天堂久久 | 亚洲成av人片色午夜乱码| 蜜臀少妇一区二区| 青青色在线观看| 无套后入双马尾| 99色骚| 骚乳在线| 国产人妻精品一区二区三区秋霞 | 热热色色综合| 热久久国产精品视频大陆精品| 丁香五月天堂网| 激情综合久久| 亚洲激情在线| 97婷婷色| 黄污污污污| 色综合色| 国产天美欧美| 美女人妻色网站| 宅男午夜在线视频| 美女人妻色网站| 嗯嗯嗯啊啊啊在线免费观看| 啪啪91| 黄色二级片网站| 青青草男人天堂| 国产第二页| 久久成人东京热人妻| 大香蕉人妻久久| 老熟妇91| 思思热国产在线视频| 国产高清在线观看欧美| 黄色片大香蕉| baisiav| 夜夜騷av、一區二區| 欧美亚洲激情一二三| 96精品久久久| 欧美性生活男人的天堂| 17c在线成人免费A片观看| 亚洲制服aⅴ中文字幕| 思思热免费视频观看| 日韩乱码Av| 屌妞视频久久久久久久| 96超碰网| 99国产在线 精品 视频| 操碰97| 91l欧美在线| 亚洲久久久久| 国产女人91精品嗷嗷嗷嗷| 久久婷婷国产一区二区色| 绑缚麻绳人妻寝取完整版| 欧美精品激情| 国产精品一区二区三区,亚洲综合 性开放中文AV高清无码免费看 | 欧美天天综合网| 看一级特黄a大一片| 婷婷五月天色色| 蜜臀久久99精品| 亚洲色 国产 欧美 日韩| 高清国产av无码| 国产中文福利| а√天堂资源官网在线资源| 六月婷婷综合| 哑洲在线| 亚洲高清无码AAA久久久精品| 欧美亚综合色图| 91美女小视频| 思思热在线观看| 久久精品91| 操逼操逼逼操操逼91 | 人妻喷水| 成人三级片无码| 一摸二插三插| 亚洲欧美综合区自拍另类| 亚洲中文字幕网| 欧美手机在线综合| 91干熟女| 久久精品导航| 亚洲AV无码天美传媒一区| 91亚洲最新在线| 色久综合| 试看日韩黄片| 97天天操天天干| 亚洲精品一区二区精品| 亚洲综合校园春色| 91成人在线免费视频| 欧美肥臀在线| 色婷网| 夜夜骑夜夜操| 夜夜嗨绯色| 免费作爱一级视频| 欧美热图99| 大香蕉伊人一区在线观看| 另类图片欧美激情综合| 婷婷九月国产| 色播五月丁香| 伊人精品久久网站| 久久午夜神马| 宗合情欲网| 日韩精品在线观看网站| 性天堂| 91精品婷婷国产综合久久竹菊| 色综合尤物| 亚洲不卡三级手机播放| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 国模不卡| 大香蕉一级黄色片久久| 97久久精品不卡| 加勒比AV网| 久久9久| 男人的天堂2019AV| 玖玖人人爱| 男男H黄动漫啪啪无遮挡网站| 人妻一区二区三区四区视频| 国产第12页| av天天在线| 好淫网一二三视区| A 天堂| 韩三级a视频在线观看| 久久熟妇五十路一区| 中文字幕一区二区三区人妻不卡| 免费看黄视频亚洲网站| 蜜桃狠狠色伊人亚洲综合 | 大香蕉手机在线| 九九热免费国产视频婷婷伊人| 性饥渴少妇av无码毛片| 色与欲影视天天看综合网| 国产福利夜| 亚洲图片欧美在线视频| 九九久久一区二区伦理| 一区二区高清视频| 亚洲中文字幕av| 色九九九| 欧美性猛交美女自慰91| 色婷视频| 操美女高潮抽搐白浆| 久久久久久久久久va| 精品视频一区二区| 骚女天天综合网| 欧美亚洲系列| 国产综合久久久麻桃个 | 青青草日本中文字幕| 婷婷五月天影院| 色情五月综合婷婷| 国产精品免费视频人成| 亚洲1区2区三区高清中文字幕| 久久午夜鲁丝片| 91精品无码久久久久久久| 99av| 欧美性色网| 国产成人亚洲精品无| 久久狠狠色噜噜狠狠狠狠97| 秋霞免费无码视频日韩A片| 一级性爱视频免费在线| 日本精品一级二级三级| 天天干天天舔| 免费在线黄片视频| 日本3级一区二区免费 | 久久XX| 伊人影院中文字幕| 欧美色综合网| 日少妇视频| 97欧美超碰| 国产无码高清操逼视频| 97任你吞精| 天天添天天干电影| 欧美 综合| 欧洲亚洲综合| 九九九九九九视频免费| 大香蕉乱级| 美女露胸露屁股| 99操碰| 婷婷15月天青娱乐| 热99re69精品8在线播放| 国产精品亚洲无码| 看日韩美女二区三区免费操逼视频| 久久9亚洲| 女上位精品在线| 欧美日韩大香蕉| 亚洲九九夜夜| 日日黄色三级网站| 91免费看一区二区三区 | 动漫av中文| 1769一区| 激情四射婷婷四五月天| 男人的天堂三级| 中文字幕日韩专区精品系列 | 99国产精品在线观看| 中文字幕精品三级久久久| 亚洲图片色图欧美另类| 九九九综合精品| 欧洲精品二区| 午夜福利成人免费视频| 欧美日动态视频| 免费国产电影一区二区| 日本三级人妻a人妻一在线| 2020久久免费视频| 九九九久千久久激情蜜桃在线看 | 久综合国内精品自在自线| 精品国产嫩穴视频| 97爱爱爱| 啊啊啊啊啊在线视频| 偷拍偷窥与盗摄视频专区| 99综合网| 亚洲超碰97| 98色网| 日韩精品资源专区二区| 在线天堂999| 18禁无码永久免费无限制| 神马午夜久久久| 在线观看日韩av不卡| 4虎在线视频| 久草福利在线资源站| 欧美综合天堂| 大香蕉伊人亚洲| 久久久久久久久久久免费精品| 黑丝少妇麻豆| aaaa少妇高潮大片| 免费a v| 96精品一区| 99re视频在线观看这里只有精品| 澳门色噜噜色噜噜色噜噜色噜噜色噜噜| 亚洲精品丝袜-不卡成人免费……| 97综合激情| 日韩9999| 婷婷色婷婷| 日韩激情啪啪啪| 九九久久久| 欧美精品,四区。五区| 夜夜高潮夜夜爽高清视频一| 中日高清无码操逼视频| 日本欧美韩国国产在线| 中文字幕AV中出| 91女优在线观看 | 五月天婷婷色色| 日本爽爽爽爽爽爽免费视频| 伊人在线大香蕉视频久久| 好吊妞转入那个网| 92人人操人人| 日韩性爱人人爱人人操| 97日韩欧美| 美女黄页网站| 欧美丰满少妇交换91欧美精品| 嗯嗯啊啊视频一区二区三区| 三级片大波波| 国产夜夜操| 亚洲性爱高潮影院| 99视频只有精品| 亚洲中文日韩欧美大香蕉视频| 大肥女高潮bbwbbwhd视频| 男人的天堂三级| 97欧美色| 大香蕉中文网| 亚洲一二三四区| 好爽视频在线观看| 97欧美精品| 射综合网| 国产精品直播在线观看直播| 呦呦一区| 亚洲天堂一区二区久久| 无码av永久免费专区网站| 国产成人自拍视频在线| 激情综合五月| 午夜精品久久久久久久99热影院| 日韩精品9999| 神马午夜久久| 国产99精品一区二区三区免费| 老司机老司机午夜影院| 丁香五月婷婷基地| 国产欧美伊人| 夜夜操一区二区| 亚洲性高潮| 永久电影三级在线观看| 在线观看AV片| 婷婷五月天激情网| 91在线美女| 情侣操 逼视频99| 日韩精彩视频| 欧美后入| 中文操嬖片。| 亚洲精品蜜桃久久久一区二区三区| 啊啊啊啊二区好大| 亚洲 欧美 第一页 | 69av一区二区三区| 中文字幕在线日亚州9| 欧美乱妇狂野欧美在线视频| 大香蕉99999| 尤物国产一区在线观看| 成人影 天天操 亚洲| 欧美性第1页| 久热在线精品免费观看| 99色视频| 亚洲欧美日韩中文久久自慰| 久久亚洲中文字幕视频| 色噜噜狠狠色综无码久久合欧美| 超碰97首页| 日韩综合无码色欲vv| 美女啊啊啊啊啊啊啊| 欧美图片校园春色| 被体育老师抱着c到高潮| 亚州色阁| 欧美专区在线| 天天干人妇| 日韩亚洲中文字幕在线| 亚洲āv网址在线观看| 校园春色亚洲色图| 密臀成人视频久久久| 曰本91情色| 情色五月天久久久| 一区二区三区 丝袜 高跟 美腿| 激情接吻视频久久久久久| 久久久亚洲Av| 久操操AV电影| 免费看黄片现成| 日韩一级欧美一级国产一级台湾| 无码人妻一区二区三区四区老鸭窝| 999熟女精品| 玖玖资源中文字幕制服丝袜| 色鬼在线综合| 有码免费观看| 婷婷国产精品九区| 99.色网| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 精品无码久久久久| 啊好爽快点-国产一区二区三区撒尿在线-成人AV| 亚洲精品久| 久久久久久久一级黄色打同平台| 中文字幕在线观看丝袜| 爱射综合| 精品色色| 亚洲宅男天堂| 精品网站9999| 特级大荫道BBwBBwBBW| 久久的网站啊啊啊啊啊| 亚洲91色在线| 久久久久久久久久久999| 亚洲揄拍网| 色婷婷一区二区三区久久午夜| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 在线色导航| 成人a大片在线观看| 乱伦AVxx| 99热综合| 色女网日韩| 欧美日韩少妇色情| 激情婷婷丁香| 欧美韩日精品99综合| 蜜臀99久久国产| 久草午夜| 欧美日韩另类在线播放| 国产Aα| 91精品久久久久久77777| 91欧美| 天天日日日射| AV色图| 国产日韩怡红院| 9色国产精品一区粉嫩 | 91一区二匹| 极品欧美一区二区三区| 九月丁香综合网| 婷婷久久综合久| 大香蕉手机在线视频| 亚爽爽爽爽爽爽爽爽| 亚欧操逼片在线观看 | av中亚| 一本精品日本在线视频精品| 久草免费在线一区二区| 久久精品国产精品亚洲艾通辽熟妇| 久久综合乱子伦国产免费| 日产123区精品免费观看| 夜夜高潮夜夜爽夜夜爱爱一区| 极品国产内射| 日韩av一级黄片| 日韩无码嘿咻黑热久| 香蕉黄色一级视频| 欧美黑人精品一区二区| 欧美美女自慰一区二区三区| 91色伦综合| 97欧美日韩| av无码av无码专区| 91国产精品在线看| 97精品国产精品免费观看| 中文字幕视频在线观看| 久久人人爽爽人人爽人人片αV| 亚洲综合激情五月久久| 亚码人妻| 久久久久久久精| 国产 亚洲 丝袜 制服| 黄色大片一区二区密桃丝袜| 欧亚日韩综合精品国产| 综合久久久久久久久91| 被体育老师抱着c到高潮| 少妇500双飞99| 熟妇人妻精品一区二区| 久久国产乱子伦精品免费女人| 国产欧美日韩在线观看麻豆传媒公司| 熟妇高潮精品一区二区三区下载| 青草精品视频-日本久久久久网站| 在线观看亚洲专区| 97国伦国色| 亚洲成成熟女人综合一区二区| 巨爆乳一区二区爆乳区| 欧美日韩超碰在线| 国产美女高潮视频| 一本一道波多野毛片中文在线| 最新AVzaixian| 超碰色大香蕉| 青娱乐国产盛宴视频| 久久视网78| 97色97干| 红杏大香蕉| 自拍啪啪视频| 欧美日韩 强奸乱伦| 日韩一级二级在线| 综合久久9| 激情视频网址| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 天天上日日上日韩精品| 日韩精品国产精品五码一区二区| 加勒比性爱成人在线| 久久黄色视频一区二区三区| 中文字幕55555| 日本一区不卡| 美女黄色一级A视频| 91天堂丝袜美腿| 九九探花视频在线观看| 激情综合网一盗摄| 亚洲无码免费看| 国产精品高潮久久AV| 久久国产AⅤ| 超碰午夜在线| 久操91视频| 伊人色综合超碰| 中文一区二区三区影院| 狠狠中文字幕| 百度百度日本操逼| 亚洲欧洲视频小说在线观看| 欧美AB在线| 91精品电影18| 天天看天天日天天操| 丁香五月天婷婷姐| 一中国女人毛片水真多| 中文字幕丝袜美腿| 成人无遮挡毛片免费看| 99热aaa| 精品少妇人妻av久久免费| 九九九九九精品十六| www.91逼逼.com| 欧美手机在线综合| 久热9| 诱惑网综合| 日本美女性生活久久久久久久| 尤物网站91| 熟妇精品juliaannAV| 国产精品无码av| 9997se| 激情综合五月| 日韩精品在线视频,日韩精品……| 欧美成不卡网| 丰满岳乱妇一区二区三区| 亚洲综合 欧美| 综合久久婷婷| 2020久久免费视频| 欧美亚洲成人在线一区二区三区| 亚洲成人性爱在线观看| 超碰色大香蕉| 日韩在线女优天天干| 自怕偷自怕亚洲精品| 亚洲偷拍欧美激情| 人人爱操| 国产福利电影| 天天日熟妇| 色女女女导航| 天天综合网日韩7799| 嗯嗯啊啊啊好爽| 久草资源在线视频官方总站日韩丝袜美腿 | www.男人的天堂| 欧美欲色| 抽插无码高清一区| 日本不卡二区| 热热色色综合| 大胆91| 欧美,日韩综合久久| 丰满人妻-区二区三区免费看 | 老鸭窝亚洲毛片| 国产精品自拍xxxx| 91丝袜美女视频| 很很很很操| 成人综合色网| 亚洲av淫乱| 成人精品在线免费视频| 精品9区| 91 亚洲 欧洲| 秋霞蝌科网日本一区| 九九热AV| 一区超碰一区| 久久亚洲不卡一区二区三区| 天美麻花大全视频| 蜜乳AV.COM| 女人综合网| 97操综合| 内射黑人| 亚洲有薄码区日本系列中文字幕| 国产AV激情无码久久无码| 97视频在线播放| 精品黄色电影| 加勒比海成人视频网| 欧美一级A片在线看视频性色| 97精品一区二区视频| 91痴汉| 97超碰逼| 嗯嗯啊啊视频在线看| 亚洲暴力强奸AV| 不卡中文字幕aⅴ在线| 992视频一区| 中出在线视频| 超碰碰激情97+久| 久九干| 清柠毛片| 成人AV在线电影| 国产精品一区二区三区,亚洲综合| 精品人妻一二三| 美女啊啊啊啊啊| 黄色交缠性感爆操91国产精品免费一区二区三区 | 日日摸日日碰夜夜爽视频| 啊啊啊久久久视频| av麻豆啪啪| 日韩99神马视频片| 99超碰色| 色欧美天天| 91丨九色丨东北熟女| 熟妇操花| 美国一区二区免费视频| 欧美精品日韩久久久九| a片 xxxx受爽视频| 少妇综合| 五月丁香激情四射| 九九九九精品精| 精品人妻一区二区三区视频在线| 骚鸭AV| 色97欧美| 国产嫩草精品A88AV| 97在线/亚洲| 插插综合网天天影视网| 五十路熟女在线不卡观看一区二区| 免费成人在线熟妇网| 久久同城AV| 亚洲欧洲无码一区夜| 韩国国产欧美情侣视频在线| 性性久久| 香蕉免费一区二区三区不读| 亚洲男人的天堂网| 鸥美极品| 嗯~啊~轻一点 视频| 亚洲中文字幕久久无码精品| 麻豆a'v电影| 91狠狠狠| 欧美天堂在线| 国产传媒日韩欧美| 亚洲成人激情小说视频| 波多野结衣之双飞调教在线播放| 五月天我淫我色av| 高潮的A片激情扒开一区| 中文字幕中文字幕一区二区| 无色无码| www激情| 成年女人一区| 欧美中文字幕一区 | 东京热激情视频一二三区| 无码免费一区二区三区啪啪| 欧美乱色| 国产精品欧美激在线| 日本超碰色精品| 91天堂丝袜美腿| 99re9| 一个国产在线综合网站| 欧美亚洲日本视频久久久| 色999;丁香五月| 日韩中字av一区| 欧美韩国你懂得在线| 日韩熟女视频二区| 大香蕉日韩| 黄色香蕉视频网站一区| 老司机老司机午夜影院| 综合激情婷婷| 伊人色综合超碰| 欧美日韩青操| 国产区在线| WWW操逼| JULIA一区二区三区在线播放| 91色艳| 日韩天天本| 欧美色图亚洲色| 26uuu偷拍亚洲欧洲综合| 五月婷婷色色| 91亚州欧美|