亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式系統(tǒng)死鎖全解析:從四個(gè)必要條件到銀行家算法排查實(shí)戰(zhàn)

嵌入式系統(tǒng)死鎖全解析:從四個(gè)必要條件到銀行家算法排查實(shí)戰(zhàn) 1. 從一次現(xiàn)場卡死說起死鎖到底鎖住了什么做嵌入式開發(fā)的朋友尤其是搞過RTOS多任務(wù)系統(tǒng)的基本都遇到過這種讓人頭皮發(fā)麻的場景板子跑著跑著某個(gè)任務(wù)突然不調(diào)度了看門狗嗷嗷叫串口打印停在半句話上按鍵沒反應(yīng)LED保持最后一個(gè)狀態(tài)。第一反應(yīng)是程序飛了或者棧溢出了結(jié)果一查既不是HardFault也不是內(nèi)存踩踏而是兩個(gè)任務(wù)互相握著對方需要的資源誰也不撒手活活把系統(tǒng)鎖死了。這就是死鎖英文叫Deadlock。在計(jì)算機(jī)四級嵌入式考試的操作系統(tǒng)原理部分死鎖是一個(gè)反復(fù)出現(xiàn)的核心考點(diǎn)同時(shí)也是嵌入式工程里最容易翻車的問題之一。我記得當(dāng)年備考的時(shí)候把死鎖的四個(gè)必要條件背得滾瓜爛熟但真正在項(xiàng)目里定位死鎖才發(fā)現(xiàn)紙上得來終覺淺考試考的是概念項(xiàng)目考的是眼力。這篇文章我想把死鎖這件事徹底講透從理論定義、四個(gè)必要條件到銀行家算法的手工推演再到嵌入式場景下如何預(yù)防、檢測、定位和解除。不光是給準(zhǔn)備四級考試的同學(xué)梳理考點(diǎn)也給正在被項(xiàng)目里偶發(fā)死鎖折磨的工程師一些可以直接上手的排查思路。死鎖一旦理解通透你看代碼的視角會完全不一樣——看到一個(gè)任務(wù)持鎖后再去申請另一個(gè)鎖你會本能地停下來問一句這個(gè)順序別的任務(wù)是不是也一致2. 死鎖的本質(zhì)與四個(gè)必要條件缺一不可的死亡組合先明確一個(gè)概念死鎖不是程序崩潰而是一組任務(wù)或線程彼此等待對方占用的資源導(dǎo)致所有相關(guān)任務(wù)都無法繼續(xù)推進(jìn)的狀態(tài)。它最隱蔽的地方在于系統(tǒng)表面上還活著——中斷能響應(yīng)、內(nèi)存沒爆、CPU占用率可能還是正常的但業(yè)務(wù)邏輯已經(jīng)徹底停擺。操作系統(tǒng)教材里對死鎖的定義非常嚴(yán)格只有當(dāng)互斥、持有并等待、不可剝奪、循環(huán)等待這四個(gè)條件同時(shí)滿足時(shí)死鎖才會發(fā)生。這四件事缺一個(gè)死鎖就形不成。這個(gè)表述不光是考試要考的默寫題更是工程排查的索引——你只要打破其中任何一個(gè)條件死鎖就能解開。**互斥條件Mutual Exclusion**好理解就是指資源同一時(shí)刻只能被一個(gè)任務(wù)獨(dú)占使用。嵌入式里的典型互斥資源就是互斥鎖Mutex、硬件外設(shè)比如UART、SPI、I2C總線還有DMA通道、Flash寫操作。這些資源天生就不能同時(shí)共享這是問題產(chǎn)生的土壤。**持有并等待Hold and Wait**指的是任務(wù)已經(jīng)握住了一個(gè)資源同時(shí)又在等待另一個(gè)資源釋放。用代碼翻譯就是任務(wù)A拿到了鎖1還沒釋放接著去請求鎖2。如果鎖2恰好被任務(wù)B拿著而任務(wù)B又在等鎖1那么兩個(gè)任務(wù)就進(jìn)入了一種誰也動(dòng)彈不得的僵局。**不可剝奪No Preemption**是說任務(wù)持有的資源不能被操作系統(tǒng)強(qiáng)行搶走只能由持有者主動(dòng)釋放。這在嵌入式RTOS里幾乎是默認(rèn)規(guī)則——你沒法從一個(gè)持有互斥鎖的任務(wù)手中硬把鎖搶過來哪怕那個(gè)任務(wù)優(yōu)先級更低。正是這個(gè)不可剝奪才讓循環(huán)等待能夠真正形成閉環(huán)。**循環(huán)等待Circular Wait**是四個(gè)條件里最直觀也最好判斷的存在一個(gè)任務(wù)集合 {T1, T2, ..., Tn}T1等T2占的資源T2等T3占的資源以此類推Tn等T1占的資源形成一個(gè)環(huán)。嵌入式里最常見的環(huán)就是兩個(gè)任務(wù)互相等對方的鎖代碼上看就是A鎖里申請B鎖B鎖里申請A鎖。這四者之間存在嚴(yán)格的邏輯關(guān)系互斥是前提持有并等待是過程不可剝奪是制度空缺循環(huán)等待是最終形態(tài)。實(shí)際項(xiàng)目里判斷是否發(fā)生死鎖我習(xí)慣先畫等待圖——每個(gè)任務(wù)畫一個(gè)節(jié)點(diǎn)任務(wù)如果正在等待某個(gè)資源就把資源指向任務(wù)這條邊畫出來。只要圖中出現(xiàn)了環(huán)死鎖就必然存在。這個(gè)判斷方法在第四級考試?yán)镆步?jīng)常以判斷系統(tǒng)是否處于死鎖狀態(tài)的形式出現(xiàn)本質(zhì)上就是考你有沒有建立圖中有環(huán)即死鎖的直覺。3. 事前預(yù)防破壞四個(gè)條件的工程化打法對嵌入式系統(tǒng)來說死鎖的預(yù)防遠(yuǎn)比事后處理更重要。原因很現(xiàn)實(shí)很多設(shè)備部署在現(xiàn)場之后你根本沒法遠(yuǎn)程按解除死鎖按鈕。所以我做項(xiàng)目時(shí)的原則是在寫代碼階段就把四條路堵死??荚?yán)锇堰@部分叫死鎖預(yù)防工程上就是一套具體的編碼規(guī)約。第一條路破壞互斥條件。說實(shí)話這條路在嵌入式里最難走因?yàn)榛コ怄i存在的意義恰恰就是保證互斥。但換個(gè)角度想有些資源并不是天生必須互斥的比如一塊數(shù)據(jù)緩沖區(qū)如果改成無鎖設(shè)計(jì)——用環(huán)形隊(duì)列加原子讀改寫操作讓生產(chǎn)者和消費(fèi)者并發(fā)訪問而不互相阻塞——那互斥條件自然就不存在了。我見過不少項(xiàng)目里用消息隊(duì)列給任務(wù)間傳數(shù)據(jù)本來隊(duì)列本身就帶互斥保護(hù)結(jié)果有人又額外套了一把全局鎖純屬畫蛇添足反而增加了死鎖風(fēng)險(xiǎn)。**第二條路破壞持有并等待。**做法是要求任務(wù)在執(zhí)行臨界區(qū)之前一次性申請所有需要的資源申請不到就一個(gè)都不拿。聽起來很美但在嵌入式里操作難度極大資源數(shù)量往往是運(yùn)行期才確定的你沒法提前知道任務(wù)跑起來后要申請幾把鎖而且一次占用多個(gè)資源會降低系統(tǒng)的并發(fā)度這對實(shí)時(shí)性要求高的場景很不友好。我在實(shí)際項(xiàng)目里幾乎不用這種方案但考試?yán)锼鳛闃?biāo)準(zhǔn)預(yù)防策略必須會答。第三條路破壞不可剝奪。這是嵌入式RTOS里最常用的思路之一。做法是如果任務(wù)拿著鎖A去申請鎖B但鎖B被別的任務(wù)占用且等待超過一定時(shí)間系統(tǒng)允許把鎖A臨時(shí)讓出來重新排隊(duì)。說得再具體一點(diǎn)很多RTOS內(nèi)核里實(shí)現(xiàn)的互斥鎖超時(shí)機(jī)制就是這種思想pthread_mutex_timedlockPOSIX環(huán)境下或者RTOS自帶的帶超時(shí)參數(shù)的上鎖接口在規(guī)定時(shí)間內(nèi)拿不到鎖就返回錯(cuò)誤碼任務(wù)該干嘛干嘛而不是無休止地阻塞。破壞不可剝奪還有一個(gè)更實(shí)用的變體叫優(yōu)先級繼承。雖然它主要是為解決優(yōu)先級反轉(zhuǎn)問題提出的但客觀上也能降低死鎖發(fā)生的概率——低優(yōu)先級任務(wù)持有鎖時(shí)如果高優(yōu)先級任務(wù)來等這把鎖系統(tǒng)臨時(shí)把低優(yōu)先級任務(wù)的優(yōu)先級抬高讓它更快跑完并釋放鎖這樣等待的時(shí)間窗口被大幅壓縮死鎖的溫床就變小了。**第四條路破壞循環(huán)等待。**這是工程上最實(shí)用、最好落地的一條核心就八個(gè)字給資源編號按序申請。比如項(xiàng)目里有三把鎖編號Lock_A 1、Lock_B 2、Lock_C 3規(guī)約要求所有任務(wù)必須嚴(yán)格按從小到大的順序申請鎖——先拿Lock_A才能去拿Lock_B絕不能先拿Lock_B再回頭要Lock_A。這樣所有任務(wù)的申請序列都是同一個(gè)偏序關(guān)系環(huán)路根本構(gòu)造不出來循環(huán)等待不攻自破。注意資源排序法對同一類資源有效如果系統(tǒng)里有多組不同類型的資源需要分別制定全局統(tǒng)一的順序。我在一個(gè)小項(xiàng)目里就吃過虧當(dāng)時(shí)協(xié)議棧和業(yè)務(wù)模塊各自維護(hù)了一套鎖編號兩套編號互不通氣結(jié)果一個(gè)任務(wù)先在協(xié)議棧里按協(xié)議棧的序拿了鎖又在業(yè)務(wù)模塊里按業(yè)務(wù)模塊的序去拿鎖另一個(gè)任務(wù)正好相反環(huán)形等待依然存在。后來改成全局一張編號表這個(gè)問題才斷根。4. 動(dòng)態(tài)避免銀行家算法的原理與手工推演死鎖預(yù)防屬于靜態(tài)防御總是限制資源的使用方式過于保守。而死鎖避免走的是另一條路允許任務(wù)自由申請資源但在每次分配之前先做一次安全性檢查只有確認(rèn)分配后系統(tǒng)不會進(jìn)入不安全狀態(tài)才真正把資源給出去。這部分最經(jīng)典的就是銀行家算法Bankers Algorithm這也是四級考試?yán)镒羁赡艹鲇?jì)算題的知識點(diǎn)我建議各位一定要親手推演一遍。先解釋一下算法名字的由來。銀行家在給客戶放貸時(shí)不會一次性把所有資金都貸出去要留一部分現(xiàn)金保證其他客戶隨時(shí)取款。操作系統(tǒng)扮演的就是這個(gè)銀行家角色手里的資源就是現(xiàn)金池任務(wù)就是客戶任務(wù)聲明的最大需求就是貸款額度。安全狀態(tài)的定義是存在一個(gè)分配序列使得按照這個(gè)序列依次推進(jìn)每個(gè)任務(wù)最終都能拿到它需要的全部資源并運(yùn)行結(jié)束。這個(gè)序列就叫安全序列。算法本身分兩步。第一步是資源分配前的檢查任務(wù)T申請資源后系統(tǒng)先假裝分配給它如果分配后的剩余資源不能滿足任何任務(wù)的最大需求而不是僅僅考慮當(dāng)前申請那就不批準(zhǔn)這次分配。第二步是安全性算法就是找安全序列的流程。我拿一個(gè)簡化例子走一遍。假設(shè)系統(tǒng)里有三類資源A、B、C總量分別是(10, 5, 7)當(dāng)前有5個(gè)任務(wù)T1到T5。它們的需求矩陣如下考試和實(shí)際分析里通常這樣列表任務(wù)最大需求(A,B,C)已分配(A,B,C)還需(A,B,C)T1(7, 5, 3)(0, 1, 0)(7, 4, 3)T2(3, 2, 2)(2, 0, 0)(1, 2, 2)T3(9, 0, 2)(3, 0, 2)(6, 0, 0)T4(2, 2, 2)(2, 1, 1)(0, 1, 1)T5(4, 3, 3)(0, 0, 2)(4, 3, 1)先算可用資源向量。總資源減去所有已分配資源A類10 - (02320) 3B類5 - (10010) 3C類7 - (00212) 2所以Available (3, 3, 2)。然后找還需向量里每一項(xiàng)都 ≤ Available的任務(wù)。T2的還需是(1, 2, 2)都不超過(3, 3, 2)滿足條件。T4還需(0, 1, 1)也滿足。實(shí)際嘗試的時(shí)候選哪個(gè)都行但為了演示規(guī)范流程我選T2先跑。先把T2標(biāo)記為可完成T2運(yùn)行結(jié)束后釋放它占用的全部資源也就是把(2, 0, 0)加回到Available(32, 30, 20) (5, 3, 2)。接著繼續(xù)尋找下一個(gè)滿足條件的任務(wù)。此時(shí)T4還需(0, 1, 1)Available是(5, 3, 2)顯然滿足。讓T4結(jié)束釋放(2, 1, 1)(52, 31, 21) (7, 4, 3)。再看T1還需(7, 4, 3)正好等于Available(7, 4, 3)滿足。T1結(jié)束后釋放(0, 1, 0)(7, 5, 3)。接著T3還需(6, 0, 0)小于(7, 5, 3)滿足。釋放(3, 0, 2)(10, 5, 5)。最后T5還需(4, 3, 1)滿足釋放(0, 0, 2)系統(tǒng)資源回到接近初始總量。這樣得到的安全序列就是T2 → T4 → T1 → T3 → T5。說明當(dāng)前系統(tǒng)處于安全狀態(tài)可以批準(zhǔn)分配。實(shí)際手算的時(shí)候有個(gè)小技巧優(yōu)先找還需資源量最小的任務(wù)先完成這樣釋放出來的資源最多后面的判斷最寬松。另外要特別注意還需 最大 - 已分配考試?yán)锝?jīng)常不直接給還需列要自己先算出來。銀行家算法的本質(zhì)是以退為進(jìn)它允許系統(tǒng)進(jìn)入一個(gè)看似資源緊張的中間狀態(tài)但保證只要有任務(wù)完成就一定存在一條出路。要注意它是在線算法每次分配請求都要跑一遍安全性檢查復(fù)雜度是O(n2×m)級別——n是任務(wù)數(shù)m是資源類型數(shù)。嵌入式系統(tǒng)里任務(wù)數(shù)量動(dòng)輒幾十上百資源類型也多每次都跑全量檢查在實(shí)時(shí)性上根本扛不住。所以工業(yè)級的RTOS較少完整實(shí)現(xiàn)銀行家算法更多是基于優(yōu)先級、基于超時(shí)的啟發(fā)式策略。但考試?yán)锼騺硎侵攸c(diǎn)計(jì)算題原理必須吃透。5. 事后處理死鎖的檢測與現(xiàn)場恢復(fù)哪怕預(yù)防做得再好實(shí)際項(xiàng)目里還是會有漏網(wǎng)之魚——比如第三方庫的代碼不是你寫的你不知道它內(nèi)部鎖的申請順序再比如中斷里偶發(fā)地調(diào)用了一個(gè)可能阻塞的API正好和任務(wù)形成競爭。這時(shí)候就需要死鎖檢測機(jī)制以及檢測到死鎖后的恢復(fù)策略。嵌入式RTOS內(nèi)核里比較常見的是周期性檢測內(nèi)核維護(hù)一張資源分配表每運(yùn)行一小段時(shí)間就掃描一遍用類似資源分配圖的方法檢查是否出現(xiàn)環(huán)路。一旦檢測到死鎖處理策略通常有以下幾種直接任務(wù)終止。這是最簡單粗暴的。系統(tǒng)檢測到死鎖后從造成死鎖的任務(wù)集合里挑一個(gè)犧牲品——一般是優(yōu)先級最低的或者運(yùn)行影響最小的——直接把它的資源全部回收。壞處很明顯被終止的任務(wù)如果是跑關(guān)鍵業(yè)務(wù)的系統(tǒng)狀態(tài)可能已經(jīng)不一致了。所以很多系統(tǒng)不會真的終止任務(wù)而是強(qiáng)制釋放鎖并讓該任務(wù)從阻塞態(tài)返回錯(cuò)誤碼由業(yè)務(wù)層決定怎么補(bǔ)償。資源搶占與回滾。這是相對溫和的辦法把某個(gè)任務(wù)占用的資源強(qiáng)行剝奪讓另一個(gè)等待它的任務(wù)先跑等被搶占的任務(wù)再次恢復(fù)時(shí)從檢查點(diǎn)checkpoint重新執(zhí)行。回滾機(jī)制對嵌入式系統(tǒng)來說實(shí)現(xiàn)成本比較高需要額外保存任務(wù)的上下文和中間狀態(tài)所以一般只在可靠性要求極高的航空、軌交、醫(yī)療設(shè)備里才會做全套??撮T狗兜底。這是嵌入式里最常見也最實(shí)用的最后一道防線。硬件看門狗或軟件看門狗周期性地檢查各個(gè)關(guān)鍵任務(wù)是否還在喂狗——也就是定期刷新一個(gè)時(shí)間戳。如果某個(gè)任務(wù)超過設(shè)定的時(shí)間沒刷新就說明它可能被死鎖卡住了立即觸發(fā)系統(tǒng)復(fù)位。代價(jià)是系統(tǒng)會丟失當(dāng)前運(yùn)行狀態(tài)但對很多設(shè)備來說自動(dòng)重啟比永遠(yuǎn)僵死強(qiáng)得多。我在項(xiàng)目里見過不少產(chǎn)品就是靠看門狗把偶發(fā)的死鎖熬過去的雖然不太體面但用戶感知上是偶爾重啟一次而不是設(shè)備變磚。我在實(shí)際項(xiàng)目中體會最深的一點(diǎn)是檢測和恢復(fù)是應(yīng)急手段真正要下功夫的是讓死鎖問題能夠復(fù)現(xiàn)和定位。死鎖最惡心的地方在于時(shí)序敏感可能跑幾小時(shí)甚至幾天才出現(xiàn)一次日志又來不及打印。后面我會專門講定位技巧這里先強(qiáng)調(diào)一個(gè)原則務(wù)必在系統(tǒng)里預(yù)留一個(gè)內(nèi)核狀態(tài)導(dǎo)出接口——比如通過調(diào)試串口命令隨時(shí)可以輸出當(dāng)前每個(gè)任務(wù)的運(yùn)行狀態(tài)、等待的鎖對象、持有鎖的列表。有這份數(shù)據(jù)你才能在死鎖發(fā)生的黃金窗口內(nèi)抓住元兇。6. 嵌入式場景特有的隱性死鎖優(yōu)先級反轉(zhuǎn)與中斷上下文嵌入式系統(tǒng)的死鎖和通用操作系統(tǒng)還有個(gè)很大的區(qū)別嵌入式里除了任務(wù)之間的資源競爭還疊加了優(yōu)先級體系和中斷上下文這兩個(gè)維度會產(chǎn)生一些教科書上沒有直接寫的變體死鎖。優(yōu)先級反轉(zhuǎn)是最經(jīng)典的一個(gè)。場景是這樣的任務(wù)L優(yōu)先級最低先拿到了一把鎖正在執(zhí)行臨界區(qū)任務(wù)M優(yōu)先級高一點(diǎn)過來等這把鎖阻塞任務(wù)H優(yōu)先級最高它也來等這把鎖一樣阻塞。如果此時(shí)有一個(gè)中等優(yōu)先級的任務(wù)N開始運(yùn)行因?yàn)長被N搶占了CPU而遲遲不能完成臨界區(qū)釋放鎖H就要一直等N跑完、L再跑完才能拿鎖。這個(gè)結(jié)果等于讓低優(yōu)先級的L和M拖死了最高優(yōu)先級的H和死鎖高優(yōu)先級任務(wù)無法推進(jìn)的觀感幾乎一模一樣。解決思路就是前面提到的優(yōu)先級繼承或者更嚴(yán)格的優(yōu)先級天花板——直接把持鎖任務(wù)的優(yōu)先級提到所有可能申請?jiān)撴i的任務(wù)的最高優(yōu)先級。我在嵌入式OS相關(guān)課程里看到過大量真題就是考優(yōu)先級反轉(zhuǎn)的發(fā)生條件和兩種對策的區(qū)別這個(gè)概念建議結(jié)合死鎖一起記。**中斷上下文中的偽死鎖**是我在項(xiàng)目里踩過的一個(gè)深坑。中斷服務(wù)程序里如果調(diào)用了一個(gè)會阻塞的鎖接口——很多RTOS為了簡化接口并不在中斷里禁用這種調(diào)用——恰好主循環(huán)里的任務(wù)也持著同一把鎖在等一個(gè)更慢的硬件操作中斷就永遠(yuǎn)等不到鎖。而中斷一旦卡住整個(gè)系統(tǒng)的時(shí)基就亂了其他所有依賴中斷的服務(wù)全部癱瘓癥狀和死鎖幾乎完全一致。這種問題的根治方法只有一個(gè)中斷里絕對不能調(diào)用任何可能阻塞的內(nèi)核API。如果確實(shí)需要在中斷里和任務(wù)同步數(shù)據(jù)用非阻塞的隊(duì)列、信號量或標(biāo)志位任務(wù)側(cè)再去做實(shí)際的臨界區(qū)操作。內(nèi)存池死鎖也值得提一嘴。嵌入式系統(tǒng)里動(dòng)態(tài)內(nèi)存分配通常用固定大小的內(nèi)存池如果任務(wù)A申請了兩塊內(nèi)存、任務(wù)B申請了兩塊內(nèi)存然后互相等待對方釋放內(nèi)存來湊夠自己的第三塊本質(zhì)上和互斥鎖導(dǎo)致的死鎖一模一樣。這類問題比鎖死鎖更隱蔽因?yàn)閳?bào)錯(cuò)往往不是卡住而是內(nèi)存分配失敗排查方向很容易帶偏。這幾類場景共同說明一件事考試?yán)镏v的經(jīng)典死鎖模型是一個(gè)基線真實(shí)系統(tǒng)的死鎖往往披著優(yōu)先級、中斷、內(nèi)存分配的外衣出現(xiàn)。你只盯著Mutex去找問題大概率會走很多彎路。7. 現(xiàn)場實(shí)戰(zhàn)死鎖問題的排查清單與工具思路講完理論和場景最后分享一套我在實(shí)際項(xiàng)目里反復(fù)驗(yàn)證過的排查流程。死鎖問題之所以讓人崩潰就是因?yàn)樗及l(fā)、難復(fù)現(xiàn)、日志缺失。但換個(gè)角度想死鎖的本質(zhì)是資源的循環(huán)等待只要你能回答誰在等誰這個(gè)問題定位就成功了80%。**第一步固定現(xiàn)場。**發(fā)現(xiàn)系統(tǒng)疑似死鎖時(shí)先別急著復(fù)位。立刻通過調(diào)試器中斷系統(tǒng)JTAG/SWD在線調(diào)試模式下暫停內(nèi)核把當(dāng)前所有任務(wù)的PC指針和棧回溯backtrace拉出來。PC指針會告訴你每個(gè)任務(wù)卡在哪個(gè)函數(shù)如果多個(gè)任務(wù)都卡在鎖相關(guān)的內(nèi)核函數(shù)上比如pend、acquire、interrupt disable附近死鎖嫌疑立刻上升。**第二步梳理鎖資源。**把現(xiàn)場里每個(gè)阻塞任務(wù)的等待對象列出來再看當(dāng)前每個(gè)對象的持有者是誰。我習(xí)慣畫一個(gè)表格格式很簡單但非常有效任務(wù)名當(dāng)前狀態(tài)正在等待的資源該資源持有者Task_Comm阻塞Lock_BTask_SensorTask_Sensor阻塞Lock_ATask_MainTask_Main阻塞Lock_CTask_Comm這張表只要能畫出來成一個(gè)環(huán)結(jié)論幾乎是板上釘釘?shù)摹?*第三步復(fù)盤鎖申請順序。**找到環(huán)之后回到代碼里看每個(gè)任務(wù)的鎖申請路徑。八成以上情況會發(fā)現(xiàn)某兩個(gè)任務(wù)的申請順序不一致一個(gè)任務(wù)是先拿A再拿B另一個(gè)是先拿B再拿A。把代碼改成統(tǒng)一的順序這個(gè)死鎖往往就不治而愈。這一招我用了很多年幾乎百試百靈。**第四步補(bǔ)觀測手段。**如果問題還不能復(fù)現(xiàn)就得加觀測代碼。推薦在每個(gè)鎖申請點(diǎn)打印日志時(shí)帶上任務(wù)名、鎖ID和當(dāng)前時(shí)間戳如果擔(dān)心日志影響實(shí)時(shí)性可以用環(huán)形日志緩沖寫出問題的前幾秒記錄都留在內(nèi)存里死鎖發(fā)生后通過調(diào)試串口導(dǎo)出。我在一個(gè)數(shù)據(jù)采集板卡上就是用這個(gè)辦法捕獲到了兩個(gè)任務(wù)在某個(gè)特定數(shù)據(jù)幀到達(dá)時(shí)幾乎同時(shí)申請對方鎖的過程問題的因果鏈瞬間就清楚了。**第五步善用RTOS自帶工具。**主流嵌入式RTOS內(nèi)核普遍提供死鎖檢測鉤子或統(tǒng)計(jì)信息比如互斥鎖等待超時(shí)計(jì)數(shù)器、任務(wù)阻塞時(shí)間統(tǒng)計(jì)。把這些數(shù)據(jù)接入到遠(yuǎn)程監(jiān)控里板子在現(xiàn)場出現(xiàn)異常人在電腦前就能看到是哪個(gè)任務(wù)長時(shí)間阻塞在哪個(gè)鎖上。這個(gè)投入回報(bào)極高強(qiáng)烈建議有時(shí)間就做上。**備考提示**四級考試的死鎖部分題型幾乎是固定的。概念題考四個(gè)必要條件畫圖題考資源分配圖和環(huán)路判斷計(jì)算題考銀行家算法找安全序列應(yīng)用題考預(yù)防措施的列舉與選擇。只要把銀行家算法的手算流程練熟——尤其是先找滿足條件的任務(wù)、釋放資源、更新Available、循環(huán)這個(gè)步驟——基本上就不會丟分。別只背結(jié)論一定要親手算上兩遍。8. 寫在最后死鎖是設(shè)計(jì)問題不是運(yùn)氣問題死鎖這東西剛接觸時(shí)空對概念感覺很簡單真到項(xiàng)目里又覺得運(yùn)氣太差碰上了。實(shí)際上我做過的所有死鎖案例復(fù)盤到最后都是設(shè)計(jì)階段埋下的雷要么是鎖的粒度劃分不合理要么是申請順序沒有全局規(guī)約要么是用了等所有資源都齊了再動(dòng)手這種天然招死鎖的模型。它就像代碼里的內(nèi)存泄漏平時(shí)不發(fā)作一旦發(fā)作就是系統(tǒng)級的。我個(gè)人現(xiàn)在寫多任務(wù)代碼有個(gè)習(xí)慣每加一把鎖都要在代碼注釋里寫明申請順序規(guī)約凡是出現(xiàn)嵌套鎖的場景強(qiáng)制畫等待圖自檢一遍再提交。這套習(xí)慣一開始覺得繁瑣但真幫我避掉了好幾個(gè)潛在死鎖。如果你正在被死鎖折磨不妨按上面的排查清單走一遍我猜你很快就能定位到那根鎖死系統(tǒng)的環(huán)。最后留一個(gè)問題供你自查現(xiàn)在手上正在開發(fā)的系統(tǒng)里有幾個(gè)任務(wù)會嵌套持鎖它們的申請順序是一致的嗎如果現(xiàn)在不確認(rèn)等它在現(xiàn)場給你顏色看就晚了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久熟女久| 日韩性爱再线视频| 全国男人天堂网| 116美女午夜| 天天色天天干天天射| 强乱老妇中文字幕| 天天情欲宗合网| 99久久com免费视频′| 国产极品美女高潮无套在线观看| 色综合av男人天堂| 日韩一区二区高清在线观看的| 天美传媒AV在线| 尤物视频网 刘玥| 欧美中字二区| 自拍二页| 国产白丝在线| 日本黄色裸日本黄色裸体| 又大又黄国产| 美日韩一卡二卡三卡免费人妻精品| 囯产乱伦一区二区三女 | 国产精品久久久久亚洲av| 四虎免费在线观看| 玖玖久久久| 97久久久久| 蜜桃臀AV在线| 久久久久九九九九九| 欧美少妇色综合| 中文字幕在线观看AV| 国产青一二三| 日韩欧美丝袜诱惑| www. 男人天堂成人在线| 午夜精品久久久久| 呦女网站| 欧美亚洲韩国视频十五区| 美日韩一二三区| 超碰97玖玖爱| 物业黑人 AV一区| 综合激情一一91| 久久精品国产精品| 亚州色综合| 亚洲资源一区| 天天干天天舔| 日韩日本欧美在线观看| 91性高朝久久久久久久久| 日B操| 啊啊啊好多水| 日韩性爱小视频| 国产精品白领在线观看| 能在线播放的国产三级| 国产AV无码AV| 宅男午夜在线视频| 亚洲AV无码久久精品蜜桃小说| 91成人在线| 久草热制服丝袜在线观看| 天天操天天日青青草超碰av| 蜜臀中文字幕| 懂色av色欲av蜜臀av| 国产精品一区av在线| 天天搞在线综合网| 9九九九九视频在线观看| 能看的av| 91撸色网 玖玖网 欧美| 熟女熟妇伦久久影院毛片一区二区 | 春色综合免费| 亚洲黑人在线| 特级丰满少妇一级AAAA爱毛片| 日韩AV一起草| 九九九综合精品| 无码人妻丰满熟妇奶水区毛片| 亚洲青青草| 欧美熟妇色| 亚洲自拍偷拍视频在线| 欧美激情1区| 国产精点久久久成人| 中文字幕精品一区二区精| 久久99人妖视频国产| 99久热| 中文字幕日产av人| 78m成人视线| 热99这里有精品综合久久| 精品成人亚洲午夜电影| 日韩成人精品中文字幕| 日韩 成人 有码| 男人的天堂久久| 国产一级137片内射麻豆| 亚洲Av无码成人精品国产| 95精品在线| 天天日熟妇| 亚洲欧美国产中文视频| 好爽,再快点啊哈嗯嗯嗯嗯| 久久九操在线观看| 国产精品盗摄 偷窥盗摄| 成人免费福利网站国产| 婷婷丁香一区二区三区| 丰满人妻被猛烈进入中| 99热精品在线播放| 国内一区二区三区| 亚洲乱码尤物193YW| 91亚洲青青草原精品1区| 操淫穴亚洲五月丁香| 国产精品成人AV片免费看网站| 性爱av网站| 足交视频老司机| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 免費黃色視頻觀看一| 中文字幕乱碼在线| 97超碰色色| 青青草天天亲夜夜操网| 在线洲亚线| 国模不卡| 91精品少妇搡搡搡| 中文字幕丝袜国产第一页不卡| 日日干夜夜操视频h| 97在线/亚洲| 手机在线人成免费视频| 欧美日韩人妻精品一区二区三区| 国语国产操逼伊人AV网| 欧美第一页| 一区二区三区 日韩欧美| 五月婷婷hd| 免费一级毛片在线视频观看| 乱色老一区二区三区的观看方式 | 久久夜嗨| 久久精品国产亚洲AV嘿嘿| 97精品视频网站| 日韩有码 一区二区三区| 首页亚洲国产高跟丝袜诱惑视频| 婷婷国产精品一区二区| 大香交伊人网| 欧洲综合无码| 狠操91,com| 大地资源在线观看中文第二页| 黄色av播放免不| 日本污ww视频网站| 中文字幕在线观看网址| 国产久久一区二区三区野外在线| 岛国在线国产| 日日干夜夜欢| 国产成人自拍视频在线| 亲子敌伦对白在线播放| 97色97好| 欧美视频中文字幕区| 视频二区美腿制服人妻欧美| 久久天天摸| 一个国产在线综合网站| 国产AB视频| 五月丁香成人网| 婷婷久月| 一区二区三| 第四色亚洲色图| 天天激情干| 亚洲图片偷拍欧美| 欧美综合第一| 欧美精品1区2区3区| 亚洲色图综合| 久久中久文96| av操操不卡| 国产免a费看黄片在线| 综合性视频99| 国产怡红院| 双插性欧美一二三区| 久久精品区| 97久久久精品| 嗯嗯嗯嗯啊啊啊好紧好大| 免费观看国产小粉嫩喷水精品午| 国产深喉| 在线观看 99热| 91视频国品一二三区| 成人性爱av| 天美传媒精品久久视频| 国产成人主播| 青青草在线成人视频| 操B在线观看| 97天天操| av草草在线电影| 大香蕉97久久| 中文字幕黑人大片| 亚洲一区二区三区欧美日韩| 激情小说图片亚洲首页| 欧美亚洲首页| 人妻激情在线视频| 超碰这里只有精品| 久久99手机免费视频| 久久9视频| 国产精品一二三在线看| 精品成人无码| 韩国免费播放一级毛片| 精品999一区二区| 亚洲欧美变态| 国产女主播视频在线观看| 黑丝少妇麻豆| 久久综合18p| 热九九精品| 欧美日韩国产色图在线| 色婷亚洲五月在线观看| 最近2019中文字幕国语免费版| 国产成人超碰在线| 欧洲综合无码| 国产亚洲精品无码三区| 黄片国产精品一区二区| 成人日韩3| 欧美黑人精品在线播放| 无色无码| 99九九精品| 99精品成人免费看| 成年人一级黄色毛片大全在线观看| 免费观看网黄| 天天爽夜夜爽夜夜爽精| 亚洲?V无码专区在线电影| 免费观看成人www精品视频| 91人人| 97超碰人妻| 女性91网站| 久久专区| 久久性生大片免费观看性| 97综合国产| 97视频免费播放| 精品久久97观看在线视频| 欧美的精品的视频| 午夜操一操| 日本成熟少妇A∨网站| 天天综合97| 无遮挡男女激烈动态图| 性久久| 亚洲一区二区三区欧美日韩| 久久精品国产72国产精品福利 | 色呦呦、国产精品| m欧洲一级午老| 操亚州| 另类图片五月天| 欧美美女视频| 强被迫伦姧在线观看无码网站| 久久精品欧美一区二区三区不卡| 色五月激情网| 天天综合有色网| 久久久久久久久久久久九| 亚洲综合射| 久久有码视频| 91在线免费精品视频| 中文字幕精品一区欧美| 中文字幕亚洲在线一区| 黄资源| 99国产女人| 人妻精品视频一区二区三区| 综合免费无码中文| 欧美国产日韩清纯唯美| 好屌色综合| 综合亚洲网| 久久久久久一日韩字幕无码| 97久久久| 亚洲精品一卡二卡三卡福利视频网站| 欧美色图99| 久久久久久精| 天天综合网一91网| 97久久国产亚洲精品超碰热| 97九色| 免费av大片| 国产日韩精品一区二区三区| 人人妻人人爽| 色婷婷丁香五月| 久久伦理视频久久大香蕉视频| 一区二区三区一亚洲中文字幕、综合区灬 | 玖玖综合色| 日韩成人人妻网站| 在线无码视频| 中文字幕 av v| 天天综合~91| 国产av强奸美女| 日韩99999色| 亚洲美女高潮喷水视频| 欧美性爱另类综合| 亚洲欧美综合图片| 亚洲一本色道中文无码aV天美| 在线天堂999| 亚洲Av诱惑| 日韩黄色一区二区三区| 色色青青久久| av午夜影院在线播放| 好湿好紧好爽 视频| 色香综合| 麻豆国产尤物AV| 人妻另类| 91丨九色丨东北熟女| 亚洲91大片| 欧美日韩亚洲一区二区在线观看| 久久m| 久久性爱视频99| 久久久999网站| 欧美色999| 久久国产99精品72福利 | 女人高潮抽搐喷水视频网站| 天堂av最新电影网| 成人黑料社久久| 欧美天天影院| 99精品在线| 男同专区一区二区三区在线| 超碰人人在线| 99久久99久久免费精品蜜臀| 中文字幕丝袜人妻| 脫衣舞一区二区三区| 四虎国产成人精品免费一女五男| 人人潮人人摸| 熟女久久久| 亚洲中文字母在线播放| 婷婷午夜清品久久久久久久性色视频观| 色婷婷香蕉| 夜夜躁狠狠躁日日躁av| 欧洲免费一区二| 思思热在线视频免费| 中文字幕乱碼在线| 综合免费无码中文| 日日夜夜精品视频| 久久一二三四不卡 | 岛国在线一区二区三区| 男女啊啊啊| 久久人人妻| 日韩欧美午夜一区二区| 国产精品粉嫩福利在线| 亚洲天堂男人在线| 曰韩精品视频一区二区| 国产97色在线 | 亚洲| 91oumei| 欧美亚洲素人制服精品| 久久精品国产97欧美精品亚洲| 超碰久热| 樱花蜜乳av| 久草精品在线| 一本久久精品中文字| 日韩中文字幕在线视频观看| 百度百度日本操逼| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 玖玖人人爱| 欧美日韩亚洲一区二区在线观看| 久久久久久久久9| 熟妇人妻一区二区| 91neishe| 日韩视频啪啪| 美国人人操人人操| 啊啊啊啊啊在线| 少妇第一页| 天天综合日韩网| 亚州免费啪啪视频| 中文字幕三四区| 九九这里只有精品| 人妻在线大香蕉| 加勒比大香蕉视频在线| 香蕉婷婷| 色优久久| 色五月综合网| 国产激情av女片自拍| 色香AV| 青草伊人久久| 99re这里| 品亲网欧美品亲网| 极品内射| 一道本东京热加勒比一区二区三区| 久草国产在线视频| 欧美1区二区三区公司| 激情小说亚洲色图| 九九九九九九九九九国产精品| 超碰97最新人妻| 久久天天摸| 超碰在线成人| 欧美一级A片在线看视频性色| 欧美大波激情xxxx| 麻豆天美传媒毛片| 2017天天操| 男人综合网| 中日韩久久久免费看| 亚洲美女黄色| 97欧美色综合| 欧美骚少妇| 国产精品电影推荐| 国产天美传媒精品| 日韩美女,国产传媒,视频一区| 天天综合网91入口| 丝袜性亚洲| 日本三级日本三级三级人妇四虎| 91超碰人人| 高凊专区人人操| 97国产色综合| 国产AV人人 夜夜人人澡| 亚洲欧美综合色| 日本精品人妻少妇一区二区| 91欧美美女日韩国产婷婷| 日本少妇va7777| 欧美综合色站| 亚洲综合性网址| 加勒比五月天| 麻豆AV一区二区天美传媒| 超碰久超碰久| 放黄片放3级黄片没穿衣服| 欧美少妇人妻| 日韩中文字幕视频| 精品国产乱码久久久久久口爆网站| 色五天伊人| 97精品熟女少妇一区| 美中日韩无码| 欧洲综合视频| 啊啊啊啊好疼视频| 亚洲色图欧美| 天天爽夜夜爽夜夜爽精| 岛国片在线观看视频亚洲| 久久人妻视频| 人妻一区久久二区三区色播| 日本性一区| 91亚洲黄色网| 老司机午夜精品视频| 先锋影音av先锋一区| 国产精品无套内谢| 免费观看欧美日韩操逼视频| 青青草色情网站视频| 四虎影视永久在线观看精品免费网站| 91中文字幕制服丝袜免费视频| 干超碰碰熟女| 青娱乐国产精品| 97九色人妻| 一区二区视频你懂的| 欧美97av| 国语精品内射在线观看| 射 色综合| 九九九九九九视频| 欧美激情综合| 强奸xx国产| 天天日天天射天天干| 中日韩久久久免费看| 五月亭亭六月丁香| 国产精品视频精品一二| 欧美日韩大陆黑人少妇99| 亚洲骚逼少妇| 逼逼逼逼操操操操操操操操操午夜剧场| 大香蕉啪啪网| 欲色啪| 麻豆视频国产一区二区| 999久久久精品国产| 人妻内射一区二区在线视频| 蜜臀一区二区三区在线| 欧美色色色| 人妻在线大香蕉| 久久9久| 无码国产精品午夜不卡(| 自拍二页| 亚洲国产精品99久久久| 天天肏美女| 国语精品av| 自拍大香蕉乱插| 日韩午夜国产| 日韩免费高清大片在线| 啊a一区在线| 亚洲天天更新| 台湾佬激情综合| 久操视频在线| 国产熟女乱论| Aa东京男人的天堂| 一区二区三区 日韩欧美| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 户外裸露刺激视频第一区| 久久久久少妇| 激情综合五月天| 欧美在线综合| 成人a大片在线观看| 一区二区三区男女操逼黄色小电影| 青青草公开在线免费不卡视频| 99久久精品无码一区二区| 绑缚麻绳人妻寝取完整版| 色综合国产在线观看| 少妇国产不卡| 91免费看一区二区三区| 久久99国产综合精品女同| 91熟女在线| 青青草操逼逼视频| 久久六六| 看黑丝美女操逼青青网站| 日本在线观看网址| 欧洲精品网| 国产精品美女在线一区| 中文字幕精品亚洲熟女| 免费看久久久性性| 东北熟女91| 久久国产三区| 1人人看人人摸人人操| 九九九久久久久| 日逼逼免费看| 国产自啪精品视频网站黑丝| 久草五月| 国产精品高潮呻吟av久久4虎| 丝袜喷水在线| 欧美日韩国产高清在线一二三区 | 人人妻人人操人人乐| 国产在线综合网| 97碰碰日本乱偷人妻中文的| 丰满人妻大屁一区二区| 久久69| 爱欲AV| 女同性恋久久| 国产精品 视频| 中 文字幕一区二区三四 五 区日 日 骚| 精品人妻中文字幕4399| 亚洲中文字幕久久无码精品| 99久久com免费视频′| 国产精品久久久无码aV去| 久久久99999久网站| 3p国产欧美99热| 中文字幕熟女人妻丝袜| 国产一区二区三区,在线观看观看 五月开心久久AV官网 | 天天爽爽爽爽| 淫荡熟女乱伦网| 91n处女在线观看| 裸模AV女优| 强奸a片网| 欧美日韩插逼视频| 97超级久久| 国内操逼视频二区| 曰韩精品九九无码| 色综合久久88色综合久久天天| 2017天天插| 亚洲精品 欧美精品| 日本天天操| www.91理论| 亚洲不卡三级手机播放| 欧美综合综合| 欧美色自拍| 91在线免费观看处女| 亚洲欧美日韩精品久| 乱伦熟女论坛| 亚州性色| 东北女人性交| 亚洲色图 综合| 综合国产97| 五月婷久久| 亚洲无码?第一页| 91被操| 农村妇女精品一二区| 中文字幕在线第二页| 一区二区三区蜜桃成人撸久久东京热| 五月天婷婷欧美三区| 黄片www.| 日韩亚洲Av人人夜夜澡人人爽| 亚洲成人精品在线一区| 狠狠干91| 亚洲综合首页| 色婷婷一区二区三区久久| 亚洲欧美内射| 天天影视91看看| 亚洲国产中文字幕| 天天操天天日天天干| 美欧老女人97| 欧美精品偷拍| 目产99999久久999| 污污污8888| 在线视频一区二区传媒| 中国黑人三级片网站上区| 欧美三级一级| 国产白领连续中出在线观看| 亚洲不卡不卡中文字幕不卡| 丝袜制服字幕在线| 久久久精久久久| 嫩草 人人网精品| 乱码熟妇人妻久久久| 国产自产91区13区| 日逼五月天| 午夜欧美神马久久久久| 九一精品牛牛一区二区| 99热日| 97精品网站| 激情文学亚洲| 欧美激情区| 97综合| 亚洲人妻中文在线视频| 久久国产乱子伦精品免费女人| 人人操人人摸人人看人人干| 欧日a| 国产亚洲精品自在线亚洲情侣| 亚洲色欲天天人妻无码系列专区| 中文字幕 码 自拍 视频 区| 欧洲Au麻豆| 免费看污网址| 91欧| 亚洲欧洲自拍图片专区满春格| 成人性爱av| 人人做人人妻人人夜视频| 国内毛片无码一级毛片| 91亚洲不卡一区| 高潮综合网| 爱丝福利| 日韩av在线精品观看| 精品高清一区二区三区三州| 成人在线视频网| 久久国产精品91| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 欧美色图自拍| 天天躁日日躁狠狠躁| 久久久久免费看少妇A片特黄| 手机看av网站在线看| 猛交交| 欧美日韩人妻婷婷一区| 亚洲天堂男人网| 日韩亚洲中文有码视频| 久久女婷| 麻豆精品三区视频| 在线视频97| 日本熟妇人妻中出视频| caopeng97| 激情视频图片| 午夜无遮挡男女啪啪视频| 国产激情久久久| 欧美日韩大陆黑人少妇99| 美欧色综合| 日韩丰满熟妇| 97人人爱人人做人人乐| 人妻天堂网| 十八禁成人网站在线观看| 国产天天骚| 久久久久国色αv免费观看| 日本三级一区二区 在线| 人妻加勒比东京热| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 超碰地址久久| 俺去俺来也在线www| 97人人爱人人做人人乐| 日本色日夜干| 亚洲夜夜欢无码一区二区| 亚洲成人妻日韩在线| 操国产高清| 狠狠综合| 奶水 人妻 哺乳 在线| 中文字幕交换人妻| 一本大道综合伊人精品热热| 日韩欧美亚洲自拍偷拍| 色综合一区二区三巨| AV天堂因数| 在线观看日韩av不卡| 亚洲一区制服诱惑| 青娱乐亚洲自拍| 九九九九九精品十六| 国产精品99精品视频网站| 亚洲情色1区| 日韩啊V| 精品91摸| 成人性爱免费播放| 中文久久一区| 在线观看不卡一区二区三区| 日本裸体久久色噜噜| JIZZJIZZ亚洲女人被躁| 岛国小电影| 另类图片欧美激情综合| 91日日| 人妻丰满熟妇一区二区三| m欧洲一级午老| 国产av强奸美女| 久久视频少妇美女| 国产成人www免费人成看片| 久9爱经典视频| 日本精品一区二区中文字幕| 亚春色色| 久久侵犯人妻爽爽爽| 91亚洲网| 日韩 欧美 校园一区| 欧美精品日韩久久久九| 久久久久久久9最新免费视频观看| 成年女人黄网站| 99re在线视频这里只有精品| 操人91| 九九九热| 亚洲色悠悠久久88| 国产精品老师| 黄片www视频免费| 撸撸成人在线视频| www网站黄| 欧美亚洲综合高清在线| 欧美精品双插| 99精品久久久久久久婷婷蜜桃| 男女啊啊啊啊啊| 国产精品久久发布| 国产一级作爱毛片| 97 色综合| 台湾大香蕉99热| 亚洲砖码砖专无区2023| 神马午夜久久| 欧美青青视频| 东京日日夜夜| 亚洲一级性爱视频免费看| 久久99久久99精品天美传媒棢·纸:. | 亚洲人在线| 在线v中文字幕一区二区三区| 78久久| 亚洲色图自拍| 超碰公开久久网| 网页导航五月天免费一二三区| 丰满人妻-区二区三区免费看| 色诱avtt| 成人欧美一区二区三区黑人一| 国产JDAV无码视频在线观看| 国产深喉| 久噜噜| 91人妻丝袜无码| 六十路日本| 日逼视频日本| 可免费观看的av毛片中日美韩| 龙兴卡官方查询| 久久9精品视频| 高清国产av无码| 99在线免费公开视频| 色妇综合网| 最新9久久久9免费视频| 第四色色综合91| 九九av| 国产黄色av大片网站| 综合激情二| 夜夜欢天天干| 亚洲做性| 嗯嗯啊啊啊啊轻点视频| 欧美精品 - 91爱爱| 69人妻人人揉人人躁人人精品| 全球成人中文在线| 懂色天天爱天天日天天射天天澡| 久久大黄片| 久久女人| 78精品在线| 少妇九九九九| 日韩无码服务区| 亚州色图片在线色| 久久久99999久网站| 99综合自拍| 夜夜高潮夜夜爽高清视频一| 精品久久青青草| 色婷婷小说| 欧美色综合影院| 伦理片秋霞免费影院| www.黄色在线| 三级色综合| 国产91啪| 日韩乱中文| 黄色一区二区秘书性感| 园内精品自拍视频在线播放| 欧美十八禁视频| 久久这里只精品免费福利| 成·人免费午夜在线观看| 啊啊啊啊啊在线| 97超碰中文在线| 久久色网| 韩三级a视频在线观看| 国模私拍一区二区三区神乳| 成人性爱av| 亚洲欧美中文一区二区三| 免费αⅴ在线观看| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 少妇久久久久久| 女人天堂av在线播放| 国产精品视频内谢女人| 涩综合导航| A 在线网址| 黄色一级视| 久久激情视频| 高凊专区人人操| 亚洲自拍欧美国产首页网曝 | 国产欧美日本亚洲精品| 成人av影院在线观看| 久久社区一区二区三区| 亚洲天堂 视频你懂的| 婷婷五月天福利| 日韩天堂av电影在线观看| 青娱乐大香蕉| 密臀成人视频久久久| 欧综合网| 国产亚洲欧美每日在线| 精品国产www久久| 综合熟女| 欧美97日韩精品| 97伊人超碰| 国产精品不卡av免费在线观看| 熟女这里只有精品6| 岛园激情| 1234区中文字幕在线观看_青青草国产在线_日韩一区二区 | 搡老女人老91妇女熟女| 97国产|免费| 乱伦一二三区| 91丨九色丨43老版熟女| 中文字幕乱碼在线| 久久亚洲日韩国产欧| 亚洲国产丝袜熟女av| 亚洲天堂人妻熟妇视频| 色蜜AV| 国产精品久久久久久久免牛肉蒲团| 成人无码欧美一级A片狼牙直播| 国产精品直播在线观看直播| 色牛牛AV| 国产成自自拍在线观看| 婷婷激情四射| 久久性爱网站| 欧美九九99久久精品| 欧美亚洲韩国视频十五区 | 久久久久久久78| 亚洲少妇综合| 丰满岳乱妇一区二区三区| 久久午夜伦| 丝袜高跟澳门91视频| 欧美AAAA黄片| 激情丁香五月婷婷| 乱码人妻一区二区三区| 色欲天天综合久久久无码网中文| 国产呦精品一区二区三区下载| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 操淫穴亚洲五月丁香 | 九月丁香婷婷| 啊啊啊骚| 成人午夜小视频手机在线看| 色91综合网| 欧美人妻少妇| 亚洲五月婷婷| 久久久96精品| 国产精品免费日韩| 久久综合女优| yw尤物av无码点击进入麻豆| 26uuu欧美| 91日韩网站| 亚洲精品日韩国产欧美| 日本精品久久久久久久| 国产隔壁老王影院在线| 97二区四区| 久久春色| 亚洲另类综合欧美| 91亚洲欧美激情| 久9热| 丝袜加勒比| 免费看久久久性性| 亚洲91射| 欧美疯狂做爰xxxx| 超碰 欧美| 欧美网站免费| 亚洲国产福利视频| 91人妻Pr| 国产精品久久久亚洲第一牛牛_在线观看 | 日韩女模中文造逼| 麻豆区久久久久亚| 亚洲偷拍自拍在线视频| 五十路成人在线视频二区三区| 特级丰满少妇一级AAAA爱毛片| 香蕉色网| 操屄不卡视频| 婷婷8月天青娱乐| 婷婷五月av| 美女诱惑久久| 天天天肏屄欧美| 黄色视频60分钟| 日韩精品电影| 女人高潮抽搐喷水视频网站| 91无码人妻精品一区二区三区蜜桃 | 欧美性暴力猛交XXXX | 99这里都是精品| 亚洲四虎熟女精品| 91丝袜| 91艹逼精品| 午夜寂寞欧美| 麻豆亚洲AV成人无码久久精品| 嗯嗯啊啊视频在线看| 人妻另类 专区 欧美 制服| 亚州乱码中文字幕综合久久久| av无线看| 超碰吊日色| 亚洲骚女一区二区三区| 国产精品ⅴ无码大片在线看.| 久久久久网站-538在线视频-欧美永久乱码 | 富女玩鸭子一级毛片| 极品粉嫩少妇视频| 一区三区啪啪| 亚洲人天堂| 午夜毛片高清免费不卡| 日本护士高潮| 日韩成人高清一区二区| 操曰本熟女| 欧美黑人XXXⅩ高潮交| 无码免费在线观看黄色片| 欧美精品欧美精品系列| 蜜臀久久久久久999| 777AV电影| 97操b| 97超碰在线资源网站| 五月丁香婷婷啪啪| 无码精品久久| 91精品丝袜久久久久久| 诱惑人妻欧美一区在线播放| 99ri在线视频| 一级成人性爱| 性91| julia ann久久| 青苹果影院男人的天堂| 在线观看日韩av不卡| 久草尤物| 99999亚洲| 国产情色在线| 色第一页| 猛交交| 国产女性无套 免费观看| 久久亚洲中文字幕视频| 97se亚洲| 亚洲精品 欧美精品| 久久久久无码| 色九区| 久久久久亚洲?V片无码V| 91情色| 激情小说激情视频| 999熟女精品| 青青草国产盗摄一二三区| 久操综合在线| 国产成人+综合亚洲+天堂| 综合操逼| 国产性爱在线视频一区二区| 久久97超碰| 综合亚洲欧美| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 精品超碰中文在线| 欧美综合区| 日韩色| 性影在线视频| 久思思热视频在线观看| 乱伦熟妇一区二区| 91成人无码| 九九热精品视频六| 亚洲综合色图欧美| 久久天堂网| 国产九九九九九九| 色婷婷一区二区三区久久午夜| 大香蕉伊在线久草麻豆天堂故事| 国产suv精品一区二区四| 亚洲.欧美.丝袜.中文.综合| 久久婷婷精品| 九月丁香| 大香蕉婷婷| 日日夜夜狠狠| 婷婷月色| 美女黄页| 哈哈操电影AV| 精产国品一区二三产品| 色999偷自拍拍| 国产传媒1234区| 亚洲免费97免费| 久久久久久波多野吉衣高潮| 91熟女综合| 亚洲男人天堂2013| 麻豆a'v电影| 人妻丰满熟妇av无码区蜜桃| 一卡二卡在线播放| 男人综合网| 蜜臀久久99精品久久久电影| 欧差乱伦二三| 国产亚洲精品激情| 日本女优在线视频福利| 精品性爱无码在线播放| 五月丁香综合| 神马视频久久久久久| 久久成年精品| 久久久久国产精品人妻aⅴ天堂| 久久精品日韩专区免费观看| 啊啊啊水好多| 免费成人自拍视频在线| 欧美五十路熟| 久久精品国产亚洲AV高级北京| 日本女人操逼| 黄页大片在线观看| a人欧美综合天堂麻豆| 亚洲偷91色| 97综合激情| 少妇高潮流水av免费| 欧美日韩国产高清在线一二三区 | 超碰2017| 国产精品无码久久久久2025| 亚洲偷拍自拍在线视频| 久久香蕉国产传媒一区剧情天美| 久久久久久久久九九久孕交| 加勒比东京热五月天天堂网| 九九热精品| AA级电影三区| 乱老女人一区二区视频| 高清不卡一二三区视频......| 欧美 日韩 婷婷 五月| 91成人精品| 中文字幕五月婷婷免费| 国产原创剧情在线丝袜| 日日天天久久啊啊aaa| 国产熟女自拍| 久久久久久久免费A片国产成a人亚洲精∨品无码 | 色婷婷亚洲婷婷| 久久国产精品熟女人妻| 91蜜桃传媒精品久久久一区二区| 91在线免费精品视频| av天堂手机版追回| 青青草十区九区爱夜| 欧洲亚洲人妻无码久久三区四区| 日韩精品中文字幕人妻| 日韩国产中文字幕| 诱惑人妻欧美一区在线播放| 久久久久久久久久久久色网| 国产一区二区三区视频在线看| 成人在线日韩| 亚洲 综合 第一页| 天天看天天日天天操| 亚洲一区二区精品福利| 另类亚洲图色| 日日操夜夜操天天操免费观看麻豆| 久久亚洲AV无码专区首页| 天天欧美色| 亚洲色婷婷综合久久一区二区三区| 日韩美女啪啪一区| 亚洲91av| 97在线观| 日韩在线观看中文字幕视频| 欧亚成人在线视频| 人人操人人干xxx| 国产又粗又又黄又猛| 狠狠97| 日韩性爱电影一区| 亚洲情色一区二区三区| 亚洲无码视频免费在线观看网址!| 激情久久av一区av二区av| 久久国模av| 成人无码在线视频网站| 99国内精品| 综合久久9| 人妻少妇色综合| 日日骚av| 欧美十八禁在线看| 色色青青久久| 在线观看黄色电话| 韩国毛片一区二区三区| 亚洲无吗在线视频| 裸体1区| 草草影院日本第一页| 亚洲精品欧洲精品| 国内毛片欧美香蕉精品| 宅男91视频在线播放| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 天天综合香 ld视频| 91大神精品长腿在线观看网站| 97网址www| 在线免费观看高清无码视频| 日本精品人妻少妇一区二区| 色呦呦国产精品免费看| 少妇诱惑视频| 香伊人在线| 97在线观看免费视频l| 免费的很黄很污的全部视频| 综合91网| 免费操逼视频下载| 天堂av最新电影网| 久久99综合| 69麻豆天美| 2025亚洲男人天堂| 国产亚洲精品美女久久久| 久久国产精品熟女人妻| 秋霞蝌科网日本一区| 少妇熟女视频一区二区三区| 日韩999| 日本道不卡| 99蜜桃臀亚洲成人在线观看| 色黄色美女大长腿午夜视频| 一区二三区四区视频大全套| 国产超碰| 日韩在线国产字幕| 少妇69中文| 日韩不卡在线一区二区| 玖色av| 亚洲 欧美 中文 日韩超碰| 青青青国产手线观看视频2| 九九热在线精品视频| 日韩欧美国产高清视频| 久久啊啊啊| 男人 天堂 日 亚洲| 日本午夜精品理论片A级APP发布| 91丰满| 99在线观看无大码| 亚州操逼网| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 韩国三级色呦呦| 啊啊啊啊二区好大| 中国亚洲呦女专区| 久久婷婷五月| 欧美精品一区二区少妇免费A片| 国产丰满少妇久久久精品影院| 国产精品 久久久精品一牛| 九九综合久久| 久久超碰爱| 第四色色综合91| 日本视频在线观看污污污| 天天欧美| 精品人妻一区二区乱码一区二区| 一本一道vs波多野结衣| 999久久久国产精品| 亚洲人91| 啊啊啊啊嗯嗯嗯用力好爽| 小日子操bb在线看| 亚洲资源一区| 天天操人人操骚逼网站| 99热精品在线观看| 在线一道啪| 人人操,人人液| 四虎影视 亚洲无码| 欧美一区二区情色| 九九九草| 有码免费观看| 一区二区娱乐网站| 51久久夜色精品国产麻豆| AV有码在线| 色香伊人| 亚洲图片欧美制度| 蜜桃久久一区二区三区| 综合久久六月久久婷婷| 91大神精品长腿在线观看网站| 黑丝制服中文字幕| 一区二区视频你懂的| 东北黄色电影| 色九九综合| 97国产高清视频在线观看| 日韩在线欧美精品一区二区| 一区二区三区麻豆| AV男人天堂网| 欧美日韩天堂| 91国产大片| 很黄很污的免费网站| 国产这里只有精品| 探花精品视频| 成人免费不卡在线视频| 人人操人人插人www| 午夜视频黄| 家庭乱伦麻豆| 男人的天堂久久久| 五月天久久人妻| 玖色av| WWW美腿丝袜香蕉中文| 麻豆一区二区三区精品| 久久视网78| 91新在线欧美| 欧美色图片91| 夜夜高潮夜夜爽| 国产日韩精品一区二区三区| 久久黄黄| 黄色污污污污污污网站| 男人天堂2019亚洲| 屌逼传媒| 殴美性色a级欧美| 伊人综合色网| 九九九综合精品| av在线浏览| 97精品视频免费| av72网| 久久精品中文字幕女同| 久久偷偷色综合蜜桃| 蜜臀久久99'精品久久久| 性色高清..……| 亚春色色| 熟妇熟女一区二区三区| 91日韩| 在线观看不卡一区二区三区| 国产视频一区二区三区在线免费观看| 无码高清操逼网址| 免费αⅴ在线观看| 国产1769在线| 可以免费观看的AV| 成人影 天天操 亚洲| 熟女自慰久久久|