亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制

Picolibc Locking Support 深度解析:嵌入式多任務(wù)下的線程安全鎖機(jī)制 先把話說在前面如果你只是裸機(jī)單任務(wù)跑 picolibc這文章你看了會(huì)打瞌睡但只要你把程序搬到 RTOS 上兩個(gè)任務(wù)同時(shí)開始 printf 和 malloc你很快就能體會(huì)到 locking support 到底在解決什么。picolibc 的 locking support說人話就是給 C 標(biāo)準(zhǔn)庫內(nèi)部的共享資源堆、標(biāo)準(zhǔn) I/O、errno 等補(bǔ)上“多線程安全”的鎖機(jī)制。它解決的是嵌入式領(lǐng)域里最隱蔽也最致命的一類 bug不崩潰、不亂碼、但時(shí)不時(shí)出現(xiàn)內(nèi)存被踩、任務(wù)卡死、錯(cuò)誤碼莫名變化。這篇文章適合正在用 picolibc FreeRTOS、RT-Thread、Zephyr 或者自研 RTOS 的開發(fā)者尤其是從裸機(jī)剛轉(zhuǎn)過來、還沒意識到 libc 線程安全是個(gè)問題的朋友。我要講的不是“怎么開一個(gè)配置宏”這么簡單而是把 picolibc 鎖支持的前因后果、底層函數(shù)設(shè)計(jì)、移植實(shí)現(xiàn)以及我踩過的大大小小的坑一次性講透。1. 為什么嵌入式 C 庫需要鎖支持1.1 裸機(jī)時(shí)代的“單線程假設(shè)”C 標(biāo)準(zhǔn)庫誕生的時(shí)候根本沒人考慮多線程。標(biāo)準(zhǔn)庫內(nèi)部大量使用全局狀態(tài)strtok 用靜態(tài)指針保存剩余字符串rand 用全局種子errno 是全局變量malloc 的堆管理結(jié)構(gòu)也是全局鏈表。這些設(shè)計(jì)在單任務(wù)裸機(jī)下沒有任何問題因?yàn)槟阒挥幸粋€(gè)執(zhí)行流所有資源天然“同步”??梢坏┥狭?RTOS多個(gè)任務(wù)分時(shí)復(fù)用 CPU這幾個(gè)全局狀態(tài)就成了最危險(xiǎn)的共享資源。很多剛接觸 RTOS 的開發(fā)者會(huì)有一種錯(cuò)覺只要我不在中斷里調(diào)用 printf多個(gè)任務(wù)各調(diào)各的 printf 就沒事。真不是這樣。picolibc 的 stdio 內(nèi)部有緩沖區(qū)兩個(gè)任務(wù)同時(shí)寫 stdout 時(shí)先寫一半再被調(diào)度走另一個(gè)任務(wù)接著寫最終輸出就是亂碼。更嚴(yán)重的是 malloc堆管理鏈表被兩個(gè)任務(wù)同時(shí)操作輕則內(nèi)存分配異常重則堆結(jié)構(gòu)被破壞直接硬件異常。picolibc 作為面向嵌入式場景的 libc 替代品設(shè)計(jì)上保留了 C 標(biāo)準(zhǔn)庫的可移植性同時(shí)也保留了標(biāo)準(zhǔn)庫的“單線程假設(shè)”。所以它才需要 locking support 來彌補(bǔ)這個(gè)缺陷。鎖支持并不是 picolibc 獨(dú)有的概念newlib、musl、glibc 都有類似機(jī)制只是嵌入式場景里資源受限實(shí)現(xiàn)方式更加精簡。1.2 多線程下的三個(gè)典型事故現(xiàn)場我自己踩過一次特別經(jīng)典的坑。有一個(gè)跑在 STM32F4 上的 FreeRTOS 項(xiàng)目四個(gè)任務(wù)分別采集傳感器、刷 OLED、處理串口命令、上報(bào)日志。一開始裸機(jī)單任務(wù)跑得好好的上了 FreeRTOS 之后每隔幾分鐘 OLED 顯示就花一次串口日志偶爾出現(xiàn)一行被截?cái)嗟膩y碼。當(dāng)時(shí)第一反應(yīng)是驅(qū)動(dòng)問題調(diào)了 SPI 時(shí)序加了 DMA 超時(shí)重試折騰了兩天最后才發(fā)現(xiàn)根因是 printf 在多個(gè)任務(wù)間競爭 stdout 緩沖區(qū)。第二個(gè)事故現(xiàn)場是 malloc。系統(tǒng)跑了幾小時(shí)后隨機(jī)會(huì)進(jìn)入 HardFault看調(diào)用棧發(fā)現(xiàn)是 free 函數(shù)里面崩了。追查發(fā)現(xiàn)兩個(gè)任務(wù)都在做動(dòng)態(tài)內(nèi)存申請釋放其中一個(gè)任務(wù)在 free 的瞬間被高優(yōu)先級任務(wù)搶占新任務(wù)也調(diào)了 free堆鏈表就被改壞了。這類錯(cuò)誤在嵌入式里特別難查因?yàn)樗驼{(diào)度時(shí)序強(qiáng)相關(guān)不是每次都能復(fù)現(xiàn)等抓到現(xiàn)場往往已經(jīng)晚了。第三個(gè)是 errno 污染。我在一個(gè)文件系統(tǒng)相關(guān)任務(wù)里調(diào)用底層接口失敗后打印 errno結(jié)果打出來的錯(cuò)誤碼是另一個(gè)任務(wù)的。原因很簡單兩個(gè)任務(wù)共享同一個(gè) errno 全局變量后寫的人把先寫的人的值覆蓋了。排查這種問題極費(fèi)時(shí)間因?yàn)殄e(cuò)誤碼本身沒有規(guī)律只有加鎖或者改成 TLS 才能根治。1.3 picolibc 的兩種線程模型picolibc 處理線程安全和我之前用過的 newlib 不太一樣它支持兩套模型。老模型是struct _reent每個(gè)線程維護(hù)一份獨(dú)立的 errno、緩沖區(qū)狀態(tài)通過線程局部數(shù)據(jù)指針找到自己的 reent 結(jié)構(gòu)新模型則是直接使用 TLS線程局部存儲(chǔ)編譯器會(huì)為每個(gè)線程分配獨(dú)立的 errno 副本不存在共享問題。老模型最大的問題是代碼復(fù)雜每個(gè)函數(shù)都要先取 reent 指針再訪問內(nèi)部字段函數(shù)體積和調(diào)用路徑都變長。TLS 模型則簡潔得多尤其是在 ARM Cortex-M 這類硬件上picolibc 對 TLS 做了專門的編譯期支持加載 TLS 基址的指令開銷很小。理解了這一點(diǎn)你就能明白鎖支持的邊界errno 這類“每個(gè)線程各有一份”的東西TLS 能解決但 malloc 的堆、printf 的 stdout 緩沖區(qū)這類“物理上只有一份”的資源TLS 解決不了必須靠鎖。這也解釋了為什么很多嵌入式工程師以為開了編譯器 TLS 選項(xiàng)就萬事大吉結(jié)果 malloc 還是崩——因?yàn)閮蓚€(gè)問題的本質(zhì)不一樣。2. picolibc 鎖支持的底層設(shè)計(jì)拆解2.1 鎖函數(shù)家族__lock_init 到 __lock_releasepicolibc 的鎖支持其實(shí)是一組很精簡的函數(shù)接口定義在sys/lock.h里。我在實(shí)際使用中把這組函數(shù)分成三類生命周期管理、普通鎖操作、遞歸鎖操作。生命周期管理包括__lock_init和__lock_close前者在 libc 內(nèi)部初始化某個(gè)全局資源時(shí)被調(diào)用后者在資源銷毀時(shí)調(diào)用。普通鎖操作是__lock_acquire和__lock_release分別對應(yīng)“上鎖”和“解鎖”。遞歸鎖操作則是__lock_acquire_recursive和__lock_release_recursive對應(yīng)支持遞歸持有的鎖。為什么會(huì)需要遞歸鎖考慮 malloc 的實(shí)現(xiàn)堆分配器在拿到鎖之后如果分配失敗可能觸發(fā)系統(tǒng)調(diào)用系統(tǒng)調(diào)用內(nèi)部為了記賬又要訪問同一個(gè)堆控制塊這就是典型的“同一線程重復(fù)獲取同一把鎖”的場景。如果鎖不支持遞歸第二次獲取就會(huì)死鎖。還有一個(gè)__lock_try_acquire非阻塞嘗試獲取鎖用于一些不想被阻塞的路徑。嵌入式環(huán)境里這個(gè)函數(shù)使用率不高但移植時(shí)最好一并實(shí)現(xiàn)因?yàn)?picolibc 內(nèi)部某些代碼路徑會(huì)在條件編譯下引用它。函數(shù)原型作用注意事項(xiàng)void __lock_init(_LOCK_T *lock)初始化鎖在 libc 內(nèi)部資源首次使用時(shí)調(diào)用void __lock_close(_LOCK_T *lock)銷毀鎖釋放底層互斥量句柄void __lock_acquire(_LOCK_T *lock)獲取鎖阻塞式等不到就一直等void __lock_release(_LOCK_T *lock)釋放鎖必須與 acquire 成對int __lock_try_acquire(_LOCK_T *lock)嘗試獲取鎖返回 0 表示成功void __lock_acquire_recursive(_LOCK_T *lock)遞歸獲取鎖同一線程可重復(fù)獲取void __lock_release_recursive(_LOCK_T *lock)遞歸釋放鎖需要配對 count2.2 弱符號機(jī)制你的覆蓋點(diǎn)在哪里我最開始接觸 picolibc 鎖支持時(shí)有個(gè)困惑這些函數(shù)到底是誰實(shí)現(xiàn)的后來看鏈接 map 文件才搞明白picolibc 在構(gòu)建時(shí)把這些鎖函數(shù)默認(rèn)編譯成了弱符號weak symbol。也就是說如果你在工程里沒有定義自己的__lock_acquire鏈接器就會(huì)使用 picolibc 自帶的弱引用空實(shí)現(xiàn)直接返回不上鎖。一旦你在某個(gè) C 文件里定義了同名的強(qiáng)符號鏈接器的符號解析規(guī)則會(huì)優(yōu)先選擇強(qiáng)符號你的實(shí)現(xiàn)就會(huì)“無縫接管”libc 內(nèi)部的鎖調(diào)用。這個(gè)設(shè)計(jì)非常巧妙。它意味著你不需要重新編譯 picolibc不需要修改庫源碼只要在應(yīng)用層提供一個(gè)適配文件就能把鎖的底層實(shí)現(xiàn)完全替換成目標(biāo) RTOS 的互斥量。對于裸機(jī)工程弱符號默認(rèn)空實(shí)現(xiàn)也不會(huì)帶來任何代碼膨脹零開銷。但這里有個(gè)坑弱符號的優(yōu)先級只比“未定義”高。如果你在多個(gè)源文件里都定義了強(qiáng)符號__lock_acquire鏈接器直接報(bào)多重定義錯(cuò)誤。另外picolibc 版本升級后鎖函數(shù)簽名如果有變動(dòng)你的移植層代碼沒有跟著改鏈接時(shí)不會(huì)報(bào)錯(cuò)但運(yùn)行時(shí)會(huì)因?yàn)榻Y(jié)構(gòu)體大小不匹配產(chǎn)生內(nèi)存越界。我建議在移植文件里加上編譯期_Static_assert至少把結(jié)構(gòu)體大小校驗(yàn)住。2.3 構(gòu)建開關(guān)newlib-multithread 與相關(guān)選項(xiàng)雖然弱符號機(jī)制讓你可以在應(yīng)用層覆蓋鎖實(shí)現(xiàn)但前提是 picolibc 庫本身編譯時(shí)啟用了鎖相關(guān)代碼路徑。picolibc 使用 meson 作為構(gòu)建系統(tǒng)其中有一個(gè)關(guān)鍵配置項(xiàng)叫newlib-multithread。這個(gè)選項(xiàng)默認(rèn)關(guān)閉關(guān)閉狀態(tài)下picolibc 內(nèi)部的 malloc、stdio 代碼根本不會(huì)調(diào)用__lock_acquire你在應(yīng)用層實(shí)現(xiàn)了鎖函數(shù)也無濟(jì)于事。啟用方式是在 picolibc 源碼目錄下執(zhí)行 meson 配置時(shí)傳參meson setup build --cross-file cross-arm-none-eabi.txt -Dnewlib-multithreadtrue ninja -C buildcross-arm-none-eabi.txt是你自己的交叉編譯工具鏈描述文件名字按實(shí)際工程來。啟用后構(gòu)建系統(tǒng)會(huì)定義_HAVE_LOCK宏libc 內(nèi)部的多線程安全代碼路徑才會(huì)被編譯進(jìn)去。和鎖支持經(jīng)常一起提的還有兩個(gè)選項(xiàng)newlib-tls和newlib-global-errno。newlib-tls控制是否使用線程局部存儲(chǔ)模型建議開啟newlib-global-errno控制是否把所有線程的 errno 合并成一個(gè)全局變量這個(gè)強(qiáng)烈建議關(guān)閉否則 errno 又會(huì)退化成共享資源失去 TLS 的意義。我見過有人圖省事把 global-errno 打開結(jié)果兩個(gè)任務(wù)跑著跑著錯(cuò)誤碼互相污染排查半天。3. 實(shí)操在 FreeRTOS 上為 picolibc 實(shí)現(xiàn) locking support3.1 前置確認(rèn)你的 picolibc 是否啟用了鎖工程實(shí)踐里第一步不是寫代碼而是確認(rèn)你的 picolibc 是不是已經(jīng)編譯成帶鎖的版本。最笨也最可靠的方法是看編譯生成的 map 文件。搜索__lock_acquire如果出現(xiàn)的是 picolibc 庫內(nèi)部的弱符號說明鎖支持已經(jīng)啟用如果整個(gè)符號都沒出現(xiàn)說明newlib-multithread沒開或者庫內(nèi)部代碼路徑?jīng)]有引用鎖。還有一個(gè)快速判斷方法寫一個(gè)多任務(wù)壓測程序兩個(gè)任務(wù)各自循環(huán)malloc和free跑十分鐘。如果程序穩(wěn)定不崩說明鎖是生效的如果崩得快基本可以確定鎖沒啟用或者移植有問題。但這種方法有概率性不適合作為唯一判斷依據(jù)我建議以 map 文件為準(zhǔn)。另一個(gè)容易忽略的點(diǎn)如果你是自己編譯 picolibc需要確認(rèn) Thread Local Storage 相關(guān)的鏈接腳本和啟動(dòng)文件是否正確。TLS 需要鏈接器分配.tdata、.tbss段工具鏈和鏈接腳本缺一不可。用現(xiàn)成的 picolibc 發(fā)行版時(shí)一般沒問題但如果你是從源碼自定義構(gòu)建或者手工改了鏈接腳本就要留意這個(gè)。3.2 實(shí)現(xiàn) _lock* 函數(shù)一份可用的 FreeRTOS 移植代碼下面是我在 Cortex-M 平臺(tái)上驗(yàn)證過的 FreeRTOS 移植實(shí)現(xiàn)。核心思路是把 picolibc 的_LOCK_T類型直接映射成 FreeRTOS 的SemaphoreHandle_t鎖函數(shù)內(nèi)部操作 FreeRTOS 信號量。/* picolibc_lock_port.c */ #include sys/lock.h #include FreeRTOS.h #include semphr.h typedef SemaphoreHandle_t _LOCK_T; void __lock_init(_LOCK_T *lock) { *lock xSemaphoreCreateRecursiveMutex(); configASSERT(*lock ! NULL); } void __lock_close(_LOCK_T *lock) { if (*lock ! NULL) { vSemaphoreDelete(*lock); *lock NULL; } } void __lock_acquire(_LOCK_T *lock) { /* 遞歸互斥鎖防止 malloc/free 內(nèi)部遞歸路徑死鎖 */ xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); } int __lock_try_acquire(_LOCK_T *lock) { return (xSemaphoreTakeRecursive(*lock, 0) pdTRUE) ? 0 : 1; } void __lock_acquire_recursive(_LOCK_T *lock) { xSemaphoreTakeRecursive(*lock, portMAX_DELAY); } void __lock_release_recursive(_LOCK_T *lock) { xSemaphoreGiveRecursive(*lock); }這里用了遞歸互斥鎖而不是普通互斥鎖原因前面說了malloc 內(nèi)部存在同一線程重復(fù)獲取鎖的路徑。如果一個(gè)任務(wù)在持有鎖期間被更高優(yōu)先級任務(wù)搶占而高優(yōu)先級任務(wù)也調(diào)用了 lock 相關(guān)的 libc 函數(shù)非遞歸鎖會(huì)直接導(dǎo)致死鎖。遞歸互斥鎖雖然比非遞歸鎖慢一點(diǎn)點(diǎn)但在這個(gè)場景下是必需的安全設(shè)計(jì)。有一點(diǎn)要單獨(dú)提醒上面的typedef SemaphoreHandle_t _LOCK_T;是假設(shè)你的 picolibc 允許自定義_LOCK_T類型。實(shí)際工程中_LOCK_T的定義位置可能在 picolibc 提供的sys/lock.h里也可能被某些版本固定為結(jié)構(gòu)體類型。你需要先打開 picolibc 源碼里的sys/lock.h確認(rèn)一下。如果它已經(jīng)定義成類似struct _lock_t { void *handle; }的結(jié)構(gòu)體那代碼就要改成往lock-handle里塞句柄。核心邏輯不變變的是類型賦值方式。3.3 編譯鏈接與驗(yàn)證移植完成后把picolibc_lock_port.c加入工程重編整個(gè)固件。鏈接階段重點(diǎn)看有沒有重復(fù)定義錯(cuò)誤因?yàn)?picolibc 自帶的弱符號鎖函數(shù)如果沒被排除你的強(qiáng)符號會(huì)和它共存正常情況下弱符號會(huì)被忽略不會(huì)沖突。如果你同時(shí)引用了啟動(dòng)文件里的其它弱符號也不要慌鏈接器對弱符號的處理規(guī)則是“強(qiáng)符號優(yōu)先弱符號墊底”不會(huì)報(bào)錯(cuò)。驗(yàn)證程序我建議分成兩級。第一級是功能驗(yàn)證兩個(gè)任務(wù)一個(gè)瘋狂printf一個(gè)瘋狂malloc/free系統(tǒng)跑不崩輸出不亂碼初步判斷鎖生效。第二級是壓力驗(yàn)證把任務(wù)優(yōu)先級故意設(shè)置為相同的加滿調(diào)度抖動(dòng)讓臨界區(qū)競爭更激烈連續(xù)跑 24 小時(shí)以上觀察有沒有卡死或者硬件異常。這兩個(gè)驗(yàn)證通過移植物才算合格。我實(shí)際測試過這個(gè)移植層在 Cortex-M4 168MHz 上每次__lock_acquire/__lock_release的完整開銷大約 1 到 3 微秒。這個(gè)數(shù)字受 FreeRTOS 內(nèi)核配置影響如果開了configUSE_TRACE_FACILITY或者調(diào)試鉤子開銷會(huì)更高。對大部分外設(shè)交互類應(yīng)用來說這個(gè)成本可以接受。3.4 性能開銷與優(yōu)化方向如果壓測發(fā)現(xiàn)鎖開銷成為瓶頸有幾個(gè)優(yōu)化方向。第一個(gè)是縮小臨界區(qū)最容易做也最有效。picolibc 的鎖是加在 malloc 入口和 printf 出口的臨界區(qū)長度由內(nèi)部算法決定這個(gè)我們改不了但我們可以減少調(diào)用次數(shù)比如把分散的小 printf 拼接成一條大 printf把頻繁的單對象 malloc 改成批處理內(nèi)存池。第二個(gè)優(yōu)化方向是權(quán)衡是否真的需要全局鎖。比如你的系統(tǒng)里只有任務(wù) A 會(huì) malloc其他任務(wù)從來不碰堆那就完全可以把newlib-multithread關(guān)掉省掉鎖的開銷。Picolibc 的鎖是全局的它判斷不了“誰會(huì)用堆”只會(huì)無差別保護(hù)。如果你能確認(rèn)“只有一個(gè)任務(wù)觸碰共享資源”關(guān)閉鎖支持就是最徹底的優(yōu)化。第三個(gè)方向是研究configUSE_MUTEX_ATTRIBUTES和 FreeRTOS 的優(yōu)先級繼承。普通互斥鎖有優(yōu)先級反轉(zhuǎn)問題低優(yōu)先級任務(wù)持鎖高優(yōu)先級任務(wù)等鎖中優(yōu)先級任務(wù)搶占低優(yōu)先級任務(wù)導(dǎo)致高優(yōu)先級任務(wù)被間接卡住。FreeRTOS 的互斥鎖內(nèi)置優(yōu)先級繼承機(jī)制但遞歸互斥鎖的行為略有不同。在強(qiáng)實(shí)時(shí)場景下你需要評估鎖的持有時(shí)間盡量把持鎖操作縮短到微秒級別。4. 常見問題與排查技巧實(shí)錄4.1 問題速查表我整理了鎖支持移植和運(yùn)行中最常見的幾類問題做成速查表。這些問題分散在論壇和 issue 里我匯總成一張表方便你對照排查?,F(xiàn)象可能原因排查方法解決方案鏈接錯(cuò)誤undefined reference to__lock_acquirepicolibc 編譯時(shí)未啟鎖支持看構(gòu)建配置確認(rèn)newlib-multithread是否開啟重新編譯 picolibc開啟多線程鎖選項(xiàng)多重定義錯(cuò)誤多個(gè)強(qiáng)符號__lock_acquire移植文件被重復(fù)加入工程檢查編譯日志里的文件列表只保留一個(gè)移植源文件malloc 頻繁崩潰HardFault 在 free 函數(shù)鎖未生效堆鏈表競爭查 map 文件中鎖符號來源確認(rèn)庫版本帶鎖移植正確實(shí)現(xiàn)printf 輸出亂碼、截?cái)鄐tdout 緩沖競爭兩個(gè)任務(wù)同時(shí) printf 壓測實(shí)現(xiàn)鎖函數(shù)或任務(wù)內(nèi)串行化輸出系統(tǒng)跑一段時(shí)間后死鎖鎖實(shí)現(xiàn)用了非遞歸鎖在死鎖現(xiàn)場查看任務(wù)棧換成遞歸互斥鎖中斷里調(diào)用 printf 導(dǎo)致系統(tǒng)掛起鎖在中斷上下文阻塞檢查中斷是否調(diào)用了 libc 函數(shù)中斷里禁用帶鎖的 libc 調(diào)用4.2 死鎖排查從 printf 卡死到優(yōu)先級反轉(zhuǎn)有一次我們的設(shè)備在現(xiàn)場升級時(shí)死機(jī)了復(fù)位后抓取調(diào)試信息發(fā)現(xiàn)卡死在__lock_acquire里。當(dāng)時(shí)第一個(gè)反應(yīng)是鎖沒有釋放但用調(diào)試器把任務(wù)列表打出來發(fā)現(xiàn)占用鎖的任務(wù)處于阻塞狀態(tài)而且它阻塞的原因不是在等這把鎖而是在等一個(gè)串口發(fā)送信號量。這就觸發(fā)了典型的優(yōu)先級反轉(zhuǎn)嵌套死鎖任務(wù) A 持有 malloc 的鎖調(diào)用串口發(fā)送等待串口信號量任務(wù) B 在串口中斷服務(wù)里觸發(fā)了一個(gè)快速 malloc嘗試獲取 malloc 的鎖但拿不到而串口信號量恰恰需要任務(wù) B 釋放于是形成了 A 等 B、B 等鎖的循環(huán)。這個(gè)案例讓我意識到只實(shí)現(xiàn)鎖函數(shù)是不夠的還要確保鎖的持有路徑上不要再次等待其他任務(wù)持有的資源。排查死鎖的常規(guī)思路是記錄鎖的持有者和等待鏈。我在工程里加了一個(gè)簡單跟蹤每次__lock_acquire進(jìn)入時(shí)記錄當(dāng)前任務(wù)句柄和調(diào)用 PC放在一個(gè)環(huán)形緩沖區(qū)里每次__lock_release清掉記錄。死鎖發(fā)生后用調(diào)試器查看緩沖區(qū)直接看到誰在持鎖、誰在等鎖問題定位效率提升很多。這些小工具平時(shí)看著多余關(guān)鍵時(shí)刻能救命。4.3 性能陷阱鎖函數(shù)實(shí)現(xiàn)不當(dāng)導(dǎo)致系統(tǒng)吞吐驟降還有一類問題不是崩潰而是“慢”。日志任務(wù)本來每秒能刷幾百條記錄加了鎖支持之后掉到三四十條。一開始懷疑是鎖本身開銷太大后來測出來根本不是是鎖函數(shù)里用了不該阻塞的調(diào)用路徑。我在移植實(shí)現(xiàn)里一開始用的是普通信號量xSemaphoreTake這個(gè)函數(shù)在鎖被占用時(shí)會(huì)觸發(fā)任務(wù)切換和調(diào)度器操作頻繁競爭時(shí)開銷被放大。后來改成xSemaphoreTakeRecursive并且確認(rèn)在持有鎖期間不會(huì)主動(dòng)讓出 CPU吞吐才恢復(fù)正常。本質(zhì)上不是函數(shù)多了幾行而是臨界區(qū)里不能做任何可能阻塞的調(diào)用否則整個(gè)系統(tǒng)的調(diào)度水位會(huì)迅速惡化。另一個(gè)性能相關(guān)的問題是中斷環(huán)境。FreeRTOS 的互斥信號量不能在中斷服務(wù)程序里使用因?yàn)閜ortMAX_DELAY這類阻塞參數(shù)在中斷上下文是無效的。如果你在中斷里調(diào)用了 printf并且 printf 背后走了帶鎖的 stdio 路徑系統(tǒng)行為就會(huì)變得非常詭異有時(shí)候返回錯(cuò)誤有時(shí)候直接卡死。我后來在中斷處理里統(tǒng)一改成寫無鎖環(huán)形緩沖區(qū)中斷外再做格式化輸出徹底繞開了這個(gè)坑。再補(bǔ)一個(gè)經(jīng)驗(yàn)如果你的工程同時(shí)使用多個(gè) RTOS 組件比如 lwIP 或者文件系統(tǒng)棧它們的鎖機(jī)制和 picolibc 鎖是完全獨(dú)立的兩套東西。picolibc locking support 只管 C 標(biāo)準(zhǔn)庫內(nèi)部網(wǎng)絡(luò)協(xié)議棧的內(nèi)存池、文件系統(tǒng)緩存都有自己的保護(hù)機(jī)制不要混為一談。我見過有的開發(fā)者以為“開了 picolibc 鎖整個(gè)系統(tǒng)就線程安全了”這是誤解。每層資源需要各自的鎖策略。4.4 一個(gè)隱藏已久的坑TLS 變量的初始化時(shí)機(jī)最后說一個(gè)比較冷門但影響很大的坑。TLS 模型下errno 是每個(gè)線程的線程局部變量但它的初始化依賴 RTOS 創(chuàng)建任務(wù)時(shí)為任務(wù)棧預(yù)留的 TLS 空間。如果 FreeRTOS 的configTLS_BLOCK_SIZE配置不對或者任務(wù)創(chuàng)建函數(shù)沒有正確地向任務(wù) TCB 注冊 TLS 塊那線程訪問 errno 時(shí)會(huì)讀到未初始化的內(nèi)存可能是一個(gè)隨機(jī)值也可能是別的任務(wù)寫過的殘留數(shù)據(jù)。這個(gè)問題不會(huì)像崩潰那么明顯它表現(xiàn)為某個(gè)任務(wù)偶爾拿到錯(cuò)誤的 errno且錯(cuò)誤碼和實(shí)際錯(cuò)誤毫不相關(guān)看起來完全是隨機(jī)的。排查時(shí)很容易懷疑是業(yè)務(wù)邏輯 bug反復(fù)看代碼也找不到問題。我最后是在一個(gè) FAE 的提示下檢查了任務(wù)創(chuàng)建時(shí) TLS 塊的大小和 picolibc 預(yù)期的 TLS 大小是否匹配才定位到根因。具體做法是在鏈接腳本里記錄.tdata和.tbss的總大小然后把這個(gè)值配置到configTLS_BLOCK_SIZE中。你在移植 picolibc 到 FreeRTOS 時(shí)這一步千萬不要漏。5. 我的移植經(jīng)驗(yàn)與收尾建議說實(shí)話picolibc 的 locking support 并不復(fù)雜真正的復(fù)雜度在于理解 libc 內(nèi)部的共享資源到底有多少以及你的 RTOS 調(diào)度行為和鎖之間的相互作用。每次換一個(gè) RTOS、換一塊硬件平臺(tái)我都建議重新走一遍完整的移植和壓測流程不要想當(dāng)然地拿上一版代碼直接拷過去。就我自己的經(jīng)驗(yàn)而言有一個(gè)比較穩(wěn)的組合配置TLS 保持開啟global-errno 關(guān)閉newlib-multithread開啟鎖底層使用 FreeRTOS 遞歸互斥鎖并且移植文件里只做鎖的獲取和釋放不做任何日志、不做調(diào)試打印。這樣既保證了線程安全又把移植層的不可控因素降到最低。如果你在移植過程中遇到特別怪異的現(xiàn)場優(yōu)先懷疑鎖的持有路徑其次懷疑 TLS 初始化最后再懷疑工具鏈鏈接腳本。這三步走完絕大多數(shù)問題都能水落石出。最后再分享一個(gè)我個(gè)人的小習(xí)慣在項(xiàng)目早期就把 lock 壓測代碼放進(jìn)自動(dòng)化構(gòu)建流程里每次 BSP 變更后跑一遍。這種問題一旦藏在系統(tǒng)深處越晚發(fā)現(xiàn)代價(jià)越大早發(fā)現(xiàn)反而最省時(shí)間。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
熟妇视频一区二区三区在线观看| 亚洲第一页色网| 97人妻色| 亚洲毛片基地专区| 久久一二三四不卡 | 亚洲性网| 清纯唯美第一页| 免費人妻夜夜爽天天爽爽一区| 超碰在线观看av不卡| 国际精品久久久| 欧美狠狠操| 精品成人亚洲午夜电影| 成人羞羞视频国产| 97这里都是精品| 中文乱码字幕观看| 久久精品中文| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 人人操我人人干| 亚洲影视高清第一页| 综合色播| 丁香六月激情| 26uuu性物| 天天92av| 激情文学亚洲| 欧美色色人| 97爱免费插| 亚洲中文字幕精品久久久久久直播| 久操电影| 啊v在线观看视频| 中文字幕97色| 蜜臀AV成人精品蜜臀| 人人摸人人干| 色吧综合网| 久久九九视频九九视频| 精品成人动漫一区二区| 午夜国产乱伦视频| 2018天天干在线视频| 啊啊啊啊啊啊在线观看| 久久粉色| 一级性爱网| 久久精品国产亚洲av水密被窝| 天堂精品小草| 亚洲色资源| 日本一区二区电影网站| 日韩av电影网站| 国产精品动态一区二区三区四四| 少妇色综合| 亚熟hd视频在线| 欧美熟妇视频| 久啪| 人妻免费观看| 国产精品97超碰| 97久久国产亚洲精品超碰热| 台湾佬中文娱乐网久久久久久久久久com| 欧美专利1区2区3区4区5区免费| 男人的天堂.com| 夜夜嗨AV一区天天| 人妻无码久久一区二区三区免费| 美美91成人国产精品欧美精品久久久久久久 | 日韩偷拍色图| 日韩中文字幕熟妇人妻| 韩国国产欧美情侣视频在线| 在线啊啊啊| 深爱伊人影院| 欧美偷拍| 精品少妇人妻av久久免费| 乱论91| 久久五月天婷婷丁香中文字幕| 男人女人18禁片免费看网站| 精品一二三区久久AAA片| 26uuu欧美日韩| 久久受www免费人成| A级片日韩欧美国产欧美视频精选观看| 亚洲 欧美 第一页 | 午夜男人的天堂| av中亚| 最新无码国产| 国产呦精品一区二区三区下载| 亚洲激情综合| 亚洲区限制级| 欧美图片校园春色| 家庭乱伦国产精品| 中文字幕jul-617人妻熟女| 免费观看啪视频| 亚洲日韩av一区二区三区百合| 97超碰久| 亚洲伊人久久综合97| 强奸乱伦AV网址| 99久久精品无码一区二区| 亚洲欧美在线观看2021| 超碰97网址| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 秋霞成人一级在线观看| 欧色综合| 97超碰9| 日韩成人精品| 超碰97起碰| 中文熟女五十乱码在线| 91P0RNY大屁股人妻| 牛牛aV| 中文字幕加勒比海高清无码免费视频| 亚洲精品九九九九九九| 欧美后入| 亚洲……91| 精国久久一区二区三区98| 99热这里只有精品1| 日韩免费高清大片在线| 欧美三级一级| 超碰在线1234区| 亚洲无码偷拍| 香蕉视频精品亚洲一区二区三区在线播 | AV网站高清无码在线观看| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 久久爽爽精品| 不卡中文字幕aⅴ在线| 蜜乳AV网址| 精品97久久综合| 色噜噜狠狠色综无码久久合欧美| 99操逼| 日影院久久婷婷夜夜网| 免费观看性欧美一级| 开心五月激情网| 亚洲网污污污污| 久九9精品| 最新国内自拍av免费| 综合色播| 九热中文字幕| 黄色污污污污污污网站| 91亚洲综合| 亚洲av无码成人精品国产| 亚洲AV不卡在线观看尤物| 色吧91| 九九热免费视频| 中文字幕免费在线观看| 97香蕉碰碰人妻国产欧美| 欧美人妻色| 亚洲影院成人| 日韩av三四区| 久久国产熟女影院| 有码人妻系列| 国产美女自拍AV| 狠狠热这里都是精品| 精品九九九| 在线观看AV不卡| 精品人妻一区二区三区视频在线| 2018色综合天天操| 亚洲在线91| 伊人色综合网电影| 诱惑网综合| 懂色AV一区二区三区| 欧洲视频在线| 欧美亚洲综合色| 亚洲精品九九九| 亚洲午夜免费狠狠干| 欧美人妻制服| 少妇 综合| 污色区网站| 这里是精品| 91啦人妻| 大香蕉92| 九九视品黄色| 自拍偷拍草一草| 亚洲AV色图一区| 超碰人人在线| 性爱视频无打码在线观看| 欧美高清在线| 97亚洲欧美日韩| 99久久久er直播网址| 91操熟妇| 嗯嗯啊啊操死我| 欧美精品日韩久久久九| 欧美另类天堂| 2025亚洲男人天堂| 污污汅18禁网站在线永久免费观看 | 操逼操操操91| 蜜桃香蕉久草精品在线| 久久久久精| 亚洲啪啪视频一区二区| 久久久新亚洲AV| 超碰这里只有精品| 免费伦费视频在线观看| 男女国产精品| 美女AV一区二区| 国产精品无码久久久久2025| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区 | 综合色播| 青草草免费网站av| 78操B| 国产青青美女玩逼视频| 夜夜嗨一区二区| 黑人美精品 A片| 蜜臀久久久99久久久久| 久久爽爽精品| 91性高| 大香蕉九九| 久久精品中文字幕观看| 欧综合网| 9I1性色影院| 精品一国2| www色色com| 国产高清在线观看欧美| 蜜乳视频网站| 91亚洲色图| 91人妻久久久久久久久久久久久| 99热这里只有精| 亚洲欧美日韩精品久| 日韩一级二级三级免费看完整版| 新怡红院| 婷婷激情丁香| 天美传媒精品久久视频| 91影视亚洲| 91在线视频免费中出| 搡老女人老妇女AAA一VU麻豆| 成人情色综合网| 欧洲自拍色图gif在线| 精品少妇后入一区二区三区四区人妻巨乳| 日本狠狠干| 亚洲AV成人无码一区二区三区在线观看| 国产无码精品高清| 麻豆视频国产一区二区| 亚洲啪啪综合?v一区综合精品区| 日韩欧视频| 超碰综合97在线| 久久九操在线观看| 亚洲的天堂网| 99www.bibizy香蕉资源国产一区二区三区高清 | 六月婷婷综合| 天天舔天天 | 啊啊啊操死我| 亚洲加勒比色图| 蜜臀久久99'精品久久久| 亚洲熟久久| 操操操操网黑人| 天堂日本亚洲欧美| 亚洲欧洲色情高清| 中文字幕女同在线| 亚洲文学偷乱拍啪啪啪啪| 黄片www视频免费| 欧美97爱| 黄色电影在线播放综合网站| 日本激情免费大片| 国产精品久久伊人| 五月丁香影院| 国产嫩草精品A88AV在线| 亚欧中文字幕在线视频| 天天碰操中国年青熟妇| 97碰碰日本乱偷人妻中文的| 欧美日韩国产电影| 九99久久| 夫妻天天操岛国视频| 久久9久| 欧美亚洲国产91在线| 热久久国产| 岛国片在线视频网站| www.91逼逼.com| 久久精品亚洲成a人天堂| 99久久99九九99九九九| 97超碰国产精品| caopeng97| 老鸭窝亚洲毛片| 精品小视频在线| 91熟女视频网| 中国一级特黄大片护士| 欧美一级做a爰片免费视频| 玖玖视频在线资源一区二区三区| 国产超碰在线一区| 欧美日综合| 午夜操逼不卡| 日韩成人电影AV| 久久久9品一区二区三区| 天天操天天射青青草| 超碰天天操| 男人天堂新| 日韩无码三级影院| 亚洲一区二区三区久久 亚洲一区二区| 国产玖玖| 天天躁夜夜躁狠狠躁AV| 亚洲一区操| 思思性爱| 和协影院中文字幕三区| 99热一区二区三区四区| 国产大学生口爆吞精合集| 99精彩视频| 麻豆 亚洲 97| 最新日本中文字幕| 婷婷伊人| 美女黄页网站| 日韩国产中文字幕| 久久久久9999妇女| AV乱伦国产| 国产懂色精品国产av| 日韩精品人妻系列无码天堂| 97超碰超碰| 国产精品自在自拍视频| 欧亚日韩三区| 伊人网青青| 日本有码久久| 亚州性色| 99热综合在线| 日本欧美国内在线| 超碰在线1234区| 日韩美女啪啪一区| 色第一页| 亚洲无码国产探花在线观看| 97亚洲综合电影| 亚洲中文字幕av| av无码av无码专区| 欧美久久人妻少妇一区二区| 成人av福利在线观看| 国产91美女高潮| 蜜臀网址在线| 中文字幕视频在线观看一区二区| 久久只有精品| 乱老熟女一区二区三区| 亚洲欧洲综合av在线| 老熟妇综合| 91宗合网| 大香蕉十区| www.亚洲黄色| B049AV在线播放| 99久久婷婷丁香| 伦在线97| 久草视频分类在线| 日本操逼视频免费| 大香蕉色欲AV| 成人av动漫在线观看| 久久亚洲熟妇在线视频| AV在线性爱| 啊啊啊好舒服视频在线观看| 影音先锋乱| 蜜臀99久久国产| 91快色色色色色| 91M一社| 啪啪视频mP4| 强奸抽插av| 亚洲熟女乱熟乱熟妇综合网二区| A级毛片在线看免费| 四虎免费看黄| 日韩成人电影AV| 一级二级在线观看| 91久久久老司机| JULIA一区二区三区在线播放| 国产又大又粗又长视频| 国产久久一区二区午夜| 亚洲成人性爱在线观看| 久久久久久久精| 青青草视频久久| 13小男生GAY自慰脱裤子| 亚洲在高跟鞋自慰久久在色线| 国产真实野战在线视频| 久久精品国产亚洲5555| 干美女人妻| 日本天堂网| 国产欧美一级在线观看| 精品在线78| 久草资源在线视频官方总站日韩丝袜美腿 | 女性91网站| 97爱碰| 992这里有精品| 天天看天天在线精品| 久久成人东京热人妻| 国产传媒1234区| 乱伦AVxx| 超碰天天久久79| 熟女啪啪视频| 啊啊啊啊免费视频| 蜜乳AV一区| 蜜桃视频一区二区三区| 久久成年片色大黄全免费网站| 日本三级久| 天天影视之亚洲综合网| 亚洲人在线成线成人| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 欧美日本中字另类在线| 亚洲 欧美 色图| 男人的天堂网页| 97超碰大| 东方亚洲在线操逼天堂| nuu12国产麻豆精品| 四季AV一区二区凹凸精品小说| 人妻天天爽夜夜爽2| 婷婷五月天成人| 欧美亚洲se91| 日本性感人妻91| 狠狠干精品一二三四五六2022| 色五月婷婷色| 久久是精品| 久久精品国产96精品亚洲拳交| 欧美在线中M| 亚洲毛片一级带毛片基地| 在线五区| 98一区二区精品| 人人操人人摸人人看人人插| 日本精品性生活久久久| 久久99午夜精品一区人妻| 1024精品在线| 五月天激情网图片| 欧州一区二区三区四区| 亚洲熟久久| 婷婷天堂站| 看免费一级在线播放毛片| 久久骚| 色婷五月天| 97在线观看播放视频| 欧美精品亚洲精品日韩传电影| 久久精品国产72国产精品福利| 九九热三级片| 亚洲天堂综合AV| 国产高清MV操逼视频| 国产精品成人午夜福利| 小明看看网址| 亚洲天堂人妻一区二区| 欧美一级做a爰片免费视频| 一卡二卡在线播放| 亚洲色悠悠久久88| 99热精品青草在线| 天天爽人人综合免费7799| 八戒无码国产午夜福利| 中国AAAAAA黄色片| 欧美日韩 强奸乱伦| 免费黄色A片| 香蕉免费一区二区三区不读| 熟妇操花| 电家庭影院午夜69久久夜色精品国产69乱| 蜜桃久久久久久| 亚洲成人AB| 欧美亚洲系列| 国产久久成人| 无遮挡h肉动漫在线观看| 女人被添高潮免费视频| 男人的天堂2018东京热啪啪啪| 强奸乱伦av电影| 欧美亚洲首页| 国产农村妇女精品1区二区| 欧洲亚洲国产综合在线| 精彩久久中文| 日韩亚洲美州欧洲综三区一品在线| 人妻少妇久久久| 福利视频香蕉免费一区二区在线| 亚洲91网| 亚洲一区操| 一本色道久久天天射天天干| 97欧美视频| 亚洲日韩精品久久久久一区壹牛 | 天天摸夜夜摸| 97亚洲资源| 色香综合天天影视综合 | 日本色婷婷| 日韩久久三区| 成人热久久精品| 国产人妻精品一区二区三区秋霞| 熟女熟妇一区二区三区视频| 久久青青草在线视频| 国产一区二区成人av在线播放| 久热在线精品免费观看| 亚洲夜夜欢无码一区二区| 五月天激情婷婷| 五月天色色网站| 国产传媒日本欧美专区| 久久日韩肥臀| 精品国产Av无码久久久伦古装| 1人人看人人摸人人操| 中文字幕 国产区| 日韩钢筋无码高清啾啾啾| 亚洲精品国产熟女久久久| 国产精品自拍视频| AV电影在线播放| 欧美亚洲一区二区久久久婷精品大包诱| 2017超碰| 欧美亚洲激情| 国产强奸乱伦无码视频| 欧美性视频二区三区| 久草色悠悠在线视频| 青青草视频久久久久| 久久人妻丝袜一区二区三| 全球成人中文在线| 东京热综合久久一区二区| 日韩少妇一区二区三区| 大香蕉色欲AV| 色九区| 激情欧美97| 91精品91久久久中77777| 欧美性巨大╳╳╳╳╳高跟鞋| 一级毛片电影免费看| 91视频观看网站| 天天操天天舔| 久久久 国产精品| 中文字幕日韩人妻视频一区二区三区| 3p国产色噜噜一区| 婷婷操逼| 激情四射熟女丝袜| 免费试看60秒| 亚洲精品97| 国产精品女生av| 超碰色97| 精品国产一级久久| 黑人精品XXX一区一二区| 啊啊啊啊啊啊啊啊啊啊在线观看| 日韩成年人性爱视频| 中文字幕在线观看第二页| 亚洲精品自拍| 97视频在线观看网站| 东京热男人的天堂精品| 啊啊啊轻点在线观看| 中文字幕大片三级狠狠干| 亚洲97成人在线观看| 狠狠2050在线观看| 精品午夜福利| 综合97亚洲| 久久伊人东京热| 小情侣高清国产在线视频| 亚洲综合97| 东北操逼| 91精品人妻一区二区三区蜜桃臀| 欧美天天弄| 婷婷九月丁香| 97日视频| 情色AV电影| 久久一区二区三区入口| 久久精品国产Aⅴ| 精品少妇高潮久久| 亚洲s色图| 精品人妻一区二区乱码一区二区| 日韩性爱视频免费在线| 人人么人人操| 欧美在线综合| 91/欧美| 中日韩久久人妻一区二区| 99色色| 国产一区二区三区高清视频| 欧美久久久| 五月天啪啪| 熟妇操花| 丁香五月色| 上海一级黄片| 成人精品一区二区91毛片不卡| 2020国产精品| 六月婷婷色综合| 精…码一二三区| 一区二区三区在线资源| 蜜臀久久99精品久久久久久酒店| 亚洲AV高潮| 欧美中文综合| 91男女| a一区二区三区乱码在线| 先锋精品av色鲁| 尤物视频网 刘玥| 日本熟女中文字幕一区| 97色97好| 啊啊啊 在线| 麻花传媒免费网站在线观看| 亚洲国产一区二区入口| 男插女青青影院| 偷拍新久久| 久久久久网站-538在线视频-欧美永久乱码 | 亚洲成人AB| 久久久久99精品成人片蜜臀| 久久精品超碰| 国产毛片片精品天天看视频| 激情黄色片在线观看| 综合在线导航一区| 九九人人操| 欧美综合区| 一区二区三区四区免费视频| 人妻少妇精品一区二区三区| 操我啊啊啊啊啊| 男人的天堂色偷偷青青草视频婷婷网| 韩日精品福利视频一区不卡在线免| 中文有码第五页| 刺激性视频黄页| 欧美一区二区福利在线| 黑丝内射一区二区三区| 日本欧美色| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 久久国产精品视频| 日本乱人伦片中文三区| 色色五月婷| 欧美激情片一区二区| 色爱综合网欧美| 国产日本一区二区三区蜜臀在线观看| 亚洲毛片一级带毛片基地| 精精夜夜| 欧美第一页| 黄片免费久久久久久久| 成人熟女区| 人人爱人人乐人人操| 精品v日韩欧美国产| 啊啊啊啊在线观看网址| 亚洲欧洲日韩中文字幕一区| 熟女突然公开看18禁影片| 青青操综合网| 88xx成人精品视频| 精品无码久久久久久国产浪潮| 国产精品第一区第一页| 日韩,欧美,中文在线| 97干在线| 欧州色图区| nuu12国产麻豆精品| 日韩精品在线观看网站| 精品人妻一区二区三区在| 熟女突然公开看18禁影片| 亚洲极品| 五月丁香六月激情| 亚洲中文字幕在线视频一区二区| 青娱乐欧美激情一区二区| 激情综合五| 沈阳熟女高潮对白视频| 天天操天天干一区二区| 天天操天天舔| 亚洲第一在线视频| 欧美人妻少妇| 夜夜爽爽爽| 日韩精品一二三| 亚洲乱色视频一区、二区在线| 97超碰欧美中文字幕| 亚洲欧美精品一区天堂久久 | 欧美亚洲综合高清在线| 男人的天堂在线2| 另类图片欧美激情综合| 91男同| 日韩精品.久久精品.AV女优.天美传媒| 大色网久久| 97干天天| 亚洲。日韩。欧美| 3p国产欧美99热| 国产精品成人无码a v毛片| 噜噜噜亚洲精| 婷婷五月天无码 | 中文字幕人乱码中文字的预防方法 | 曰本人妻人人澡人人夹| 一本色道久久综合熟妇| 中文乱码字字幕在线第5页| 嗯嗯嗯啊啊啊干死我吧| 久热久一区二区三区| 午夜高清成人在线视频| 天天肏天天干| 超碰色97| 久久久96| 黄色无码高清黄色无码网站| 亚洲骚男同com| 欧美无圣光在线| 中文字幕视频2区| 青青草在线视频人人想人人上| 不卡免费av在线播放| 中国国国产一级特黄毛片| caoni国产亚洲av| 91制服丝袜| 日韩极品无码B| 亚洲日韩久久精品一区| 最近2019中文字幕国语免费版| 人人摸人人干| 丰满人妻无码一区二区三区| 资源新线在线天堂| 性性久久| 国产外初女出血视频| 亚洲色图欧美| 欧美精品在线观看| 97在线公开视频| 中文字幕亚洲在线一区| 超碰 国产熟女精品一区| 一区二区精品日韩欧美在线观看| 超碰久久.com| 欧美天天干| 欧美三级中文字幕hd| 国产精品在线一区二区| 国产视频97| 特级特黄一级毛片免费| 天天92av| 亚州欧美另类| 欧美极品色| 日韩久久艹| 婷婷五月天_亚洲小说欧美激情另类_精品久久国产字幕 | 成人性爱AV在线免费观看| 欧美v日韩v亚洲v最新在线| 欧美18 在线观看| 亚洲激情av| 婷婷色香| 97欧美精品| 丁香婷婷啪啪| 91国内外在线| 五月情色天| 91free福利| 欧洲亚洲综合| www..com操老师| 有码人妻系列| 亚洲男人天堂视频| 老司机老司机午夜影院| 99色婷婷| 青草精品视频日本久久久久网站在线| 天天躁日日躁xxxxx| 精品99999久久久久久| 亚洲欧美伦综合| 国产久久久久久久久一区二区| 超碰久久精品| 日本阿v天堂在线观看| 大奶啊啊好爽 | 久久男人的天堂| 操逼1区| 91色堂| 亚洲精品乱码久久久久久蜜桃麻豆| 91网站18在线| 亚洲制服欧美另类内射| 后入福利视频| 九久9精品| 曰韩人妻中文字幕在线| 大香蕉综合| 日本Xx性爱| 91色插| 五月丁香综合网| 亚洲电影中字一区二区| 成人欧美日超碰| 极品美女福利在线观看| 婷婷10月天青娱乐| 免费看污网站| 中日韩欧美精品无码AⅤ一区二区| AV男人天堂网| 久久九九综合| 久久久亚洲熟妇资源| 超碰碰小说97| 91肏屄网| 无码av永久免费专区网站| 免费久久一级毛片大黄| 91色婷婷综合久久中文字幕二区| 东京太热久久久| 99超碰碰| gogogo免费高清看中国国语| 欧美性爱日韩性爱| 色色九区| 性色亚洲| 一级性爱网| 久久精品国产亚洲粉嫩| 色偷综合| 内射卯月麻衣| 天综合网| 992这里有精品| 99热销国产这里有精品| 欧美日韩色图片| 欧美日韩在线视频网站| 天天cao在线| 国产麻豆一级精品视频| 操婢日韩| 国产 亚洲 丝袜 制服| 亚洲无码日韩电影| 玖玖在线视频| 精品午夜福利国产一区二区在线观看| 丁香九月激情啪| 校园春色第一页| 久久久一区二区三区三州| 欧美一级三级| 国产一级αv免费看片| 亚洲欧美综合区自拍另类| 人人操人人操人人人操| 欧美国产精品久久九九| J?P?NESEHD熟女熟妇伦| 欧美日韩啪啪电影| 中国少妇XXXX做受| 欧美日韩性爱操大逼| 五月婷婷久久综合| 99精品网| 91色图片| 亚洲色天堂九9| 99re6在线视频播放免费精品| 丝袜狠狠草尤物人妻av91| av亚洲天堂资源网站| 精品人妻一区二区免费蜜桃| 99热官网| 中文字幕-区二区三区四区视频中国| 国产又大又粗又长视频在线| 欧美夜色| 久久黄人人爽视频| 人人做,人人操,人人摸| 精品少妇一区二区三区在线视频| 激情综合久久| 9久精品视频在线观看| 欧美东京热青青草| 性色av蜜臀av色欲aV| 婷婷五月在线视频| 免费成人在线熟妇网| 欧美日韩资源| 草草影院最新网址| 吻戏激情性巴克| 九9热伊人| 女性喷水高潮在线观看| 99操逼| 国产情色在线| 国产美女在线精品免费看| 国产精品视频91久久| 深爱激情五月天| 中日韩久久久免费看| 综合久久久久久久综合网| 91色碰| 97欧美日韩| 久久国产视频性吧| 啊啊啊不要好爽日韩无码一区| 超碰免费人妻在线| 色欧美天天| 91第一页| 欧美久久九九| 国产三级片在线观看| 91校园春色长篇| 一本色道熟妇| 亚洲欧美精品一区天堂久久 | 78p欧美| 九九av| 爱射综合| 啊啊啊啊啊操我视频| 制服乱伦| 亚州操操穴网| 东北女人的毛片| 天天综合网站| 玖玖久久久| 五月婷婷六月丁香| 性videos欧美熟妇hdx| 91美乳| 亚洲成人久久一区二区| 午夜亚洲| 亚洲最大黄网| 精品亚洲一区在线观看| 久草成人影片| 无码聚合| 日本在线伊人啪啪| 夜色AV无码手机在线影院| 日本欧美韩国日产片片在线看免| 欧美成人都市人妻| 日本美女性生活久久久久久久| 哈哈操电影| 亚洲免费日韩在线一区二区| 人人模人人看| 天天草AV| 加勒比大香蕉视频在线| 人人做天天爱| 欧美牲| 乱欲性色| 高清不卡国产| 色色操| 国产人妻天天干精品| 五月天我淫我色av| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 尤物黄色在线观看网站| 亚洲欧美中日韩| 大香蕉伊人久久| 人人模人人看| 精品人妻一区二区三区视频在线| 97国产超湿| 久久艹逼视频| 午夜亚洲国产理论秋霞| 国产精品久久久久久久久久久久久久吹| 99热综合| 久操热| 久久久久久久久成人av解说| 激情 欧美 亚洲 小说| 17c嫩草51久久91嫩草| 97超碰欧美中文字幕| 岛国天天午夜影院传媒网| 精彩久久中文| 久久久精品无码亚免费| 天堂中文日本在线观看| 永久免费发布性爱网| 国产精品国产自产高清AV| 2017人人操,人人摸| 国产亚洲深夜激情| 九九精品99| 免费1级a做爰片观看| 黄色视频60分钟| av日韩在线观看电影| 草草网站影院白丝内射| 极品尤物女神在线观看| 国产免费一区二区在线A片视频| 性爱av在线免费观看| 亚洲国产精品久久久久久久久久| 六月婷婷综合| 久久九九一区二区三区成人| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 99久在线精品99re8热视频在线| 国产精品又黄又猛又粗| 欧亚揄拍偷拍精品视频| 无码 黑人一区二区三区| 亚洲日韩久久精品一区| 操操啪| WWW.操逼.COM| 亚洲激情色片| 久热无码| 日本三级一区二区 在线| 992大香蕉| 91在线无码精品秘 软件| 国产精品久久9| 91撸色网 玖玖网 欧美| 欧美在线亚洲| 99久久久er直播网址| 少妇高潮99p| 99啪啪| surenchaopeng| 9.1小视频| 亚洲国产欧美一区二区潘金莲 | 国产成人天堂| 淫纸中9区| 亚洲日韩国产欧美综合v| 91性生活久久久| 伊色久人大在线| 久久只有精品一区二区三区| 亚 欧 美 综合| 97久久资源| 亚洲综合在线高清| 久久久久深夜无码| 亚洲欧美综合网站| 欧美一级特黄淫片在线观看| 深爱五月婷婷| 久久老熟女| 日韩精品区二区三区不卡| 区一在线观看| 中文字幕人妻资源在线| 强奸少妇AV导航网| 精品无码一区二区三区| 久草婷婷| 夜色AV无码手机在线影院| 97超级色碰碰| 丁香五月天堂网| 怡红院成人av| 国产传媒操逼视频| 久久亚洲天天做| 九月丁香综合网| baiduhicn.com。| 成年女人18级毛片毛片免费观看| 国产女主播视频在线观看| 这里只有精品视频在线观看麻豆 | 久久丁香五月婷婷| 日产成人久久| 国产欧美伊人| 国产中文大片资源中文字幕| 日韩女模中文造逼| 超碰色综合| 欧美性天天影院| 天美AV片| 国产浮力影院第1页| 国产成人在线观看网址| 精品91摸| 色999亚洲人成色| 大香网站| 麻豆久久一区二区三区| 久久精品男人的天堂| 怡红院怡春院| 人妻AV在线| α√在线| 日欧亚洲二三区大片不卡| 欧美性爱超碰97| 亚洲91综合| 久久一二三四不卡 | www.91人妻.com| 人妻久久一区二区三区 | 日本一级黄色电影| 97欧美综合| 蜜臀久久99'精品久久久| 成人色女网| 少妇一区二区三区在线观看| 国产后入精品| 青青草视频这里只有精品| 综合激情婷婷| 五月综合激情网| 免费观看的av| 91麻豆天美国产欧美日| 激情婷婷丁香| 99热这里只有精| 97久久超碰国产网站| 逼操网站| 日韩人妻精品久久久久| 欧美日韩婷婷中文| 亚洲第一男人天堂| 欧美日韩亚洲一区二区在线观看| 久悠悠av| 91N综合网| 亚洲色啪| 欧美超碰97| 欧美色色色| 情色大香蕉| 国产狂喷潮在线精品| 乱伦日本中文自拍| 亚洲精品a人片在线观看视| 无码国产精品午夜不卡(| 国产成人精品日本视频| 精品国产丝袜一区二区三区乱码| 国产CHASE男男GAYGA 毛多色婷婷| 大香蕉AV在线| 亚洲图片欧美制度| 中文字幕一区 二 区 三 四 五 区日 日 骚| 亚洲天堂 视频你懂的| 日韩精品色呦呦| 国产最新小视频在线播放下载| 精品国产一区二区三区在线播出| 国产欧美日韩在线不卡第一页| 影音先锋视频在线| 欧美亚洲日韩人妻在线观看| 色欲久久综合| 国产日韩欧美中文在线播放| 一区二区三区免费岛国片| 清清一区二区三区四区不卡视频| 一二三四视频在线社区中文字幕| 无码99| 亚欧国产无码精品在线| 亚洲精品a人片在线观看视| 大学生口爆吞精| 懂色AV蜜臀无码精品APP| 国产精品盗摄 偷窥盗摄| 欧美亚洲日本视频久久久 | 国产欧美精选激情视频| 国产乱子伦一区二区三区免看| 欧美亚州色的图| 插插综合网天天影视网| 欧美色吧综合| 伊人精品久久网站| 免费A V在线| xxx亚洲午夜天堂| 欲色综合| 日本幼女18+| 国产自制av蜜乳| 婷婷丁香五月综合| 超碰97网址| 久久久久78| 60秒免费小视频| av亚欧| 久久高清欧美国产| 亚洲、日韩、综合、另类| 午夜欧美J进J出白浆流出久久久 | 欧美日韩精品国产91| 欧美精品黑人猛交高潮| 亭亭在线资源| 曰韩操B| 免费精品福利在线观看| 神马久久中文字幕| 日本中文字幕不卡视频| 熟女丰满人妻一区| 狠狠97| 操逼操逼逼操操逼91 | 在线色资源| 91男人天堂网| 亚洲亚洲亚洲天堂天堂| 密臀国产在线| 97超碰69| 久久AV无码网址| 人妻性爱一区二区| 中文字幕久久亚州无码| 五月天大香蕉| 亚洲全色网| 五月丁香久久| 日本操逼二区| 色婷婷六月丁香七月婷婷| 国产一区二区精品久久久不卡蜜臀| 男女打扑克高清网站| 郑州宾馆老熟女露脸啪啪| 91w欧美| 伊人九九| 久久精品无码熟妇一区二区三区视频导航 | 热热色AV| 五月开心久久AV官网| 欧美黄色片AAAAA| 91伊人久| 四虎午夜影院| 欧美极品美女aaaaaa级黄片| 91精品人妻一区二区三区蜜桃| 日韩综合97P| 97自拍一区| 日日夜夜国产综合| 日韩一区二区三区四区五区 | 在线无码网站| 欧美十八禁导航成人| 夜夜操美女| 天天艹天天日| 婷婷视频在线免费观看| 久久 国产 无码| 国产乱伦亚洲色图高清无码| 亚洲国产成人精品999| 美女诱惑久久| 综合伊人网12色| 黄色电影观看久久9| 国产精品久久久久久久久久久久| 97碰久久| 日韩免费高清大片在线| 日韩欧美加勒比| 老司机深夜18禁污污网站| 熟妇的味道HD中文字幕| 综合久久六月久久婷婷| 99久久综合网| oumeizonghese,www| 日韩美女高潮喷水视频| 国产精品久久久久999| 国产久久一区二区| 久久久久亚洲精品| 东北老熟女| 欧美一二三级精品在线| 草莓精品视频在线免费观看| 国产精品视屏| 亚洲成人贴图| 国模少妇一区二区三区| 蜜桃久久综合视频| 久久人妻无码毛片A片麻豆| 精品人妻一区二区三区不卡断 | 欧美黄色片AAAAA| 日韩在线人妻网站| 亚洲区 欧美区| 99久久久er直播网址| 大香蕉520| 蜜臀亚洲综合一二三四区| 在线洲亚线| 国产成人无码网站在线视频| 老熟女综合网| 久久婷婷亚洲| 夜草网站| 欧洲精品欧洲精品| 超91综合网| 网页导航五月天免费一二三区| 色男人色天堂东京热| 五月婷婷激情网| 天天看天天在线精品| 日比av无码| 精品久久久av| 最新日韩黄片| 天天夜躁日日躁狠狠2002| 久久久中文版| 搡老女人老91二区| 国内毛片无码一级毛片| 不卡九肏| 中日亚韩免费视频| 风骚少妇视频中文字幕| 亚洲综合中文字幕有码| 亚洲 欧美 第一页| 日本91白丝| 操逼逼一区视频| 视频二区美腿丝袜制服人妻欧美| 97亚洲欧美| 日韩操呦呦影院在线观看| 99热最新网址| 国产 日韩 欧美一区| 99国产精品久久久在线播放| 91久久精品中文字幕| 少妇熟女视频一二三区| 日韩激情啪啪| 伊人久久综合影院精品久久久 | 人妻少妇精品| 美女啊啊啊啊pc| 五月丁香六月激情综合| 在线观看中文字幕| 激情图片亚洲色图| 亚洲美女精品九九视频| 91蜜臀在线久久久久| 激情五月天中文字幕色| 男插女青青影院| 一起草精品人妻| 亚洲久久久久| 精品精品精品| 亚洲欧美国产va在线播放频| 校园春色亚洲欧洲| 国产免费黄色一级大片| 日本天天人人狠狠在线日美女| 超碰日韩人妻| 久久久久久99999国产精品| 蜜臀久久99精品久久久| A片三级无码| 色www精品视频在线观看| 亚洲熟伦熟妇AV无码春色| 久久人妻视频| 91肉片|