亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux動(dòng)態(tài)庫(kù)符號(hào)可見(jiàn)性:同名類實(shí)現(xiàn)串門(mén)的定位與根治

Linux動(dòng)態(tài)庫(kù)符號(hào)可見(jiàn)性:同名類實(shí)現(xiàn)串門(mén)的定位與根治 先講一次讓我印象深刻的排查經(jīng)歷。內(nèi)部某個(gè)工具在測(cè)試環(huán)境跑了近兩周都好好的突然某天開(kāi)始頻繁崩潰backtrace里來(lái)來(lái)回回都是同一段邏輯兩個(gè)獨(dú)立模塊各自封裝了一份字符串處理和配置類類名都叫ConfigManager頭文件幾乎相同但內(nèi)部實(shí)現(xiàn)是兩份不一樣的。結(jié)果幾乎所有調(diào)用都走進(jìn)了先加載的那個(gè)實(shí)現(xiàn)讀取配置時(shí)偶爾拿到A模塊的路徑校驗(yàn)時(shí)卻走B模塊的邏輯最后內(nèi)存被按不同布局讀寫(xiě)直接掛掉。一開(kāi)始我懷疑是內(nèi)存踩踏排查到懷疑人生后來(lái)用LD_DEBUG看了一眼符號(hào)綁定才確認(rèn)根子正是Linux動(dòng)態(tài)庫(kù)的符號(hào)默認(rèn)全局可見(jiàn)同名類實(shí)現(xiàn)之間發(fā)生了“串門(mén)”。這類問(wèn)題如果沒(méi)抓住“符號(hào)可見(jiàn)性”這個(gè)點(diǎn)排查起來(lái)很容易繞遠(yuǎn)路。這篇文章就把這個(gè)問(wèn)題的原理、定位手段和根治方案完整講一遍適合維護(hù)大型C/C項(xiàng)目的同學(xué)也適合剛接觸Linux動(dòng)態(tài)庫(kù)、被插件系統(tǒng)里莫名其妙行為搞到頭禿的人。1. 為什么Linux下會(huì)“只認(rèn)一個(gè)實(shí)現(xiàn)”1.1 現(xiàn)場(chǎng)還原兩個(gè)同名類各寫(xiě)各的假設(shè)主程序同時(shí)加載了libA.so和libB.so兩個(gè)動(dòng)態(tài)庫(kù)都定義了ConfigManager這個(gè)類頭文件聲明幾乎一致內(nèi)部實(shí)現(xiàn)卻是兩套獨(dú)立演進(jìn)出來(lái)的東西。庫(kù)A里的實(shí)現(xiàn)走的是舊配置格式字段是8字節(jié)對(duì)齊庫(kù)B里的實(shí)現(xiàn)用新格式字段多了兩個(gè)成員整體結(jié)構(gòu)體變大了一圈。正常情況下每個(gè).so內(nèi)部調(diào)用自己的ConfigManager井水不犯河水。但Linux的動(dòng)態(tài)鏈接器不這么想。它在進(jìn)程全局維護(hù)一張動(dòng)態(tài)符號(hào)解析表遇到同名符號(hào)時(shí)往往采取“先到先得”的策略誰(shuí)先被加載誰(shuí)的定義就作為全局統(tǒng)一符號(hào)。后面庫(kù)里的引用會(huì)被解析到前面那個(gè)庫(kù)的實(shí)現(xiàn)上。結(jié)果就是libB編譯時(shí)按自己頭文件生成的代碼在運(yùn)行時(shí)卻調(diào)用了libA的對(duì)象布局和函數(shù)體而libA的對(duì)象實(shí)際又被libB的代碼按新偏移寫(xiě)字段。這種ABI不一致一旦發(fā)生表現(xiàn)就是離奇的崩潰、間歇性的數(shù)據(jù)錯(cuò)亂以及“明明代碼邏輯沒(méi)問(wèn)題卻總在某些環(huán)境下掛”。1.2 源頭在ELF動(dòng)態(tài)符號(hào)表默認(rèn)全部可見(jiàn)要理解這個(gè)問(wèn)題得先回到ELF的機(jī)制。GCC和Clang在編譯動(dòng)態(tài)庫(kù)時(shí)默認(rèn)會(huì)把所有非static的全局函數(shù)和全局變量都放進(jìn)動(dòng)態(tài)符號(hào)表.dynsym。也就是說(shuō)只要一個(gè)函數(shù)不是寫(xiě)在文件內(nèi)部的static函數(shù)它就會(huì)被子進(jìn)程看到并且可以被其他模塊接管或覆蓋這是Linux與Windows非常大的一個(gè)差異。Windows上寫(xiě)DLL時(shí)需要顯式用__declspec(dllexport)導(dǎo)出不寫(xiě)就不導(dǎo)出默認(rèn)是隱藏的。Linux剛好反過(guò)來(lái)默認(rèn)全導(dǎo)出只有主動(dòng)隱藏才不導(dǎo)出。這種設(shè)計(jì)在早期 Unix 生態(tài)里有一定的歷史原因允許不同模塊自由共享符號(hào)實(shí)現(xiàn)類似全局插樁的效果。但代價(jià)就是當(dāng)多個(gè)模塊各自攜帶同名類實(shí)現(xiàn)時(shí)會(huì)發(fā)生符號(hào)介入進(jìn)程里最終只保留一個(gè)全局有效的定義。正因?yàn)長(zhǎng)inux和Windows的默認(rèn)行為完全相反很多跨平臺(tái)經(jīng)驗(yàn)比較豐富的團(tuán)隊(duì)在遷移到Linux時(shí)反而更容易踩坑在Windows上從來(lái)沒(méi)有這類問(wèn)題因?yàn)闆](méi)主動(dòng)導(dǎo)出就不會(huì)被外面看到到Linux一看動(dòng)態(tài)符號(hào)表里躺著一堆內(nèi)部實(shí)現(xiàn)符號(hào)沖突是必然的。1.3 類實(shí)現(xiàn)錯(cuò)亂的底層鏈路具體到C場(chǎng)景問(wèn)題鏈路通常是這樣的每個(gè).so里都有自己的類實(shí)現(xiàn)包括成員函數(shù)、虛函數(shù)表vtable和typeinfo符號(hào)這些符號(hào)都被放進(jìn)了動(dòng)態(tài)符號(hào)表也就是全局可見(jiàn)范圍內(nèi)。主程序加載庫(kù)時(shí)動(dòng)態(tài)鏈接器在全局范圍內(nèi)做符號(hào)解析。遇到多個(gè)相同符號(hào)名就按一定順序選一個(gè)作為最終綁定目標(biāo)。庫(kù)內(nèi)部代碼里對(duì)該類方法的調(diào)用發(fā)現(xiàn)全局已經(jīng)有了綁定目標(biāo)就不再綁定自己內(nèi)部那份而是跳到選中的那個(gè)實(shí)現(xiàn)。因?yàn)檎{(diào)用方編譯時(shí)用的是自己的頭文件布局與被調(diào)用的實(shí)現(xiàn)版本不一致ABI就崩了。這里面還有一個(gè)容易被忽略的細(xì)節(jié)vtable符號(hào)和typeinfo符號(hào)也是全局符號(hào)同樣會(huì)被介入。結(jié)果就是dynamic_cast、異常處理、甚至簡(jiǎn)單的虛函數(shù)調(diào)用都可能走錯(cuò)門(mén)比普通函數(shù)沖突更隱蔽。2. 先實(shí)錘三個(gè)命令把“串門(mén)”釘死2.1 第一步用nm和readelf看動(dòng)態(tài)符號(hào)表要確認(rèn)是不是符號(hào)沖突先看每個(gè).so都導(dǎo)出了什么。最直接的就是用nm只看動(dòng)態(tài)符號(hào)nm -D libA.so | cfilt | grep -i ConfigManager nm -D libB.so | cfilt | grep -i ConfigManager大寫(xiě)T表示全局可見(jiàn)的text段代碼符號(hào)D是已初始化數(shù)據(jù)B是bss段R是只讀數(shù)據(jù)。只要兩個(gè)庫(kù)都導(dǎo)出了同名符號(hào)就能看到重復(fù)的類名出現(xiàn)。如果覺(jué)得nm輸出太簡(jiǎn)單可以用readelf看更完整的符號(hào)表信息readelf -Ws libA.so | grep ConfigManagerreadelf -Ws輸出的內(nèi)容會(huì)包含符號(hào)所在的段、大小、綁定屬性能更清楚看到哪些是GLOBAL、哪些是LOCAL。如果兩個(gè)庫(kù)里都出現(xiàn)GLOBAL DEFAULT的同名符號(hào)那就要警惕了。這里還有個(gè)更高效的組合命令可以一次性找出兩個(gè)動(dòng)態(tài)庫(kù)動(dòng)態(tài)符號(hào)的重復(fù)交集comm -12 \ (nm -D --defined-only libA.so | awk {print $3} | sort -u) \ (nm -D --defined-only libB.so | awk {print $3} | sort -u)輸出里出現(xiàn)的每一個(gè)符號(hào)名都是潛在的沖突源。這個(gè)命令我強(qiáng)烈建議放到腳本里作為每個(gè)版本發(fā)布前的常規(guī)檢查。2.2 第二步用LD_DEBUG讓鏈接器自己承認(rèn)查看符號(hào)表只能說(shuō)明“有這個(gè)可能”要實(shí)錘“到底綁到了誰(shuí)”最好的辦法是讓動(dòng)態(tài)鏈接器打印綁定過(guò)程LD_DEBUGbindings ./demo_app 21 | grep -i ConfigManager輸出里會(huì)出現(xiàn)類似這樣的信息binding file libB.so [0x00...] to libA.so [0x00...]: ConfigManager::getConfig() normal symbol注意看binding file這一行的方向libB.so里某個(gè)符號(hào)綁定到了libA.so。這一條信息基本就是鐵證直接說(shuō)明了“串門(mén)”發(fā)生的位置。還可以配合files模式看加載順序LD_DEBUGfiles ./demo_app 21 | grep so確認(rèn)到底誰(shuí)先被加載以及先到先得的順序關(guān)系。2.3 第三步崩潰棧交叉驗(yàn)證如果現(xiàn)場(chǎng)已經(jīng)有core dump或gdb棧同樣可以做交叉驗(yàn)證。用addr2line把崩潰地址換算成源碼位置addr2line -f -C -e libB.so 0x0000xxxx正常情況下棧幀應(yīng)該落在libB自己的源碼里。如果地址換算出來(lái)指向libA的源碼或者gdb里info symbol顯示符號(hào)屬于另一個(gè)庫(kù)那問(wèn)題就實(shí)錘了。我在實(shí)際排查中還發(fā)現(xiàn)一個(gè)規(guī)律這類崩潰的棧幀符號(hào)名通常會(huì)“看起來(lái)特別正?!薄1热珙惷麑?duì)、方法名對(duì)、行號(hào)也有但行為完全不對(duì)。如果遇到這種“??粗鴽](méi)啥問(wèn)題卻崩潰”的詭異現(xiàn)場(chǎng)先別急著懷疑編譯器優(yōu)化或者內(nèi)存踩踏先花兩分鐘查一下符號(hào)綁定往往能省掉幾天時(shí)間。3. “錯(cuò)亂”的三種典型形態(tài)3.1 形態(tài)一虛函數(shù)表混亂同名類各自帶有虛函數(shù)時(shí)vtable符號(hào)也是全局可見(jiàn)的。兩個(gè)庫(kù)的vtable都進(jìn)了全局符號(hào)表最終保留一份可能是A的也可能是B的。運(yùn)行時(shí)通過(guò)基類指針調(diào)虛函數(shù)實(shí)際跳轉(zhuǎn)到的可能是另一個(gè)版本的函數(shù)體。這種場(chǎng)景最迷惑人的地方在于代碼調(diào)用關(guān)系本身沒(méi)變但實(shí)際執(zhí)行的邏輯是錯(cuò)的版本而且還不一定崩潰可能只是行為偏差。比如A版本里對(duì)輸入做了二次校驗(yàn)B版本沒(méi)做。用戶數(shù)據(jù)從B模塊入口進(jìn)來(lái)經(jīng)過(guò)另一個(gè)庫(kù)的虛表間接調(diào)用時(shí)可能部分走了A的校驗(yàn)邏輯部分走了B的邏輯最終的數(shù)據(jù)處理結(jié)果處在一個(gè)“兩頭都不靠”的狀態(tài)。3.2 形態(tài)二對(duì)象布局不一致導(dǎo)致臟寫(xiě)這是最危險(xiǎn)的一種。假設(shè)A版本的Record結(jié)構(gòu)是12字節(jié)B版本因?yàn)榧恿俗侄巫兂?0字節(jié)。B模塊的函數(shù)按新版本20字節(jié)的偏移寫(xiě)第16字節(jié)處的字段但這個(gè)對(duì)象實(shí)際是A模塊按12字節(jié)分配出來(lái)的對(duì)象后面的4字節(jié)屬于別的數(shù)據(jù)。這種臟寫(xiě)不會(huì)馬上崩潰可能過(guò)很久才在完全不相干的地方爆出來(lái)。我之前遇到的一個(gè)典型案例就是配置結(jié)構(gòu)體在庫(kù)A按舊版本分配庫(kù)B按新版本寫(xiě)入結(jié)果每次運(yùn)行到特定分支時(shí)堆上的相鄰對(duì)象被改寫(xiě)表現(xiàn)為偶發(fā)的“配置讀取結(jié)果被神秘篡改”。想要快速排查這類問(wèn)題可以把兩個(gè)版本的類各自做一個(gè)sizeof輸出動(dòng)態(tài)打印出來(lái)對(duì)比。如果發(fā)現(xiàn)同一個(gè)類名在不同庫(kù)里的sizeof不一致就要立刻檢查符號(hào)綁定方向。3.3 形態(tài)三靜態(tài)狀態(tài)與單例漂移類的靜態(tài)成員變量、內(nèi)部static局部變量同樣存在多份副本的情況。兩個(gè)庫(kù)各有一份靜態(tài)狀態(tài)但全局符號(hào)解析會(huì)決定進(jìn)程實(shí)際使用哪一份。最典型的癥狀是日志開(kāi)關(guān)改了一個(gè)庫(kù)的靜態(tài)變量另一個(gè)庫(kù)卻完全不理會(huì)或者計(jì)數(shù)器本應(yīng)在A模塊里自增結(jié)果讀到的是B模塊那份初始值。還有inline函數(shù)里的靜態(tài)局部變量在C17以前的多庫(kù)場(chǎng)景里很容易出現(xiàn)副本分裂。如果這個(gè)inline函數(shù)所在的符號(hào)被全局可見(jiàn)地導(dǎo)出了多個(gè)庫(kù)綁定到不同副本時(shí)狀態(tài)就徹底分裂了。這類問(wèn)題編碼階段幾乎無(wú)法避免必須靠符號(hào)可見(jiàn)性策略做系統(tǒng)性防護(hù)。4. 根治方案符號(hào)隱藏、版本腳本、架構(gòu)收斂4.1 最基礎(chǔ)的一步編譯期統(tǒng)一隱藏符號(hào)我推薦的第一道防線就是在編譯動(dòng)態(tài)庫(kù)時(shí)統(tǒng)一加上-fvisibilityhidden參數(shù)g -fvisibilityhidden -shared -o libB.so b.cpp這個(gè)參數(shù)告訴編譯器默認(rèn)情況下所有符號(hào)都設(shè)為隱藏只有顯式標(biāo)記了visibility(default)的符號(hào)才能進(jìn)入動(dòng)態(tài)符號(hào)表。配合的常見(jiàn)做法是在公共頭文件里定義一個(gè)導(dǎo)出宏#if defined(_WIN32) #define API_EXPORT __declspec(dllexport) #else #define API_EXPORT __attribute__((visibility(default))) #endif class API_EXPORT ConfigManager { public: ConfigManager(); std::string getConfig(const std::string key); };這樣類的公共接口被顯式導(dǎo)出類內(nèi)部的輔助函數(shù)、私有方法、模板實(shí)例化細(xì)節(jié)默認(rèn)全部隱藏動(dòng)態(tài)符號(hào)表里只剩下一張面很干凈的導(dǎo)出面。我特別強(qiáng)調(diào)一點(diǎn)這個(gè)改動(dòng)需要覆蓋倉(cāng)庫(kù)里所有模塊不能只改出問(wèn)題的那個(gè)。一個(gè)庫(kù)隱藏了另一個(gè)沒(méi)隱藏沖突照樣存在。最好把編譯參數(shù)寫(xiě)進(jìn)公共構(gòu)建預(yù)設(shè)文件讓所有模塊默認(rèn)繼承。也可以加上-Werrorvismismatch在編譯階段就攔截聲明和定義可見(jiàn)性不一致的問(wèn)題。4.2 更嚴(yán)格的做法用版本腳本做最終閘門(mén)-fvisibilityhidden已經(jīng)足夠解決大部分沖突但它還是會(huì)讓所有“顯式標(biāo)記了default”的符號(hào)進(jìn)入動(dòng)態(tài)符號(hào)表。如果想把導(dǎo)出面收斂到極致可以用鏈接器版本腳本來(lái)把關(guān)先寫(xiě)一個(gè)exports.map{ global: api_*; ConfigManager; _ZN7network*; local: *; };然后鏈接時(shí)加上g -shared -fPIC -Wl,--version-scriptexports.map -o libB.so b.cpp版本腳本的效果比編譯屬性更徹底它會(huì)明確告訴鏈接器除了global段列出的符號(hào)名其他一律不導(dǎo)出相當(dāng)于給動(dòng)態(tài)庫(kù)的對(duì)外接口畫(huà)了一條紅線。這里要特別提醒C的使用者global段里如果要寫(xiě)類名或命名空間需要用nm -D --defined-only看一下mangled后的符號(hào)名再?zèng)Q定寫(xiě)哪一層通配。比如命名空間network下的類可能需要寫(xiě)成_ZN7network*的形式而不是直接寫(xiě)network。用版本腳本的另一個(gè)好處是可以做符號(hào)版本化symbol versioning。同一個(gè)函數(shù)在不同版本里可以定義不同的導(dǎo)出名這屬于更大工程里接口兼容性的玩法但即便暫時(shí)用不上版本化單純用local: *;一條規(guī)則做“默認(rèn)關(guān)閉”已經(jīng)足夠值回票價(jià)。4.3 插件系統(tǒng)的隔離策略插件場(chǎng)景尤其容易踩雷主程序用dlopen加載兩個(gè)插件每個(gè)插件各自靜態(tài)鏈接了一份公共庫(kù)。如果加載插件時(shí)用了RTLD_GLOBAL插件里的全局符號(hào)會(huì)被合并進(jìn)全局符號(hào)表后加載的插件很容易就綁到前面插件的實(shí)現(xiàn)上。哪怕改成RTLD_LOCAL也只解決了一部分問(wèn)題因?yàn)椴寮?nèi)部如果引用同名符號(hào)動(dòng)態(tài)鏈接器依然可能跨插件解析。我現(xiàn)在的建議是三層配合主程序加載插件時(shí)統(tǒng)一使用RTLD_LOCAL不把插件的符號(hào)泄漏到全局。插件自身也開(kāi)啟-fvisibilityhidden插件對(duì)外只暴露約定好的幾個(gè)入口函數(shù)內(nèi)部符號(hào)全部隱藏。如果多個(gè)插件都需要同一個(gè)公共庫(kù)不要在各自插件里靜態(tài)鏈接一份而是單獨(dú)編譯成一個(gè)公共依賴.so讓所有插件都鏈接同一個(gè)文件。這套組合拳打下來(lái)插件之間基本就隔離開(kāi)了。公共依賴的動(dòng)態(tài)庫(kù)只認(rèn)一個(gè)版本不會(huì)再出現(xiàn)多份副本爭(zhēng)奪符號(hào)的情況。4.4 架構(gòu)層的長(zhǎng)期收斂符號(hào)隱藏和版本腳本解決的是“符號(hào)怎么導(dǎo)出”的問(wèn)題。但如果架構(gòu)上允許每個(gè)模塊各自內(nèi)置一份公共代碼那么沖突源會(huì)不斷出現(xiàn)。比較理想的收斂方式是把公共代碼拆到一個(gè)獨(dú)立的公共依賴庫(kù)所有模塊統(tǒng)一依賴這個(gè)庫(kù)而不是在各自源碼樹(shù)里拷貝一份實(shí)現(xiàn)。這里的“公共代碼”不單指自己寫(xiě)的工具類也包括可能被不同模塊以不同版本靜態(tài)鏈接的第三方庫(kù)。如果現(xiàn)狀做不到立刻拆分至少要在編譯參數(shù)上保證所有共用符號(hào)面一致的庫(kù)使用同一個(gè)版本并且所有共享庫(kù)都默認(rèn)隱藏符號(hào)。C的namespace其實(shí)也能起到一定的隔離效果但它的作用只是改變符號(hào)的mangled名稱ELF層面還是有同名的可能所以不要把namespace當(dāng)成唯一的防線。5. 實(shí)際踩坑記錄與細(xì)節(jié)補(bǔ)充5.1 開(kāi)啟隱藏后客戶端鏈接不到符號(hào)開(kāi)啟-fvisibilityhidden之后最常見(jiàn)的報(bào)錯(cuò)是鏈接階段出現(xiàn)“undefined reference to xxx”。這個(gè)原因通常是對(duì)外API的聲明和定義里漏掉了導(dǎo)入側(cè)或者導(dǎo)出側(cè)的標(biāo)記。比如頭文件里類聲明加了API_EXPORT但類內(nèi)某一個(gè)成員函數(shù)在實(shí)現(xiàn)時(shí)又單獨(dú)聲明了一次那個(gè)單獨(dú)的成員沒(méi)帶visibility(default)標(biāo)記導(dǎo)出時(shí)就把它隱藏了。解決辦法也很直白在公共導(dǎo)出宏上統(tǒng)一處理各個(gè)平臺(tái)到宏里做適配不要在單個(gè)函數(shù)上零散加attribute。同時(shí)可以打開(kāi)-v選項(xiàng)或者用nm -D --defined-only確認(rèn)一下編譯后的so到底導(dǎo)出了哪些符號(hào)與實(shí)際需要導(dǎo)出的接口做對(duì)比很快就能找出漏網(wǎng)之魚(yú)。5.2 版本腳本的local: *;導(dǎo)致后續(xù)擴(kuò)展失敗版本腳本使用local: *;后新加一個(gè)API但忘記更新腳本鏈接器會(huì)靜默地不導(dǎo)出它調(diào)用方在運(yùn)行時(shí)或鏈接時(shí)找不到這個(gè)符號(hào)。這類問(wèn)題因?yàn)椴粫?huì)報(bào)編譯錯(cuò)誤很容易漏檢。我的習(xí)慣是在構(gòu)建腳本里加一步符號(hào)清單校驗(yàn)每次構(gòu)建后用nm -D --defined-only生成當(dāng)前導(dǎo)出符號(hào)列表和版本腳本里聲明的api_*或類名做比對(duì)。一旦發(fā)現(xiàn)實(shí)際導(dǎo)出的符號(hào)有新增但沒(méi)有出現(xiàn)在允許名單里就觸發(fā)告警。這支腳本的成本很低但能有效避免“上線后才發(fā)現(xiàn)新接口沒(méi)導(dǎo)出”的尷尬局面。5.3 團(tuán)隊(duì)分支編譯參數(shù)不一致問(wèn)題只在部分機(jī)器出現(xiàn)還遇到過(guò)更隱蔽的情況同一個(gè)庫(kù)在A機(jī)器上編譯后運(yùn)行正常在B機(jī)器上就出現(xiàn)符號(hào)沖突。排查到最后發(fā)現(xiàn)兩邊機(jī)器用的構(gòu)建參數(shù)不一樣一個(gè)開(kāi)了-fvisibilityhidden另一個(gè)沒(méi)開(kāi)。這種“機(jī)器相關(guān)”的現(xiàn)象很容易讓人誤判為環(huán)境問(wèn)題實(shí)際上是編譯產(chǎn)物本身就不一致。比較好的做法是把可見(jiàn)性參數(shù)固化到項(xiàng)目的CMake預(yù)設(shè)或公共編譯配置里禁止各成員在自己的目錄里臨時(shí)改編譯選項(xiàng)。同時(shí)配套一個(gè)腳本掃描倉(cāng)庫(kù)里所有動(dòng)態(tài)庫(kù)的導(dǎo)出符號(hào)表凡是有大量非API符號(hào)泄漏的直接標(biāo)紅。5.4 動(dòng)態(tài)加載RTLD_GLOBAL讓沖突擴(kuò)大如果主程序用dlopen加載插件時(shí)習(xí)慣性地傳了RTLD_GLOBAL那么插件里的符號(hào)就會(huì)全部合并到全局符號(hào)表。兩個(gè)插件都靜態(tài)鏈接了同一個(gè)第三方庫(kù)的不同版本時(shí)第三方庫(kù)的內(nèi)部符號(hào)也會(huì)互相覆蓋。這種場(chǎng)景下即使插件內(nèi)部用了隱藏符號(hào)第三方庫(kù)如果是默認(rèn)可見(jiàn)編譯的沖突依然會(huì)存在。所以我在前面的插件方案里強(qiáng)調(diào)公共依賴一定要單獨(dú)編譯成.so并統(tǒng)一版本別讓插件各自攜帶一份靜態(tài)庫(kù)副本。這屬于架構(gòu)層面的取舍短期看要多維護(hù)一個(gè)庫(kù)長(zhǎng)期看能避免非常多符號(hào)糾纏的“鬼故事”。6. 問(wèn)題速查與自查清單6.1 快速判斷表典型癥狀常被誤判的方向確認(rèn)手段處理建議同名類成員函數(shù)行為錯(cuò)亂內(nèi)存踩踏、編譯器BugLD_DEBUGbindings查看綁定目標(biāo)同名庫(kù)統(tǒng)一版本隱藏符號(hào)結(jié)構(gòu)體字段被寫(xiě)入詭異值堆越界、邏輯Bug打印兩個(gè)庫(kù)中sizeof同名類對(duì)比修復(fù)布局版本銜接符號(hào)隱藏虛函數(shù)調(diào)用進(jìn)入非預(yù)期實(shí)現(xiàn)虛表?yè)p壞、驅(qū)動(dòng)問(wèn)題gdb info symbol查看符號(hào)歸屬vtable符號(hào)導(dǎo)出面收斂配置變更對(duì)某個(gè)模塊不生效緩存問(wèn)題、配置中心Bug檢查靜態(tài)變量符號(hào)是否漂移拆公共依賴統(tǒng)一單例來(lái)源插件各自帶一份公共庫(kù)后崩潰插件接口不兼容對(duì)比插件動(dòng)態(tài)符號(hào)交集公共庫(kù)獨(dú)立成.soRTLD_LOCAL6.2 符號(hào)自查清單發(fā)布前建議做這樣一輪檢查用nm -D --defined-only確認(rèn)動(dòng)態(tài)庫(kù)導(dǎo)出的符號(hào)只有預(yù)期API。用comm比較所有相關(guān)動(dòng)態(tài)庫(kù)的動(dòng)態(tài)符號(hào)交集排查重復(fù)定義。確認(rèn)構(gòu)建參數(shù)里-fvisibilityhidden已經(jīng)全局生效。檢查版本腳本允許名單與實(shí)際導(dǎo)出名單是否一致。插件場(chǎng)景下確認(rèn)沒(méi)有用RTLD_GLOBAL加載插件插件自身符號(hào)已隱藏。確認(rèn)公共第三方庫(kù)只以統(tǒng)一版本被所有模塊依賴。6.3 常用工具一行版最后整理一批我平時(shí)常敲的命令方便直接復(fù)用# 查看動(dòng)態(tài)庫(kù)實(shí)際導(dǎo)出的符號(hào) nm -D --defined-only libX.so | cfilt # 查看符號(hào)詳細(xì)信息 readelf -Ws libX.so | grep 符號(hào)名 # 對(duì)比兩個(gè)庫(kù)的重復(fù)導(dǎo)出符號(hào) comm -12 \ (nm -D --defined-only libA.so | awk {print $3} | sort -u) \ (nm -D --defined-only libB.so | awk {print $3} | sort -u) # 讓動(dòng)態(tài)鏈接器打印符號(hào)綁定過(guò)程 LD_DEBUGbindings ./demo_app 21 | grep 類名 # 將崩潰地址轉(zhuǎn)換為源碼位置 addr2line -f -C -e libX.so 0x4006a0我現(xiàn)在的習(xí)慣是給每個(gè)庫(kù)的構(gòu)建流程都會(huì)掛一個(gè)“導(dǎo)出面審計(jì)”的收尾步驟構(gòu)建完自動(dòng)跑一遍導(dǎo)出符號(hào)清單只要清單里有白名單之外的符號(hào)就立刻告警。這個(gè)做法比等人崩潰之后再回頭排查要省太多事了。符號(hào)可見(jiàn)性說(shuō)白了就是動(dòng)態(tài)庫(kù)的接口契約平時(shí)多花幾分鐘守住契約運(yùn)行時(shí)就能少經(jīng)歷幾次“類實(shí)現(xiàn)錯(cuò)亂”的午夜驚魂。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情五月天社区| 又大又黄国产| 久久久久久久九九九九九九| 中文字幕精品亚洲熟女| 五月丁香黄色网| 久久九九网| 色色色色网站| WWW4虎| 久久久免费高清中文视频| A一区片| 日韩情色视频| 精品黄色电影| 日本高清有码网址视频| 亚洲欧洲久久天堂| 亚洲成aⅴ人片不卡无码| 九九热免费国产视频婷婷伊人| 欧美天堂第二区| 内射老妇BBWX0C0CK| 九九热最新| 亚洲欧美日韩中文久久自慰| 国产尤物AV尤物在线观看不卡| 天天碰操中国年青熟妇| 精品中文字幕一区二区l - 百度| 少妇精品久久久| 免费的黄片有限公司| 少妇免费视频| 嫩呦国产一区二区三区AV| 欧美综合97www| aa片毛片| 四虎AV影视国产精品亚洲精品| 国产无码成人无码| 黄色大片一区二区密桃丝袜| 精品国产91内射久久| 亚州色站 日韩电影| 亚洲97在线观看| 伊人五月天| 高清视频一区| 欧美一级欧美三级在线观看| 四虎国产精品永久在线囯在线| 大香樵伊人网| 夜夜草天天| 亚洲日韩欧美一区二区| 色欲日韩欧美在线一区| 中日韩久久久免费看| 9久久精品| 1000午夜黄色| 色狠狠色| 国产午夜精品在线观看| 亚洲激情深爱文学小说网站| 激情综合网激情五月天| 国产亚洲精品久久久久小| 色婷婷综合久久久久中文一区二区| AV天堂国产| 婷婷五月天无码| 激情无码日韩| 欧美亚洲在线| 四虎永久在线精品免费网址| 国产操伦| 97日视频| 色婷婷激情| 日本成人免费一区二区三区| 麻豆亚洲AV成人无码久久精品| 超碰超碰95| 亚洲欧洲中文日韩女优乱码| 91欧洲入口| 国产18精品亚洲精品| 麻豆天美在线| 无码人妻系列少妇| 婷婷亚洲中文字幕在线| 福利在线观看一区二区| 欧美懂色综合网| 97久久久精品| 婷婷情色综合网| 中文字幕一区二区在线日韩精品| 亚洲av资源| 91网亚洲| 加勒比大香蕉视频在线| 麻豆国产尤物AV| WWW啪啪的com| 日韩欧美午夜视频在线| 国产乱伦视频污| 很狠操| 亚洲综合97中文网| 福利在线黄片| 嫩草一区二区在线观看| 国产久久成人| 96精品久久| 欧美大色交| 国产AV超爽| 综合第一页| 久操影视| 吉川爱美亚洲二区在线| 蜜桃中文字日产乱幕4区| 色色色色网站| 无码国产精品午夜不卡(| 国产性爱在线视频一区二区| 国产91精品在线免费| 欧美高潮| 中文字幕人妻色偷偷久久皮| 91人妻丝袜无码| 久久精品亚洲成a人天堂| 久久久性| 麻豆国产97在线| 天天操妹子| 春色综合免费| 嗯嗯啊啊视频一区二区三区| 激情文学 国产一二三aV| 熟女乱伦二区| 99久久久久| 国产亚洲日韩在线三区黑人| 久久久亚洲Av| 日韩性爱1级片视频| 天天射夜夜操| 天天草天天日| 亚洲中文字幕在线视频一区二区 | 欧美亚洲日本激情在线| 91狠狠综合久久| 日韩视频啪啪| 小少妇| 在线看免费无码AV天堂的| 91被操| 欧美精品成人一区二区在线观看| 91bbb| 亚洲九九九| 日韩猛交| 久操免费观看| av网站在线看| 国产精品成人久久一区二区三区| 国产91av在线播放| 日本人妻中文字幕| 日本操逼视频导航| 偷窥自拍A片| 国产区91柔拿会所技师| 91成人久久| 激情接吻视频久久久久久| 九月激情婷婷| 国产三级日产三级韩国三级| 久久99网站| 青青草日韩无码| 亚洲中文字幕噜噜噜久久久| 国产精品老师| 国产suv精品一区二区四区999| 国产农村妇女一区二区| 白丝AV网站| 亚洲素人网| 亚洲色图 图片| 久久熟女久| 亚洲极品| 最新日本中文字幕| 久久久久久久国产a∨| 韩国三级理论在线| 午夜天堂精品久久久久91| 久久久爆乳翘臀一线天伦理视频| 色女综合| 吊色| 蜜臀久久99精品久久久久久无删减 | 伊人影院在线理论播放| 久久久久ab| 日韩青久久| 久久少妇| 大香蕉免费乱伦视频| 免费观看的av| 欧日韩在线观看| 东京男人天堂| 久久性爱精品一区| 亚洲一区二区麻豆影院| 嫩草 我啊~嗯~在线| 天天综合网亚洲综合网| 国产又猛又粗又爽又黄| 久久,精品一二三| 男人天堂站| 久99在线免费观看视频| 中文字幕美女91| 性做久久久久久免费观看软件| 激情五月激情综合网| 日本潮催一卡操| 精品久操| 亚洲欧美另类图片| 乱论91| h在线看免费版在线看| 久草新免费| 大香蕉九九| 欧美另类色图片| 午夜福利在线合集| 夜夜操美女| 丁香五月婷婷啪啪| 丝袜无码a片| 少妇高潮九九九九| 亚洲精品第一| 69人妻精品丰满熟女区| 99re黄| av在线免费一区二区| 日韩精品三区四区| 男同专区一区二区三区在线| 日韩中文字幕二区| 天美一区在线| 在线岛| 麻豆蜜桃视频在线观看| 99re黄| 最近2019中文字幕国语免费版| 嫩草 人人网精品| 欧美影院一区二区三区| 午夜人妻精品综合在线| 国产又粗又长又大的视频| 国产在线激情视频| 丝袜AV一二三区| 综合网少妇| 国产精品久久久久久片| 动漫av中文| 无码高清少妇久久| 青青草亚洲一区| 91天堂网| 神马久久久久眼| 天美传媒AV在线播放| 欧美性爱在线无码| 亚洲第一男人天堂| 免费看一级a性色生活片久久无| 狠狠躁天天躁日日躁| 精品国产一区探花在线观看| 天天亚洲综合| 免费观看网黄| 九九九九九精品十六| 日本潮催一卡操| 亚洲熟妇丝袜在线观看| 97色伦97色伦国产欧美| 熟女丝袜视频| 日日操免费视频| 久久一二三四不卡 | 国产91专区| 777奇米影视777四色| 9999九九九久久久| 婷婷丁香熟妇综合网| 欧美日综合| 思思99热| 九热中文字幕| 少妇内射www在线观看视频| 日产成人久久| 午夜天堂啪啪| 男人天堂网站| 无码久| 另类一区| 久久久久久九九九九| 人妻天天爽夜夜爽精品2| 日韩激情毛片一级久久久| 东京热精品97综合网| 亚洲九月丁香| 家庭乱伦国产精品| AV色五月| 97免费视频网| 综合色色网| 97碰久久| 国产精品久久久999| 国产不良强奸视频免费看| 激情小说亚洲视频| 欧美国产日韩清纯唯美| 韩国成人精品久久久免费看| 全国男人天堂网| 96AV久久久| 欧美一区二区观看在线| 91综合网站| 欧美91网站| 国产精品青草综合久久| 伊人国产成人av网站| 婷婷15月天青娱乐| 国产黄色动态精品| 亚洲无码99| 东京热大香蕉| 夜夜嗨一区二区三区三州加勒比| 九九精品美女高溯喷水| 日韩国产乱子伦App| 91情色在线| 欧美白嫩在线放| 婷婷五月天色色| 黄片国产精品一区二区| 亚州性9| 欧美少妇第一页| 自慰白浆在线观看| 国产高清吃奶免费视频网站| 欧美亚洲首页| 啊好爽快点-国产一区二区三区撒尿在线-成人AV | 日韩人妻无码精品系列| 丁香六月婷婷| 天天干天天狼在线视频| 国产精品网址| 性暴力欧美猛交在线直播| 欧美亚洲中文字幕| 九九九九免费视频| 99天天超碰| 综合色图区| 999国产精品999| 欧美一区二区三区入口| 日本操逼aaaaa| 夜夜夜夜久久久久| 9ⅰ久久久天天| 亚洲最大的黄色电影网站。 | 操穴国产| 女人妻一区| 永久免费发布性爱网| 欧美日韩黄片精品在线| 人人艹亚洲| 日本一级真人黄色性爱视频| 日逼97| 超碰综合97在线| 97操在线| 亚洲文学偷乱拍啪啪啪啪| 国产地址二三| 中文字幕久久精视频久久大全| 校园春色制服丝袜中文字亚洲| 免费中文在线| 欧美婷婷五月天| 日韩精品永久在线观看| h无码动漫在线观看| 狠狠操官网| 色就色综合| 伊人久久在线视频观看| 超碰国产精品久| 秋霞成人一级在线观看| 成人一道本免费视频| 狠狠婷婷亚洲中文综合久久| 亚洲精品白浆高清久久久久久 | 国产超碰国产97| 欧插网站| 日韩在线视频1234| 影音综合网| 成人精品视频一区二区| 荡小穴在线观看| 91艹逼精品| 亚洲成人妻日韩在线| 九草在线大香蕉| 国产 大胆 对白| 青青草玖玖爱| 国产97av| 久久 国产 无码| 亚州免费啪啪视频| av一区二区三区 中文| AV综合中文字幕干| 国产超碰| 96AV久久久| 婷婷色香| 久久熟女嫩草成人片免费| 欧美丝袜中文字幕07在线| 亚洲啪啪综合?v一区综合精品区| 一个国产在线综合网站| 久久精品国产免费观看99| 爽爽淫人网| 亚洲精品 超碰| 精品二区久久| 狠狠爱夜夜| 精品人成视频在线观看| 日韩激情啪啪| 亚洲另类色图片| 亚洲宗合网| 超碰97国产欧美| 欧美在线天堂| 亚洲高清无码在线桃色| 美女啊啊啊啊pc| 加勒比伊人影院| AV中亚| 精品国产无码中文| 日韩啪啪啪啪啪| 天天综合香 ld视频| 青青操视频在线| 99re这里只有精品9| 91精品人妻电影| 色综合中文字幕不卡| 久久久久中出| 97ai亚洲| 国产女人91精品嗷嗷嗷嗷| http://qxhbdz.com| 亚洲精品 欧美精品| 精品在线78| 精品毛片av一区二区| www.久久爱| 色www精品视频在线观看| 欧美亚洲今日在线| 国产原创剧情在线丝袜| 成人熟女区| 亚洲在线观看| 99久久久er直播网址| 天天影视网综合少妇| 久久一区二区加油站| 91综合色噜噜| 亚州色图第三区| 97精品网站| 亚洲日韩视频二区| 99re6久热只有精品6在线直播| 玖日综合网| 超碰色男人操熟女| 爱欲AV| 超碰欧美| 欧美性天天影视| 97超级久久| 欧美一级A片在线看视频性色| 男人的天堂欧美| 女人天堂av在线播放| 色婷婷影院| 大逼色网站| 91在线精品| 精品人妻一区二区三区夜夜| 超碰精品国产无码| 久久的网站啊啊啊啊啊| 啪啪自拍九九综合| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 97在线视频免费看| 亚洲AV成人在线| 日韩色图 一区二区| 亚洲av影音先锋| 新视频sss国产| 中文字幕一区二区三区字幕| 伊人网在线视频| 性爱网站一区二区| 日本欧美色| 久久欲| 97一本大道亚洲一区| 免费的很黄很污的全部视频| 在线五区| 免费黄色片子| 精品九九| 加勒比日本在线| 性色生活片久久毛片婬片免费放女人一级毛片 | 麻豆AV一区二区天美传媒| 五月丁香六月婷综合成人综合 | 中出789在线视频| WWW啪啪的com| 欧美性高潮| 久草成人福利导航| 日韩大香蕉| 久久超碰97中文字幕| 免费1级a做爰片观看| 小明看看网址| 欧美色综合影院| 久久99九九九九6666免费观看软件| 天天天天天天天天天天干美女| 综合网亚洲在线| 天堂av2019| 国产中文字幕在线点播| 91劲爆| 久久综合五月天| 蜜臀久久99精品久久久电影| 4虎在线视频| 婷婷六月色| 久久超碰国产一区二区三区| 久久九操在线观看| 天堂日本亚洲欧美| 狠狠狠狠狠干| 亚洲暴力强奸AV| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 黄色二级片网站| 尤物国产一区在线观看| 伊人热综合| 97资源站国产精品| 欧美亚洲厕所精品偷拍91 | 操久久久久久| 亚洲色图欧美色图日韩色图| 97天天| 日韩美女高潮喷水视频| 免费操逼视频下载| 亚洲自拍偷拍视频在线| 久久九操在线观看| 韩国轻伦国内自拍一区| 探花一区在线| 久久久久久一日韩字幕无码| 国产一二三在线视频五十路| 国产精品久久久久久9999| 91人妻丝袜无码| 日韩人妻少妇 一区二区三区| 操操逼操操逼操操逼逼| 久久久久久久久久va| 人人妻人人玩人人澡人人爽| 中韩中文字幕在线观看| 91碰碰| 男人把坤坤插入女人的下体| 久久夜色一区二区| 亚洲综合113页| 久久久久久久少妇| 9/A片 | 在线视频免费播放一区| 中文字幕一区二区免费在线| 日日操免费视频| 91天天综合网| 丁香婷婷五月| 日韩欧无码一区二区三区免费不卡| 97美日韩视频| 欧美熟妇色| 国产区在线| 校园春色亚洲色图| 久久久性爱| 人人操人人肉久久精品| 大奶的诱惑| 精品人妻av区天天看片| 乱伦一二三| 国产精品久久天天干| 9色国产精品一区粉嫩| 大JI巴好深好爽又大又粗视频| 亚洲开心网| 97在线免费| 国产家庭乱伦表演| 九九精品99| 在线免费观看日韩一区| 天天日B夜夜干B时时操B| 去干网最新版| 天天色悠悠激情| 麻豆国产原创AV色哟哟| 日韩欧美偷拍美女视频| 97在线欧| 97干在线| 秋霞久久亚洲精品成人| 国产精品熟女乱伦| 中文字幕在线观看丝袜| AV一二区| 精品欧美日韩在线观看| 91制服丝袜| 欧美中出| 欧亚性爱啪啪| 男人的天堂在线有码| 精品人妻一区二区三区-国产精品| 啊啊啊啊二区好大| 久久女女| 97免费在线视频| 免费啪啪av| 激情看片网站| 激情图片伦理国产一区二区日韩| 色阁阁AV综合网| 精品人妻一区二区三区四区| 人人操人人插 - 百度 - 百度| 97人人操人人摸| 久青草影院| 亚洲精品国产AV天美传媒| 大香蕉在线SuP| 亚洲欧美黄| 亚洲欧美自拍偷拍| 91原创在线观看| 亚州中文字幕超碰97| 青青草AV色| 91久久免费视频互動交流 | av在线播放国产一区| 911粉嫩人妻| 国产老熟女| 亚洲蜜臀精品视频久久| 翔田千里一区二区三区奶水| 色情婷婷| 一区二区不卡免费| 国产精品成人久久一区二区三区| 五月丁香激情啪啪| 欧美成人综合| 韩国三级一线观看久| 久久久久国产无av| h色99999| 国产一区二区三三视频| 神马福利久草| 久久日韩肥臀| 国产女生在线| 九九热精彩视频| 欧美性爽xyxOOOO| 东京热免费视频| 另类专区加勒比| 亚洲97成人在线观看| 涩五月婷婷| 日本最新1区2区3区| 国产AAAAAABBBBB| 97日本超碰综合| 91日韩网站| 国产色呦呦| 人妻人人澡人人爽人人| 五月丁香六月综合缴清无码| 欧洲无码一区二区| 熟女精品日韩一区二区三区 | 久久久久久久久久久免费精品| 日本大片日本一区二区免费高清 | 久久久不卡区一区二区三区久久久| 久久啊啊啊| 国产成人久久久精品免费AV| 啊啊啊啊啊啊啊啊要喷了| 久久欲| 性色中出| 国产亚洲欧美每日在线| 96爱综合| 吖在线不卡一区二区国产剧情| 中文一区二区婷婷视频| 国产色产精品在线观看| 少妇蜜汁| 中文字幕一区二区三区字幕| 热久久99999| 超清福利精品视频在线| 极品少妇99| 亚洲精品一区二区精品| 久日91在线| 日韩一性一交一A片俄罗斯| 亚洲欧洲第二视频在线观看色图| 亚洲 一区二区 自拍| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 蜜臀操逼黄色视频操的好爽| 天天在线91| www…国产操逼| 久久久偷拍| 天天日日舔舔| 国产三级资源在线观看| 亚洲色图 图片| 久久精品国产亚洲AV高级北京| 色踪合AV| 美女刺激久久国产欧美| 女人天堂av在线播放| 欧美天天综| 奇米狠999| 欧美色交| 色女99一级片在线观看| 啪啪资源网| 久草综合网| 精品人妻二区三区| 一区二区三区四区免费视频| 78精品在线| 久久9精品视频| 可以在线观看的黄色网址| 大但人体久久久久| 日韩无码嘿咻黑热久| 亚洲欧洲日韩天堂av| 久久噜噜噜精品国产亚洲综合| 日本色婷婷| 秋霞一级鲁丝片A片| 久久精品人妻一区二区三区| 亚洲国产欧美日韩人妻日中文| 尹人免费观看视频在线| 丝袜加勒比| 欧美一二三区四五区| 国产亚洲色婷婷久久99精品91葵花宝典| 9 1果冻精品视频| 99国产在线绯色一区| 日韩性爱小视频在线观看| 91色综合| 国产97在线播放| 求求你操操我| 婷婷五月丁香五月| 天天搞在线综合网| 免费国产视频| 国产女主播视频在线观看| 天天日日舔舔| 不卡免费av在线播放| 精品日韩人妻视频| 2017av无码免费无线播| 国产成人主播| 精品69网| 亚洲精品美女久久久久久久久| 亚洲情色综合| 亚洲乱熟女一区二区| 精品.99999| 99精品久久久久久久婷婷蜜桃| 久久中文字幕不卡人妻| 欧美韩日精品99综合| 插老姨肥穴| 五月丁香色综合| 亚洲1区2区三区高清中文字幕| 中文乱码字幕观看| 亚洲色图欧美色图在线播放| 激情综合av| 亚洲 欧美 中文 日韩超碰 | 这里都是精品| 夜夜骑操视频| 麻豆伊人网| 91在线综合网| 3571色综合一区二区二区| 亚欧性爱ab| 在线a v| 亚洲电影中字一区二区| 综合色一区三区二区| 久热网| 97超碰精品成| 久久大精品乱码视频人妻熟女| 香蕉一区二区三区在线视频| 日本特黄f c2| 婷婷六月色| 久久婷婷五月天| 婷婷色播婷婷| 婷婷色中文字幕| 亚洲欧美激情在线视频| 新婚人妻扶着粗大强行坐下| 激情网色| 1024人妻熟女一区二区三区| 秋霞久久亚洲精品成人| xxxx网站亚洲精品| 国产 日韩 欧美高清| 久久首页| 国产精品久久久久久无码红治院| 日本三级A片网站com| 国产亚洲欧美每日在线| 狠狠色噜噜狠狠狠狠2018| 国产无码久久高清| 亚洲影院365| 日韩免费高清大片在线| 老司机天天操| 夜夜天天噜狠狠爱2021| 操逼1区| 国产欧美亚洲精品a第2页| 欧美顶级黄片AAAAA在线免费看| 性色av网站| 婷婷久久网| 午夜免费视频1000| 1024亚洲中文字幕久在线看片你懂的 | 日韩情色视频| 婷婷五月天久久精品视频一区二区三区 | 日本色色视频网站| 国产一区二区a毛片| 操逼操逼视频操逼| 色婷婷综合网站| 欧美亚洲综合色| 强上我不卡卡| 久久久99999久网站| 97精品一区| 2017天天拍大香蕉| 色视频蜜乳| 日韩欧美国产一区二区三区四区| 黄色高清无码无码破解免费暗网| 婷婷综合激情| 精品人妻一区二区免费蜜桃| 狠色婷婷久久一区二区三区_| 青青草国产一区二区三区| 传媒在线观看一区二区三区| 日韩一级欧美一级国产一级台湾| 强奸国产精品视频| 超碰在线国产| 日本青青草在线| 亚洲国产青青| 色香AV| 国产精品人人爽人人做可爱福利| 亚洲偷拍自拍在线视频| 北京专精特新企业招聘信息| 免费成人在线熟妇网| 91欧美www| 亚洲综合另类小说色区亚洲成av人片在www| 欧美人妻久久精品二区三区| 人妻少妇久久久| 欧色性第一页| 亚洲日韩精品一区二区| 又大又长又粗又爽又黄| 九九九九九九九精品视频| 一本大道综合伊人精品热热| 农村少妇久久久久久久| 男女性感激情网站| 欧美日韩m| 少妇久久久免费| 被操高清无码视频| 久久婷婷色| 九区国产| 翔田千里A片一区二区| 精品亚洲国产成人AV制服丝袜| 天堂国产AV| 理论久久婷婷网8| 少妇xx精品| 91网18| 国产精品白丝| 色婷网| 亚洲天堂电影网| 亚洲欧洲日本精品中文a∨| av九九| 一区二区三区四区在线不卡| 韩美日操逼| 偷拍网站久久男女男| 情色大香蕉| 欧美日韩香蕉| 性爱AV天堂| 日本孕妇一区二区视频操逼免费看| 久久婷婷亚洲| 无码精品啪啪啪一区二区三区三州| 黑人精品XXX一区一二区| 韩国久久97| 色老大| 天美麻花大全视频| 人妻美腿丝袜日韩| 操高情无码| 欧美熟妇亚洲版| 亚洲图片日本AⅤ欧美在线| 亚洲成人一二三区| 日韩福利电影网| 日本有码影片下载| 丰满少妇一区二区三区免费看| 人人色人人操在线| 青青草原成人| 亚洲精品日日夜夜52| 亚洲影视第一页| 精品在线观看视频在线| 亚洲九九视频在线观看| 日本五十路熟女一区二区| 东北女人操比视频| 久久久亚洲欧美综合| 97丝袜亚洲在线播放| 精品成人动漫一区二区| 蜜桃精品一区二区三区久在线| 美国一区二区三区视频| 98超碰日本| 强歼乱伦资源网| 密臀AV在线| 亚洲蜜乳av| 最新9久久久9免费视频| 竹菊影视国产一区二区| 99热在线只有精品| 五月综合视频| 亚洲啪啪综合?v一区综合精品区| 玖玖97综合 | 大粗鳼巴久久久久| 极品色社| 99久久久久久亚洲精品不卡| 欧美大片天天看| 国语av最新自产拍在线观看| 亚洲丝袜二区在线| 女优视频第10页| 男女日B国产| 99精品人人爽| www.色婷婷色综合| 欧洲久久一二线| 热久久九九热| 国产日本久久免费精品| 亚州性色| 欧美se亚洲| 爆操无码| 亚洲九九九九| 综合av影片| 激情av| 成年无码动漫av片无尽在线| 中文字幕女同在线| 婷婷五月av| 级做a爱无码性色永久免费| 欧美影音在线| 色婷婷五月天| 2019精品国产无码成人| 夜夜国自区| 富二代亚洲精品99| 日本熟妇人妻中出视频| 97天天日| 色偷偷男人的天堂麻豆| 首页亚洲国产高跟丝袜诱惑视频| 日韩黄色片子| 東南亚性呦成人伦理资源在线视频| 超碰97欧美在线| 国产精品激情久久久久久久| 97天天摸天天爽| 亚洲一区亚洲天堂| 麻豆60秒| 亚洲色图欧美视频| 国产9 9在线 | 亚洲| 一二三四区电影| 亚洲欧洲无码97久久精品| 欧美日韩第一页| 大香蕉免费3| 欧美天天综合在线| 色哟哟1区2区| 人妻密肉在线观看| 亚洲av无码成人精品国产| 91久久九九精品国产综合| 伊人网在线点播| 99亚洲人人| 中文伊人大香蕉视频| 最新中文字幕在线亚洲| 日本一区二区三区午夜观看| 欲香欲色综合天天伊人| 亚洲欧美日韩电影网站一区 | 懂色影视久久| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 九九久久99| 国产欧美精品日韩区二区麻豆天美| 97人人操人人摸人人爱| 国产成人无码a| 色综合加勒比| 啊啊啊啊无码| 性高潮久久久| 超碰碰小说97| 天堂涩涩| 男人网站婷婷| 青青草啪啪网| 久久婷婷在线观看视频| 色999人与兽| 国产这里只有精品| 妺妺跟我一起洗澡没忍住| 狠狠色狠狠色狠狠五月| 国产精品久久久久久高清无码免费看| 99中文字幕| 九久久精| 99re99在线视频| 中文字幕第二页| 骚货 中文字幕 av| 97久久国产精品| 色综合超碰超| 熟妇激情| 久热大香蕉网站| 97免费视频在线观看视频| 国产青视频| 69人妻精品丰满熟女区| 色盈盈影院| 免费人人搞97| 国产91精品久久久久久久网曝门| 九九久久久九九| 超碰国产情侣自拍网| 1024亚洲中文字幕久在线看片你懂的| 男人兔费天堂| 伊色综合天堂色97| 澳门成人网站久国产日韩| 嗯嗯嗯嗯啊啊啊好紧好大| 亚洲……91| 精产国品一区二三产品| 超碰97玖玖爱| 成人一区二区三区四区| 成人在线午夜视频一区| 青青操视频在线| 91熟女视频网| 2017天天插| 色欲天天综合久久久无码网中文| 日韩性爱小视频| 欧美偷拍区| blacked精品一区国产| 国精精品无码一二三区水多多| 亚洲女毛多水多21P| 久久久久国产无av| 99色悠悠| 美女主播色欲91抠b在线播放| 老司机久久| 精品免费成人久久| 亚洲毛片基地专区| 无码人妻精品一区二区三区99不卡| 国产亚洲欧美每日在线| 久久夜黄色无码A级大片| 国产18精品亚洲精品| 激情网五月天| 欧美亚洲一区二区久久久婷精品大包诱| 亚洲色香| 大香蕉视频啪啪啪啪| 中文字幕国产在线天堂| xxxx网站亚洲精品| 五月婷婷啪啪| 日韩二三区| WWW美腿丝袜香蕉中文| 偷拍盗拍亚洲色图图片| 国产亚洲深夜激情| 2024人人操人人摸| 国产免费大片| 人妻无码一区二区三区久久99| 国产丝袜啪啪| 国产黄片精品在线| 亚洲1区| 日韩精品第3页| 日韩天天综合| 日韩乱伦AⅤ| 色婷婷狠狠| 91天射| 国产精品剧情| 欧亚乱色熟女一区二区| 综合网,亚洲,欧美| 99热国产精品| 人妻9117c| 日韩av乱伦| oumeizonghese,www| 久久婷婷成人综合色怡春院| 天堂а√在线最新版在线| 久热伊人| 一二三四视频在线社区中文字幕| 久久久久久久9999| 久草国产在线视频| 国产精品一区二区在钱播放| 91老熟女91老女人| 亚洲av无码国产精品字幕| 亚洲成av人片色午夜乱码| 久草精品国产蜜臀| 色香欲影| 国产一区二区啪啪视频| 久久一二三四五六七八九区区| 国产成人五月天丁香花| 国产精品久久久久亚洲av| 综精品久久久aaaa| 国产999精品久久久| 老司机老司机午夜影院| 天天天肏屄欧美| 精品九区| 手机看av网站在线看| 欧美色天堂网在线视频| 永久电影三级在线观看| 欧美黑人XXXⅩ高潮交| 97国产精选| 久久久无码av精| 清清草影| 中字幕人妻一区二区三区| 男人的天堂2019AV| 97鸡把在线视频| 欧美三级中文字幕hd| 欧美999999| 精品日韩人妻视频| 亚洲精品蜜桃久久久一区二区三区| 偷拍导航视频网站| 免费av大片| 91国产丝袜美女| 操逼操逼视频操逼| 亚洲 另类 丝袜 自拍 动漫| 黄色电影在线播放综合网站| 9 7超碰在线免费观看| 人妻另类 专区 欧美 制服| 中文字幕黑人大片| 福利视频网站| 国产av尤物| 亚洲男人电影天堂| 色爽爽文学| 国产一级内射高清视频| 美女诱惑1区2区| 亚洲欧美综合| 67194无码不卡| 亚洲国产成人7777| 国产精品 午夜福利| 三级AV入口| 91/欧美| 日本国产高清色www视频在线| 狠操91,com| 男人的天堂一区三区| 激情婷婷丁香网| 色情五月综合婷婷| 久操国产在线| 久久久一热在线播放| 国产无码成人无码| 精久久久91| 国产女人极品高潮毛片| 一摸二插三插| 精品久热| 国产精品午夜AV完会免费| 亚州乱码中文字幕综合久久久| 欧美日韩另类在线播放| 亚洲天天影视色综合| 国产成人在线观看综合| 91性感在线| 夜夜嗨AV蜜臀av| 天天色,天天干,天天干| 91插B网站| 女人的久久久| 欧美爱三级日韩久久| 亚洲资源网| 婷婷五月天基地| 美国日韩黄片| 91精品久久久久久久久久| 丁香婷婷啪啪| 高清有码一区二区| 99久在线精品99re8热视频在线| 麻豆这里只有精品| 超碰95| 狠狠做深爱婷婷久久二区| 天美麻花大全视频| 亚洲第一页第二页激情| av东京热男人的天堂| 99久热| 8x福利精品第一福利视频导航| 久久人妻一区二区三区高清| 这里只有精品久久| 九九精品99| 操一对老熟妇爽上天视频| 亚洲av热热色| 欧美性爱另类综合| 黑人精品一区二区在线播放| 四虎影视国产精品| 午夜成人福利影视| 柠檬AV导航| 操逼逼一区视频| 国产精选视频| 做爱福利视频一区二区| 免费观看有码高清视频| 搞中出久久| 亚洲国产97| 96精品一区| 97超碰天天| 色五月婷婷五月天| 久久91视频| 国产精品不卡高清在线观看| 校园春色欧美| 啊啊啊好舒服好爽啊啊啊视频| 成人网址在线观看| 日本精品网站在线中文| 久久久久白虎| 色香综合天天影视综合| 青青草久久一区网| 色五月综合| 肉嘟嘟www视频在线观看高清| TS人妖另类精品视频系列 | 久久啊啊啊视频| 日韩成人色图| 婷婷大香蕉| 日韩AV无码中文一区二区| 可以免费看黄片的视频| 大香蕉中文| 淫纸中9区| 国产精品一级二级在线| 美女毛片999| 很黄很污的免费网站| 蜜臀少妇一区二区| 曰韩无码777| 欧美系列在线一区二区| ji熟女.com| 国产精品久久久吖| 91亚洲欧美| 日本媚薬中文字幕在线| 国产夫妻性生活视频| 人妻黑丝袜电影| 夜夜嗨绯色| 久久蜜色情在线视频xxx免费观看| 欧亚洲精品有视频| 五月婷婷丁香六月| 99久re热视频精品98| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 伊人欧美大香蕉视频| 强奸熟女一区二区三区| 久久久专区| 天操老女人| 亚洲成人性| 欧美日韩另类在线| 波多野结衣AV无码一区| AAAA欧美日韩| 被操高清无码视频| 国产精品黑人一区二区三区| 精品无码久久久久久久久果冻糖心| sewuyueav| 久热最新在线杭州| 花花AV导航| 超清中文乱码字幕| 久久专区| 少妇熟女1区2区3区| 中文字幕高清精品一区| 日韩精品色呦呦| 久久久久久久久久久免费精品| ,成人免费啪啪视频| 国产一级高跟丝袜| 亚洲av综合色区无码一| 亚州AV无码国产精品| 亚洲码专区| 久久XX| 亚洲 中文 女同| 欧美色997| 狠色婷婷久久一区二区三区_| 97在线观| 人人色人人操在线| 插欧洲美女欧美精品| 性爱1区| 免费观看欧美日韩操逼视频| 天天透伊人| 99 国产丝袜在线| 偷拍2020| 激情小说激情视频| 成人毛片免费| 乱伦一区二区三区‘| 色成人Www精品永久观看| 精品久久久亚洲AV成人网站| 色哟哟的毛片| 激情图片亚洲色图| 91色色综合| 亚洲欧美清纯| 欧美成熟性爱精品| 盗摄女人妻在线| 色一情一乱一乱一区91Av| 亚洲熟妇图片| 欧美青青视频| 99re视频在线播放青草| 欧美Ⅴ性爱| 日本一区二区不卡精品| 久久久久成人蜜桃精品| 国产成自自拍在线观看| 精品制服美女中文一区二区三区| 色与欲影视| 国产一级特黄大片处女| 91chinese在线| 精品十三区| 亚洲精品国产拍免费91在线|