亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

AOSP構(gòu)建優(yōu)化實(shí)戰(zhàn)指南:瓶頸定位、ccache緩存與增量提速

AOSP構(gòu)建優(yōu)化實(shí)戰(zhàn)指南:瓶頸定位、ccache緩存與增量提速 直接進(jìn)入正題。AOSP構(gòu)建這話題說實(shí)話每次提起來都讓人又愛又恨。愛的是安卓開源生態(tài)給了我們無限折騰的空間恨的是每次全量編譯動(dòng)不動(dòng)三四十分鐘起步改一行代碼驗(yàn)證一下又得等十分鐘一整天的時(shí)間就這么被切碎在進(jìn)度條里。我在團(tuán)隊(duì)里負(fù)責(zé)系統(tǒng)構(gòu)建維護(hù)接手那陣子最大的感受就是大家都在默默等編譯然后假裝自己很忙實(shí)際上效率黑洞已經(jīng)吃掉了半天工時(shí)。這篇文章我不打算堆概念就把自己實(shí)際壓構(gòu)建時(shí)間、降編譯成本的經(jīng)驗(yàn)拆開講包括怎么定位瓶頸、怎么配環(huán)境、怎么用緩存、怎么處理增量構(gòu)建里那些反直覺的坑以及想上分布式構(gòu)建的話從哪兒入手最穩(wěn)妥。標(biāo)題里說的最新技術(shù)報(bào)告其實(shí)是我整理的一份構(gòu)建性能分析清單和調(diào)優(yōu)參數(shù)對(duì)照表文末我會(huì)把獲取方式放出來免費(fèi)領(lǐng)不需要你轉(zhuǎn)發(fā)集贊純粹覺得這些東西值得擴(kuò)散。1. 先搞清楚時(shí)間都去哪了構(gòu)建鏈路的分段剖析優(yōu)化一件事之前第一步永遠(yuǎn)是量化。很多同學(xué)一上來就調(diào)-j參數(shù)、加ccache其實(shí)是在沒看清瓶頸的情況下盲目使勁。AOSP構(gòu)建看著是一個(gè)大命令實(shí)際上內(nèi)部是串行加并行混合的多階段流水線每個(gè)階段的開銷特征完全不同盲調(diào)只能碰運(yùn)氣。1.1 AOSP構(gòu)建過程到底分幾個(gè)階段整個(gè)構(gòu)建從源頭到產(chǎn)物大致走這么幾段第一步是配置解析。Soong讀取所有Android.bp和Android.mk文件解析模塊定義、依賴關(guān)系生成Ninja構(gòu)建規(guī)則。這個(gè)階段是單線程主吃的是CPU單核性能項(xiàng)目越大解析越慢。第二步是Ninja構(gòu)建圖加載。Soong輸出的build.ninja文件往往有幾百萬行級(jí)別的規(guī)則Ninja啟動(dòng)時(shí)要把這張圖全部加載進(jìn)內(nèi)存這個(gè)階段吃內(nèi)存和大文件IO磁盤速度直接決定啟動(dòng)耗時(shí)。第三步是任務(wù)調(diào)度與執(zhí)行。Ninja根據(jù)依賴圖把幾十萬個(gè)編譯任務(wù)分發(fā)到各并行進(jìn)程這里頭C/C、Rust、Java、資源打包、proto編譯、文檔生成混合在一起各自吃不同的資源。第四步是鏡像打包與簽名。所有模塊編完以后target_files打包、system/vendor/boot各個(gè)分區(qū)鏡像生成、簽名校驗(yàn)、AVB哈希計(jì)算這階段是IO密集型加少量計(jì)算密集型。我最早踩的坑就是拿time只看總耗時(shí)然后對(duì)著總耗時(shí)瞎猜。后來把ninja -t stats打開一跑才發(fā)現(xiàn)配置解析和Ninja圖加載這兩個(gè)階段加起來占了全量構(gòu)建的15%以上而這部分恰恰是加多少核都提速不了的。1.2 用數(shù)據(jù)定位瓶頸而不是靠感覺AOSP內(nèi)置的構(gòu)建統(tǒng)計(jì)工具不多但夠用。我常用的排查鏈路是這樣全量構(gòu)建跑一遍注意記錄總時(shí)間。然后單獨(dú)跑一次m nothing這個(gè)命令不做真實(shí)編譯只重新解析配置并加載Ninja圖它的耗時(shí)就是構(gòu)建圖處理的固定開銷。接著跑ninja -t stats這個(gè)命令會(huì)告訴你整個(gè)執(zhí)行期間各任務(wù)的累計(jì)時(shí)間和數(shù)量分布。舉個(gè)例子我優(yōu)化前跑m nothing耗時(shí)接近兩分半說明光配置解析加圖加載就要150秒。當(dāng)時(shí)我第一反應(yīng)是關(guān)掉不必要的product配置把沒用的模塊從PRODUCT_PACKAGES里摘掉同時(shí)把一些極少用到的Android.bp做條件編譯隔離結(jié)果m nothing直接降到50秒內(nèi)。這一步不動(dòng)任何編譯參數(shù)光靠瘦身就省了兩分鐘。至于執(zhí)行階段ninja -t stats會(huì)按任務(wù)類型給出累計(jì)耗時(shí)。我這里列一個(gè)常見分布方便你對(duì)號(hào)入座任務(wù)類型典型占比資源特征C/C 編譯40%-60%CPU密集多核并行收益大Rust 編譯5%-15%CPU密集增量較快Java/Kotlin 編譯10%-20%內(nèi)存密集容易OOM鏈接5%-10%單線程居多吃內(nèi)存帶寬資源處理/打包5%-10%IO密集走文件系統(tǒng)proto/AIDL生成3%-8%混合任務(wù)量大但單個(gè)快如果你的項(xiàng)目C/C編譯占比過半那優(yōu)化的主戰(zhàn)場(chǎng)就是并行度和緩存。如果Java編譯占比異常高得檢查是不是每次都全量重編了。如果資源處理占比高就該看磁盤IO了。2. 主機(jī)環(huán)境配置的取舍CPU、內(nèi)存、磁盤與系統(tǒng)參數(shù)AOSP構(gòu)建本質(zhì)上是一場(chǎng)資源換時(shí)間的游戲但資源怎么花、花在哪里面有很多門道。我見過有人用128核服務(wù)器編AOSP結(jié)果還沒16核筆記本快的問題幾乎都出在內(nèi)存和磁盤上。2.1 CPU核心數(shù)與內(nèi)存的匹配關(guān)系并行度不是越高越好。AOSP默認(rèn)的-j參數(shù)會(huì)根據(jù)核數(shù)自適應(yīng)但每個(gè)編譯進(jìn)程平均要吃1GB到2GB內(nèi)存。如果你32核卻只有32GB內(nèi)存開滿并行很容易觸發(fā)OOM內(nèi)核開始swap之后整個(gè)構(gòu)建反而比少開幾個(gè)核更慢。我的經(jīng)驗(yàn)值是這樣內(nèi)存GB數(shù)除以1.5再跟CPU核數(shù)取較小值大概就是這臺(tái)機(jī)器比較穩(wěn)的-j上限。比如64GB內(nèi)存配32核穩(wěn)妥的并行數(shù)是min(32, 64/1.5)約等于42但實(shí)際跑的時(shí)候還要留出2GB到4GB給Soong解析和Ninja圖加載所以建議直接設(shè)-j40。另一個(gè)隱藏坑是內(nèi)存頻率和通道數(shù)。鏈接階段尤其是lld鏈接大型可執(zhí)行文件極度依賴內(nèi)存帶寬。雙通道DDR4和四通道DDR5的差距在鏈接階段能差出一倍時(shí)間。如果你有升級(jí)硬件的預(yù)算優(yōu)先保證內(nèi)存通道數(shù)而不是盲目沖CPU核數(shù)。2.2 out目錄放哪SSD、NVMe還是內(nèi)存盤AOSP的out/目錄是IO壓力最集中的地方。編譯產(chǎn)物、中間文件、鏡像生成全在這。用機(jī)械硬盤編AOSP基本是災(zāi)難建議直接排除這個(gè)選項(xiàng)。SATA SSD可用但會(huì)發(fā)現(xiàn)大量小文件讀寫場(chǎng)景下比如資源打包和proto生成依然有瓶頸。NVMe SSD是目前的甜點(diǎn)選擇PCIe 3.0以上型號(hào)能把小文件隨機(jī)讀寫的延遲壓得很低。再往上就是tmpfs把out/掛到內(nèi)存盤上。這個(gè)方案對(duì)構(gòu)建提速效果極猛IO密集任務(wù)幾乎零延遲。但代價(jià)是內(nèi)存被out目錄吃掉了大半而且掉電即失。我試過用/dev/shm掛out目錄跑小型target的增量構(gòu)建速度快得離譜但全量構(gòu)建時(shí)內(nèi)存根本扛不住。所以我的建議是有256GB以上內(nèi)存的機(jī)器可以開一個(gè)128GB的tmpfs掛out/跑增量驗(yàn)證內(nèi)存不足的老老實(shí)實(shí)用NVMe。另外文件系統(tǒng)格式也要注意。ext4是默認(rèn)選擇但開啟inline_data和lazy_itable_init掛載選項(xiàng)后小文件創(chuàng)建效率有明顯提升。如果你用f2fs隨機(jī)寫入表現(xiàn)會(huì)更好。還有個(gè)大坑是不要跨文件系統(tǒng)軟鏈out目錄有些構(gòu)建腳本對(duì)符號(hào)鏈接的解析有毛病容易整出詭異錯(cuò)誤。2.3 值得一提的內(nèi)核參數(shù)和編譯鏡像選擇內(nèi)存壓力大的機(jī)器建議檢查vm.swappiness。默認(rèn)值60意味著系統(tǒng)會(huì)在內(nèi)存還剩很多的時(shí)候就開始換頁對(duì)構(gòu)建這種內(nèi)存瞬時(shí)尖峰高的負(fù)載很不利。我通常設(shè)成10讓內(nèi)核盡量多扛一會(huì)再動(dòng)swap。vm.overcommit_memory也值得關(guān)注。AOSP的Java編譯進(jìn)程會(huì)一次性申請(qǐng)大塊虛擬內(nèi)存如果系統(tǒng)拒絕overcommit可能導(dǎo)致編譯進(jìn)程直接崩。設(shè)成1可以避免這類問題但要留意這會(huì)增加OOM風(fēng)險(xiǎn)最好配合swap分區(qū)分一個(gè)足夠大的回退空間。編譯鏡像選擇上AOSP官方推薦Ubuntu LTS但不是越新越好。我踩過坑新版Ubuntu自帶的GCC版本過高和AOSP預(yù)編譯的工具鏈在某些頭文件解析上有兼容問題。目前我主力環(huán)境還是Ubuntu 22.04配合AOSP官方文檔驗(yàn)證過的JDK版本最省心。別在生產(chǎn)構(gòu)建機(jī)上亂升級(jí)系統(tǒng)構(gòu)建環(huán)境穩(wěn)定比什么都重要。3. ccache配置最便宜也最容易配錯(cuò)的提速手段如果你只能做一項(xiàng)優(yōu)化那就配ccache。它能把C/C編譯的重復(fù)勞動(dòng)直接抹掉尤其是全量構(gòu)建之后的第二次構(gòu)建命中率高的時(shí)候壓縮一半時(shí)間都正常。但ccache不是裝完就完事配置不當(dāng)反而會(huì)引入各種詭異問題。3.1 ccache在AOSP中的正確打開方式AOSP自帶ccache預(yù)編譯版本路徑在prebuilts/ccache/不需要自己安裝。但默認(rèn)不啟用需要手動(dòng)設(shè)置環(huán)境變量export USE_CCACHE1 export CCACHE_DIR/path/to/ccache prebuilts/ccache/ccache -M 50G-M參數(shù)是緩存容量上限。這個(gè)值取決于你常編的模塊規(guī)模。只編單個(gè)模塊20G夠用經(jīng)常全量構(gòu)建建議50G到100G。緩存太小會(huì)導(dǎo)致舊條目頻繁被逐出命中率上不去白忙一場(chǎng)。最好把這幾個(gè)命令寫進(jìn)~/.bashrc或者構(gòu)建腳本里否則每次新開終端都忘了設(shè)。我見過有人配置了半天發(fā)現(xiàn)沒生效就是環(huán)境變量沒持久化。3.2 命中率怎么查以及典型數(shù)值參考構(gòu)建跑完以后執(zhí)行ccache -s能看到命中率、緩存大小、未命中原因統(tǒng)計(jì)。一個(gè)健康的緩存狀態(tài)第二次全量構(gòu)建的命中率應(yīng)該在70%以上增量構(gòu)建命中率能到90%以上。如果命中率異常低優(yōu)先查這幾種情況編譯器路徑變化。如果你手動(dòng)切換了clang版本、或者構(gòu)建腳本動(dòng)態(tài)設(shè)置了CC/CXX變量ccache會(huì)因編譯器二進(jìn)制不同而失配。排查方法是在ccache -s里看Compiler version mismatch計(jì)數(shù)。源碼路徑變化。ccache默認(rèn)把絕對(duì)路徑作為緩存key的一部分。如果你把源碼目錄從/home/aosp挪到/data/build/aosp等于緩存全部失效。這個(gè)看Cant find source file計(jì)數(shù)能確定。預(yù)處理輸出變化。頭文件里的時(shí)間戳、__DATE__這類宏會(huì)讓預(yù)處理結(jié)果每次都不同ccache只能被迫存新條目。項(xiàng)目里如果有第三方庫自帶這種不確定性建議在Android.bp里關(guān)掉相關(guān)宏或者統(tǒng)一時(shí)間戳。3.3 多用戶共享緩存與CI場(chǎng)景的實(shí)戰(zhàn)經(jīng)驗(yàn)團(tuán)隊(duì)開發(fā)場(chǎng)景下每個(gè)開發(fā)者各自維護(hù)一份ccache很浪費(fèi)。讓所有人的緩存指向同一個(gè)NFS目錄效果接近分布式緩存且配置極其簡(jiǎn)單。但共享緩存有幾個(gè)坑得避開。第一是權(quán)限NFS共享目錄要確保所有用戶可寫且umask不能太嚴(yán)格否則緩存文件寫不進(jìn)去ccache會(huì)靜默降級(jí)為不緩存。第二是目錄鎖老版本ccache在并發(fā)寫同一個(gè)緩存目錄時(shí)會(huì)有鎖競(jìng)爭(zhēng)多用戶同時(shí)構(gòu)建時(shí)反而變慢。建議升級(jí)到ccache 4.x以上并發(fā)控制好很多。第三是網(wǎng)絡(luò)穩(wěn)定性NFS抖動(dòng)一次構(gòu)建進(jìn)程可能直接卡死CI環(huán)境里特別致命。我的實(shí)際配置是內(nèi)網(wǎng)一臺(tái)存儲(chǔ)服務(wù)器開NFS緩存目錄設(shè)100GCI節(jié)點(diǎn)和開發(fā)機(jī)構(gòu)掛載到同一個(gè)CCACHE_DIR。實(shí)測(cè)下來一個(gè)團(tuán)隊(duì)五個(gè)人同時(shí)構(gòu)建緩存命中率依舊能維持在60%左右每個(gè)人節(jié)省的編譯時(shí)間非??捎^。4. 增量構(gòu)建的意外重編級(jí)聯(lián)依賴和隱式全量增量構(gòu)建本該是效率神器但在AOSP里經(jīng)常出現(xiàn)一個(gè)現(xiàn)象明明只改了一個(gè)Java文件結(jié)果重編了上千個(gè)模塊。這背后是依賴圖和構(gòu)建緩存機(jī)制的耦合問題理解了才能有效規(guī)避。4.1 為什么改一行代碼會(huì)觸發(fā)大規(guī)模重編AOSP的構(gòu)建系統(tǒng)是基于Ninja的Ninja只認(rèn)依賴關(guān)系。當(dāng)某個(gè)頭文件被改動(dòng)所有#include了它的源文件都會(huì)被標(biāo)記為過期。問題出在AOSP源碼里大量頭文件層層包含一個(gè)底層頭文件稍微動(dòng)一下上層幾千個(gè)源文件全得重編。典型的例子是修改了system/core底層的某個(gè)通用頭文件整個(gè)framework層的C代碼幾乎都要重編。這個(gè)不算bug是C/C的預(yù)處理器模型決定的但可以通過合理的頭文件隔離來減小爆炸半徑。另一個(gè)容易被忽視的是靜態(tài)庫依賴。AOSP里很多模塊以靜態(tài)庫形式被多個(gè)可執(zhí)行文件依賴。改動(dòng)一個(gè)靜態(tài)庫的接口所有依賴它的可執(zhí)行文件都要重鏈鏈接又是單線程的時(shí)間開銷極大。我在項(xiàng)目里強(qiáng)制要求對(duì)外接口盡量穩(wěn)定改動(dòng)時(shí)優(yōu)先在這些庫內(nèi)部消化實(shí)現(xiàn)避免動(dòng)頭文件。4.2 避免假增量的操作細(xì)節(jié)增量構(gòu)建最大的敵人是clean。make clean會(huì)把out目錄整體清空相當(dāng)于放棄所有緩存。很多解法是能不clean就不clean。但構(gòu)建目錄有時(shí)候會(huì)臟掉Ninja報(bào)錯(cuò)說規(guī)則變了或文件沖突很多人第一反應(yīng)就是clean。我先試一個(gè)溫和方案rm -rf out/soong把Soong的中間狀態(tài)清掉讓構(gòu)建系統(tǒng)重新解析配置多數(shù)依賴規(guī)則損壞的問題都能解決。再不行才考慮rm -rf out。還有一個(gè)細(xì)節(jié)很多人不知道直接執(zhí)行m不帶目標(biāo)名有時(shí)候會(huì)觸發(fā)比預(yù)期更多的構(gòu)建量。原因是構(gòu)建系統(tǒng)會(huì)默認(rèn)編譯當(dāng)前product配置下所有模塊。如果只是想驗(yàn)證某個(gè)模塊用m 模塊名指定目標(biāo)或者更精細(xì)一點(diǎn)進(jìn)到模塊目錄下執(zhí)行m這樣Ninja會(huì)以當(dāng)前目錄作為默認(rèn)目標(biāo)只構(gòu)建相關(guān)模塊。4.3 API變更和文檔生成導(dǎo)致的隱性全量構(gòu)建這可能是最容易被忽略的增量陷阱。AOSP里有一類特殊target比如api-stubs、system-api-stubs、test-api-stubs它們根據(jù)源碼接口自動(dòng)生成API描述文件。每當(dāng)接口變更這些target會(huì)重跑一旦生成的結(jié)果和預(yù)設(shè)的API基線文件不一致構(gòu)建就會(huì)報(bào)錯(cuò)或者聯(lián)動(dòng)重編很多依賴模塊。文檔生成是另一個(gè)隱性全量源。droidcore包含了很多文檔target比如docs-combined-*它們依賴大量模塊的中間產(chǎn)物跑起來極其耗時(shí)。如果構(gòu)建命令里帶了-k或者指定了比較全的target集合很容易把文檔構(gòu)建也捎帶上。我在實(shí)踐中把CI的構(gòu)建命令拆成了兩段日常提交只跑m 模塊只有打Release包時(shí)才跑完整droidcore。這一個(gè)小小的改變讓CI的日常構(gòu)建時(shí)間從45分鐘降到了7分鐘以內(nèi)。5. 分布式構(gòu)建和遠(yuǎn)程緩存的落地路線很多人一聽分布式構(gòu)建就激動(dòng)覺得可以把幾十臺(tái)機(jī)器的CPU擰成一股繩。但AOSP這套構(gòu)建系統(tǒng)對(duì)分布式的支持并不友好盲目折騰大概率是浪費(fèi)時(shí)間。我更建議按遠(yuǎn)程緩存 → 并行調(diào)度 → 真正的分布式執(zhí)行這個(gè)梯度去演進(jìn)。5.1 先上遠(yuǎn)程緩存共享ccache和構(gòu)建產(chǎn)物緩存AOSP構(gòu)建中多個(gè)模塊的編譯產(chǎn)物在規(guī)則不變、輸入不變的前提下是等同的。如果把產(chǎn)物緩存放內(nèi)網(wǎng)共享就相當(dāng)于做了遠(yuǎn)程緩存。這個(gè)方案不需要改構(gòu)建系統(tǒng)實(shí)現(xiàn)成本極低。實(shí)際操作中除了前面提的共享ccache還有一個(gè)更粗粒度的產(chǎn)物緩存思路把整個(gè)out/target/product/device目錄定期同步到內(nèi)網(wǎng)服務(wù)器新機(jī)器或CI節(jié)點(diǎn)首次構(gòu)建時(shí)直接拉取快照跳過全量編譯。這個(gè)方案在分支切換不頻繁的團(tuán)隊(duì)里效果很好我的一個(gè)項(xiàng)目就是用rsync同步產(chǎn)物目錄新同事拉完快照再增量構(gòu)建省掉了第一次全量編譯的40分鐘。5.2 并行調(diào)度把單機(jī)多target拆到多臺(tái)機(jī)器如果多臺(tái)機(jī)器都連著同一個(gè)源碼鏡像和產(chǎn)物共享目錄可以手動(dòng)把構(gòu)建任務(wù)拆開。比如把多臺(tái)機(jī)器的-j參數(shù)降半各自跑不同的模塊集合然后匯總。這個(gè)方案沒有任何構(gòu)建系統(tǒng)層面的支持全靠人肉編排只建議在特定場(chǎng)景用比如需要同時(shí)出多個(gè)product變體每臺(tái)機(jī)器各編一個(gè)最后統(tǒng)一收集。我在實(shí)際中就這么干過一臺(tái)機(jī)器跑user版本另一臺(tái)跑userdebug版本時(shí)間直接減半。但如果你想著手做真正的remote execution也就是把單個(gè)編譯任務(wù)分發(fā)到遠(yuǎn)程執(zhí)行AOSP本身沒有原生的RBE支持需要借助外掛工具鏈復(fù)雜度會(huì)指數(shù)級(jí)上升。5.3 更現(xiàn)實(shí)的方案構(gòu)建集群化和流水線編排對(duì)于中小團(tuán)隊(duì)我并不推薦直接上RBE。我更推薦先把構(gòu)建流程標(biāo)準(zhǔn)化統(tǒng)一構(gòu)建命令、統(tǒng)一環(huán)境鏡像、統(tǒng)一產(chǎn)物輸出位置然后用流水線工具把構(gòu)建任務(wù)編排起來。這樣即便每臺(tái)機(jī)器是單機(jī)構(gòu)建整個(gè)團(tuán)隊(duì)的構(gòu)建吞吐量也能通過并行流水線提上來。比如一個(gè)版本發(fā)布流程包含全量構(gòu)建、單模塊增量構(gòu)建、文檔構(gòu)建、鏡像打包。這四個(gè)任務(wù)互相獨(dú)立完全可以拆成四類流水線任務(wù)分發(fā)到不同節(jié)點(diǎn)。我實(shí)際做下來這套編排比單機(jī)串行節(jié)省了約60%的整體交付時(shí)間而且邊界清晰、出問題好定位。等到團(tuán)隊(duì)規(guī)模大了單機(jī)構(gòu)建時(shí)長真的成了瓶頸再考慮用Bazel遷移加RBE的方案。但這是大工程沒幾個(gè)團(tuán)隊(duì)能承受遷移成本大多數(shù)情況下游刃有余的產(chǎn)物緩存加流水線編排已經(jīng)夠用。6. 構(gòu)建失敗排查的實(shí)戰(zhàn)鏈路從報(bào)錯(cuò)信息到根因定位構(gòu)建優(yōu)化的另一個(gè)側(cè)面是排錯(cuò)效率。構(gòu)建失敗一次少則浪費(fèi)幾分鐘多則卡一下午。我見過太多人對(duì)著終端輸出迷茫或者一遇報(bào)錯(cuò)就clean重來結(jié)果問題依舊。這里分享一套我自己總結(jié)的排查思路專門對(duì)付AOSP這類復(fù)雜構(gòu)建系統(tǒng)。6.1 報(bào)錯(cuò)信息的正確讀取方式AOSP構(gòu)建輸出極其冗長。直接翻終端滾屏是最低效的方式。正確的做法是讓日志落盤再定向檢索。推薦的做法m -j40 21 | tee build.log然后構(gòu)建結(jié)束后用關(guān)鍵詞過濾grep -E error:|FAILED:|ninja: build stopped build.logFAILED:后面的內(nèi)容是定位關(guān)鍵。Ninja會(huì)告訴我們具體哪個(gè)target失敗以及失敗的命令是什么。比這更詳細(xì)的信息在對(duì)應(yīng)模塊的編譯日志里路徑通常在out/soong/.intermediates/下對(duì)應(yīng)模塊的子目錄找到.log后綴文件里面有完整編譯命令和編譯器原話。6.2 編譯錯(cuò)誤、鏈接錯(cuò)誤、資源錯(cuò)誤的分類處理錯(cuò)誤類型不同處理方式天差地別。編譯錯(cuò)誤一般是代碼問題頭文件找不到、語法錯(cuò)誤、依賴缺失。這類問題直接定位到具體文件和行號(hào)修代碼即可。偶爾出現(xiàn)的情況是頭文件被改動(dòng)破壞了引用關(guān)系需要回溯誰動(dòng)了那個(gè)頭文件。鏈接錯(cuò)誤的特征是undefined reference或duplicate symbol。前者通常是缺少依賴庫檢查Android.bp里的shared_libs或static_libs有沒有把需要的庫加進(jìn)去。后者則是兩個(gè)庫導(dǎo)出了同名符號(hào)要么引入命名空間隔離要么在依賴?yán)锾蕹貜?fù)庫。我遇到過最隱蔽的一種不同模塊編譯時(shí)用了不同的宏定義導(dǎo)致同一個(gè)頭文件里符號(hào)在不同編譯單元下簽名不一致鏈接階段才爆炸。資源打包錯(cuò)誤多在AAPT2階段錯(cuò)誤信息會(huì)直接指向資源文件路徑和具體的資源名沖突。常見的坑是新增資源時(shí)命名與其他模塊重疊或者values里的類型定義沖突。AAPT2的緩存偶爾也會(huì)臟掉如果確認(rèn)代碼沒問題清一下out/soong/.intermediates下對(duì)應(yīng)模塊的緩存再重試。6.3 增量構(gòu)建失敗后的安全恢復(fù)姿勢(shì)最忌諱的就是無腦clean。一旦clean之前的構(gòu)建緩存全部作廢下一次構(gòu)建時(shí)間直接回到全量級(jí)別。我的恢復(fù)流程按輕重緩急排列先確認(rèn)是不是偶發(fā)資源競(jìng)爭(zhēng)導(dǎo)致的失敗。檢查上次構(gòu)建是否在內(nèi)存吃緊或磁盤寫滿狀態(tài)下運(yùn)行如果是先清理磁盤釋放空間再重跑一次經(jīng)常就能過。然后試rm -rf out/soong讓構(gòu)建系統(tǒng)重新解析配置。這一步能覆蓋大多數(shù)依賴規(guī)則損壞的場(chǎng)景同時(shí)保留已有編譯產(chǎn)物。再不行定位到失敗模塊單獨(dú)刪除該模塊的中間產(chǎn)物目錄。目錄路徑在out/soong/.intermediates/模塊路徑刪完重跑m 模塊系統(tǒng)會(huì)重建該模塊的過期產(chǎn)物。最后才考慮make clean而且要提前評(píng)估后果。在時(shí)間緊的情況下我會(huì)先把ccache臨時(shí)設(shè)到最大至少讓C/C部分能借緩存回血而不是完全從零開始。6.4 一個(gè)典型的鏈接失敗排查實(shí)例有一次我遇到libart鏈接反復(fù)失敗報(bào)錯(cuò)是undefined reference to art::Thread::Current()。單看這行很多人會(huì)去翻Thread類的定義但我先檢查了Android.bp改動(dòng)記錄發(fā)現(xiàn)同事把libart里的一個(gè)宏定義改名了而依賴libart的另一個(gè)庫還按舊宏名走導(dǎo)致生成的頭文件里Thread::Current()被條件編譯裁掉。整個(gè)排查過程大概20分鐘如果當(dāng)時(shí)直接clean全量編譯至少40分鐘起步還未必能定位根因。這類經(jīng)驗(yàn)告訴我凡是鏈接錯(cuò)誤先查依賴方和被依賴方的宏配置是否對(duì)齊再動(dòng)手重編。7. 構(gòu)建調(diào)優(yōu)方案選型時(shí)我踩過的坑和最終建議這部分算是我個(gè)人經(jīng)驗(yàn)的沉淀。優(yōu)化AOSP構(gòu)建效率的路徑很多但踩過坑以后才知道哪些投入產(chǎn)出比最高哪些是花架子。先說結(jié)論環(huán)境層面NVMe固態(tài)加足夠內(nèi)存是底線ccache必須配增量構(gòu)建的target選擇一定要講規(guī)矩方案層面產(chǎn)物緩存比分布式執(zhí)行性價(jià)比高得多先別碰RBE。我見過最虧的做法是花重金升級(jí)到極高核數(shù)的CPU結(jié)果內(nèi)存和磁盤沒跟上編譯速度不升反降。也見過一遇構(gòu)建失敗就clean把ccache的收益全浪費(fèi)掉的團(tuán)隊(duì)。構(gòu)建調(diào)優(yōu)本質(zhì)上是個(gè)系統(tǒng)性工程每個(gè)環(huán)節(jié)的短板都會(huì)成為瓶頸而補(bǔ)齊短板時(shí)又要注意不引入新的瓶頸。最終我的推薦清單如下磁盤NVMe 1TB以上避免機(jī)械盤和SATA盤內(nèi)存至少64GB128GB更從容內(nèi)存頻率優(yōu)先ccache大小按50G起步多用戶共享增量構(gòu)建明確m 模塊避免無腦全量CI編排日常單模塊增量發(fā)版時(shí)才全量排查流程日志落盤、分級(jí)處理、避免無腦clean產(chǎn)物緩存內(nèi)網(wǎng)共享快照降低新環(huán)境首次構(gòu)建成本這套組合建起來以后我這邊團(tuán)隊(duì)的全量構(gòu)建時(shí)間從40分鐘壓縮到20分鐘左右增量構(gòu)建常規(guī)在3分鐘內(nèi)日常開發(fā)基本不用再盯著進(jìn)度條發(fā)呆。如果需要那份構(gòu)建性能分析報(bào)告和調(diào)優(yōu)參數(shù)對(duì)照表直接內(nèi)網(wǎng)找我拿或者評(píng)論區(qū)留下聯(lián)系方式就行。里面包含了我優(yōu)化過程中的詳細(xì)數(shù)據(jù)和每項(xiàng)調(diào)整的前后對(duì)比對(duì)正在做構(gòu)建效率治理的團(tuán)隊(duì)?wèi)?yīng)該會(huì)很有參考價(jià)值。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
大香樵伊人网| 午夜视频久久久| 成人免费看吃奶视频网站| 九九九久久久久| 婷婷亚洲天堂| 久久91视频| 国产AV线| 厕所偷拍在线| 99综合视频| 高清无码在线播放网站| 精品久9| 久久精品一区| 97干日韩| 99热97| 91精品大奶人妻| 精品久久久久久AV无码| 超碰在线91| 欧美丝袜美女电影一二三四区| 日韩免费人妻色情网站| 日本人人操人人操| 婷婷干黄色| 99re这里只有精品2| 日han少妇无码| 人妻人人操| 九九视频黄色片| 国产精品久久久久久久久久久久| 日本女人久久久| 嗯嗯啊啊好大好爽| 日本免费不卡二区| 中文有码第五页| 91少妇| 亚洲情欲| 啊啊啊啊啊啊在线| 91bbb| 成人性交午夜免费片| 九九免费影片| 久久久一区二区| 国产综合久久久鬼色| 嗯嗯啊在线视频| 九九综合| 95精品在线| 激情综合网激情五月天| 精品久久99| 国产97色在线| 91精品综合久久久久久五月丁香| 超碰久热| 91av天美性媒精品视频| 欧美日韩亚洲天堂网| 久草精品国产蜜臀| 97国产天堂岛| 好淫网一二三视区| 91麻豆天美传媒HD| 啊啊啊久久久视频| 日韩欧美女求操每天更新| 亚洲AV人人澡人人爱| 四虎影视国产精品| 麻豆成人影音在线| 91人人| 久久久久少妇| 国产强上视频在线观看| 99热最新| 久草视频制服诱惑| 天天干2019| 牛牛操视频逼| 国产极品久久久| 每日更新AV| 裸体女人草逼视频播放一区,二区,三区,四区,五区| 精品免费1| 男人天堂站| 夜夜嗷嗷一区二区| 天天天堂影视日韩亚洲91| 91黑丝操| 综合欧美亚洲| 日韩欧美成人综合在线| 97色色婷婷| 啪啪视频mP4| 欧美精品在线观看| 97精品在线| 欧美激情区| 超碰在线人人射| 狠狠色伊人亚洲综合网站色| 高清一区AV无码| 亚洲电影中字一区二区| 乱伦日本色图AⅤ| 日韩人妻一区二区精品| 麻豆九九九| 97免费视频在线观看视频| 亚洲图片 欧美电影| 亚洲国产精品无石码久久| 精品国产Av无码久久久亚洲| 久99| 欧美色图偷拍另类| 狠狠91| 91社操逼| 精品黄色电影| 日本激情免费大片| 美日韩在线不卡人妻| 亚洲人精品久久久| 国产精品无码av| 日日狠狠久久偷偷色综合免费| 91美女视频在线免费观看| 东北老熟女| 久久亚州精品成人Av无| 久久国产视频性吧| 久久99999| 亚州综合在线| 色婷婷在线视频| 嗯嗯啊啊亚欧精品| 九九九精品| 丁香五月激情网| 久久九操在线观看| 色翁荡息又大又硬又粗又爽| 色色热| 好湿好紧好爽 视频| 91精品在线播放| 亚洲春色欧美激情自拍| 91在线美女| 日韩人妻无码不卡网站| 99久久久| 中出91视频| 国产对白刺激视频| 操死我了嗯嗯嗯| 人妻熟女一区二区三区视频| 你懂得91| 日韩国产中文字幕| 天天舔日美女视频| 国产乱伦性爱AV| 1024午夜激情男人的天堂| 色色毛片| 97人人爱人人做人人乐| 97超碰人人模人人拍人人| 欧美综合骚| 国产精选视频| 射丝袜高跟鞋99| 好爽视频在线观看视频 | 国产精品视频麻豆入口| 亚洲在钱| 探花激情视频| 亚洲综合首页| 天天日日日射| 91人妻做a观看视频| 国产视频小说| 亚洲操逼网| 香蕉精品二区二区| 久久久草成人网站久久久草成人久久久草久久久 | 99热在线观看| A级国产欧美激情在线| 91超碰人人| 97久久国产| 69超碰综合| 久久永久无码人妻视频| 亚洲情色一区二区三区| 欧美日韩97在线| 人人操人人操人人操人人操人人操人人人11.CM | AV麻豆免费一区| 大香蕉在线免| 91九色在线| 精品999一区二区| 亚洲色图久久成人| 欧美十八禁视频| 乱子伦一区二区三区国产精品| 香蕉人人操tv| 躁躁躁日日躁2020| 超碰97久久国| 久久久com| 欧美强奸乱能| 亚洲毛片基地专区| 啊啊啊啊啊啊啊啊啊啊在线观看| 九九人人操| 最新日日夜夜天天干干| 亚州色图欧美色图| 手机av天堂久久久久| 日本1区2区不卡视频| 激情视频一二三| 丁香五月激情五月| 老熟女搡BBBB搡BBBB视频| 欧日韩在线观看| 婷婷久久五月| 又大又大又大又粗爽高潮观看| 亚洲综合图片在线| 欧美97av| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 激情看片网站| 日韩欧美午夜一区二区| 欧美天天综合网| 成人精品欧洲亚洲| 深夜啪啪啪视频免费| 精品性爱一二三区| 国产在线视频二区| 亚洲色图91| 91N综合网在线| 操逼精品视频| 九热大香蕉| 久久亚洲不卡| 色香色欲天天综合网天天来吧| 啊v在线观看视频| 国产精品3| 97二区四区| 99日韩| 99re免费视频精品全部| 午夜精品久久久久久久99| 久久99国产综合精品女同| 巨爆乳肉感一区二区三区竹菊影视 | 另类小说五月天| 中文字幕奈奈美被公侵犯| 亚洲天堂男人天堂网| 怡红院亚洲怡春院av| 热久久99999| 97色碰| 五月天人妻综合| 国产精品午夜成人福利| 色哟哟-国产专区| 99热精品免费| 日本亚洲vr欧美不卡高清专区| 天天天天天干夜夜夜夜夜操| 91丨九色丨43老版熟女| 婷色五月天| 伊人麻豆传媒| 51国产午夜精品视频| 伊人操| 久久久久女教师免费一区| 97欧美色综合| 亚州欧美在线| 另类图片天天影视| 日本操逼视频在线| 中文字幕一区二区在线日韩精品| ,成人免费啪啪视频| 人人澡人人干| 天天谢天天干| 青椒国产97在线熟女| 欧美精品一区二区少妇免费A片| 影音先锋每日最新资源在线观看| 91碰超| 亚洲色 国产 欧美 日韩| 久久精品福利影院| 性做久久久久久免费观看软件 | 久久是精品| 九九免费影片| 9 9精品一区二区三区| 婷婷综合| 嗯嗯嗯啊啊啊操的我好爽| 亚洲天堂色图| 婷婷五月天久久精品视频一区二区三区 | 亚洲精品99| 丰满人妻-区二区三区免费| 免费一级视频特黄色大片| 另类视频在线| 婷婷国产精品九区| 国产AV人人夜夜澡人人爽麻豆| 亚洲综合夜色| 69精品| 性爱视频免费网址| 亚洲图片偷拍视频区| 丁香五月激情综合| 免费看污网站| 91天天综合日韩欧美| 日韩免费簧片| 无码自拍SM| 精品.99999| 91影视亚洲| 探花视频免费观看国产专区| 人妻一区视频| 96精品久久久久中文字幕| 一牛一区二区三区久久| 碰超人人在线一区二区三区| 日本性爱视频一级| 午夜久久无码1000合集| 狠狠躁伊人中文字幕| 久久久久夜夜夜夜| 婷婷香蕉欧美在线一区二区三区| 后入式在线免费观看60秒| 97超碰中文在线| 伊人久久在线视频观看| 一二三啪啪专区| 国产精品电| 91 丝袜在线播放| 东亚亚洲无码高清| 国产又大又粗又色生活片亚洲国产精品成人久久久综合免费 | 黄色视频特级毛片| 日本三级韩国三级美三级91| 伊人操你| 久久婷婷一区二| 东北操逼| 久久大黄片| 大香蕉520| 天天色怡春院| 国产一区自拍欧美日韩| 精品久久久九九九孕妇| 熟女91网| 色噜噜精品一区二区三| 青青草狠狠撸| AVE乱伦| 青草视频在线看看看看看看看看看| 亚洲AV在线资源| 日韩综合成人免费视频| 久久蜜色情在线视频xxx免费观看| 国产精品诱惑| 欧美一区二区| 大香网伊人久久综合| 久久99草| av天堂天堂av日韩| 日韩天天本| 91av一区二区在线观看| 日日干男人的天堂| 精品人妻一区二区视频| 超碰天天操| 久久欲| 欧美九九爱| 91精品人| 97久久精品亚洲中六字幕| 日韩15p| 超碰在线成人| 97干在线视频| 超碰97网址| 日本αv| 精品99999久久久久久| 97综合激情| 婷婷丁香在线| 熟女人妻精品一区二区视频| 欧美中文字幕一区| 午夜福利av电影在线| 伊人一区二区三区| 亚洲成人福利电影免费| 欧美成人精品欧美一级乱黄一区二…| 熟女丰满人妻一区| 小视频国产| 97丝袜亚洲在线播放| 岛国黄色短视频| 国产超碰97| 人妻人人操| 色婷婷丁香五月| 中出欧美| 99综合自拍| 一本一道vs波多野结衣| 96超碰网| 日本999精品视频| 性暴力欧美猛交在线直播| 日本啊啊啊啊啊视频| 女人精品内射国产99| 亚洲熟女乱熟乱熟妇综合网二区| 日本韩欧美在线播放a| 日韩BBN| www.91色综合| 亚洲精品天堂久久A∨51成人漫| 欧美综合1性辶| 黄色二级片网站| 久久精品中文字幕观看| av天堂加勒比| 欧美色图片91| 狠狠操狠狠| 日韩欧美午夜一区二区| 亚洲久草AV色图| 青青草视频久久| 国产一区在线观看无码AV| AV中亚| 九九国产热| 91黑丝露脚| 人人操人人插人www| 欧美午夜熟妇黑人精品91| 后入美女国产| 8050午夜少妇无码| 精品欧美不卡在线播放| 99热这里都是精品| 欧美999999| 国产欧美另类久久久精品课程| 久久有码| 爱爱动态试试看6 0秒| 日韩一级片在线看| 青娱乐国产盛宴视频| 青青草在线视频播放器| 超碰97首页| 97人人中文网| 3571色综合一区二区二区| 上海一级黄片| 黄色免费网| 久久久久久久久久9| k频道色撸撸| 成人精品视频一区二区| 亚洲男人的天堂V| 激情视屏国产乱伦强奸| 每日更新AV| 久草国产在线视频| 五十路六十路素人熟女| 啪啪视频免费在线观看| 欧美日韩欧美| 国产精品一区二区密臀| 欧美综合色综合| 粉嫩少妇自慰在线| 欧美中文字幕一区| 有码免费观看| 99亚亚热| 久久熟女人| 长长久久88视频| 强奸xx国产| 91粉嫩萝控精品福利网站_精品影音先锋国| 蜜乳av一区二区| 人人操人人操人人人操| 综合av社区| 黄片qw| 天天综合网91入口| 亚洲av夫妻操穴网| 99精品热| 91美女视频在线免费观看| 性色av一区二区| 日韩电影天堂视频一区二区| 亚州综合图片| 欧美九九九| 亚洲av资源| 人妻少妇精品视频一区二区三区| 免费国产视频| 五月天我淫我色av| 亚洲欧美精品福利在线| 91视频国品一二三区| 一区二区日韩欧美久久| 熟女丰满人妻一区| 久久精品老司| 日本亚洲嫩草影院啪啪| 97超碰超碰| 亚洲无无码αⅴ每日更新| 国内毛片热久久思思热| 日韩精品在线观看观看| 欧美国产日韩高清在线| 精品一区二区啪啪啪| 曰韩欧美国产传媒麻豆第一区| 欧美精品在线观看| 欧美猛交黑寡妇中文字幕| 伊人嫩草| 日本成人在线不卡一区二区三区| 国产成人手机视频激情| 91ise欧美| 熟女中出视频| 婷婷美人网| 日韩精品一区二区人人人| 欧美色视| 国产精品69人妻无码久久久| 91n处女在线观看| 97伊人超碰| 84YTCOM性无码| 一区三区啪啪| 九九九九九九九九九九九免费国产| www久| 欧美日韩国产电影| 9999亚洲精品| 干B网| 美国精品国产精品| 欧美性爱三区二区| 99色悠悠| 狠狠色五月亚洲91| 东京热视频网| 免费观看的av| 韩日巨乳美女免费视频在线观看| 五十路熟女人妻一区二区三区四区五| 亚洲蜜乳av| 婷婷五月成人| 一区二区播放| 尤物网址| 刺激性视频黄页| 人妻少妇无码| 久久国产热视频97电影| 我爱大香蕉| 夜夜狼人妻| 正宗无毛一线天嫩逼| 天天爽夜夜爽夜夜爽精| 欧美熟爽综合| 四虎在线视频| 自慰白浆在线观看| 97网址97| 26uuu国产日韩综合在线观看| 麻豆视频test| 97超碰美女| 欧美午夜视频精品久久| 欧美精品偷拍| 久久久久国产亚洲一区欧美色图日韩 | 久久78| 天天干人妇| 亚州春色| 久久亚洲欧美中文字幕国语| 青青草色插素人| 天天看夜夜看日日干| 丁香五月激情网| 久久三区四区| 国产高潮AA片免费看| 久久久熟女一区| 中文字幕日韩人妻视频一区二区三区| 97视频在线免费看| 放黄片放3级黄片没穿衣服| 另类一区| 97资源站国产精品| 偷看洗澡一二三区美女| 东北女人性交| 可以看的av| 97伊人超碰| 337p大胆噜噜噜噜噜91Av| 性高潮久久久| 日本久久网| 色眯眯av| 亚洲经典啪啪| 欧美性性性| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 尤物网址| 亚州乱码中文字幕综合久久久| 91欧洲国产成人久久精品网站| 欧美国产伊人久久久久| 搡老女人老91妇女熟女| 国产精品69久久久久孕妇欧美| 日韩国产在线观看av| 懂色av中文字幕一区二区三区天美 | 亚洲砖码砖专无区2023| 亚洲极品| 素人播放一区| AV麻豆免费一区| 国产十八禁视频| 国产精品久久久久久片| 亚洲精品人体| 欧美日韩大陆黑人少妇99| 2017人人操,人人摸| 亚洲综合伊人| 国产丝袜美女诱惑| 亚洲欧美国产中文视频| 国产日韩欧美| 91精品综合久久久久久五月丁香| 国产中午字一暮区| 婷婷三区| 亚洲欧洲国产综合av| 人妻少妇精品久久久久久| 91丨国产丨白浆| 91社区拍啪人妻| 欧美啪啪色吧在线| 91亚洲人电影| 中文操嬖片。| 啊啊啊啊啊在线| 77国产精品| a网站免费观看| 老鸭窝成人免费毛片视频| 一区,二区,三区网站| 日本道久久综合色色| 久久久一区二区三区四区五区| 玖玖97综合 | 男人的天堂啪啪啪啪啪蜜桃不卡| 7777奇米影视久久| 9九九国产| 极品粉嫩一区二区| 中文字幕欧洲有码| 青青草国产亚洲精品久久| 国产在线强奸视频| 亚洲综合在线第一页| 影音资源男人日韩| 无码99| 欧美日韩999| 久久久久久日韩| 97在线观看| 天天天干977| 成人日本精品九区| 偷拍 精品 另类 四区| 99热这里只有精品地址| 搞中出久久| 久久大黄片| se..亚洲欧美| 青青在线视频免费| 亚洲欧美内射| 亚洲清纯唯美| 91精品人妻啪啪间| 国产av热热色| 九九亚洲精品| 999综合色| 无码人妻丰满熟妇奶水区毛片| 人妻少妇一区二区| 日本天天操| 中文字幕成人| 99热在线观看| 丁香六月婷婷| 99热这里只有精品8| 国产女人成人精品视频| 日韩av在线播放不卡| 国产精品婬乱一级毛片彝族| 亚洲啪啪视频一区二区| 日韩午夜精品一区二区三区电影| 综合五月婷婷亚洲一区| 国内毛片婷婷六月色| 中文字幕一区二区三区高清| 中文字幕亚洲永久精品| 少妇无码av专区线| 青娱乐国产精品| 亚洲日韩成人性爱视频| 欧美日韩亚洲国产中文永久天天看| 2026国产精品视频| 久久精品男人的天堂| 啊啊啊在线看| 高清无码人妻久久久一区二区三区aⅴ| 色综合大香蕉| 翔田千里AV无码秘 三区| 国产精品人妻无码久久久老鸭窝| 91在线精品一区二区三区| 黄色人人| 影音先锋中文字幕日本好一区二区| 综合欧美日本三级| 三级三级三级日本99| 五月天激情婷婷| 欧美在线伊人色| 97视频620| 欧美另类自拍| 伊人视频| 人妻一区二区三区四区视频| 强奸国产精品视频| 性做久久久久久免费观看软件| 日韩性爱高清免费视频| 国产精品情侣啪啪| 熟女网站最新| 97亚洲中文| 日本精品中文字幕视频| 国产精品视频白浆免费| 国产激情在线| 午夜呻吟欧美| 久草老司机| 亚洲欧美色图片| 一级性爱视频免费观看 | 日本一区二区三区欧美日韩中文字幕| 久久久久久波多野吉衣高潮| 亚洲精品九九九九九九| 2020久久免费视频| 青娱乐欧美激情一区二区| 欧美性爱在线无码| 欧美性区| 欧美色图校园春色| 天天综合欧美综合| 天操天操夜操夜月操月年年操操| 女性喷水高潮在线观看| 欧美性生活免费网| 夜夜嗨AV一区天天| 97就爱干| 国产日韩色综合| 天天干天天插| 欧美激情久| 黄骗免费网站| 精品一区二区亚洲国产| 天天享受天天看| 中文字幕伊人| 亚洲色电影在线| 粉嫩不卡一区二区性爱| 安徽熟妇视频| 婷婷综合伊人一区| 黄色av一区二区在线| 校园春色之综合网| 极品久久久久久久久久久久久久| 思思久热在线精品66| 日本一级黄色电影| 啊啊啊啊在线播放| 中文色综合| 亚洲国成人情色好看电影| 日韩无码服务区| www.av在线视频| 2019AV天堂| 日韩三级伊人| 久久亚洲骚逼综合| 综合网91| 极品白嫩福利在线| 亚洲全色网| 粉嫩国产精品久久粉嫩| 久久久555| 亚洲第一黄色av网站| 极品久久久久久久久久久久久久| 日韩一级性爱无码| 欧美亚洲第1页| 高清有码一区二区| 91老熟女逼| 亚洲色狠| 超碰97色色| 老熟女乱伦一区| 欧美色997| 国产精品日韩在线一区| 欧美精品偷拍| 国产一区自拍欧美日韩| 青青草成人视频在线观看二区| 豆花视频操逼网址| 91爰爱欧美| 噜噜噜在线视频| 97在线观看免费视频l| 性色生活片久久毛片婬片免费放女人一级毛片 | 中文字幕97| 午夜精品久久一区二区| 欧美精品丝袜久久久中文字幕| 啊啊啊啊无码| 亚洲色图久久成人| 超碰精品日韩欧美国产| 91中文精品日韩欧美在线| 免费一级精品啪啪视频| 日产成人久久| 91一起操| 国产肏逼网站| 日韩二区三四区五区六区在线看| 成年女人黄网站| 欧美日韩国产色五月综合在线| 国产久久久久久久久一区二区| 91亚洲情色| 中文字幕丝袜人妻| 欧美成人黄网色网站| 91亚洲欧美| 黄久在线| 桃色六月天| 亚洲无码一区二区三区三州| 思思热国产高清| 超碰97在线中文| 国产少妇与亚洲av| 日韩亚洲中文有码视频| 99热这里都是精品| 热久久九九热| 久久色情| 国产99久久99热这里只有精品15| 精品一区二区三区国产 | 国产小视频91| 无码高清少妇久久| 91丝袜视频在线观看| 91无码人妻| 久久久噜噜噜久久久| 大香蕉五月天| 国产极品美女高潮无套在线观看 | 69人妻精品丰满熟女区| 人人摸人人干| 日本一级性爱| 青娱乐国产盛宴视频| 精品无码欧美三级| 九九久久久| 天堂亚洲精品| 成人精品水蜜桃久久久久久久| 欧美色图私拍91| 97资源超碰| 92福利社视频| 一二三区视频在线观看| 天天操天天日青青草超碰av| 色天堂综合| 日日干日日操五月天伦理视频| www.色婷婷| 亚洲成人免费电影| 91黑人无码激情在线| 国产69精品久久久久99尤物| 欧美国产精品| 无码直播久久久| 襙一襙| 日韩精品资源专区二区| 84YTCOM性无码| 午夜性生活av免费在线看 | 日韩人妻网站| 九九拍拍精品视频在线播放| 亚洲、日韩、综合、另类| 天美国产三级传媒| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 五月天婷婷成人网| 又黄又爽在线观看视频 | www.99色| 伊人精品久久网站| 亚洲成人日韩小说| 免费作爱一级视频| 欧美性爱视频免费一区一A| 免费操逼视频下载| 女人高潮抽搐喷水视频网站| 桃色五月天| 性色一线| 1区2区3区中文字幕日韩| 日日干男人的天堂| 午夜综合在线| 久久久天堂| 亚洲中文字幕熟女少妇一区二区| 另类图片综合| 九九精品无码专区免费| 十八禁的黄污污免费网站| 国产成人免费观看在线视频| 狠狠综合| 97 超碰 人人做 人人爱| 97色妞| 白嫩妹子国产骚| 亚欧美综合网| 亚洲精品一区二区精华| 国产理论视频在线播放| 婷婷91| 情色av电影| 丝袜高跟澳门91视频| 18+91网站| 五月丁香黄色网| 亚洲中文国际强奸字幕| 一区二区 韩日AV| 久草尤物| 国产精品无码论坛| 国产欧美日韩女同性恋ww喷水精品 | 中日992视频| 日韩免费a级毛片无码a∨| 蜜乳AV一区| 久久国产三区| 制服诱惑亚洲一区二区三区在线观看| 久久久久熟女| 成人性爱视频在线看| 六九九九| 国产高清在线自在拍69| 亚洲最新Av| 婷婷五月天av| 男人天堂 天天射| 无码天堂| 大香蕉AV在线| 色拍偷亚洲| 欧美精品二区视频在线| 久操热线| 超碰97首页| 无码一区免费在线不卡| 天堂种子在线www网资源| 超碰 av 女人天堂| 日韩视频中文字幕| 日本免费亚洲欧美| 91爱欧美| 国产精品 久久久精品一牛| 嗯啊不要在线| 丰满熟妇大乳做爰| 国产三级多多影院2022国产AA一级毛片无码| 五月婷婷丁香六月| 蜜桃臀一区二区aV| 欧美性生活免费网| 干b在线性社区| 大JI巴好深好爽又大又粗视频| 国产99 中文字幕日韩小视频| 一二三四视频在线社区中文字幕| 日韩成年人性爱视频| 天天爱天天韩国日本牛牛牛牛 | 97人人射| 麻豆天天躁天天揉揉AV| 欧美日韩国产高清在线一二三区 | 97chaopenrihan| 国产区91柔拿会所技师| 黄色不卡视频| 秋霞成人做爱| 今日头条成人一区二区三区四虎精品| 熟妇综合一区二区三区| 欧美亚洲激情小说| 羞涩视频| 亚洲中文字幕乱码无码一区二区 | 久久久久骚| 精品亚洲| 黄色二级片网站| 色色毛片| 日韩ab网| 日韩A优精品在线观看| 亚洲精品一卡二卡三卡福利视频网站| 影视综合无码少妇| 麻豆国产成人精品| 在线a v| 综合性视频99| 91精品大奶人妻| 超碰导航97| 91久久久久免| 老女人综合网| 5252色欧美在线| 亚洲精品乱码线路中文字幕| 国产美女高潮叫床视频| 日韩av情韩国爱禁区av一区二区| 国产1769在线| 少妇精品久久久八区九区| 国产女人成人精品视频| 欧美激情区| 久热色情精品| 国产人妖的免费的视频| 色 亚洲 91| 国产AV高清AV无码| 欧美色图电影| 青娱乐av在线| 一区二区三区视频国产免费| 330dv亚洲成年视频网| 一级久久久久久久久久久 | 天天插天天插| jizz啪啪| 天天操人人操骚逼网站| 综合网欧美在线| 天天欧美| 99精品伊人| 六月激情婷婷| 天天澡天天爽日日AV| 日韩欧美偷拍美女视频| 在线综合 亚洲 欧美中文字幕| 欧美第一页| 欧美 亚洲 综合 制服| 秋霞 色色| 久久精品成人一区二区三区蜜臀| 精品一二三区久久AAA片| 东京热大香蕉| 精品人妻伦一区二区三区久久| 国产亚洲精品自在线亚洲情侣| 国产h小视频在线观看免费| 亚洲第一色页夜| 五月丁香婷婷色| 美国精品国产精品| 蜜臀在线看片| 青青操少妇| 欧美日韩岛国大片在线观看| 香蕉欧美| 992大香蕉| 久久精品亚洲东京热色播| 久久久国产成人一区二区三区在线 | 国色综合天| 亚洲图片 激情小说| 亚洲情色电影网| 亚洲字幕一区二区| 亚洲天堂欧美| 伦理日韩国产久久| 久久精品72| 亚洲欧洲偷拍一区| 亚洲最新av无码成人精品区 | 十八禁视频网站| 久久久久久69国产一区二区| 尤物视频偷拍免费| 久久精品老司| 日韩三四五区| 亚洲AV无码成人精品久久| 久久久精品91八戒| 国内操逼视频二区| 加勒比无码一区二区三区| 在线无码操| 久久久久久网址| 性色A∨91| 久9爱精品| 十八禁黄色成人网站观看| 69精品在线| 岛国成人av在线播放网址| 国产精品亚洲一级av第二区| 欧洲在线性爱视频| 好涩综合| 中文字幕欧美精品亚洲日韩蜜臀| 亚洲激情天堂网| 欧美日韩电影一区二区| 97色插| 五月丁香久久| 99精品久久久久久久婷婷蜜桃| 黄色免费网页无码| 久久久久久人妻一区精品色欧美| 国产乱伦视频污| 91亚洲网| 男女一进一出视频久久| 亚洲国产综合视频| 国产久久天堂资源| 96久久久久久久| 9精品久久| 韩日精品福利视频一区不卡在线免| 99国产精品久久久久久久成人热| 免费看美国人人爽,人人操| 91九久| 亚洲国产一级中文综合久久天堂在线免费观看 | 亚洲欧美在线观看无码| 6080YYY午夜理论片在线观看| 色综合一本| 中字幕人妻一区二区三区| 校园春色综合网| 偷拍偷窥与盗摄视频专区| 在线日韩日本亚洲国产| 爱爱啊啊啊| 国产二区三区免费视频| 欧美人人曰人人操人人射射| 熟妇综合一区二区三区| 翔田千里AⅤHD无码| 人人弄人人摸| 思思热免费在线视频| 黄色大香焦1级‘′‘| 乱伦Av网| 超碰在线91| 暖暖精品二区三区观看| www.四虎在线| 成人一区二区三区四区| 麻豆天美AV传媒第一页| 精品国产乱码久久久久久免费| 男人精品区| 欧美色图20p| 影音先锋日本一区二区| 成人免费福利在线观看| 怡红院一区二区熟女人妻| 亚洲欧美大香蕉| 蜜臀99999| 男人的天堂无码| 99re超碰| 亚洲日韩美国人妻| 欧美黄色片AAAAA| 97国产色综合| 嗯啊啊啊轻点视频| 五十路人妻在线| 91精品91久久久中77777| 尤物网站91| 欧洲一级性爱视频在线观看| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 中日韩熟女| 婷婷久久久| 亚洲午夜免费狠狠干| 殴美日韩m| 夜夜高潮夜夜爽国产伦精品| 久久老熟女| 高清一区AV无码| 日韩精品区二区三区不卡| 亚洲限制级在线| 亚洲女优有码无码高清| 高潮毛片无遮挡高清免费| 久久香蕉国产线看观看猫咪av| 99re3这里只有精品| 婷婷五月天色网| 欧美第一页| 五月婷婷久久综合| 日韩少妇无吗| 亚洲小说视频| 亚洲乱码国产乱码精网站| 丰满少妇一区二区三区专区| 精品中文日韩字幕视频| 青青草好吊色| 99婷婷一区二区| 亚洲最大无码中文字幕网站| 一区二区三区蜜桃成人撸久久东京热| 台湾佬大香蕉| 亚洲色图欧美色图日韩色图| 色一射色一射| 97精品在线视频| 色色香蕉| 日欧毛片久久| 亚洲欧洲自拍图片专区满春格| 日韩午夜啪啪视频| 国产情色在线| 激情抓乳插进去啪啪啪日韩 | 天天操夜夜操| 欧美肥臀在线| 欧美国产伊人久久久久| 中文字幕一区二区三区人妻少妇在线| 91精品导航| 久操精品网| 欧美大片天天看| 麻豆国产视频精品观看| 国产久久一区二区三区野外在线| 肥臀熟女一区二区三区视频| 国产精品久久久三级无码| 91欧美丝袜| 逼操网站| 欧美日韩人妻婷婷一区| 第四色奇米影视777| 午夜精品久久久久久久男人的天堂| 性欧美999| aaa一级黄片| 亚洲日本天堂| 日韩视频啪啪| 日本五区不卡| 亚洲精品影视老司机| 日韩中文字幕宗合在线| 日本高清_区二区三区 | 韩国手机不卡无码三级视频| 少妇免费视频| 亚洲性爱成人| 超碰人妻中文在线| 欧美成人免费在线观看| 欧美色图亚州激情| 日韩无码精品综合久久| 色娱乐色呦呦夜夜夜夜av| 日日操免费视频| 久久超碰98| 伊人女女资源在线观看| 国产女人9999| 国产尹人在线视频免费| 四虎884a| 国产黄色小视频网站| 久久久久99精品成人片蜜臀| 九九色精品| 九九九九一区| 91狠| 成人午夜高潮av猛片| 大香蕉欧美伊| 精品人妻av在线播放| 龙兴卡官方查询| 色999五月色| 男人天堂网站| 91在线丝袜视频| 欧美成人黄网色网站| 少妇精品久久久| 午夜精品久久久久久久99蜜桃一| 我爱操| 国产按摩一区二区三区| 欧美人黑A片无码免视费| 亚洲精品 超碰| 中文字幕一区二区在线日韩精品| 中出20p| 怡红院怡春院| 人人摸人人叼| 欧美日韩久久精品爱爱| 久久偷拍人| 欧美一区二区亚洲天堂| 亚洲se91| 日本超碰色精品| 亚洲激情网一二三四区| 999久久久国产精品| 亚洲人91| 熟女丰满人妻一区| 亚洲97久久精品亚洲| 亚洲中文字幕av | 亚洲高清无码在线桃色| 久久熟女嫩草成人片免费| 99re3这里只有精品| 久久精品亚洲成a人天堂| 成人性交免费视屏| 九九九九九用不成了| 激情婷婷丁香| 福利视频一区二区微拍| 夜夜高潮夜夜爽夜夜爱爱一区| 白丝少妇一区二区| 三级三级三级日本99| 99久国产精品午夜性色福利| 亚洲黄色| 精品国产乱码久久久久久日本公司| 偷窥自拍A片| 性无码专区2020| 大鸡巴久久| 丝袜色综合| 久久久工口| 久久九九99| 岛园激情| 波多野结衣一级视频| 久操免费观看| 婷婷九月丁香| 国产亚洲精品美女| 五月婷婷丁香| 深田咏美亚洲精品福利社| 高清无码在线播放网站| 男女一进一出视频久久| 51一区二区三区| 国产日韩欧美| 国产青视频| 99热只有这里有精品| 操逼天美3区| 日韩在线地址一| 久久久九九九| 色97欧美| 久久99久久99精品天美传媒棢·纸:.| 97精品国产精品免费观看| 中文字幕在线观看网页| 人妻夜夜爽天天爽麻豆三区网站| 欧美爆操91| 中文字暮97| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 91狠狠色丁香婷婷综合久久| 久久精品国产72国产精品福利| 26UUU欧美激情一区二区| 97免费在线观看| 男人久久天堂| 中文字幕在线免费观看| 成年在线视频日本亚洲在线视频区精品江靖宇公司| 精品人妻1237| 青青草视频爽一爽| 国产久久视频| 亚洲情色五月天| 九九精品热| 国产成人亚洲精品自产在线| 欧美精品第3页| 国产亚洲美日韩Aⅴ中文字幕无码成人| 国产精品点击进入在线影院| 久热影视| 欧美成人四级在线播放| 久艾草在线精品视频在线观看| 视频一区二区三区精品| 香蕉国产精品麻豆亚洲欧美日韩| 精品国产Av无码久久久亚洲| 人人操人人色网| 操逼无码操逼| 欧美性爱91| 久久久久九九九| 强奸乱伦大香蕉网| 久久久久9999|