亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Java線程池從參數(shù)到生產(chǎn)實(shí)戰(zhàn):隊(duì)列、拒絕策略與故障排查

Java線程池從參數(shù)到生產(chǎn)實(shí)戰(zhàn):隊(duì)列、拒絕策略與故障排查 1. 線程池核心機(jī)制與參數(shù)解讀先聊點(diǎn)實(shí)在的。接手過(guò)幾個(gè)線上服務(wù)之后你會(huì)發(fā)現(xiàn)線程池這玩意兒寫起來(lái)簡(jiǎn)單跑起來(lái)要命。很多人背了八股文知道ThreadPoolExecutor有七個(gè)參數(shù)但真到了生產(chǎn)環(huán)境線程池一滿任務(wù)一丟接口超時(shí)日志里連個(gè)報(bào)錯(cuò)都找不到那時(shí)候才明白什么叫“基礎(chǔ)不牢地動(dòng)山搖”。這篇文章我把線程池從參數(shù)到底層流轉(zhuǎn)、從隊(duì)列選型到生產(chǎn)配置、從常見故障到排查手法完整過(guò)一遍。不是面試八股是真正能在線上環(huán)境扛住壓力的那種理解。1.1 七個(gè)參數(shù)各自扮演什么角色ThreadPoolExecutor的構(gòu)造方法里那七個(gè)參數(shù)任何一個(gè)設(shè)錯(cuò)了都不是“性能差一點(diǎn)”的問(wèn)題而是直接導(dǎo)致線上故障的問(wèn)題。先把它們逐個(gè)拆開看。corePoolSize核心線程數(shù)線程池里常駐的線程數(shù)量。就算閑著這些線程也不會(huì)銷毀除非設(shè)置了allowCoreThreadTimeOut。它決定了線程池處理突發(fā)流量的“最低火力”。maximumPoolSize最大線程數(shù)線程池允許存在的最大線程數(shù)量。當(dāng)核心線程都在忙隊(duì)列又滿了線程池才會(huì)創(chuàng)建額外線程直到這個(gè)上限。keepAliveTime存活時(shí)間非核心線程空閑多久后被回收。默認(rèn)情況下只對(duì)超出核心線程數(shù)的那部分線程生效。這個(gè)參數(shù)如果設(shè)得太小流量抖動(dòng)時(shí)頻繁創(chuàng)建銷毀線程反而增加開銷。unit時(shí)間單位配合keepAliveTime用的秒、毫秒、微秒按需選擇。workQueue任務(wù)隊(duì)列核心線程都在忙的時(shí)候新任務(wù)先在隊(duì)列里排隊(duì)。這個(gè)隊(duì)列選擇的學(xué)問(wèn)最大后面單獨(dú)用一節(jié)細(xì)講。threadFactory線程工廠創(chuàng)建線程用的工廠。生產(chǎn)環(huán)境必須自定義給線程起有意義的名稱否則排查問(wèn)題時(shí)你看到的全是pool-1-thread-1這種毫無(wú)信息量的名字。handler拒絕策略線程池和隊(duì)列都滿的時(shí)候新任務(wù)怎么處理。默認(rèn)的AbortPolicy是直接拋異常但如果你沒接住任務(wù)就沒了。從JDK源碼的角度看ThreadPoolExecutor內(nèi)部就一個(gè)核心狀態(tài)變量用ctl這個(gè)AtomicInteger同時(shí)保存workerCount工作線程數(shù)和runState運(yùn)行狀態(tài)。高3位存狀態(tài)低29位存線程數(shù)用位運(yùn)算來(lái)保證狀態(tài)切換和線程數(shù)增減的原子性。這不只是面試考點(diǎn)理解了這一步你才能理解為什么線程池關(guān)閉時(shí)要先shutdown()再awaitTermination()——那是為了讓狀態(tài)有機(jī)會(huì)從RUNNING平滑過(guò)渡到TIDYING。1.2 任務(wù)提交后線程池內(nèi)部是怎么流轉(zhuǎn)的很多資料會(huì)畫一張復(fù)雜的流程圖其實(shí)你記住四個(gè)步驟就夠了。這是execute()方法的真實(shí)執(zhí)行邏輯順序錯(cuò)了就全錯(cuò)了核心線程未滿線程池收到新任務(wù)先判斷當(dāng)前工作線程數(shù)是否小于corePoolSize。如果小于直接創(chuàng)建核心線程執(zhí)行這個(gè)任務(wù)。注意不是先丟隊(duì)列。這個(gè)順序很多人搞反了。隊(duì)列未滿核心線程已經(jīng)全部在忙新任務(wù)被塞進(jìn)阻塞隊(duì)列等待。線程池不會(huì)立刻創(chuàng)建新線程而是讓任務(wù)排隊(duì)。隊(duì)列已滿線程未達(dá)上限隊(duì)列放不下了線程池才會(huì)創(chuàng)建非核心線程去處理任務(wù)。這一步是“先塞隊(duì)列再擴(kuò)線程”這個(gè)機(jī)制決定了你單純調(diào)大maximumPoolSize不一定能提升吞吐量還要看隊(duì)列策略。隊(duì)列滿且線程滿觸發(fā)拒絕策略。四種策略分別是拋異常Abort、丟棄Discard、丟棄最老的DiscardOldest、由調(diào)用線程自己執(zhí)行CallerRuns。這里有個(gè)關(guān)鍵點(diǎn)線程池創(chuàng)建非核心線程后如果這個(gè)線程空閑時(shí)間超過(guò)了keepAliveTime就會(huì)被回收。所以你的線程池容量是動(dòng)態(tài)變化的別以為maximumPoolSize設(shè)了10就一直有10個(gè)線程。生活類比線程池就像一家銀行。柜臺(tái)窗口是核心線程大廳等候區(qū)是隊(duì)列行長(zhǎng)決定要不要臨時(shí)加開窗口非核心線程。等候區(qū)坐滿了窗口也全開著再來(lái)客戶就只能拒之門外拒絕策略。1.3 拒絕策略不是隨便選的默認(rèn)的AbortPolicy直接拋RejectedExecutionException如果你的業(yè)務(wù)代碼沒有捕獲任務(wù)靜默丟失上游看到的只是接口超時(shí)或數(shù)據(jù)缺失。我在生產(chǎn)環(huán)境見過(guò)最典型的案例一個(gè)消息推送服務(wù)用了默認(rèn)策略流量高峰時(shí)大量消息被丟棄用戶沒收到推送排查了半天才在日志里找到零星的RejectedExecutionException。CallerRunsPolicy反而是我比較推薦的兜底策略。它不會(huì)丟任務(wù)而是讓提交任務(wù)的線程通常是業(yè)務(wù)線程自己執(zhí)行這個(gè)任務(wù)。這就形成了天然限流——提交線程被占用提交速度自然慢下來(lái)。壞處是接口響應(yīng)時(shí)間可能飆升你要在監(jiān)控上接受這個(gè)代價(jià)。DiscardPolicy和DiscardOldestPolicy基本只適合丟得起消息的場(chǎng)景比如實(shí)時(shí)日志、監(jiān)控指標(biāo)丟了也不心疼。凡是涉及訂單、支付、消息通知的別用。經(jīng)驗(yàn)之談拒絕策略不要只寫在代碼注釋里要在監(jiān)控大盤上加上“線程池拒絕次數(shù)”這個(gè)指標(biāo)。一旦出現(xiàn)拒絕告警說(shuō)明你的線程池容量或隊(duì)列已經(jīng)到極限了這是容量規(guī)劃的報(bào)警信號(hào)。2. 阻塞隊(duì)列選型最容易踩坑的環(huán)節(jié)線程池的參數(shù)里workQueue的選擇大概是生產(chǎn)環(huán)境最容易被忽視、又最容易出問(wèn)題的一項(xiàng)。隊(duì)列選錯(cuò)不只是性能問(wèn)題可能直接把內(nèi)存打爆。2.1 三種常見隊(duì)列的底層差異無(wú)界隊(duì)列LinkedBlockingQueue默認(rèn)容量是Integer.MAX_VALUE任務(wù)永遠(yuǎn)進(jìn)得來(lái)maximumPoolSize直接變成擺設(shè)。你設(shè)了最大線程數(shù)10但因?yàn)殛?duì)列永遠(yuǎn)不滿非核心線程永遠(yuǎn)不會(huì)被創(chuàng)建。這個(gè)隊(duì)列最大的風(fēng)險(xiǎn)是——如果生產(chǎn)速度持續(xù)快過(guò)消費(fèi)速度隊(duì)列無(wú)限膨脹最終觸發(fā)OOM內(nèi)存溢出。有界隊(duì)列ArrayBlockingQueue必須指定容量比如new ArrayBlockingQueue(1000)。這是生產(chǎn)環(huán)境最推薦的選擇它會(huì)強(qiáng)制你思考“隊(duì)列最多能堆積多少任務(wù)”。隊(duì)列滿了之后線程池才會(huì)擴(kuò)容到maximumPoolSize一切行為都可預(yù)測(cè)。同步隊(duì)列SynchronousQueue這個(gè)隊(duì)列比較特殊它內(nèi)部不存儲(chǔ)任何任務(wù)。每個(gè)任務(wù)進(jìn)來(lái)必須立刻有一個(gè)線程接走否則就阻塞。配合maximumPoolSize設(shè)得比較大時(shí)相當(dāng)于完全沒有緩沖任務(wù)直達(dá)線程。適合處理“必須立刻執(zhí)行不緩存”的場(chǎng)景比如即時(shí)通信的消息轉(zhuǎn)發(fā)。優(yōu)先級(jí)隊(duì)列PriorityBlockingQueue任務(wù)按優(yōu)先級(jí)排序。適合有明確優(yōu)先級(jí)的業(yè)務(wù)但要注意——如果任務(wù)一直有高優(yōu)先級(jí)的進(jìn)來(lái)低優(yōu)先級(jí)任務(wù)可能會(huì)餓死永遠(yuǎn)得不到執(zhí)行。從底層實(shí)現(xiàn)看LinkedBlockingQueue用兩個(gè)鎖分別控制隊(duì)頭和隊(duì)尾讀寫可以并行ArrayBlockingQueue只有一個(gè)鎖讀寫互斥。所以理論上LinkedBlockingQueue的吞吐量更高但這在業(yè)務(wù)層面往往不是主要矛盾——容量可控性和溢出風(fēng)險(xiǎn)才是。生活類比先把任務(wù)全部裝進(jìn)一個(gè)大倉(cāng)庫(kù)無(wú)界隊(duì)列再讓工人慢慢搬。表面看效率高但倉(cāng)庫(kù)如果無(wú)限大積壓的貨物會(huì)把倉(cāng)庫(kù)撐爆。有界隊(duì)形就像是限定了倉(cāng)庫(kù)面積滿了就得加人或者不接單。2.2 不同業(yè)務(wù)場(chǎng)景該選哪個(gè)隊(duì)列拿我實(shí)際見過(guò)的幾個(gè)場(chǎng)景來(lái)說(shuō)。場(chǎng)景一Web接口異步處理任務(wù)。用戶請(qǐng)求進(jìn)來(lái)把任務(wù)丟線程池響應(yīng)立刻返回。這種場(chǎng)景選有界隊(duì)列比如ArrayBlockingQueue容量設(shè)1000~5000。為什么因?yàn)槟阈枰粋€(gè)明確的任務(wù)積壓上限。如果隊(duì)列無(wú)界網(wǎng)絡(luò)抖動(dòng)導(dǎo)致任務(wù)暴增時(shí)內(nèi)存會(huì)先扛不住服務(wù)OOM掛掉那可比拒絕幾個(gè)請(qǐng)求嚴(yán)重多了。場(chǎng)景二日志異步寫入。日志數(shù)據(jù)量大、允許丟棄、對(duì)實(shí)時(shí)性要求不高。這種場(chǎng)景可以用無(wú)界隊(duì)列或者干脆用DiscardPolicy因?yàn)槿罩緛G幾條不影響核心業(yè)務(wù)。但要注意如果你用logback或log4j2的異步隊(duì)列它們內(nèi)部已經(jīng)做了有界處理和丟棄策略你配置線程池時(shí)不需要重復(fù)造輪子。場(chǎng)景三即時(shí)性要求極高的消息推送。用戶在線狀態(tài)判斷、IM消息轉(zhuǎn)發(fā)這類任務(wù)延遲敏感。用SynchronousQueue配合較大的maximumPoolSize讓任務(wù)能立刻分配到線程執(zhí)行。代價(jià)是線程池會(huì)頻繁創(chuàng)建線程keepAliveTime要設(shè)短一點(diǎn)比如60秒避免線程堆積。2.3 隊(duì)列長(zhǎng)度怎么定隊(duì)列長(zhǎng)度沒有萬(wàn)能公式但有一個(gè)可以參考的估算思路。假設(shè)你的核心線程數(shù)是4每個(gè)任務(wù)平均耗時(shí)200ms那么線程池每秒大約能消費(fèi)4 * (1000/200) 20個(gè)任務(wù)。如果你的業(yè)務(wù)高峰期每秒提交50個(gè)任務(wù)那每秒積壓30個(gè)任務(wù)。如果你能接受任務(wù)最多積壓1分鐘隊(duì)列長(zhǎng)度就設(shè)為30 * 60 1800。這個(gè)估算方式背后是經(jīng)典的利特爾法則Littles Law系統(tǒng)中的任務(wù)數(shù)等于到達(dá)速率乘以處理時(shí)間。用這個(gè)思路算出來(lái)的隊(duì)列長(zhǎng)度至少是“有依據(jù)”的比拍腦袋強(qiáng)得多。算完再在壓測(cè)環(huán)境驗(yàn)證一下看看積壓和拒絕是否在可接受范圍內(nèi)。注意隊(duì)列長(zhǎng)度不能只算平均值要按峰值的3~5倍預(yù)留。線上流量不是勻速的秒殺、活動(dòng)、定時(shí)任務(wù)觸發(fā)重疊可能瞬間就是10倍流量別讓隊(duì)列在正常波動(dòng)下就撐滿。3. 生產(chǎn)環(huán)境線程池配置實(shí)踐3.1 核心線程數(shù)到底怎么算線程池的線程數(shù)設(shè)置業(yè)界流傳的經(jīng)驗(yàn)公式基本是CPU密集型設(shè)為CPU核心數(shù) 1IO密集型設(shè)為CPU核心數(shù) * 2。先解釋為什么。CPU密集型任務(wù)計(jì)算、加密、序列化基本不阻塞線程數(shù)接近CPU核心數(shù)就能跑滿。多加一個(gè)線程是為了防止某個(gè)線程偶爾因頁(yè)缺失、上下文切換而空閑時(shí)能補(bǔ)位。IO密集型任務(wù)數(shù)據(jù)庫(kù)訪問(wèn)、遠(yuǎn)程調(diào)用、文件讀寫大部分時(shí)間在等IO返回線程處于阻塞狀態(tài)。這時(shí)候線程數(shù)可以多一些讓等待的線程和運(yùn)行的線程重疊。$CPU核心數(shù) * 2$ 是一個(gè)經(jīng)驗(yàn)起點(diǎn)更準(zhǔn)確的計(jì)算是$$線程數(shù) CPU核心數(shù) \times (1 \frac{等待時(shí)間}{計(jì)算時(shí)間})$$比如一個(gè)任務(wù)計(jì)算耗時(shí)20msIO等待80ms那等待時(shí)間與計(jì)算時(shí)間的比值是4理想線程數(shù)就是核心數(shù)乘以14。但要注意這個(gè)公式適合單任務(wù)獨(dú)立的情況。如果多個(gè)任務(wù)共享同一個(gè)下游連接池比如數(shù)據(jù)庫(kù)連接池只有50個(gè)連接你的線程數(shù)設(shè)200也沒用都被連接池?fù)踝×?。?shí)操建議核心線程數(shù)先按經(jīng)驗(yàn)公式定一個(gè)初值然后壓測(cè)。觀察線程池活躍度、隊(duì)列積壓速度、任務(wù)耗時(shí)這三個(gè)指標(biāo)不斷調(diào)整直到吞吐量和延遲達(dá)到平衡。沒有哪一組參數(shù)是“絕對(duì)正確”的只有“適合你當(dāng)前業(yè)務(wù)”的。3.2 不要在代碼里硬編碼線程池新手最容易犯的錯(cuò)就是每次用到線程池就現(xiàn)場(chǎng)new一個(gè)ExecutorService executor Executors.newFixedThreadPool(10);這條代碼有兩個(gè)問(wèn)題。第一Executors提供的快捷方法里newFixedThreadPool和newSingleThreadExecutor用的是無(wú)界隊(duì)列前面說(shuō)過(guò)了有OOM風(fēng)險(xiǎn)。第二每次new一個(gè)線程池用完不關(guān)閉線程資源一直在泄漏。我有一個(gè)項(xiàng)目就因?yàn)檫@個(gè)原因上線一周后線程數(shù)漲到幾千個(gè)最后服務(wù)直接不響應(yīng)了。正確做法是全局統(tǒng)一管理線程池??梢杂肧pring管理在配置類里聲明Configuration public class ThreadPoolConfig { Bean(businessExecutor) public ThreadPoolExecutor businessExecutor() { ThreadPoolExecutor executor new ThreadPoolExecutor( 8, 16, 60L, TimeUnit.SECONDS, new ArrayBlockingQueue(2000), new NamedThreadFactory(biz-exec), new ThreadPoolExecutor.CallerRunsPolicy() ); // 預(yù)啟動(dòng)核心線程避免流量突刺時(shí)冷啟動(dòng) executor.prestartAllCoreThreads(); return executor; } }注意我用了NamedThreadFactory——這是Guava或自定義的目的就是給線程起名字。出了故障你在jstack里能看到biz-exec-thread-5在干什么而不是一頭霧水地猜pool-3-thread-1是哪來(lái)的。prestartAllCoreThreads()這個(gè)方法也很實(shí)用。默認(rèn)情況下核心線程是懶加載的收到第一個(gè)任務(wù)才創(chuàng)建。對(duì)高并發(fā)服務(wù)來(lái)說(shuō)首次請(qǐng)求可能會(huì)因?yàn)榫€程創(chuàng)建而變慢預(yù)啟動(dòng)可以消除這個(gè)問(wèn)題。3.3 動(dòng)態(tài)調(diào)整生產(chǎn)環(huán)境的神器靜態(tài)參數(shù)配得再好也應(yīng)對(duì)不了流量突變。比如運(yùn)營(yíng)活動(dòng)來(lái)了任務(wù)量翻倍或者大促結(jié)束任務(wù)量驟降。Java提供了一個(gè)很實(shí)用的方法ThreadPoolExecutor#setCorePoolSize()和setMaximumPoolSize()。你可以把線程池參數(shù)配置到配置中心Nacos、Apollo改動(dòng)實(shí)時(shí)生效Component public class DynamicThreadPoolManager { private final ThreadPoolExecutor executor; public void updatePoolSize(int coreSize, int maxSize) { executor.setCorePoolSize(coreSize); executor.setMaximumPoolSize(maxSize); log.info(線程池參數(shù)動(dòng)態(tài)調(diào)整完成, core{}, max{}, coreSize, maxSize); } }這套方案有兩個(gè)細(xì)節(jié)。第一setCorePoolSize如果設(shè)得比當(dāng)前線程數(shù)小多余的線程會(huì)在空閑后逐漸回收不會(huì)立刻中斷正在執(zhí)行的任務(wù)所以是安全的。第二配置中心推送新值后最好加一個(gè)版本號(hào)日志方便排查“是不是參數(shù)被誰(shuí)改過(guò)”。遇到的真實(shí)案例我曾經(jīng)維護(hù)過(guò)一個(gè)推送服務(wù)每次大促前都要手動(dòng)改線程池參數(shù)再重啟后來(lái)接入了動(dòng)態(tài)配置大促前提前半小時(shí)改配置再也不用重啟了。而且加了告警之后線程池如果發(fā)生拒絕馬上能感知到手里有動(dòng)態(tài)參數(shù)這招改起來(lái)也不用慌張。4. 常見問(wèn)題與排查技巧實(shí)錄4.1 線程池里任務(wù)異常被吞掉這是最隱蔽的一個(gè)坑。execute()方法提交的任務(wù)如果執(zhí)行過(guò)程中拋出異常這個(gè)異常會(huì)被線程池捕獲打印到System.err或者線程池內(nèi)部的UncaughtExceptionHandler但不會(huì)自動(dòng)傳給提交任務(wù)的調(diào)用方。后果就是——任務(wù)失敗了你完全無(wú)感日志也不一定有記錄數(shù)據(jù)就這么悄悄丟了。復(fù)現(xiàn)現(xiàn)場(chǎng)public class ThreadPoolExceptionDemo { public static void main(String[] args) { ThreadPoolExecutor executor new ThreadPoolExecutor( 2, 4, 60L, TimeUnit.SECONDS, new ArrayBlockingQueue(100) ); executor.execute(() - { throw new RuntimeException(任務(wù)執(zhí)行失敗); }); // 主線程繼續(xù)跑完全感知不到上面那個(gè)異常 System.out.println(主線程執(zhí)行完畢); } }你跑一下會(huì)發(fā)現(xiàn)異常在子線程里是打出來(lái)了但主線程毫無(wú)察覺。解決辦法有幾種一是在任務(wù)內(nèi)部自己捕獲所有異常并記錄日志executor.execute(() - { try { doBusiness(); } catch (Exception e) { log.error(任務(wù)執(zhí)行異常, e); // 如果業(yè)務(wù)需要可以在這里做補(bǔ)償或重試 } });二是用submit()代替execute()返回值是Future調(diào)用future.get()時(shí)異常會(huì)重新拋出來(lái)。代價(jià)是如果主線程不做get()異常依然是無(wú)感的。三是給線程池設(shè)置UncaughtExceptionHandlerThreadFactory factory new ThreadFactoryBuilder() .setNameFormat(biz-pool-%d) .setUncaughtExceptionHandler((t, e) - log.error(線程 {} 發(fā)生未捕獲異常, t.getName(), e)) .build();我個(gè)人的習(xí)慣是任務(wù)內(nèi)部必須try-catch并且把異常上下文任務(wù)ID、參數(shù)、耗時(shí)打全。線程池是異步的異步意味著你失去了原有的調(diào)用棧不好好記日志出了問(wèn)題就是大海撈針。4.2 ThreadLocal內(nèi)存泄漏線程池和ThreadLocal搭配使用是經(jīng)典的內(nèi)存泄漏觸發(fā)點(diǎn)。邏輯是這樣的ThreadLocal的特點(diǎn)是“線程本地變量”每個(gè)線程維護(hù)一個(gè)ThreadLocalMap。正常業(yè)務(wù)中線程用完就銷毀ThreadLocalMap隨之被GC回收。但線程池里的線程長(zhǎng)期存活如果某個(gè)任務(wù)往ThreadLocal里寫了一個(gè)大對(duì)象用完后沒有手動(dòng)remove()那這個(gè)對(duì)象就會(huì)被后續(xù)所有任務(wù)共同看到。輕則數(shù)據(jù)串號(hào)A用戶的數(shù)據(jù)跑到B用戶那里重則老年代持續(xù)增長(zhǎng)觸發(fā)Full GC。真實(shí)事故一個(gè)訂單服務(wù)在攔截器里把用戶信息放進(jìn)了ThreadLocal線程池里的線程處理完一個(gè)請(qǐng)求后沒有清理。結(jié)果用戶A查訂單跳出了用戶B的訂單信息。這個(gè)事故的直接原因就是ThreadLocal值在不同請(qǐng)求間串了。規(guī)矩很簡(jiǎn)單用ThreadLocal的地方finally塊里必須remove()。public void handleRequest(User user) { // 假設(shè) UserContext 內(nèi)部用 ThreadLocal 存用戶信息 UserContext.set(user); try { doBusiness(); } finally { UserContext.remove(); } }這行remove()在面試?yán)锖芎么鸬谏a(chǎn)環(huán)境你少寫一行線上就會(huì)炸。線程池的復(fù)用特性決定了ThreadLocal必須是“用完即扔”的一次性工具絕不能依賴GC幫你清理。4.3 線程池用完沒關(guān)閉導(dǎo)致的線程泄漏線程池不像普通對(duì)象不會(huì)因?yàn)槟悴辉僖盟妥詣?dòng)銷毀。ThreadPoolExecutor的核心線程默認(rèn)是常駐的即使業(yè)務(wù)已經(jīng)不再提交任務(wù)那些線程依然活著。最常見的一個(gè)場(chǎng)景批處理任務(wù)里循環(huán)處理一批數(shù)據(jù)每次都創(chuàng)建一個(gè)線程池處理處理完沒有調(diào)用shutdown()。第一批數(shù)據(jù)處理的線程池還在第二批又創(chuàng)建了新線程池久而久之線程數(shù)只增不減直到操作系統(tǒng)再也創(chuàng)建不了線程報(bào)出OutOfMemoryError: unable to create new native thread。關(guān)閉線程池的正確姿勢(shì)executor.shutdown(); // 不再接受新任務(wù)但已提交的任務(wù)繼續(xù)執(zhí)行 try { // 等待60秒讓已提交的任務(wù)執(zhí)行完 if (!executor.awaitTermination(60, TimeUnit.SECONDS)) { // 如果還沒執(zhí)行完強(qiáng)制關(guān)閉 executor.shutdownNow(); } } catch (InterruptedException e) { executor.shutdownNow(); Thread.currentThread().interrupt(); }shutdown()和shutdownNow()的區(qū)別是前者等已經(jīng)提交的任務(wù)跑完后者直接中斷正在執(zhí)行的任務(wù)并返回未執(zhí)行的任務(wù)列表。生產(chǎn)環(huán)境一般先shutdown()再awaitTermination()給任務(wù)一個(gè)優(yōu)雅退出的窗口。如果等不及再shutdownNow()。4.4 常見問(wèn)題排查速查表現(xiàn)象排查思路處理方式接口超時(shí)、任務(wù)不見查看拒絕策略是否觸發(fā)監(jiān)控線程池拒絕次數(shù)日志搜索RejectedExecutionException調(diào)整隊(duì)列或最大線程數(shù)內(nèi)存持續(xù)增長(zhǎng)、OOM檢查隊(duì)列是否無(wú)界、任務(wù)積壓換成有界隊(duì)列給隊(duì)列容量設(shè)置上限監(jiān)控隊(duì)列深度線程數(shù)持續(xù)上漲不下降確認(rèn)allowCoreThreadTimeOut、檢查線程是否阻塞在外部調(diào)用上jstack查看線程棧確認(rèn)是否有線程因IO等待而長(zhǎng)期不釋放多個(gè)請(qǐng)求間數(shù)據(jù)串號(hào)檢查ThreadLocal是否用了沒清理在finally里調(diào)用remove()重啟驗(yàn)證核心線程數(shù)為0時(shí)行為詭異了解corePoolSize0的特殊邏輯任務(wù)提交時(shí)先入隊(duì)有任務(wù)被消費(fèi)后線程才創(chuàng)建實(shí)際場(chǎng)景不建議設(shè)0業(yè)務(wù)無(wú)法預(yù)測(cè)響應(yīng)行為線上任務(wù)執(zhí)行超時(shí)但無(wú)明顯報(bào)錯(cuò)查任務(wù)里是否有遠(yuǎn)程調(diào)用下游超時(shí)時(shí)間是否合理在任務(wù)內(nèi)部記錄耗時(shí)日志拆解耗時(shí)構(gòu)成排查線程池問(wèn)題最常用的命令# 查看進(jìn)程中最耗CPU的線程 top -Hp pid # 打印線程堆棧 jstack pid thread_dump.txt # 用 jstack 搜索自定義線程名前綴快速定位 grep biz-exec thread_dump.txt排查時(shí)有個(gè)小技巧如果你用了自定義線程池jstack里每個(gè)線程名都帶業(yè)務(wù)前綴一眼就能定位。這一行命名習(xí)慣省下來(lái)的排查時(shí)間無(wú)法估算。5. 自己動(dòng)手實(shí)現(xiàn)一個(gè)簡(jiǎn)化版線程池別急著跳過(guò)這部分是理解Java線程池的最佳途徑。面試的時(shí)候背誦參數(shù)是低級(jí)的真正的高級(jí)是能用自己的話說(shuō)出線程池是怎么跑起來(lái)的。自己寫一個(gè)簡(jiǎn)化版比看十遍源碼都管用。5.1 核心結(jié)構(gòu)設(shè)計(jì)一個(gè)簡(jiǎn)化線程池需要四個(gè)部件任務(wù)隊(duì)列、工作線程集合、線程池狀態(tài)、任務(wù)調(diào)度邏輯。public class SimpleThreadPool { // 任務(wù)隊(duì)列存放提交的任務(wù) private final BlockingQueueRunnable taskQueue; // 工作線程集合 private final ListWorker workers new ArrayList(); // 線程池狀態(tài) private volatile boolean running true; // 核心線程數(shù) private final int corePoolSize; public SimpleThreadPool(int corePoolSize, int queueCapacity) { this.corePoolSize corePoolSize; this.taskQueue new ArrayBlockingQueue(queueCapacity); } // 啟動(dòng)核心線程 public void start() { for (int i 0; i corePoolSize; i) { Worker worker new Worker(thread- i); workers.add(worker); worker.start(); } } // 提交任務(wù)入隊(duì)失敗就拒絕 public void execute(Runnable task) { if (!running) { throw new IllegalStateException(線程池已停止); } // 這里真正生產(chǎn)環(huán)境要考慮是否創(chuàng)建額外線程 taskQueue.offer(task); } // 關(guān)閉線程池 public void shutdown() { running false; workers.forEach(Worker::interrupt); } // 工作線程 private class Worker extends Thread { public Worker(String name) { super(name); } Override public void run() { while (running || !taskQueue.isEmpty()) { try { Runnable task taskQueue.poll(1, TimeUnit.SECONDS); if (task ! null) { task.run(); } } catch (InterruptedException e) { Thread.currentThread().interrupt(); } } } } }這個(gè)版本極其簡(jiǎn)化沒有最大線程數(shù)概念沒有拒絕策略但核心骨架已經(jīng)到位了一個(gè)隊(duì)列存任務(wù)一組線程消費(fèi)隊(duì)列。理解了這一點(diǎn)再看官方ThreadPoolExecutor你就知道它是在這個(gè)骨架上加了狀態(tài)機(jī)、動(dòng)態(tài)擴(kuò)容、拒絕策略、線程回收等細(xì)節(jié)。5.2 關(guān)鍵實(shí)現(xiàn)細(xì)節(jié)我發(fā)明的這個(gè)簡(jiǎn)化版有個(gè)細(xì)節(jié)值得品味while (running || !taskQueue.isEmpty())。這個(gè)循環(huán)條件保證了關(guān)閉線程池時(shí)已經(jīng)在隊(duì)列里沒執(zhí)行的任務(wù)也會(huì)被消費(fèi)完不會(huì)因?yàn)閟hutdown()調(diào)用就立刻丟任務(wù)。這其實(shí)就是官方shutdown()和shutdownNow()的區(qū)別本質(zhì)好的關(guān)閉策略不是戛然而止而是給排隊(duì)任務(wù)一個(gè)“消化完”的窗口。taskQueue.poll(1, TimeUnit.SECONDS)這個(gè)細(xì)節(jié)也很關(guān)鍵。它讓空閑線程每秒鐘醒一次檢查狀態(tài)而不是用take()死等這樣既能及時(shí)響應(yīng)關(guān)閉信號(hào)也不會(huì)浪費(fèi)CPU。實(shí)際生產(chǎn)中你把keepAliveTime理解成類似的東西它是線程從“等不到新任務(wù)”到“被回收”的等待時(shí)間。5.3 用測(cè)試驗(yàn)證自己的線程池寫完了必須跑一下驗(yàn)證三個(gè)核心能力能執(zhí)行任務(wù)、能排隊(duì)、能優(yōu)雅關(guān)閉。public class SimpleThreadPoolTest { public static void main(String[] args) throws InterruptedException { SimpleThreadPool pool new SimpleThreadPool(2, 5); pool.start(); for (int i 0; i 10; i) { final int taskId i; pool.execute(() - { System.out.println(Thread.currentThread().getName() 執(zhí)行任務(wù) taskId); try { Thread.sleep(200); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } }); } // 等待任務(wù)執(zhí)行 Thread.sleep(2000); pool.shutdown(); System.out.println(線程池已關(guān)閉); } }觀察輸出你會(huì)看到兩個(gè)核心線程輪流執(zhí)行10個(gè)任務(wù)且線程創(chuàng)建是“懶啟動(dòng)”——第一個(gè)任務(wù)執(zhí)行時(shí)才真正創(chuàng)建線程這也印證了前面說(shuō)核心線程為什么最好提前預(yù)啟動(dòng)的原因。我自己寫完這個(gè)小demo后對(duì)官方ThreadPoolExecutor的理解確實(shí)上了一個(gè)臺(tái)階。一個(gè)“會(huì)思考”的線程池?zé)o非是在這幾個(gè)部件上做了很多精細(xì)化控制源碼也就不再是背出來(lái)的八股文了。我個(gè)人在實(shí)際項(xiàng)目中的體會(huì)是線程池的參數(shù)沒有金科玉律每個(gè)服務(wù)都要根據(jù)自身的任務(wù)類型和下游依賴能力壓測(cè)調(diào)優(yōu)。先寫對(duì)參數(shù)合理、隊(duì)列有界、拒絕策略合適再看緊線程數(shù)、隊(duì)列深度、拒絕次數(shù)、任務(wù)耗時(shí)全上監(jiān)控最后能用動(dòng)態(tài)參數(shù)對(duì)抗流量突變。做好這三步線程池才能從“能跑”變成“扛得住”。如果遇到線程池問(wèn)題排查無(wú)從下手先從jstack看線程在干什么再回來(lái)看隊(duì)列積壓和線程池參數(shù)90%的問(wèn)題能快速定位。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
精品一区二区成人| 精品国产乱码久久久久久日本公司| 一二三区操逼国产91| 97硬碰| 自拍偷拍 日韩无码| 人妻夜爽夜夜爽| 久久久久七视频| 中日韩欧美精品无码AⅤ一区二区| 在线播放中文字幕| 色九九九综合| 六月婷激情福利天堂69| 午夜黄色免费在线观看| 久久久久久电影| 在线a亚洲视频播放在线| 伦理弟一页| 艳尻美人妻| 天天综合网国产| 99热只有这里有精品| 天天谢天天干| 无码人妻精品一区二区三区99不卡| 天天综合站| 五月天亚洲网| 激情小说亚洲视频| 国产精品动态一区二区三区四四| 国产亚洲色婷婷99精品91| 丝袜美腿诱惑亚洲欧美视频在线观看 | 国产av热热色| 精彩视频日韩| 欧美黑人XXXⅩ高潮交| 国产亚洲精品久久久久小| 欧美午夜熟妇黑人精品91| 性性久久| 中美日韩毛片| 天天摸夜夜操视频| 亚洲人精品久久久| 蜜桃臀av一区二区| 97免费在线| 欧美天天综合在线| 国产无吗在线播放| 亚洲色 国产 欧美 日韩| 欧美性爱精品七区| 国内精品久久人妻性色av| 美女91网站| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 91色久| 亚洲成?V人片在线观看福利| 五月天婷精品激情| 婷婷伊人綜合中文字幕| 欧美午夜精品久久久久久3D| 日本精品五区| 日本影视久久免费| 一本色道无码DVD中文字幕| 9色国产精品一区粉嫩| 国产精品白丝| 色久桃花影院在线观看| 欧美日韩 强奸乱伦| 五月天伊人| 伊人激情五月天一区二区| 国产精品久久久久久久久AV大片| 91久久国产综合精品| 亚洲欧美国产日本一区二区三区| 亚洲中文字幕av| 青青青草原| 天天欧美| 中文字幕国产| www.zbzhongsen.com| 日本黄色大片一级视频免费麻豆| 亚洲无线码一区国产欧美国| 欧日韩不卡视.频| 密臀在线免费观看| 夜夜高潮夜夜爽夜夜爱爱一区| 2019男人的天堂| henhen91| 综合久久久久久久综合网| 一级A片女人高潮叫床| 伊人成人中文字幕久久网| 天天摸夜夜摸| 国产九九九九九九| 激情五月综合开心五月| 大香蕉黄色一区| 长长久久曰曰夜夜成人网| 欧美老妇女内射网址| 久艹99| 香蕉综合网| 欧美日韩*字幕一区| 丁香婷婷啪啪| 少妇第一页| 9久久精品| 亚洲第一无码播放立川理惠| 二对二中文字幕。| 日韩在线国产字幕| 9999免费精彩视频| 亚洲激情色片| JuliaAnn丝袜熟女系列| 国产精品自拍xxxx| 操B久久| 啊啊啊啊啊舒服| 视频一区二区三区精品| 国产女人高潮视频| 午夜九九九九九九| 91丨九色丨东北熟女| 白丝jkav| 男女做爰猛烈动高潮A片免费应用| 国内精品久久久久影院亚洲| 欧美亚州色的图| 中文乱码字字幕在线第5页| 丁香五月成人| 999精品女人| 强奸乱伦AV一天堂网| 激情视频网址| 91观看 国产白丝| 日韩性爱视频在线免费观看| 欧美一品道| 精品久久无码午夜福利| 国产成人AV麻豆| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 你草精品在线视频| 国产女人视频三四五区| 艾草av| av激情亚洲五月天| 男人下部插入女人下部| 五月丁香啪| 日本熟妇自慰性高潮一区二区三区| 中文字幕美女91| 99久久com免费视频′| aV中文麻| 又黑又大又粗 | 亚洲1区| 欧美综合网站999| 国产51色综合久久免费| h色99999| 717影院理论午夜伦八戒| 影音资源男人日韩| 色色五月丁香| 超碰2017| 国产精品熟女九九九| 欧美一级A片不卡视频。| 国产大片精久久久久久| 中文字幕精品一区欧美| 黑人综合色| 天天躁日日躁AAA片李宗瑞| 老熟女综合网| 麻豆国产成人精品| 91精品国产高清久久久久久,亚洲成人| 性性欧美| 欧美性爱另类综合| 欧美福利视频啊啊啊啊| 日本 情色 1区2区3区| av资源在线播放天堂| 96超碰网| 吉川爱美98堂在线| 久久亚洲欧美中文字幕国语| 阿姨一区二区免费视频-高清正片西瓜视频下载app-T450AV | 豆花视频操逼网址| 九九九九免费视频| 啊啊在线| 丝袜内射| 日本99久久| 免费精品无码一级毛片牛牛影视| 久久久国产精品人妻丝袜| 欧美在线观看综合国产| 三级日韩一区二区三区| 亚洲国产97在线精品一区| 日本有码影片下载| 粉嫩不卡一区二区性爱| 久操精品| 国产人妻久久精品一区二区三区| 青久操| 一区三区啪啪| 一级AV性爱| 欧美丝袜亚洲| 很很很很操| 五月天伊人| 人人操人人干网页| 亚洲中文字幕在现观看| 欧美性少妇| 黑人天8A∨高清网站| 嫖老熟女A片一二三区| 好爽视频在线观看视频 | 亚洲av无码国产精品字幕| 后入式999| 欧美日韩国产电影| 夜夜操天天肏| 精品一区二区三区蜜桃臀赵总 | 国产超碰在线一区| 偷拍盗拍亚洲色图图片| 天综合网欧美| 美性中文综合网| 农村妇女一级二级三级视频| 国产精品久久久久久久毛片1| 日本精品一级二级三级| 欧美资源| …亚洲黄色厕厕女女在线播…| 色老牛| 清清一区二区三区四区不卡视频| 婷婷激情五月| 亚洲五月婷| 岛国黄色短视频| 九九精品无码专区免费| 国产啊v在线免费播放| 亚洲无992tv| 欧美色性情| yazhouzaixian| 91色伦综合| 二三四区精品| 91精品免费| 日韩 欧美 校园一区| 91人人爽人人爽| 天天干,天天日| 婷婷五月成人| 激情图片亚洲色图| 在线小视频| 都市激情人妻一区二区青青操视频| 97精品国产97久久久久久户外免费| 人妻AV在线| 日本色婷婷| 91黑丝在线播放| 欧美日不卡| 天天干天天干天天干| 96久久久久| 91女色| 色欧洲| 久久午夜色播影院免费高清| 色色毛片| 干日本人少妇午夜寂寞影院| 欧美成人一级免费电影| 亚洲av影院在线观看| 日本午夜精品理论片A级APP发布| 久久五月综合| 久久一二三级一一一| 秋霞男人网| 亚洲欧美在线综合| 麻豆成人影音在线| 欧美午夜视频免费观看| 国产不卡免费在线视频| 亚洲精品亚洲人成人网| 四虎永久在线精品免费网址| 劲爆欧美人妖三区91| 人妻天天爽夜夜爽2| 97精品一区二区视频在线观看| 亚洲人妻五月丁香婷婷| 欧美极品美女aaaaaa级黄片| 粉嫩粉嫩一区性色AV片| 婷婷五月天激情四射| 久9久| 久久九精品| 久久久久白虎| 亚洲精品一二区| 色九月婷婷| 欧美大香蕉97| 日本男人天堂| 久久高清欧美国产| 韩国一区二区精品亚洲| 十八禁电影伊人网| 人人操人人干xxx| av草草在线电影| 久九九九| 国产树林里野战在线看| 亚洲日韩乱码中文无码蜜桃臀网站| 久久久9 9 9精品| 超碰成人人人爽人人爽| 国产亚洲色婷婷久久99精品91葵花宝典| 中文字幕jul-617人妻熟女| 久九干| 大鸡巴久久| 亚洲第一狼人丝袜美女另类 | 97超碰超欧美。| 夜夜精品视频| 色婷婷丁香五月天| 99国产精品自在自在| 黄色视频高清无码网站| 能看的AV| 亚洲欧美骚| 国产精品久久久久亚洲av| 丝袜制服字幕在线| 少妇综合| 农村妇女一级二级三级视频| 欧美亚洲系列| www.91色| 人妻第一页| 97香蕉碰碰人妻国产欧美| 天堂射| 亚洲āv网址在线观看| 98色网| 香蕉精品二区二区| 亚洲熟女中文字幕在线| 夜夜高潮夜夜爽国产伦精品| 加勒比人妻综合| 欧美亚洲| 国产精品欧美激在线| 97超碰欧美| 中文字幕在线观看丝袜| 性天堂| 亚洲午夜免费狠狠干| 欧美色97| 色色五月天婷婷| 国产精品午夜精品| 女人爽到高潮潮喷18禁网站| 日韩在线观看AV| 激情小说成人日本无码一| 嗯嗯啊好大| 无码最新| 99热18这里只有精品| 思思热在线cao| 我爱搞逼综合网| 淫荡少妇免费| 美女t无毒不卡不卡| 日本123区操B视频| 九九久久玖玖| 亚洲精品 欧美精品| 亚洲成人日韩小说| 五十路成人在线视频二区三区| 亚洲无码久久久久久久| 欧美精品一二三| 97超碰美国| 中国农村熟妇毛片视频| 蘋果手機免費看成人Av| 中文字幕日本久久| 久久精品国产亚洲AV先锋| 无码欧美有限公司| 青娱乐亚洲自拍| 欧美黄片视频在线观看免费 | 久久黄片国产一区二区| AV男人天堂网| 曰韩欧美国产传媒麻豆第一区| 亚洲学生妹高清av| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 男人天堂2030| 亚洲淫乱骚妇AV| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 日韩激情啪啪啪| 国产丝袜高跟美女av免费观看| 熟女视频久久| 久久精品国产欧美日韩亚洲欧美日韩中文久久国产一区 | 中出20p| 又黄又爽在线观看视频| 亚洲国产一区二区日韩专区| 亚洲另类色综合网站| 青青草视频这里只有精品| 丰满美女一级毛片在线播放| 五十路熟女在线不卡观看一区二区| 人人色97| 日本一级二级三级网站| 亚洲麻豆av一区二区| 伦理日韩国产久久| 中文乱码99| 久久丁香五月天| 大香蕉欧美伊| 国产毛片精品一区二区色欲黄A片| 大香蕉欧美| 无码操逼天堂| 日韩ab网 | 国产精品懂色tv影视免费观看| 日韩av色图| 屌逼麻豆| 丁香婷婷大香蕉| 久操com| 国产精品天堂| 亚洲人妻色图| 超碰97亚洲区| 中文字幕、久久精品国产2020、久久综合久久自在自线精品自、亚洲 | 久久99久久99精品天美传媒棢·纸:. | 污啪啪啪视频| 伊人久久婷婷| 一级黄色影片| 91九色首页| 久久久久九九九| 最近2018中文字幕在线高清第一页| 国产中文字幕在线观看| 加勒比五月天| 99在线啪| 青青草原香蕉日本Ap| 蜜桃一区二区三区| 动漫av中文| 综合干干干av久久久综合网| A片大香蕉在线| 亚洲精品九九九九九九| 天天舔日美女视频| 中文字幕青青草| 亚洲蜜臀精品视频久久| 91激情国产| 美女91色黄18| 免费99精品国产自在在线| 亚洲视频一二区| 日韩精品人妻中文字幕久久久| 国产青一二三| 亚洲欧美中日韩| 欧美成不卡网| 欧美综合网1| 自拍亚洲综合| 日本二区不卡| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 九九九国产| 快灬快灬 一下爽蜜桃在线观看 | 人妻少妇视频在线播放| 91蜜臀在线久久久久| 久久国产三区| 老汉网| 96国产污污污丝袜| 日韩人人精品| 亚洲天堂加勒比| 后入国产| 综合激情二| 亚洲国产婷婷在线播放| 凸凹视频在线观看| 亚洲男人的天堂亚洲| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 日韩精品一区,二区 九九...老司机| 91精品国产91久久福利| 一线黄色免费性爱片| 秋霞免费AV| 五月婷婷六月丁香| 黑人中出21连凳花野真衣| 亚洲成?V人片在线观看福利| 久久首页| 激情婷婷| 99热在线播放| 久久婷五月天| 啪啪91| 色穴精品| 亚洲熟久久| 青春草A| 超碰夫妻97| 中文字幕日韩情色| 欧美不卡五十路| 久久91| 人人操肉肉| 欧美自拍偷拍免费观看| 亚洲日本男人天堂网| 色欧洲97| 人人贴人人摸| 日本三级久| 色呦色呦色精品| 亚洲熟女诱惑| 多乙久久久久久| 嗯嗯啊啊啊好舒服| 欧美综合色图网| 久久伊人亚洲AV无码网站| 亚洲最大无码中文字幕网站| 打av高清| 91中出| 免费一级欧美片片线观看| 99.色网| 欧美精品亚洲精品日韩传电影| 中文久久| 五月天激情小说| 风月影院男女十八禁| 午夜国产成人精品视频| 天天插天天插| 久久婷婷苹果| 综合欧美日本三级| 青娱乐手机日韩在线视频| 爱爱动态60秒| 国产亚洲一黄| 91色插| WWW黄片COM| 亚洲国内精品成人不卡| 91亚洲色人| 第二页中文字幕| 亚洲欧美在线丝袜| 日本片日本片祼观看网站在线看中文版网页在线看 | 9热9热综合网| 91丝袜在线观看| 五月丁香综合| 极品另类| 色狠人在线99| 你懂的在线观看区国产| 99青草| 好属操| 女优免费一区二区永久| 99热| 中文字幕在线观看网页| 3PAV乱伦视频| 伊人青青一区成人视频在线观看区| 玖玖综合网| 久久丁香| 亚洲欧美另类激情小说| 欧中日成人免费影视| 密乳视频在线| 91久久18禁| 国产精品嫩草久久久久| 久久人人爽av亚洲精品天堂桃色| 人妻中文字幕日韩电影| 国产精品大屁股999| 亚洲精品人妻吞精av| 青青草在线视频播放器| 久久女人一区二区三区| 国产v片在线免费观看| 99热精品国产| 国产成人免费观看在线视频| a啊啊啊啊啊啊啊啊一区二区| 中文字幕在线观看视频www| 91欧| 熟女一区二区| 性爱乱伦一区| 九九九九精品九九九九| 国产黄色动态精品| 久久免费精品视频免一| 麻豆av一区二区| 国产美脚女优尤物在线观看| 久久性爱大全| 无码国产精品96久久久久孕妇| 日韩一级二级在线| 免费的黄片wwwwww| 欧美激情久操网| 60秒免费小视频| 九九碰九九爱97| 青娱乐福利99| 国产丁香精品露脸视频| 麻豆区99999| 激情综合二| 亚州综合色| 久久宗合亚洲| 久久久久久夜夜夜夜夜| 人人操,操人人| 国产精品久久久久久久久久久久久久吹 | AV污污污污| 热热色中文无码| 欧美日韩少妇色情| 狠狠狠狠狠| 青青久久手机线视频| 97这里有精品| 日本最新1区2区3区| 天无日色综合| 欧美一区二区亚洲天堂| 超清福利精品视频在线| 78精品| 久久久久久久久国产| 熟女啪啪视频| 伊人久久88国产女| 思思热免费视频观看| 伊人操你| 亚洲中文字幕熟女| 凌辱美少妇久久aV| 久99在线免费观看视频| 亚洲欧洲无码一区夜| 丝袜内射| 精品国产乱码久久久久久久久1| 欧美亚洲日本视频久久久| 韩日色费| 中文字幕天堂在线| 91伊人| 久九九九九九九九热| 加勒比东京热五月天天堂网| 人妻一区久久二区三区色播| 青青草视频久久| 色五月激情综合网| 97香蕉碰碰人妻国产欧美| 成人八戒网站| 乱伦av.com| 中文字幕一区二区三区高清| 欧洲欧美视频一区二区| 在线岛| 人人做天天爱| 成人麻豆av电影网站| 精品久久久久久无码| 人人人摸人人| 大香蕉黄色一级片免费看| 欧美夜夜草视频| av网站国产主播在线| 91搡老女人老妇女老熟女歌词翻译| 五月天婷婷社区| 综合亚洲网| 欧美亚洲首页| 97香蕉网| 91啦人妻| 天天搞在线综合网| 亚欧高清在线| 丁香六月天| www.欧精品| 国产污视频麻豆传媒一区二区| 日韩精品人妻中文字幕有码午| 一区久久久二区| 色狠人在线99| 97超碰超欧美。| 白嫩白嫩的午夜九久久久久久久久久久久成人剧场 | 亚洲精品成人动漫在线| 成在线人在线观看视频| 婷婷丁香五月天综合东京热| 久久久国产成人一区二区三区在线| 激情久久久| 激情综合五月天| AND人妻系列| 精品九九九九九九九九九| 欧美色图自拍| 久久久96| 国产精品视频麻豆入口| 麻豆国产免费影片| 日韩美女久久一区二区三区| 东北女人操比视频| 老司机香蕉久久久久| 一本色道无码DVD中文字幕| 欧美黑人精品在线播放| 影音先锋国产精品| 冬京热男人的天堂| 亚洲脚交| 国产精品久久久久久亚洲色欲| 精品人妻一区二区视频| 开心激情站| 亚洲Av噜噜一区二区三区妖精| 综合情欲网| 日韩成年人性爱视频| 国产成人亚洲精品无码古代早漏男| 性色av婷婷久久一区二区点复制| 精品.99999| 久久精品无码不卡| 国产精品久久久久久高清无码免费看 | 色五月激情综合网| 男人 天堂 日 亚洲| 91久久国产精品| 伦激情人妻另类人妻| 久久久久婷婷| 日本孕妇孕交| 九九九精品成人免费视频小说| 国产AV超爽| 日日黄色三级网站| 色婷婷国产精品一区在线观看| 操逼不卡中文字幕| 在线 亚洲 网爆 自拍| 色九九久九九| 日韩精品1区2区中文字幕| 高清不卡国产| 精品无吗m| 18禁超污无遮挡无码免费网| 成人热久久精品| 懂色av一区二区三区天美传媒| 日韩一级成人毛片免费观看| 国产精品91ai| www国产无码| 婷婷五月丁香五月| 伊人国产AV| 女人双腿搬开让男人桶| 超碰午夜| 国产性久久久| 中国小夫妻勾搭露脸淫荡对白| 91丝袜在线观看| 国产精品一二三区福利| 久久久精品,3| 91久操| 亚洲少妇视频| 亚洲高潮少妇| 日韩情色一区二区| 另类图片五月天| 欧美日韩欧美| 久久久 国产精品| 在线播放中文字幕| 亚洲熟女中文字幕在线| 国产91丝袜在线播放蜜月| 男女激情黄色网址| 蜜桃臀一区二区三区久久| 人人插人人摸人人| 九99久久| 97av在线视频| 色噜噜国产精品视频一区二区| 欧美激情综合色综合啪啪五月| 欧美日韩制服| 亚洲 综合 欧美| 精品黄色电影| 久久熟妇五十路一区| 国产精品久久久久久久久久梁医生| 麻豆区99999| 日韩人妻有码免费视频| 玖玖爱综合网| 久久婷婷视频| 亚洲欧美日韩免费观看| 69人妻精品丰满熟女区| 太久视频| 99少妇内射| 久悠悠av| 亚洲免费在线探花| 亚洲脚交| 老鸭窝亚洲毛片| 亚洲阿v天堂无码z2018| 九9精品| 久久,精品一二三| 精品国产三级av韩国在线| 成人一区二区三区四区| 中国亚洲呦女专区| 日韩欧无码一区二区三区免费不卡| 岛国人妻少妇av在线观看| 成人性爱美曰韩| 欧美高清色| 色91综合网| 久操视频资源站公开| 中文字幕免费在线观看| 懂色AV一区二区三区| 亚洲电影中字一区二区| 大乔未久88一区| 强奸a片网| 无码人妻精品酒店| 亚州中文字幕超碰97| 竹菊影视国产一区二区| 大学生美女口爆| 天天天天天超碰| 亚洲色综合| 丝袜人妻av一区二区| 亚洲高清少妇| 人妻久久久久久久久久久久久久久| 欧美亚洲| 欧美激情一| 色999人与兽| 亚洲 日韩 丝袜 熟女 变态| 夜夜嗨一区二区三区直播内容| 刺激性视频黄页| 国产福利小视频高清在线观看| 97在线视频免费看| 91高跟美女在线播放| 日韩精品一区二区三区色欲| 亚洲性爱成人| 亚洲美女精品九九视频| 东京热av男人的天堂| 丁香六月激情| 国产三级多多影院2022国产AA一级毛片无码 | 怡红院成人av| 日本熟妇熟色97一本在线观看| 亚洲AV性爱电影| 717影院理论午夜伦八戒| 日韩免费三级黄片电影| 麻豆 美女 丝袜 人妻 中文| 少妇内射视频| 欧美A√综合网| 日韩紧密久久| 精品久久視頻在线| 91精品久久久久久77777| 天天操夜夜嗨| 韩国一级AAA| 人人操人人摸人人看人人插| 男女啪啪啪18禁网站| 欧美色图亚洲激情| 97超碰欧美手机| 嗯嗯不要 视频| 偷拍新久久| 亚洲一二三四区在线免费看视频| 亚洲淫色网中文| 亚洲自拍欧美国产首页网曝| 午夜呻吟欧美| 久久久久久久久久久人妻| 九九热精品| 久久思思热| 人妻AV 中文字幕的| 激情综合五月婷婷| 啊啊啊操一区| 午夜精品99久久久久传媒| 九九九九久久久| 大香蕉色十月| 久久久久久久一级黄色打同平台| 尹人大香蕉视频在线| 久久午夜伦| 97亚洲性爱| 97青娱乐超碰久久| 91丝袜激情在线| 日本五十路在线| 九九综合网| 少妇熟女视频一区二区三区| 丝袜美腿丝袜| 国产91 丝袜在线播放00-百度| 美女黄频a美女大全免费皮| 顶级丝袜熟女一区二区三区 | 性欧美精| 久热网| 久操免费观看| 无遮挡男女激烈动态图| 成人小说另类在线| 1769国内精品视频| 欧美人妻精品一区二区| 久操热线| 污到发麻的视频 国产| 天天看特黄的免费网站| 偷拍片久久| 加勒比海人人操超碰在线| 欧美黄页| 欧美日本中字另类在线| 人人操人人狠狠操| ss久久| 少妇专区一二三四五| 国产美女91| yw尤物av无码点击进入麻豆| 无码人妻精品一区二区中文 | chaopen97久久| 欧美日韩另类激情图片| 一区二区三区免费视频入口| 天天操夜夜嗨| 国产伦精品一区二区三区视频女| 国产农村妇女精品一二区| 青青欧美| 色综合一区二区三区| 强奸乱伦AV网站| 骚逼高潮久久精品| baiduhicn.com。| 超碰超碰超碰超碰的大鸡吧操黑丝袜| 性色AV网站| 五月天丁香网| 免费看污网址| 日韩精品-原创伙伴| 自怕偷自怕亚洲精品| 性爱综合网| 精品性爱久久视频| 亚洲97综| 日本午夜久久电影| 欧美韩国你懂得在线| 97精品在线视频| 久草视频在线视频在线视频在线观看| 男人天堂一区二区| 久久人妻少妇| 国产真乱mangent| 天天日夜夜爽| 加勒比性爱成人在线| 青娱乐淫乱1314| 翔田千里av一区二区三区| 国产丰满少妇久久久精品影院| 无套后入双马尾| 欧美日韩性爱操大逼| 天色综合网| 97视频免费播放| 爱我干综合| 九一国产精品| 蜜乳AV一区| 亚洲色图 欧美热图 清纯唯美 另类自拍| 91精品在线播放| aaaa少妇高潮大片| 日本天天干天天搞一区| 成人性爱免费播放| 九九天堂| 97亚洲精品| 大奶啊啊好爽 | 日本高清电影欧美色图| 91制服丝袜| 久久精品国产亚洲AV成人直播| 欧洲精品人妻| 一区二区三区高清天码| 91色爽欧美| 91被操| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 草草电影院| 午夜精品一区二区三区三上悠亚| 东京热av影院| 五月婷婷综合在线| 欧美亚洲首页| 婷婷色网| 亚洲国产精品无石码久久| www.色婷婷| 久9精品| 成人综合色网| 国产无码成人无码| 色女99一级片在线观看| 老熟女乱伦一区| 91成人国产综合久久精品蜜月| 无码精品久久| 操淫穴亚洲五月丁香 | 国产成年精品高清在线观看91| 精品一久久久| 看一级特黄a大一片| 夜夜免费视频| 啪啪综合网| 97视频在线看| 欧美亚洲影视| 青青操综合网| 欧美综色欧| 91色艳| 综合影院永久入口国产| 亚洲自拍一区夜夜操| 亚洲精品天堂久久A∨51成人漫| 国产情色在线| 任你草| 亚洲一区二区三区在线激情| 欧美色日本| 日欧操屄视频| 大象AV在线| 天堂资源站| av中文在线| 国产又黄又粗又猛大片| 天天内射| 久久色情| 人人人摸人人| 少妇蹲下买菜露大唇0| 好吊妞转入那个网| 17c在线成人免费A片观看| 不卡六六在线91| 久久大香蕉手机高清| 少妇人妻太紧太深av| 午夜噜噜噜| 三级网站超变态精品| 91精品大奶人妻| 黑人免费福利视频| 亚洲中文字幕一区| 国产白嫩精品久久| 日韩女模中文造逼| 国产日韩精品suv| 蜜臀在线看片| 狠肏骚人妻| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 久久精品黄色| 国产精品嫩草影院午夜两性| 精品人妻一区二区蜜桃视频| 日本青青草在线| 亚洲精品美女久久久久久久久| 人妻少妇久久中文字幕一区二区 麻豆 | 久久99精品九九久久久婷婷| 九九综合久久| 手机在线播放国产福利| 91伊人| 舔人妻中文免费视频| 97超碰色屌| 蜜桃色色网站视频三区| 成人性爱高清视频免费看| 久久精品国产亚洲AV清纯| 97日韩欧美亚洲| 九九九精品一区二区无码| 青青11操操操操操操操操| 亚洲欧美日韩精品久| 中文字幕,人妻,日韩| 亚洲欧美另类小说| 天天影视综合色| 亚洲日韩东京热一区| 狠插 制服 自拍| 天天综合91在线| 五月天久久久| 91狼人| 蜜乳AV一区二区三区四| 国产成人一级av88| www.亚洲成人一区| 国产精品不卡av免费在线观看| 水滴偷拍| 欧美精品激情| 中文字幕福利视频一区二区三区在线观看| 97爱b| av一区二区三区四区五区久草臀| 日韩欧美成人大香蕉| 色蜜AV| 六九九九| 久久久久成人蜜桃精品| 天天爽天天| 亚洲va综合va国产va中文| 午夜精品视频777| 人人扣人人操| 丁香激情五月| 免费夜夜爱黄色视频毛片| 激情色播| 黑丝少妇| 久久欧美按摩999| 美女露胸露尿口| 日韩内射视频| 六月丁操逼| 中文字幕久久精品一区| 日韩 成人 有码| 色欲色香天天天综合网www-亚洲综合国| 在线视频一区二区传媒| 国产肏屁眼视频| 99精品高潮| 97国产中文| 亚洲视频精选| 人人操人人爽人人操人人| 91啦人妻| 手机在线A片| 激情五月天社区| 丁香六月天| 久久久9品一区二区三区| 99re95| 是还免费视频1727我| 2020中文字幕在线| 高清孕妇孕交 交| 91精品国产91久久青草| 超碰国产精品无码| 国产亚州高清国产拍精| 91狠狠色丁香婷婷综合久久| 花野真衣| 97视频900| 亚洲精品九九九九九九| 亚洲性网| 岛国片国产成人亚洲播放| 操逼操操操91| 97亚洲性爱| 午夜综合在线| 一区二区三区高清| 午夜无遮挡男女啪啪视频| 果冻国产精品麻豆成人av| 成人资源中文字幕在线观看天天| 久久久av爱| 天美av在线| 影音先锋日本乱伦| 久久香蕉国产线看观看猫咪av| 亚洲日本韩国极品一区二区| 神马影院午夜福利久久久| 清纯唯美激情| .精品人妻一区二区三| 国产成人精品日本亚洲语言| 老女人日韩美91| 国产精品大屁股999| 国产成年女黄特黄| 男女真人网18| 极品粉嫩一区二区| 91日韩网站| 国产成人99久久亚洲综合| 女人高潮抽搐喷水视频网站| 一区麻豆 高清中文字幕| 久久精品人妻一区二区三区| 最新无码国产| 久久香蕉网| 欧美日韩国产人人| 日本韩高清无砖码22o| 很很热性爱视频| 欧美日韩少妇色情| 日韩无限资源| www久久99| 青青欧美| 超清福利精品视频在线| 亚洲人妻一区二区三区| 97在线资源| 人人做,人人操,人人摸| 偷拍 精品另类 凸凹了四区| 天天操天天7| 曰韩操B| yirendaxiangjiashipin| 亚洲精品国产拍免费91在线| 色色色色日本| 97高清啪啪| 亚洲天堂精品日韩电影| 91Chinese在线| 精品高清一区二区三区三州| 亚洲欧美综合区自拍另类| 天天干干天天干干| 日韩AV中文字幕电影| 天天爱综合网| 草草影院最新网址| 啪啪视频mP4| 丝袜综合网| 超碰人人在线| 欧美亚洲清纯| 黄色欧美性爱视频| 福利大香蕉| 亚洲乱码国产乱码精网站| 97一本大道亚洲一区| 日韩免费三级黄片电影| 大香蕉免| 久久亚洲国产成人| 亚洲城人男人的天堂| 国产400孕妇孕交群| 99只有精品| 99热一区二区三区四区| 亚洲成人综合在线| 国产免费小视频| 五月丁香综合网| 超碰美国| 麻豆久久视频在线地址| 亚洲色图一区二区三区| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 亚洲精品人体| 色av中文字| 操b在线观看| 刺激精品视频| 成年女人黄网站| 97天天插| 色婷五月天| 日本淫乱女一区二区三区视频| 人妻久热在线| 影音先锋新男人| 国产精品天干天干综合网麻豆| AA特级绝黄| 国产白丝网站| 天天综合日韩网| 日韩在线欧美精品一区二区| 国产乱人妻精品入口| 亚洲砖码砖专无区2023| 日本精品加勒比海一区| 日本熟妇一区二区三区| 91福利网在线观看| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 天天操妹子| 蜜桃精品一区二区三区ww| 成人自拍三级在线观看| 色就色综合| 岛国激情视频软件| 亚洲诱惑天堂| 九九九九九九九精品视频| 久久久久亚洲Av无码专区老牛影视| 欧美三级免费伊人| 久久国内| 亚州综合色| 男人的亚洲天堂| 五月丁香影院| 欧美性生活免费网| 大香蕉视频啪啪啪啪| 欧美狠狠弄| 国产精品亚洲一区二区三区四区| 四虎精品一区二区| 久久精品人妻一区二区| 九九热在线视频| 思思热免费在线视频| 91亚洲网站| 香蕉免费一区二区三区不读 | 偷拍 精品 另类 四区| 无码日韩人妻av一| 视频不卡中文字幕| 97超碰中文字幕| 色哟哟-国产专区| 日本免费亚洲欧美| 日韩免费看在线黄色片| 久久久日本电影| 天天草AV| 欧美久久毛片基地| 99热久| 一本大道不卡一二三区| 91综合站| 欧美性少妇| 老司机久久| 色婷婷在线视频精品导航| 成人黑料社久久| 日本黄色大片一级视频免费麻豆| 亚洲熟女av中文字幕| 俺也射| 亚洲www91| 97二区四区| 九九热精品| 国产情侣自拍在线播放| 女人被男人桶爽视频网站| 97精品网| 99999re| 强乱老妇中文字幕| 熟女一区二区三区四区| 97超碰亚洲| 97超碰色屌| 91在线视频免费中出| 亚洲日本成人动漫| 伊人婷婷五月天| 成人三级片无码| 91人妻素女| 操逼视频亚洲| 亚洲欧美综合区自拍另类| 成人自拍三级在线观看| 国产精品爆乳懂色蜜乳| 欧美天天干| 天天综合网~91| 欧美碰碰综合色| 久久久久女教师免费一区| 欧美成人贴图| 日韩AV噜噜噜一区二区三区四区| 舔舔啊| 91亚洲丝袜熟女| 久久久久久99999国产精品| 亚洲图片在线| 成年人免费观看网站| 97国产综合欧美| 欧美综合色综合| 亚洲人精品久久久| 丝袜美腿操av| 亚洲欧美洲综合| 天天综合网在线观看| 夜夜躁狠狠躁日日躁av| 神马午夜久久| 伊人影院日本| 天天懆天天日| 天堂无码精品国产久| 三级三级三级a级全黄三| 日韩精品视频在线观看一卡二卡| 天堂8在线新版官网| 亚洲AV成人在线| 亚洲美乱| 色九九九九| 综合97久久| 91综合天天|