亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Sentinel實(shí)戰(zhàn):配置流程、底層原理與高并發(fā)防護(hù)策略

Sentinel實(shí)戰(zhàn):配置流程、底層原理與高并發(fā)防護(hù)策略 做服務(wù)治理的人都知道一句話流量防護(hù)不是上線之后就一勞永逸的事。我最早接觸 Sentinel 是在一次壓測(cè)現(xiàn)場(chǎng)——某個(gè)核心接口在流量翻倍時(shí)直接讓數(shù)據(jù)庫(kù)連接池打滿后續(xù)所有依賴(lài)它的服務(wù)開(kāi)始連環(huán)超時(shí)當(dāng)時(shí)團(tuán)隊(duì)的應(yīng)對(duì)方式還停留在“加機(jī)器”這一個(gè)維度上。后來(lái)才開(kāi)始認(rèn)真搞限流降級(jí)也才慢慢把這些問(wèn)題帶到 Sentinel 的配置和底層原理上來(lái)。聊到“Sentinel 的配置流程及底層原理”大多數(shù)人第一反應(yīng)是去控制臺(tái)加幾條流控規(guī)則。但真正踩過(guò)坑之后才會(huì)意識(shí)到配置流程背后是對(duì)資源模型的理解底層原理背后是統(tǒng)計(jì)窗口和狀態(tài)狀態(tài)機(jī)。這篇文章不打算把官方文檔復(fù)述一遍而是從一個(gè)實(shí)踐者的角度把接入步驟、規(guī)則設(shè)置、控制臺(tái)用法和核心機(jī)制串成一條線講清楚“每一步為什么要這么做”也讓準(zhǔn)備接手這塊的讀者少走彎路。你可能已經(jīng)用它做過(guò)一些基礎(chǔ)限流也可能只是聽(tīng)過(guò)名字這里盡量讓兩種讀者都能拿到自己需要的東西。1. 先想明白 Sentinel 解決什么問(wèn)題很多團(tuán)隊(duì)是在系統(tǒng)已經(jīng)被突發(fā)流量打掛之后才想起上 Sentinel但上完之后又不確定它到底應(yīng)該管到哪一層。先把這個(gè)底層問(wèn)題聊透后面配置才會(huì)自然。Sentinel 的核心價(jià)值說(shuō)起來(lái)很樸素保護(hù)系統(tǒng)不被瞬時(shí)流量沖垮同時(shí)避免某個(gè)下游故障把整條鏈路拖死。它做的事情可以拆成三件一是流量控制給每個(gè)接口設(shè)置一個(gè)可接受的最大訪問(wèn)量超過(guò)的部分直接拒絕二是熔斷降級(jí)當(dāng)下游接口的失敗率或者響應(yīng)時(shí)間超過(guò)閾值時(shí)暫時(shí)切掉這條調(diào)用讓下游有時(shí)間恢復(fù)三是系統(tǒng)負(fù)載保護(hù)當(dāng)整體機(jī)器的 CPU、負(fù)載已經(jīng)過(guò)高時(shí)就不再讓新的請(qǐng)求進(jìn)入系統(tǒng)。這三件事看起來(lái)獨(dú)立最終目的其實(shí)一致把“不可控的外部流量”和“已經(jīng)出現(xiàn)的內(nèi)部故障”隔離在系統(tǒng)承受范圍之內(nèi)。所以你在配置時(shí)不應(yīng)該只是為了填一個(gè)數(shù)字而是要回答一個(gè)問(wèn)題這個(gè)接口在當(dāng)前的機(jī)器規(guī)格、數(shù)據(jù)庫(kù)連接數(shù)、第三方依賴(lài)能力下到底能承受多少 QPS如果答不上來(lái)那后面所有規(guī)則都是拍腦袋。1.1 核心能力限流、熔斷、系統(tǒng)保護(hù)拿一張對(duì)照表來(lái)概括這也是我在做技術(shù)選型評(píng)審時(shí)習(xí)慣用的方式能力解決什么問(wèn)題典型配置入口流量控制閾值內(nèi)的請(qǐng)求放行超出部分快速失敗、排隊(duì)或預(yù)熱流控規(guī)則熔斷降級(jí)下游異常比例或響應(yīng)時(shí)間超限時(shí)主動(dòng)斷開(kāi)調(diào)用熔斷規(guī)則系統(tǒng)自適應(yīng)保護(hù)根據(jù)機(jī)器整體負(fù)載限制入口流量防止系統(tǒng)整體過(guò)載系統(tǒng)規(guī)則熱點(diǎn)參數(shù)限流針對(duì)某個(gè)熱點(diǎn)參數(shù)值如商品ID、用戶ID單獨(dú)設(shè)定閾值熱點(diǎn)規(guī)則這四類(lèi)規(guī)則在配置時(shí)互不沖突也可以疊加使用。比如一個(gè)訂單查詢接口既需要設(shè)置總量限流又需要對(duì)某些秒殺商品的參數(shù)做熱點(diǎn)限流還需要在數(shù)據(jù)庫(kù)慢查詢導(dǎo)致 RT 上升時(shí)觸發(fā)熔斷。規(guī)則之間是不同維度的保護(hù)沒(méi)有誰(shuí)替代誰(shuí)的問(wèn)題。1.2 引入前先做一次技術(shù)判斷有一點(diǎn)我想先潑冷水并不是所有系統(tǒng)都需要 Sentinel。如果你的服務(wù)沒(méi)有明顯的波峰波谷、也沒(méi)有脆弱的第三方依賴(lài)純單機(jī)部署且并發(fā)量極低那用更輕量的信號(hào)量限流或者一個(gè)簡(jiǎn)單的攔截器就夠了。引入 Sentinel 本身會(huì)帶來(lái)一些運(yùn)行成本和學(xué)習(xí)成本比如控制臺(tái)部署、規(guī)則持久化、客戶端上報(bào)這些對(duì)小團(tuán)隊(duì)來(lái)說(shuō)并不是零負(fù)擔(dān)。我的建議是先判斷是否存在以下場(chǎng)景第一有突發(fā)的營(yíng)銷(xiāo)流量或者被爬蟲(chóng)刷接口的可能第二系統(tǒng)中存在一個(gè)明顯脆弱的依賴(lài)比如某臺(tái)數(shù)據(jù)庫(kù)、某個(gè)外部 API一旦它故障會(huì)拖垮整條鏈路第三你們正在做微服務(wù)拆分服務(wù)的調(diào)用關(guān)系網(wǎng)越來(lái)越密。滿足其中任意一條才有必要認(rèn)真考慮 Sentinel并且值得把規(guī)則設(shè)計(jì)和持續(xù)調(diào)優(yōu)當(dāng)成一項(xiàng)長(zhǎng)期工作。2. 接入 Sentinel 的完整配置流程前面是認(rèn)知層面的事這一節(jié)開(kāi)始進(jìn)入實(shí)際操作。接入流程說(shuō)簡(jiǎn)單也簡(jiǎn)單總共就四步引入依賴(lài)、埋點(diǎn)資源、啟動(dòng)控制臺(tái)、下發(fā)規(guī)則。但每一步里都藏著容易繞彎的細(xì)節(jié)。2.1 依賴(lài)引入與資源埋點(diǎn)首先在項(xiàng)目的依賴(lài)管理文件里加入 Sentinel 相關(guān)組件。如果你用的是 Java 技術(shù)棧最簡(jiǎn)單的做法是先引入核心包再加上控制臺(tái)通信的擴(kuò)展包。具體坐標(biāo)不用死記到 Maven 倉(cāng)庫(kù)搜sentinel-core和你使用的那一套微服務(wù)集成器拿對(duì)應(yīng)版本即可。我一般會(huì)把版本統(tǒng)一管理在一個(gè)依賴(lài)清單文件里避免多個(gè)服務(wù)各自為戰(zhàn)。引入依賴(lài)之后還有一個(gè)更重要的動(dòng)作埋點(diǎn)。Sentinel 所有規(guī)則都是圍繞“資源”來(lái)定義的資源名就是一個(gè)接口、一段代碼或者一個(gè)方法的唯一標(biāo)識(shí)。埋點(diǎn)最原始的方式是手動(dòng)保護(hù)業(yè)務(wù)代碼Entry entry null; try { // 進(jìn)入資源資源名建議使用接口路徑例如 /api/order/create entry SphU.entry(/api/order/create, EntryType.IN); // 這里是你的業(yè)務(wù)邏輯 } catch (BlockException e) { // 被限流或熔斷時(shí)執(zhí)行兜底邏輯比如返回提示 } finally { if (entry ! null) { entry.exit(); } }手動(dòng)埋點(diǎn)的好處是控制精確壞處是侵入性強(qiáng)每個(gè)需要保護(hù)的接口都要寫(xiě)一遍。所以更常見(jiàn)的做法是用注解SentinelResource(value createOrder, blockHandler createOrderBlockHandler) public String createOrder(Long orderId) { // 業(yè)務(wù)邏輯 } public String createOrderBlockHandler(Long orderId, BlockException e) { return 系統(tǒng)繁忙請(qǐng)稍后重試; }這里我非常想強(qiáng)調(diào)一個(gè)配置時(shí)最容易忽略的細(xì)節(jié)注解里的value和控制臺(tái)上看到的資源名必須完全一致包括大小寫(xiě)和路徑風(fēng)格。很多規(guī)則“不生效”根本不是系統(tǒng)問(wèn)題而是代碼里和規(guī)則上寫(xiě)的是兩個(gè)不同的字符串。團(tuán)隊(duì)內(nèi)部最好約定統(tǒng)一規(guī)則接口路徑風(fēng)格的資源名入口寫(xiě)在 Controller 層內(nèi)部細(xì)粒度方法再單獨(dú)埋點(diǎn)。另外埋點(diǎn)后entry.exit()必須放在finally里保證執(zhí)行。如果漏了統(tǒng)計(jì)的“當(dāng)前正在執(zhí)行數(shù)量”會(huì)一直累加后續(xù)的請(qǐng)求就會(huì)被誤判成超線程并發(fā)規(guī)則表現(xiàn)就跟預(yù)期完全對(duì)不上了。2.2 啟動(dòng)控制臺(tái)與規(guī)則下發(fā)依賴(lài)和埋點(diǎn)完成后第二步是部署控制臺(tái)??刂婆_(tái)是一個(gè)獨(dú)立運(yùn)行的應(yīng)用負(fù)責(zé)展示每個(gè)客戶端的實(shí)時(shí)指標(biāo)也負(fù)責(zé)把人寫(xiě)的規(guī)則推送到客戶端內(nèi)存??蛻舳私尤肟刂婆_(tái)時(shí)一般通過(guò) JVM 參數(shù)指定控制臺(tái)地址和項(xiàng)目名java -Dproject.nameorder-service \ -Dcsp.sentinel.dashboard.server127.0.0.1:8080 \ -jar order-service.jar把csp.sentinel.dashboard.server指向控制臺(tái)的地址和端口。啟動(dòng)完成后打開(kāi)控制臺(tái)網(wǎng)頁(yè)過(guò)十幾秒就能在“機(jī)器列表”里看到你的服務(wù)實(shí)例。之后再進(jìn)入“簇點(diǎn)鏈路”頁(yè)面就能看到所有被埋過(guò)點(diǎn)的資源。選擇某個(gè)資源點(diǎn)“流控”按鈕填入閾值并保存規(guī)則就被實(shí)時(shí)推送到 JVM 內(nèi)存。這里必須明確通過(guò)控制臺(tái)配置的規(guī)則默認(rèn)只保存在內(nèi)存里應(yīng)用一重啟規(guī)則就沒(méi)了。很多第一次用的人都會(huì)在這個(gè)地方翻車(chē)頭天下午辛辛苦苦配了一堆規(guī)則晚上發(fā)布一個(gè)新版本第二天發(fā)現(xiàn)所有限流全部失效。因此規(guī)則持久化不是可選項(xiàng)而是生產(chǎn)環(huán)境接入的必選動(dòng)作。2.3 規(guī)則如何做到不丟持久化規(guī)則持久化的思路是把規(guī)則從“控制臺(tái)直接推內(nèi)存”改成“客戶端從一個(gè)可靠數(shù)據(jù)源里拉”。這個(gè)數(shù)據(jù)源可以是本地文件、數(shù)據(jù)庫(kù)或者你們已有的配置中心。Sentinel 提供了一套數(shù)據(jù)源擴(kuò)展機(jī)制核心就是ReadableDataSource和WritableDataSource。以本地文件為例規(guī)則會(huì)先寫(xiě)到磁盤(pán)文件里應(yīng)用啟動(dòng)時(shí)就從這個(gè)文件加載ReadableDataSourceString, ListFlowRule flowDataSource new FileRefreshableDataSource(flow-rules.json, source - JSON.parseArray(source, FlowRule.class) ); FlowRuleManager.register2Property(flowDataSource.getProperty());這樣應(yīng)用重啟后會(huì)自動(dòng)從文件里恢復(fù)規(guī)則。但本地文件只解決“規(guī)則不丟”的問(wèn)題還沒(méi)解決“多臺(tái)機(jī)器同時(shí)改”的問(wèn)題所以生產(chǎn)環(huán)境我更推薦走配置中心把所有規(guī)則放在同一個(gè)配置里改動(dòng)后自動(dòng)推送到每一臺(tái)機(jī)器。只要把規(guī)則文件的內(nèi)容變成配置中心里的一個(gè)配置項(xiàng)然后使用對(duì)應(yīng)的數(shù)據(jù)源擴(kuò)展客戶端就能保持和配置中心同步。做持久化時(shí)要注意一個(gè)坑規(guī)則推送方式有“拉模式”和“推模式”的區(qū)別。拉模式下客戶端定時(shí)從數(shù)據(jù)源拉取最新規(guī)則簡(jiǎn)單但對(duì)數(shù)據(jù)源壓力大更新延遲高推模式下配置中心主動(dòng)推送實(shí)時(shí)性好也更容易在推送前做校驗(yàn)。多數(shù)線上環(huán)境都應(yīng)該選擇推模式。3. 底層原理從一次調(diào)用看 Sentinel 內(nèi)部發(fā)生了什么配置層面的東西練幾遍就熟了但底層原理才是區(qū)分“會(huì)用”和“用得明白”的分水嶺。我下面用一次普通的接口調(diào)用來(lái)拆解 Sentinel 的內(nèi)部動(dòng)作。3.1 責(zé)任鏈設(shè)計(jì)ProcessorSlot 鏈當(dāng)你調(diào)用SphU.entry()時(shí)Sentinel 并不是簡(jiǎn)單做一個(gè)計(jì)數(shù)器判斷而是把這次請(qǐng)求交給一條處理鏈去執(zhí)行。這條鏈由一組 slot 組成每個(gè) slot 負(fù)責(zé)一件獨(dú)立的事Slot 名稱(chēng)職責(zé)NodeSelectorSlot負(fù)責(zé)構(gòu)建調(diào)用鏈路徑上的上下文節(jié)點(diǎn)用來(lái)區(qū)分不同來(lái)源的調(diào)用ClusterBuilderSlot構(gòu)建資源的集群維度統(tǒng)計(jì)節(jié)點(diǎn)維護(hù)該資源的全局實(shí)時(shí)統(tǒng)計(jì)StatisticSlot完成所有指標(biāo)統(tǒng)計(jì)比如請(qǐng)求總數(shù)、成功數(shù)、失敗數(shù)、RT并觸發(fā)后續(xù)規(guī)則判斷AuthoritySlot黑白名單判斷校驗(yàn)調(diào)用來(lái)源是否被允許SystemSlot系統(tǒng)負(fù)載保護(hù)超過(guò)系統(tǒng)閾值直接攔截FlowSlot流量控制規(guī)則校驗(yàn)DegradeSlot熔斷降級(jí)規(guī)則校驗(yàn)這套設(shè)計(jì)借鑒了 Web 應(yīng)用里常見(jiàn)過(guò)濾器鏈的思路。每次調(diào)用依次經(jīng)過(guò)這些 slot每個(gè) slot 只關(guān)心自己負(fù)責(zé)的邏輯。以流控規(guī)則為例StatisticSlot 先把本次請(qǐng)求記錄到統(tǒng)計(jì)結(jié)構(gòu)里然后 FlowSlot 讀流控規(guī)則看當(dāng)前統(tǒng)計(jì)值是否已經(jīng)超過(guò)閾值。一旦超過(guò)就直接拋出限流異常后面的業(yè)務(wù)代碼就不會(huì)執(zhí)行了。理解這條鏈還有個(gè)好處就是知道 Sentinel 的擴(kuò)展點(diǎn)在哪。官方允許你插入自定義 slot通過(guò)實(shí)現(xiàn)ProcessorSlot接口再替換SlotChainBuilder來(lái)追加自己的處理邏輯。這樣你可以在不改變?cè)幸?guī)則的前提下加入自定義的攔截邏輯比如做灰度放行、自定義優(yōu)先級(jí)排隊(duì)。鏈本身是每個(gè)資源單獨(dú)構(gòu)建的內(nèi)部會(huì)緩存復(fù)用不會(huì)每次請(qǐng)求都重新創(chuàng)建。這也是 Sentinel 能夠保持低開(kāi)銷(xiāo)的關(guān)鍵之一。3.2 滑動(dòng)窗口如何統(tǒng)計(jì) QPS搞清楚 QPS 是怎么算出來(lái)的是理解限流閾值的關(guān)鍵。很多人在寫(xiě)限流時(shí)下意識(shí)用“固定一秒”的計(jì)數(shù)但固定時(shí)間窗口有一個(gè)問(wèn)題如果 0.9 秒時(shí)來(lái)了 100 個(gè)請(qǐng)求下一秒剛開(kāi)始又來(lái)了 100 個(gè)請(qǐng)求這兩個(gè)窗口單獨(dú)看都沒(méi)超閾值但零點(diǎn)幾秒內(nèi)的瞬時(shí)請(qǐng)求其實(shí)是 200 個(gè)能把服務(wù)瞬間打沒(méi)。Sentinel 用的是滑動(dòng)窗口。它把時(shí)間切成一格一格的“槽”每個(gè)槽記錄這個(gè)小時(shí)間段內(nèi)的計(jì)數(shù)統(tǒng)計(jì)當(dāng)前時(shí)間點(diǎn)往前推一個(gè)完整窗口的總和。舉個(gè)例子默認(rèn)配置下 1 秒被分成 2 個(gè)槽每個(gè)槽記錄 500ms 的數(shù)據(jù)。當(dāng)前時(shí)間落在哪個(gè)槽就更新哪個(gè)槽窗口滑動(dòng)時(shí)早于當(dāng)前時(shí)間窗口的數(shù)據(jù)會(huì)被自動(dòng)丟掉。這樣統(tǒng)計(jì)出來(lái)的 QPS 更貼近真實(shí)瞬時(shí)流量不會(huì)出現(xiàn)固定窗口那種跨邊界突刺。在實(shí)現(xiàn)層面這一套數(shù)據(jù)結(jié)構(gòu)叫LeapArray底層是一個(gè)環(huán)形數(shù)組。數(shù)組里的每個(gè)槽維護(hù)一個(gè)MetricBucket里面存放著各種計(jì)數(shù)指標(biāo)。因?yàn)榻y(tǒng)計(jì)操作非常高頻Sentinel 在底層用了一些無(wú)鎖化和原子類(lèi)的技巧來(lái)減少并發(fā)沖突這也是它能在高并發(fā)下保持穩(wěn)定性能的原因。你需要記得的關(guān)鍵點(diǎn)Sentinel 統(tǒng)計(jì)窗口本身也可以通過(guò)配置調(diào)整。默認(rèn)是 1 秒窗口對(duì)常規(guī)場(chǎng)景足夠了如果你的服務(wù)要求更精細(xì)的統(tǒng)計(jì)可以把窗口切小但代價(jià)是統(tǒng)計(jì)數(shù)據(jù)結(jié)構(gòu)占用更多內(nèi)存。我在調(diào)優(yōu)時(shí)一般不會(huì)輕易動(dòng)這個(gè)參數(shù)除非壓測(cè)發(fā)現(xiàn)有明顯的窗口邊緣誤判。3.3 熔斷降級(jí)的狀態(tài)機(jī)實(shí)現(xiàn)流量控制看統(tǒng)計(jì)窗口熔斷降級(jí)看的是狀態(tài)機(jī)。Sentinel 的熔斷邏輯圍繞三種狀態(tài)轉(zhuǎn)換CLOSED熔斷關(guān)閉請(qǐng)求正常放行。OPEN熔斷開(kāi)啟所有請(qǐng)求都會(huì)被快速拒絕。HALF_OPEN半開(kāi)狀態(tài)允許少量探測(cè)請(qǐng)求通過(guò)用探測(cè)結(jié)果決定是恢復(fù)關(guān)閉還是繼續(xù)保持熔斷。狀態(tài)流轉(zhuǎn)是這樣的初始是 CLOSED當(dāng)熔斷策略的指標(biāo)超過(guò)閾值時(shí)狀態(tài)進(jìn)入 OPENOPEN 狀態(tài)會(huì)持續(xù)一個(gè)時(shí)間窗口這個(gè)窗口時(shí)間由timeWindow參數(shù)控制窗口到了之后不直接回到 CLOSED而是先進(jìn)入 HALF_OPEN放幾個(gè)請(qǐng)求去試探下游是否已經(jīng)恢復(fù)如果試探成功狀態(tài)轉(zhuǎn)回 CLOSED重新正常放流如果試探還是失敗則立刻打回 OPEN繼續(xù)熔斷等待下一次嘗試。這套狀態(tài)機(jī)的價(jià)值在于“試探”。熔斷不是一刀切永久拒絕而是給下游恢復(fù)留出通道。生產(chǎn)環(huán)境里一個(gè)常見(jiàn)錯(cuò)誤是把timeWindow設(shè)置得太短比如 5 秒下游數(shù)據(jù)庫(kù)還在重啟半開(kāi)試探立刻失敗又被打回 OPEN往復(fù)幾次后效果不好設(shè)置太長(zhǎng)又會(huì)造成長(zhǎng)時(shí)間的無(wú)效拒絕。我的經(jīng)驗(yàn)是結(jié)合依賴(lài)方實(shí)際的恢復(fù)速度來(lái)設(shè)置通常 30 秒起步寧可長(zhǎng)一些也不要頻繁在半開(kāi)狀態(tài)間震蕩。4. 規(guī)則配置細(xì)節(jié)與參數(shù)調(diào)優(yōu)控制臺(tái)上填幾個(gè)數(shù)字很容易但每個(gè)數(shù)字背后的含義和組合效果才是重點(diǎn)。這一節(jié)會(huì)把主流規(guī)則類(lèi)型的關(guān)鍵參數(shù)拆開(kāi)。4.1 流量控制規(guī)則的關(guān)鍵參數(shù)流量控制規(guī)則最基礎(chǔ)的配置里有這么幾個(gè)參數(shù)參數(shù)含義取值說(shuō)明resource資源名和埋點(diǎn)名稱(chēng)完全一致grade閾值類(lèi)型0 表示 QPS1 表示并發(fā)線程數(shù)count閾值達(dá)到這個(gè)值就觸發(fā)限流strategy流控策略0 表示直接基于資源自身1 表示關(guān)聯(lián)資源2 表示鏈路controlBehavior流控效果0 快速失敗1 預(yù)熱2 勻速排隊(duì)大多數(shù)場(chǎng)景直接用 QPS 閾值就夠了也就是把grade設(shè)為 0。但有一種情況我建議用并發(fā)線程數(shù)就是你的接口內(nèi)部阻塞較多、連接池有限、單個(gè)請(qǐng)求耗時(shí)很長(zhǎng)。這時(shí)候 QPS 限流會(huì)掩蓋“同時(shí)占用線程過(guò)多”的真實(shí)風(fēng)險(xiǎn)改用并發(fā)線程數(shù)限制反而更穩(wěn)。再單獨(dú)說(shuō)controlBehavior??焖偈∽畋┝Φ珪?huì)把超出的請(qǐng)求一瞬間全部拒絕對(duì)用戶不友好預(yù)熱模式適合系統(tǒng)剛啟動(dòng)、或者規(guī)則閾值長(zhǎng)期較低的場(chǎng)景——它允許流量在設(shè)定的預(yù)熱時(shí)間內(nèi)緩慢爬升到目標(biāo)閾值而不是一上線就滿負(fù)荷放行勻速排隊(duì)則適合有任務(wù)堆積場(chǎng)景的削峰填谷請(qǐng)求排成隊(duì)列勻速通過(guò)而不是集中爆發(fā)。我自己在秒殺系統(tǒng)里用得最多的是預(yù)熱勻速排隊(duì)組合既能保住后端又不會(huì)把用戶體驗(yàn)全砍掉。4.2 熔斷規(guī)則的閾值設(shè)置技巧熔斷規(guī)則在配置時(shí)有三種策略慢調(diào)用比例、異常比例、異常數(shù)。官方不同版本的參數(shù)名有差異我以當(dāng)前主流版本的習(xí)慣寫(xiě)法來(lái)說(shuō)明DegradeRule rule new DegradeRule(); rule.setResource(/api/pay/callback); // 慢調(diào)用比例策略RT 超過(guò) 500ms 算慢調(diào)用 rule.setGrade(CircuitBreakingStrategy.SLOW_REQUEST_RATIO); rule.setCount(500); rule.setTimeWindow(30); rule.setStatIntervalMs(10000); // 10 秒內(nèi)至少 5 個(gè)請(qǐng)求時(shí)才開(kāi)始判斷 rule.setMinRequestAmount(5); // 慢調(diào)用占比超過(guò) 80% 就熔斷 rule.setSlowRatioThreshold(0.8);這里有一個(gè)新手常犯的錯(cuò)誤直接把count當(dāng)成平均響應(yīng)時(shí)間閾值來(lái)填。SLOW_REQUEST_RATIO 策略下count表示“響應(yīng)時(shí)間超過(guò)多少毫秒算慢調(diào)用”而不是“平均 RT 超過(guò)多少就熔斷”。兩者的差別很大。慢調(diào)用比例更科學(xué)因?yàn)槠骄?RT 容易被極端值拉高只要少數(shù)請(qǐng)求特別慢就會(huì)觸發(fā)誤判。異常比例和異常數(shù)則適合那些錯(cuò)誤率明顯代表下游故障的場(chǎng)景。但要注意這里統(tǒng)計(jì)的是業(yè)務(wù)代碼拋出的異常如果你在業(yè)務(wù)邏輯里大量使用 try-catch 把異常吞掉或者對(duì)外層錯(cuò)誤做了包裝統(tǒng)計(jì)到的異常數(shù)就是包裝后的數(shù)量規(guī)則效果可能會(huì)失真。熔斷規(guī)則配置時(shí)還要注意minRequestAmount。它的作用是避免“樣本太少誤判”。比如一個(gè)接口剛上線只在 3 個(gè)請(qǐng)求里失敗了 2 次異常比例就到 66%如果沒(méi)設(shè)置最小請(qǐng)求數(shù)可能瞬間就被熔斷。我一般要求團(tuán)隊(duì)在多數(shù)場(chǎng)景下把這個(gè)值設(shè)為至少 5 到 10。4.3 系統(tǒng)保護(hù)與熱點(diǎn)參數(shù)規(guī)則系統(tǒng)規(guī)則和前面幾種規(guī)則不同它不針對(duì)某個(gè)具體資源而是對(duì)整個(gè)系統(tǒng)的入口流量做保護(hù)。你可以設(shè)定一個(gè)負(fù)載閾值當(dāng)系統(tǒng)負(fù)載超過(guò)這個(gè)值就開(kāi)始限制入口請(qǐng)求。這種規(guī)則適合應(yīng)對(duì)“服務(wù)整體過(guò)載”的場(chǎng)景因?yàn)樗吹牟皇悄硞€(gè)接口的指標(biāo)而是整個(gè)機(jī)器的健康度。配置時(shí)一般從 JVM 參數(shù)或者控制臺(tái)讀取系統(tǒng)指標(biāo)再和預(yù)設(shè)閾值比較。熱點(diǎn)參數(shù)限流則非常適合常見(jiàn)的“單點(diǎn)熱點(diǎn)”場(chǎng)景。比如一個(gè)商品詳情接口總 QPS 可能沒(méi)超過(guò)整體閾值但某個(gè)爆款商品的 QPS 單獨(dú)很高。這時(shí)普通流量規(guī)則攔不住因?yàn)榭偭繘](méi)超。熱點(diǎn)規(guī)則可以針對(duì)參數(shù)值單獨(dú)限流參數(shù) id 等于 9527 時(shí)每秒只允許 100 個(gè)請(qǐng)求其他參數(shù)值按默認(rèn)總閾值走。配置時(shí)通常要指定參數(shù)索引和第幾位的參數(shù)這里最容易踩的坑是參數(shù)索引寫(xiě)錯(cuò)比如方法首參是userId次參是goodsId你要對(duì)商品限流就必須把索引配成 1而不是 0。5. 常見(jiàn)問(wèn)題與排障經(jīng)驗(yàn)實(shí)錄配置和原理都聊完了最后一節(jié)是我在落地過(guò)程中真正遇到過(guò)的疑難雜癥。這些坑在官方文檔里不會(huì)寫(xiě)太細(xì)但遇到了非常耗時(shí)。5.1 規(guī)則不生效的排查路線規(guī)則配置后界面上也顯示成功了流量打上去就是不被限流。遇到這種情況我一般按下面的順序排查。先看資源名是否完全一致。前面提到過(guò)手動(dòng)埋點(diǎn)SphU.entry(/api/order/create)和注解SentinelResource(value createOrder)寫(xiě)出的資源名只要有一點(diǎn)不一致規(guī)則就關(guān)聯(lián)不上。這一步是最常見(jiàn)的根因。再看當(dāng)前應(yīng)用是否成功接入了控制臺(tái)。進(jìn)控制臺(tái)“簇點(diǎn)鏈路”頁(yè)找到對(duì)應(yīng)資源確認(rèn)已經(jīng)能看到實(shí)時(shí)的請(qǐng)求數(shù)和指標(biāo)。如果資源根本不出現(xiàn)在鏈路里說(shuō)明埋點(diǎn)本身有問(wèn)題規(guī)則自然無(wú)效。還要看統(tǒng)計(jì)采樣。默認(rèn)規(guī)則只在統(tǒng)計(jì)滑窗內(nèi)有數(shù)據(jù)時(shí)才參與判斷。如果你設(shè)置了minRequestAmount或類(lèi)似的閾值而當(dāng)前請(qǐng)求樣本太少即使流量看起來(lái)超了也不會(huì)觸發(fā)。很多人在壓測(cè)時(shí)發(fā)現(xiàn)前幾秒規(guī)則不生效其實(shí)是因?yàn)闃颖緮?shù)還沒(méi)達(dá)到最低判定要求。最后看是否并發(fā)到達(dá)。QPS 限流判斷的是滑動(dòng)窗口內(nèi)統(tǒng)計(jì)出來(lái)的速率如果你用線程并發(fā)數(shù)模式那要看的是“當(dāng)前占用線程數(shù)”兩者表現(xiàn)完全不同。改規(guī)則前先確認(rèn)自己用的哪個(gè)模式別拿 QPS 的預(yù)期去解釋線程數(shù)的現(xiàn)象。5.2 控制臺(tái)數(shù)據(jù)不刷新或看不到服務(wù)控制臺(tái)列表里遲遲看不到客戶端或者看到之后指標(biāo)曲線死的一般不動(dòng)我通常會(huì)先排查客戶端到控制臺(tái)的網(wǎng)絡(luò)連通性。Sentinel 的 dashboard 通信走的是 HTTP 接口如果中間有防火墻或者端口沒(méi)放開(kāi)數(shù)據(jù)就傳不過(guò)來(lái)。然后看客戶端的project.name和dashboard.server參數(shù)是否真實(shí)生效。Spring Boot 應(yīng)用在引入相關(guān)依賴(lài)后可能會(huì)自動(dòng)注入?yún)?shù)但如果你同時(shí)指定了配置文件里的對(duì)應(yīng)項(xiàng)兩邊不一致時(shí)容易讓人困惑。啟動(dòng)時(shí)加-Dcsp.sentinel.dashboard.server...是最直接的方式。還有一個(gè)環(huán)境相關(guān)的問(wèn)題服務(wù)實(shí)例注冊(cè)到控制臺(tái)會(huì)有一定的延遲并不是啟動(dòng)后立即出現(xiàn)。正常情況大約需要等 10 到 30 秒。如果等了很久還是沒(méi)有去看客戶端在logs/csp目錄下生成的sentinel-record.log里面會(huì)明確記錄注冊(cè)過(guò)程和報(bào)錯(cuò)信息。5.3 高并發(fā)下的性能損耗與取舍另一個(gè)大家最關(guān)心的問(wèn)題是Sentinel 本身會(huì)吃掉多少性能從我的壓測(cè)經(jīng)驗(yàn)看常規(guī)的限流判斷在每請(qǐng)求上增加的耗時(shí)非常低通常在大幾十微秒到一百多微秒這個(gè)量級(jí)主要影響不是 CPU而是業(yè)務(wù)代碼里多了一次資源的 entry/exit 調(diào)用和統(tǒng)計(jì)更新。對(duì)于絕大多數(shù)業(yè)務(wù)系統(tǒng)這個(gè)開(kāi)銷(xiāo)可以接受。但如果你的接口本身就是超高頻調(diào)用比如單機(jī)每秒幾萬(wàn)次又想同時(shí)開(kāi)啟多種規(guī)則那就要關(guān)注幾個(gè)點(diǎn)一是把不必要的規(guī)則類(lèi)型關(guān)掉只保留必需的二是合理控制統(tǒng)計(jì)窗口和滑窗粒度三是避免在兜底邏輯里做耗時(shí)操作。兜底方法里如果做了遠(yuǎn)程調(diào)用或者復(fù)雜計(jì)算這個(gè)開(kāi)銷(xiāo)反而容易掩蓋 Sentinel 本身的性能表現(xiàn)。壓測(cè)時(shí)建議單獨(dú)測(cè)兩種狀態(tài)一種是不接入 Sentinel 的裸接口性能一種是開(kāi)啟限流規(guī)則后的性能。兩者對(duì)比你才能真正知道規(guī)則疊加帶來(lái)的成本而不是憑感覺(jué)懷疑它。使用 Sentinel 一年多之后我最大的感受是這類(lèi)組件的難點(diǎn)不在于“怎么配置”而在于你是否真正理解流量和依賴(lài)之間的因果關(guān)系。配置只是一個(gè)出口背后的滑動(dòng)窗口、責(zé)任鏈、熔斷狀態(tài)機(jī)才是決定規(guī)則是否合理的地基。每次上線新業(yè)務(wù)、每次壓測(cè)調(diào)優(yōu)我都會(huì)回到控制臺(tái)重新看一遍資源名、閾值和規(guī)則之間的對(duì)應(yīng)關(guān)系而不是只看那一兩條報(bào)警。希望這篇文章里那些踩過(guò)的坑和調(diào)參的思路能幫你少走一段彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产精品一区在线播放| 91少妇香蕉久久精品| 亚洲中文字幕熟女| 风月影院男女十八禁| 秋霞一级视频在线观看免费| 岛国免费视频在线| 中文字幕乱码在线| 黄片免费日韩| 日韩欧美大力操| 国产久久天堂资源| 操操吧亚洲乱伦视频| 99re6国产精品99re| 丝袜美腿丝袜| 色哟哟av| 精品人妻伦一区二区三区久久| 日本在线不卡123| 国产精品熟女九色九色蜜臀| 草伊人高潮喷水超碰| 亚洲夜色在线| 艳尻美人妻| 欧美日不卡| 亚洲AV无码成人精品久久| 99久久精品无码一区二区毛片免费| 国产精品夜夜夜| 日日骚 av| 久久视网78| 亚洲天堂东京热| 99爱久久视频频| 性91| 精品人体无圣光凹凸| 天天摸天天插天天日| 99精品免费| 日本性爱不卡视频| aⅴ日韩成人电影av在线免费看av大全| 白丝AV| 久久精品噜噜噜成人看免欧美大片| 精品一久久久| 国产97色在线 | 亚洲| 色色色欧美| 久久91视频| 强奸乱伦AV网站| 午夜精品一区二区三区三上悠亚| 99热这里只有精品9| 欧美亚洲另类在线蜜桃| 国产亚洲日本精品在线| 九九精品热| 五月天婷婷久久| 人妻熟女av国产网站| 日本99久久| 激情五月天网| 台湾佬中文娱乐自偷自拍| 天天天肏屄欧美| 日韩精品熟妇| 啊啊啊啊,啊啊好多水| 在线色资源| 少妇天堂| 色色色日本| 丰满人妻无码一区二区三区| 另类在线| 久久亚洲熟妇在线视频| wuyechaopeng| 视频国产欧美在线播放| 欧美αv.com| 久久这里只精品99re66图| 免费网站观看www在线观| 一区二区三区亚洲| 四色永久成人网站| 日逼五月天| 劲爆欧美人妖三区91| 中文字幕第二页| 精品高潮| 国内精品不卡无毒99999| 久久精品一区| 亚洲视频精选| 中文字幕人成乱码熟女香港| 五月丁香婷婷啪啪| 10000部十八禁看电影| 超碰视97中文| av一区二区三区四区| 日韩性爱视频免费在线| 人妻精品综合中文字幕在线 | 性爱边摸边日免费AV| 性爱久久| 男人的天堂久久狠| 国产综合在线视频网站| 丁香五月综合| 自拍丝袜美腿人妻| 大香蕉综合久久| 人妻系列无码专区中文有码| 国产400孕妇孕交群| 午夜亚洲WWW湿好大| 色嗨嗨在线| 精品久久久av| 久久蜜桃一区二区| 99久久精品国产高潮| 玖玖资源综合在线视频| 丰满熟妇大乳做爰| 成人精品在线观看| 91超级碰碰| 日韩欧美成人性爱在线| 日本天天操| 97超级久久| 亚洲国产ⅴ高清在线观看| 婷婷尹人大香蕉免费| 欧美97日韩| 2020中文字幕在线观看| 久久色一区| 少妇熟女一区二区三区| 开心五月婷婷激情| 97 国产精品| 中文字幕日韩人妻视频| 东北女人| 91深夜夜| 9999亚洲精品| 日韩欧美中文| 高清不卡 中文 人妻| 91亚洲色人| 色女网日韩| 日日骚AV| 国产AV天美| 97超碰人人模人人拍人人| 亚洲无码色| 精品人妻久久久| 在线无码操| 色妇91| 一个国产在线综合网站| 日韩成人午夜精品久久高潮| 免费精品无码一级毛片牛牛影视| 99国产天美| 婷婷五月成人| 好涩综合| 中文字幕乱码人妻一区二区三区,99精品| 久久久久久久| 国产丸一视频| 用力操死我| 国产无码久久高清| 国模久久在线| www.色婷婷| 久草这里只有精品| 少妇三P| 能在线播放的国产三级| 伊人骚琪琪亚洲天堂网站| 日韩亚洲美州欧洲综三区一品在线| 欧美综合色,www| 久久一二三四五六七八九区区区| 精品国产91内射久久| 亚州熟妇精品| 大香蕉520| 啊啊啊草死我| 校园春色中文字幕AV| 人妻81p| 亚洲精品电影| 啊好爽受不了无码| 夜间福利片1000无码| 久久精品国产97欧美精品亚洲| 亚洲色色色| 内射夫妻三片| 加勒比海人人操超碰在线| 欧美熟妇视频 | 国产操逼逼网| 亚洲色图欧美一区二区不卡| 91欧美巨乳| 一区二区无码视频| 天天操天天日青青草超碰av| 精品美女少妇一区二区| 久久精彩视频9| 中文字幕一区二区韩| 性感美女啊啊啊在线| 天天干美少妇一区| 日本在线播放不卡一区| 亚洲AV成人精品网站在AV| 97这里只精品| 欧美五区| 国产精品交换一区二区| 日本精品第一视频在'| 中文字幕欧美丝袜07资源| 国产九区| 后入 亚洲 美女 射| 九月激情婷婷| 中文字幕日韩专区精品系列 | 在线中文字幕视频| 嗯~啊~快点 死我视频| 三级AV入口| 美女91| 丝袜天堂| 亚洲aw毛茸茸在线| 美女黄色一级A视频| 夜夜高潮夜夜爽国产伦精品| 亚洲AV高潮| 国产精品点击进入在线影院| 动漫爆乳3D奶水一区在线观看| 99re在线视频这里只有精品 | 丁香五月电影| 人妻熟女av国产网站| 这里只有精品视频在线观看麻豆| 黄色AAAAA欧美| 中文字幕人妻资源在线| 欧美夜夜| 欧美综合第一页| 亚洲大色鬼| 制服诱惑亚洲一区二区三区在线观看| 九久久精品| 91欧美综合在线| 91天美传媒精品| 日韩伦理视频| 欧美情色男人的天堂| 九九久久一区二区三区| 国产精品对白内射| 啊啊啊好湿久久| 蜜臀av中字字幕网站| 91精品成人www| 黑丝内射一区二区三区| 天堂九九九九九九九九九| 开心五月激情网| 日本精品成人无码| 99免费在线视频| 婷婷五月天在线观看| 婷婷色在线| 丁香六月综合激情| 91色综合激情| 九九九九九九九九九九精品视频| 欧美第一页| 懂色影视久久| 久久人| 欧美91精品国产自产| 精品国产乱码久久| 两女互慰AV高潮喷水在线观看| 亚洲高清无毛一区二区| 久久99午夜精品一区人妻| 午夜精品久久久久久久99蜜桃一| 日韩免费性爱视频在线观看| 色色色色色色色色色色色色色色综合| 亚洲丝袜色图| 中出20p| 酒色综合网| 国产无码精品久久久久久| 精品国产精品一区二区| 天天干美少妇一区| 成人欧美日超碰| 人妻另类| 国产成人精品必看| 亚洲夜夜欢无码一区二区| 99re9在线| 91国产大片| 丰满欧美放荡少妇在线| 亚洲无码国产探花在线观看| 日本激情免费大片| 91在线美女| 亚洲超碰综合网| 久久区| 伦伦成年午夜免费视频| 久久久精品国产亚洲伊人| 亚洲91网。| 大香蕉2017| 色哟哟综合| 日本午夜久久电影| 91成人国产综合久久精品蜜月| 日韩人妻丝袜美腿中文| 久久久久久亚洲Av无码精| 日韩在线观看字幕精品| 黑丝91视频| 人乳av| 午夜男女爽爽爽影院视频| www…国产操逼| 婷婷国产精品九区| 懂色AV网| 玖玖爱免费观看视频| 中文字幕少妇色| 91精品国产91熟女| 日逼国产| 狠狠亚洲| 涩涩涩综合| 久久久久久久久久久久久久久性生活视频 | 日韩欧美中文| 一本大道青青| 啪一啪免费视频| 91性生活久久久| 翔田千里A片一区二区| 超碰99在线观看| 亚洲91综合| 你懂的在线观看区国产| 青青欧美在线| 欧成人精品H无码| 色九月婷婷| 五月天AV资源| 久久精品毛片免费不卡| 成人综合视频久久| 中文字幕五月婷婷免费| 天天亚洲综合| 你懂的在线观看区国产| 欧美性夜| 国产精品欧美激在线| 色五月婷婷五月天| 少妇熟女一区二区三区| 欧美精品第3页| 成人性交免费视屏| 女色视频社区| 一起草高清无码| 大香樵伊人网| 欧美色涩| 欧美色图 人妻| 欧美性爱18观看| 亚洲熟女综合| 黄页网站免费高清在线观看| 欧美色图小说综合| 五月天人妻综合| 男人的天堂99| 富二代亚洲精品99| 国产精品99精品视频网站| 蜜桃视频精品一区二区三区| 亚洲无码成人精品| 亚洲日韩熟女人妻高清在线| 欧美日韩一区二区三区四区蜜桃| 91操人| 欧美精品久久久久久久久88| 麻豆色约约| 丁香五月综合| 成人麻豆av电影网站| 操淫穴亚洲五月丁香| 午夜寂寞欧美| 男人天堂2030| 亚洲熟女综合| 欧美日韩操逼嗦吊| 五月亭亭六月丁香| 日本一二三免费久久| 久久久无码国精品无码三区三区| 性爱网站一区二区| 久9爱经典视频| 99热91| 亚洲码在线中文在线观看| 精国久久一区二区三区98| 97国产成人精品免费视频| 黄色交缠性感爆操91国产精品免费一区二区三区 | 久久久无码av精| 亚洲人久久久久日| 日韩精品第3页| 亚洲AV无码成人精品久久| 手机在线大香蕉| 国产精品密臀网在线观看| 色色婷婷五月| 天天干天天燥| 国产精品操| 九七毛片九九毛片| 亚洲天堂另类美腿| 国产自偷自拍一区| 亚洲国产av中文字幕久久| 亚洲九九视频| 久久久久78| 欧美日韩高潮喷水91| 久草免费福利在线播放| 免费人成毛片乱码| 蜜屁av| 一区二区三区色综合| 一本一道人妻久久一区二区三区| 久久性爱城| 超碰国产精品无码| 国产品精品自在在线午夜免费| av网站国产主播在线| 亚洲亚洲亚洲天堂天堂| 熟妇国产免费一区| 少妇500双飞99| 中文字幕黑人大片| 日韩性爱网址| 91黑人无码激情在线| 岛国毛片在线观看免费| 无码高清少妇久久| 天美精品av| 蜜臀视频网站| 精品传媒在线一区| 久久黄黄黄| 色香综合天天影视综合 | 久久久久亚洲熟妇熟女| 国内一级精品| 夜夜高潮夜夜爽夜夜爱爱一区| 日本男人插女人的逼黄色| 久久熟女人| 综合婷婷| 91久久婷婷| 亚洲欧洲国产综合av| 日韩一级特黄av毛片| 99亚洲精品| 视频国产欧美在线播放| 啪啪视频免费在线观看| 思思视频免费看网站| 成人免费性爱视视| 天天综合网亚洲综合网| 秋霞色色影院| 少妇一级无码精品| 亚洲成人黄色在线观看| 欧美真人抽搐一进一出gif| 视频不卡中文字幕| 99久久久| 中文字幕色AV| 久久男人| 91老熟女视频| 三上悠亚在线毛片91| 国产精品久久久久久久久久久久| 超碰日韩人妻| 91三级理论片播放器| 8050午夜少妇无码| 五月黑AⅤ| 麻豆AV一区二区| 自拍视频大全亚洲专媒视频/一区二区三区 | 欧美成人黄网色网站| 最新日产中文在线麻豆| 精品国产乱码久久久久久影片| 久久久久久久久久久人妻| 五月天色图| 青娱乐手机日韩在线视频| 日韩精品系列| 久久久久久久97| 日韩熟女操逼| 日本操BAV| 很很干很很操| 色妇91| 2017,超碰| 久操91视频| 搡老人老9丨女老熟人| 天天综合精品| 久草热制服丝袜在线观看 | 成人欧美一区二区三区黑人一| 国产按摩一区二区三区| 欧美日韩亚洲五月天婷婷| 国产青青综合伊人| AV和黑人在线播放| 天天插天天插| 99国内熟女露脸视频| 欧美日韩亚洲天堂| 久操网线| 高清不卡国产| 麻豆天美在线| 色一色综合网| 精品无码一二三四区| 老熟乱一区二区三区四区| 日韩偷拍一区二区三区| 91 刺激在线| 99黄页网站| 日韩情色一区二区| 精品人人插人人操| 亚洲综合校园春色| 成人精品无码| 激情五月综合网| 久久动漫精品视频这里只有精品| 不卡av免费在线网址| 毛片电影一区二区三区| 日韩无码专区| 久久丁香五月天| 欧美极品少妇交| 蜜臀久久久99久久久久 | 欧美亚洲国产自久久| 亚洲日精品| 国产av强奸美女| 97超碰色五月| 午夜欧美精品久久久| 亚洲精品第一| 色九九九综合| 日本性爱欧美性爱| 伊人国产av| 久久狠狠色噜噜狠狠狠狠97| 国产乱码久久| 夜夜嗨AV蜜臀av| 久久99国产综合精品女同| 狠操91,com| 99re这里只有精品中心播放| 欧美综合1性辶| 色婷婷九月天天综合| 欧美91精彩| 性爱Av免费| 欧美色图天堂网m| av黄图片在线观看| 久久天天摸| 亚洲精品99999| 日韩三级久久久| 男人综合网| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 狠狠综合| 麻豆成人影音在线| 97WW精品| 国产一区二区久久| 日韩精品9区| 蜜桃精品一区二区三区ww| 在线不欧美| 凸凹视频在线观看| 91黄射| 天美麻花大全视频| 超碰地址久久| 99re这里只有精品3| 国产乱伦亚洲色图高清无码| 美女91在线观看| 国产曰批免费观看久久久| 色制服丝袜夫妻av一区| 国产亚州精品美女久久久免费| 玖玖爱伊人玖玖爱| 中文字幕在线24| 青娱乐国产剧情av一区| 日韩精品人妻中文字有码在线 | 一区二区三区视频| 色吧5亚洲| 中文字幕人乱码中文字的预防方法 | 超碰一区二区| 日本三级R| 人人九九精| 尤物网址| 九九九九九九精品| 91殴美大片| 强奸乱伦动态污图免费 | 张柏芝国产一区在线观看| 久久久久久久久久久久黄色| 强奸乱伦αv片| 女生91网站| m欧洲一级午老| 欧美精品日韩一区二区| 日韩无码精品综合久久| 日本二三四区| 亚洲精品97久久中文字幕| 99精品视频在线观看免费| 日本一级真人黄色性爱视频| 人妻激情在线视频| 亚洲宗合网| 天天夜夜久久| 精品无码一二三四区| 免费强奸av| A 天堂| 一区二区三区在线日韩影院观看| 91女网站| 色情五月丁香| 人人看欧美性爱| 天天亚洲| 亚洲做性| 91色色综合| 欧美色图片| 神马久久久久久伦理片| 97中文综合| 国产精品天干天干综合网麻豆| 午夜精品久久久久久久男人的天堂| 精品少妇人妻av久久免费| 久久 精品| 精品免费成人久久| 91欧美巨乳| 欧美夜色| 欧美激情片一区二区| 国产成人资源| 久久精品小视频| 久久精品国产免费观看99| 秋霞久久亚洲精品成人| 五月香婷婷| 国产理论视频在线播放| 亚洲日韩视频二区| 成人一道本免费视频| 综合网欧美| 精品十八在线观看| 人人操超碰在线| 国产99999久久精品| 性交一区二区在线播放| 日日噜噜夜夜久久亚洲一区二区| 久久超碰98| 欧美夜夜骑视频| 一区| 999综合网| 99这里只有精品| 婷婷在线精品| 五月丁香六月| 中文字幕日韩国产传媒欧美精品| 久久久久13| 91国产精品熟女| 久久久久久久少妇| 欧美色图私拍91| 欧美国产视频| 免费超碰97久久| 尤物视频偷拍免费| 日韩91网| 屁股久久久久久| 在线视频 亚洲精品| 另类图片欧美激情综合| 三级色综合| 久久精品国产亚洲AV无码电影| 丰满人妻一区二区三区大胸懂色| 丁香六月啪| 九色 人妻 大香蕉| 狠狠躁天天躁日日躁| 97国产伦理| 久久午夜神马| 五月天婷婷在线看| 亚洲欧综合另类无码一区| 久久精品色欧美aⅴ一区二区| 婷色五月| caopeng97人妻| 亚洲丰满很很操| 91精品网站| 两女互慰AV高潮喷水在线观看| 国产操操日韩三级黄| 婷婷色五月激情| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 日日躁天天躁狠狠躁| 中文字幕后石码四区五区| 国内精品a| 免费黄色视频网址| 欧洲亚洲人妻无码中字久久三区四区| 日本国产二线女色| 免费视频在线一区二区不卡| 92人人操人人| 成人老鸭窝人人在线视频| 久久视频,这里只有精品| 亚洲97精品| 中文字幕亚洲永久精品| 中文字幕人妻丝袜| 亚洲AV在线资源| 少妇久久久久久久| av婷婷色婷婷色六月| 青娱乐亚洲热| 蜜桃臀av一区二区| 三级色综合| 久久一区无码| 一二三区精品视频| 日韩人妻 中文字幕| 中文字幕91综合| 欧美激情 一区| 欧美日韩亚洲一区二区在线观看| 私色综合网| 欧洲自拍第一页| 国产最新小视频在线播放下载| 污啪啪啪视频| 黄色交缠性感爆操91国产精品免费一区二区三区 | 成人性爱电影一区二区| 伊人伊人LD| dy888午夜老子影视达达兔 | 婷婷五月天激情四射| 亚洲一区二区中文字幕| 熟女一区二区三区| 内射老妇BBWX0C0CK| 亚洲影视综合网| 国内一级精品| 97 国产一区| 亚洲九九九| 伊人久久88国产女| 大逼色网站| 91粉嫩萝控精品福利网站_精品影音先锋国 | 中文字幕天天天天天| 97手机日韩| 欧美婷婷| 精品国产乱码久久久| 睡产熟女乱伦| 97超碰影音| 国产精品99久久久www| x97av| 亚洲成熟国产精品美女| 亚洲日韩XXX| 郑州宾馆老熟女露脸啪啪| 青女在线| 51一区二区三区| 91欧美丝袜| 一区二区三区精品久久| 久久精品国产97欧美精品亚洲 | se,,,亚洲欧美| 丰满人妻一区二区三区四区| 动漫av中文| 操逼操网| 亚洲自拍天堂| 天天看高清麻豆| 天美久久久久| 久久亚洲中文字幕视频| 91午夜无码| 开心五月婷婷激情| 久久鲁干| 欧美第38页| 午夜乱轮操逼视频免费看| 性高潮久久久| 精品人妻久久久久一区二区三区| 色香伊人| 一区二区三区美女超清| 国产精品久久久久久片| 熟妇激情| 久久久久久久 九九九九九九九| 艳美熟妇先锋一二三区| 岛国黄片网站| 久久骚| 午夜一区| 国产强奸乱伦无码视频| 日日干男人的天堂| 91丨九色丨国产打屁股| 午夜小电影在线插入淫高潮| 欧美伦乱爱| 中文字幕在线免费观看视频| 丝袜亚洲综合| 1024午夜激情男人的天堂| www.色婷婷| 青青免费在线视频一区| #NAME?| 91国产丝袜足交精品视频| 手机在线A片| 伊人网高清| 色综合20p| 国产欧美精品日韩区二区麻豆天美| 国产传媒午夜理伦精品| 超碰吊日色| 和协影院中文字幕三区| 九九综合| 思思在线免费视频| 精品国产一区探花在线观看| 骚货 中文字幕 av| 天天日日本| 久热久| 亚洲精品天堂久久A∨51成人漫| 亚洲资源站| 久久精品日韩专区免费观看| 精品久久久久瑟瑟| 国产超碰在线一区| 99色色| 亚洲欧美一区二区三区一猛片| 久久一二三四| 91天天综合在线| 亚洲限制级| 青青草日逼视频| 婷婷丁香五月激情啪啪| 色狠狠 - 百度| 在线中文字幕| 91美女视频在线观看| 美女91网址 | 天天射日日干| 69精品| 精品十三区| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 狠狠操狠狠操操| 91精品国产91熟女| 中日韩欧美精品无码AⅤ一区二区| 亚洲精品 欧美精品| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 日韩电影天堂视频一区二区| 亚洲 欧美 制服 另类 自拍| 亚州精品一区二区三区香中文字幕在线| 青娱乐av在线| 婷婷五月激情综合| 国产一区二区三区影片| 伊人黄色视频免费观看| 亚洲高清无码在线桃色| 日本免费一级AAA大片器| 亚洲国产精品无码AV久久久| 1240青青草一区二区三区视频天爱| 伊人性在线视频| 91中文字幕在线观看| 日韩精品影视| 四虎免费视频| 加勒比色综合| 日韩欧美蜜桃精品久久中文字幕久久| 少妇第一页| 精品一二三区四视频| 中文字幕女同在线| 欧美在线综合| 精品人妻视频一区二区在线播放 | 亚洲熟女少妇免费视频| 肉丝中文无码高清| 97超级久久| 午夜在线播放| 肏逼视频日本| 天天色黄色影院天天操| 亚洲精品天堂久久A∨51成人漫| 亚洲最大成人a毛毛片| 夜夜影视四色| 色婷婷导航| 久操黄色视频| 91在线丝袜视频| WWW美腿丝袜香蕉中文| 91青青| 91综合熟女| 婷婷在线视频在线观看| 日逼国产| 日韩国语字幕| 97色涩| 偷拍亚洲情色| 欧美性第一页| av无码av无码专区| 丁香五月AV| 国产一区二区三区不卡手机在线| 最新av在线| 天天综合欧美黑人| 91天天| 91在线视频观看国产| 日本三级韩三级99久久| 美腿色图| av草草在线电影| 四虎影视精品| 69精品| 少妇蹲下买菜露大唇0| 78操B| 国产精品ⅴ无码大片在线看.| 国产一级操B视频| 97色伦欧美| 青青草玖玖爱| 少妇久久久久久久久| 99热99在线播放激情| 国产丝袜视频| 亚洲999综合| 色五月AV| 欧美一级A片在线看视频性色| 91九色丰满高潮| 九九AV| 五月天婷精品激情| 男插女青青影院| 美欧色综合| 日人妻视频91| 99啪啪| 成人怡红院| 欧美性爱系列| 插老姨肥穴| 国产传媒日韩| 岛园激情| 爱干爱射网啊啊啊| 嫩草影院在线观看精品 | 97干在线视频| 国产精品网址| 欧美日韩美女精品久草一区二区三区| 色九久| 97人人模人人爽人人| 欧美人与性动交a美精品| sewuyueav| 欧美人妻久久精品二区三区| 精品国产污一区二区三区| 麻豆天美在线| 综合久久欧美| 91插B网站| 97人肏| 国产乱伦亚洲| 92久久| 亚洲日韩资源| 黄页网站免费高清在线观看| 久9爱精品| 亚洲精品99| 97超碰9| 极品色www影院| 曰本特级特黄特色黄色A级网站高清在线免费看| 啊啊啊好想要| 插入综合网| 理论久久婷婷网8| 日日碰狠狠添天天爽超| 97精品97久久| 午夜欧美女人操逼| 骚货 中文字幕 av| 成人三级片无码| 欧美天天在线| 黄色av一区二区在线| 91中文字幕在线观看| 国产精品一区二区黄片| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 97伊人超碰| 中文字幕在线日亚洲9| 天堂亚洲精品| 五月丁香影院| 91欧美亚洲| 夜夜高潮夜夜爽高清视频一| 草草电影院| 午夜成人福利影视| 第四色奇米影视777| 日韩无码AB| 尤物一级在线免费观看| 亚洲丝袜二区在线| 亚洲精品 大香蕉| 九九热AV| 欧美色一二三| 久久色一区二区| 91超碰在线观看| 五月丁香激情综合网| 欧美少妇人妻| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 中文字幕97色| 青青操狠狠撩| 一区二区高清视频| 人妻人人澡人人爽人人| 欧美性爱视频免费一区一A| 综合网少妇| 久久9精品视频| 手机在线播放国产福利| 97欧美日韩精品| 乱理日韩中文| 欧美日韩香蕉| 久久人妻| 亚洲一区制服诱惑| 亚洲夜色在线| 午夜精品五区| 热99re69精品8在线播放| 色五月天AV| 九色视频91| 99re免费视频精品全部| 成人资源中文字幕在线观看| 中文字幕欧美日本乱码一线二线| 天天综合站| 99久久99久久免费精品蜜臀| 亚洲天堂,男人| 欧在线一二区| 伊人天堂在线| 亚洲 欧美综合| 色综合尤物| 久久风骚城市| 日本天堂网| 97伊人超碰| 欧美综合色站| 日本熟妇精品九九| 久久久久免费少妇| 亚洲成人福利电影免费| 三上悠亚在线毛片91| 九一国产精品| 青青青青草av在线观看| 婷婷色婷婷| 亚洲第一狼人丝袜美女另类| 国产精品久久久| 性色av蜜臀av色欲aV| 九九色热| 欧美日韩婷婷中文| 国产91 丝袜在线播放| 无码天天操| 久久精品福利影院| 日韩一区二区精品视频| 看一级特黄a大一片| 国产激情视频一区区三区| 999国产精品999久久久久久| 久久人妇| 日本东京热大香蕉a片| 澳门成人网站久国产日韩| www狠狠| 乱欲一区二区| 91九色蝌蚪在线观看| 少妇久久久久久久久| 老女人老91妇女老热女| 九九热午夜欧亚国产视频| 少妇无码太爽| 91日韩在线| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 欧美日韩天堂| 97亚洲欧美日韩| 双插在线| 日日夜夜青青草母狗| 丝袜综合| 欧美色66| 欧美人妻色| 日日夜夜国产综合| 久草色悠悠在线视频| 丰满少妇一区二区三区四区观看| 人妻天天夜夜爽一区二区| 精品女人999| 国产黄a三级三级三级av在线看 | 欧美少妇高潮视频| 久区视频| 亚欧美色| 最新亚洲黄色免费电影 | 久热久一区二区三区| 性色avv| 超碰 另类 欧美| 日韩国产十八禁| 91天射| 五十路熟女,国产欧美精品区一区二区三区| 加勒比色综合| 深喉吞精| 久久人妻| 最新亚洲人成网站在线影院| 黄色在线网站| 强免费黄色网址| 五月婷在线| 97 亚洲 日韩 欧美 在线| 97超碰逼| 精久久久| 久久久久久久97| 久久无码一区二区二三区性色| 亚洲伊人a线观看视频| 欧美午夜一区二区三区| 噜噜噜狠狠色综合| 高清不卡国产| 国产久久男人天堂| 日韩大香蕉AV影片| 粉嫩av平台| 亚洲色 国产 欧美 日韩| 探花精品视频| 狠肏骚人妻| 一摸二插三插| 一区二区三区国产在线播放 | 精品性爱久久视频| 国产精品伦理| 100啪啪视频大全| 国产亚洲日本精品在线| 精品区9| 国产熟女二区| 天久久久噜噜噜久久国产精品爽爽| 超碰精品国产无码| 大屁股xxxxx| 97天天综合网| 东京热91| 狠狠中文字幕| 色综合一区二区三巨| 无码操逼天堂| 大香蕉伊人网| 视频分类 国内精品| 强上我不卡卡| 99re这里只有精品2| 亚洲精品白浆高清久久久久久| 亚洲国产欧美中文永久| 插老姨肥穴| 黄页av| 老司机射| 男生女生啊啊啊啊| 久久国产乱子伦精品免费女,网站| 亚洲无吗在线视频| 大香蕉免| 麻豆成人AV| 国产情侣自拍在线播放| 少妇人妻无码| 亚洲欧洲激情卡通另类文学四射小说网站 | 激情综合网激情综合| 天天色综亚洲91污| 妇人噜噜| 午夜国产综合视频在线观看 | 久久久久久网址| 香蕉综合网| 亚洲AV色图一区| 一类无码操逼视频| 97国伦国色| 风月影院十八禁| 色色婷婷五月| 亚洲日精品| 美国一区二区免费视频| 超碰人妻中文在线| 91视频精品| 天美av在线观看| 91激情国产| 啊啊啊啊嗯嗯嗯用力好爽| 亚洲 无码 偷拍| 精品性爱一区二区| 91美女看B| 高潮的A片激情扒开一区| 欧美天堂日韩三级国产传媒| 婷婷婷婷婷婷久久久久| 插入综合网| 欧美乱欲| 91精品成人| 欧美少妇一区二区三区| 志村玲子视频一区二区| 黑人性欧美| 不卡啪啪视频| 九九热午夜欧亚国产视频| 精品久久久久av影院| 国产精品 午夜福利| 欧美亚洲中文| 欧美性天天影视| 加勒比伊人| 精品福利视频| 无码137片内射在线影院| 肥臀熟女福利视频一区二区| 84YTCOM性无码| 色爱综合网欧美| 日韩性爱视频在线免费观看 | 熟妇无码视频三区| 丁香五月激情综合国产| 天天日天天干天天摸天天操| 婷婷久月| 啊啊啊啊啊啊在线观看| 中文字幕在线观看AV| 1000部熟女视频在线观看| 丰满搜索结果 -第18页- 久久高清无码| 你懂的在线观看区国产| 欧美aⅴ99久久黑人专区| 免费的很黄很污的全部视频| 曰韩少妇无码| 涩五月婷婷| 国产高清成人免费视频| 欧美狠狠弄| 操高情无码| 91精品久久久久| 北条麻妃99精品青青久久| 国产精品99精品视频网站| 国产一区二区三区,在线观看观看| 91三级理论片播放器| 巨乳特殊服务按摩| 欧美狠狠弄| 尤物一级在线免费观看| sewuyueav| 免费9 1久久| 全球成人中文在线| 亚洲欧美综合| 午夜AV污污污| 五月天综合网| 九月激情婷婷| 国产91美女视频| wwe 天天干.com| 唐山老熟妇露脸啪啪叫| 精品久久久久久久| 精品九九九九九九九九九| 极品极品色影院| 亚洲欧美国产va在线播放频| 亚洲 综合 第一页| 欧美日韩丝袜| 欧美人妻久久精品二区三区| 久9精品| 狠综合网| 97资源制服丝袜| av无码av无码专区| 加勒比伊人| 在线观看啊啊啊啊啊| 日日天天久久啊啊aaa| 日韩去日本高清在| 超碰日韩人妻| 欧美性爱超碰97| 亚洲综合小视频小说在线观看| 妺妺跟我一起洗澡没忍住| 豆花视频操逼网址 | 日本在线一二 | 爱射综合| 日比av无码| 中日韩久久久| 欧美亚洲性爱一区二区| 四虎在线免费视频| 亚洲成a人片在线观看中文!!!| 中文字幕一区二区韩| 日韩在线观看三级电影| 久久精品无码不卡| 欧州激情视频在线一区二区| 亚洲欧美日韩精品久| 天天干天天拍| 欧美 亚洲精品首页| 亚洲色香| 久久超碰亚洲人| 人妻少妇蜜桃视频欧美一区| 欧美aaaaaaa| 欧美丝袜制服久久| 丰满美女一级毛片在线播放| 诱惑网综合| 午夜福利合集| 2020中文字幕在线| 97超碰久久色| 中日韩久久人妻一区二区| 欧美大码在线视频| 日韩精品国产精品五码一区二区| 精品一区二区成人动漫| 国产9 9在线 | 亚洲| 午夜精品久久久久| 粉嫩绯色AV一区二区在线| 伊人操你| 久久在线观看免费视频| 色逼综合| 日韩超碰97| 老妇女91| 人妻少妇精品| 久久免费少妇| 国产精品国产精品国产| 天天综合官网| 亚洲激情综合另类| 亚洲丝袜综合| 懂色aV一区二区天美传媒| 97爱综合| 新亚洲无码| 日韩一区二区精彩视频| 成人26uuu| 芊芊操逼视频无码| AV不卡在线| 久草福利在线资源站| 青娱乐av在线| 亚洲综合第一页| 国产成人欧美精品在线| 91老熟女| 欧美大香蕉久| 黄色人人| 每日更新AV| 九九人人操| 欧美熟妇视频|