亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ltemlb負(fù)載均衡實(shí)戰(zhàn):多鏈路調(diào)度、等開銷配置與避坑指南

ltemlb負(fù)載均衡實(shí)戰(zhàn):多鏈路調(diào)度、等開銷配置與避坑指南 簡(jiǎn)介這份PDF面向LTE網(wǎng)絡(luò)優(yōu)化工程師、無(wú)線通信運(yùn)維人員及通信專業(yè)學(xué)習(xí)者系統(tǒng)講解移動(dòng)性負(fù)載均衡MLB功能的原理與實(shí)現(xiàn)。內(nèi)容圍繞負(fù)載均衡的觸發(fā)模式、目標(biāo)小區(qū)選擇與執(zhí)行三個(gè)階段展開涵蓋基于PRB利用率、同步態(tài)用戶數(shù)等觸發(fā)條件候選鄰區(qū)篩選規(guī)則、負(fù)載信息交互流程以及熱點(diǎn)區(qū)域、大型活動(dòng)等典型應(yīng)用場(chǎng)景幫助讀者理解如何將高負(fù)載小區(qū)的部分UE遷移至低負(fù)載鄰區(qū)緩解資源分配不均與網(wǎng)絡(luò)擁塞。資源包共1個(gè)PDF文件約1.3MB內(nèi)容結(jié)構(gòu)完整適合作為日常優(yōu)化參考或技術(shù)培訓(xùn)材料。目前已有48人學(xué)習(xí)便于快速掌握MLB策略的判定邏輯與實(shí)施要點(diǎn)為L(zhǎng)TE網(wǎng)絡(luò)穩(wěn)定性與資源利用率提升提供實(shí)用指導(dǎo)。1. 從一份 PDF 標(biāo)題說(shuō)起ltemlb 負(fù)載均衡到底在解決什么問(wèn)題第一次看到「ltemlb負(fù)載均衡功能介紹.pdf」這個(gè)標(biāo)題很多人會(huì)愣一下ltemlb 是什么是某個(gè)開源項(xiàng)目、某個(gè)內(nèi)部組件還是某個(gè)特定場(chǎng)景下的負(fù)載均衡方案我最初接觸它時(shí)也有同樣的疑問(wèn)。拆開看ltem 大概率指向 LTE 或輕量級(jí)終端場(chǎng)景mlb 則是 Multi-Link / Multi-Load Balancing 的縮寫合起來(lái)就是面向多鏈路或終端接入場(chǎng)景的負(fù)載均衡能力。它要解決的核心問(wèn)題很具體當(dāng)多條鏈路、多個(gè)出口或多種接入方式同時(shí)存在時(shí)流量怎么分、按什么權(quán)重分、某條鏈路抖動(dòng)或掉線時(shí)怎么快速切換以及怎么保證等開銷負(fù)載均衡下不出現(xiàn)某條鏈路被打滿、其他鏈路閑著的情況。這份 PDF 標(biāo)題背后對(duì)應(yīng)的是一套可落地的鏈路調(diào)度與流量分配機(jī)制。它適合誰(shuí)做邊緣網(wǎng)關(guān)、多網(wǎng)聚合、終端接入優(yōu)化的工程師以及需要在多鏈路環(huán)境下做流量調(diào)度的運(yùn)維和開發(fā)人員。如果你手頭正好有多條上行鏈路卻只會(huì)做簡(jiǎn)單的輪詢或主備那 ltemlb 這類方案值得花時(shí)間搞清楚。接下來(lái)我不復(fù)述那份 PDF而是按一線實(shí)操的路徑把 ltemlb 負(fù)載均衡從概念、選型、配置到排錯(cuò)完整走一遍。2. ltemlb 負(fù)載均衡的調(diào)度原理與選型判斷2.1 多鏈路場(chǎng)景下輪詢?yōu)槭裁床粔蛴煤芏嗳说谝淮巫龆噫溌坟?fù)載均衡直覺(jué)就是輪詢第一條鏈路發(fā)一個(gè)包第二條鏈路發(fā)下一個(gè)包依次循環(huán)。這個(gè)做法在實(shí)驗(yàn)室里看著挺美一到真實(shí)環(huán)境就翻車。原因在于不同鏈路的實(shí)際可用帶寬、時(shí)延和丟包率并不相同。輪詢假設(shè)所有鏈路等價(jià)但現(xiàn)實(shí)中一條 100Mbps 的專線和一條 20Mbps 的備用鏈路按同樣權(quán)重輪詢結(jié)果就是慢鏈路被壓垮、快鏈路吃不飽。ltemlb 這類方案的核心思路是「按鏈路開銷做加權(quán)調(diào)度」。開銷可以綜合帶寬、時(shí)延、丟包率和當(dāng)前隊(duì)列深度計(jì)算最終每條鏈路拿到一個(gè)權(quán)重。流量按權(quán)重比例分配而不是簡(jiǎn)單輪流。等開銷負(fù)載均衡是其中一種特殊情況當(dāng)多條鏈路的開銷評(píng)估結(jié)果接近時(shí)調(diào)度器會(huì)把流量盡量均攤避免某條鏈路因?yàn)槲⑿〔▌?dòng)被過(guò)度懲罰。這個(gè)「等開銷」不是指物理參數(shù)完全一樣而是指調(diào)度器評(píng)估后的開銷值落在同一檔位。選型時(shí)要先問(wèn)自己三個(gè)問(wèn)題鏈路數(shù)量是固定還是動(dòng)態(tài)變化流量是 TCP 為主還是 UDP 為主對(duì)切換時(shí)延的容忍度是多少固定鏈路數(shù)、TCP 為主、容忍秒級(jí)切換的場(chǎng)景用基于權(quán)重的調(diào)度就夠鏈路頻繁上下線、UDP 為主、要求毫秒級(jí)切換的需要更激進(jìn)的探測(cè)和重調(diào)度機(jī)制。2.2 ltemlb 的調(diào)度器結(jié)構(gòu)與關(guān)鍵參數(shù)ltemlb 的調(diào)度器通常分三層鏈路探測(cè)層、開銷計(jì)算層和流量分配層。鏈路探測(cè)層周期性發(fā)送探測(cè)包采集每條鏈路的 RTT、丟包率和可用帶寬估計(jì)開銷計(jì)算層把原始指標(biāo)歸一化后加權(quán)求和得到每條鏈路的開銷值流量分配層根據(jù)開銷值反比計(jì)算權(quán)重再按權(quán)重把新流或數(shù)據(jù)包分配到具體鏈路。關(guān)鍵參數(shù)有四個(gè)探測(cè)間隔、開銷平滑系數(shù)、權(quán)重更新周期和最小權(quán)重下限。探測(cè)間隔決定鏈路狀態(tài)變化的感知速度設(shè)得太短會(huì)增加探測(cè)開銷設(shè)得太長(zhǎng)會(huì)切換遲鈍。開銷平滑系數(shù)用于抑制抖動(dòng)常見做法是對(duì)新開銷值和歷史開銷值做指數(shù)加權(quán)平均。權(quán)重更新周期決定調(diào)度器多久重新計(jì)算一次權(quán)重太頻繁會(huì)導(dǎo)致流量震蕩太慢會(huì)跟不上鏈路變化。最小權(quán)重下限防止某條鏈路權(quán)重被壓到零后完全不被使用保留一條「后悔藥」通道。下面是一段用 Python 模擬開銷計(jì)算和權(quán)重分配的示例幫助理解參數(shù)之間的關(guān)系import math def compute_cost(rtt_ms, loss_rate, bw_mbps, w_rtt0.4, w_loss0.4, w_bw0.2): # 歸一化RTT 和丟包率越低越好帶寬越高越好 rtt_norm min(rtt_ms / 200.0, 1.0) loss_norm min(loss_rate / 0.1, 1.0) bw_norm 1.0 - min(bw_mbps / 100.0, 1.0) # 加權(quán)求和得到開銷開銷越低鏈路越優(yōu) cost w_rtt * rtt_norm w_loss * loss_norm w_bw * bw_norm return max(cost, 0.01) # 防止除零 def compute_weights(costs, min_weight0.05): # 開銷反比得到原始權(quán)重 raw [1.0 / c for c in costs] total sum(raw) weights [r / total for r in raw] # 應(yīng)用最小權(quán)重下限并重新歸一化 weights [max(w, min_weight) for w in weights] total sum(weights) return [w / total for w in weights] # 三條鏈路的實(shí)測(cè)指標(biāo) links [ {name: lte0, rtt: 35, loss: 0.01, bw: 80}, {name: lte1, rtt: 50, loss: 0.03, bw: 40}, {name: lte2, rtt: 28, loss: 0.005, bw: 60}, ] costs [compute_cost(l[rtt], l[loss], l[bw]) for l in links] weights compute_weights(costs) for l, c, w in zip(links, costs, weights): print(f{l[name]}: cost{c:.4f}, weight{w:.4f})這段代碼的邏輯說(shuō)明compute_cost把 RTT、丟包率和帶寬三個(gè)指標(biāo)歸一化到 0 到 1 之間再按權(quán)重求和。RTT 和丟包率越高開銷越大帶寬越高開銷越小。compute_weights用開銷的倒數(shù)作為原始權(quán)重開銷越低的鏈路權(quán)重越高。min_weight參數(shù)保證每條鏈路至少保留 5% 的流量避免某條鏈路被完全餓死。實(shí)際部署時(shí)w_rtt、w_loss、w_bw這三個(gè)權(quán)重需要根據(jù)業(yè)務(wù)類型調(diào)整實(shí)時(shí)音視頻場(chǎng)景提高 RTT 權(quán)重文件傳輸場(chǎng)景提高帶寬權(quán)重。2.3 等開銷負(fù)載均衡的觸發(fā)條件與配置等開銷負(fù)載均衡不是手動(dòng)開啟的開關(guān)而是調(diào)度器在計(jì)算完開銷后自然進(jìn)入的一種狀態(tài)。當(dāng)多條鏈路的開銷值差異小于某個(gè)閾值時(shí)調(diào)度器判定它們「等開銷」此時(shí)權(quán)重會(huì)趨向均等。這個(gè)閾值通常設(shè)為最大開銷與最小開銷之比小于 1.2 到 1.5。配置時(shí)需要注意如果閾值設(shè)得太寬會(huì)把明顯較差的鏈路也拉進(jìn)等開銷組導(dǎo)致整體性能下降設(shè)得太窄則頻繁退出等開銷狀態(tài)權(quán)重反復(fù)震蕩。一個(gè)常見的配置片段如下用 YAML 描述鏈路和調(diào)度參數(shù)ltemlb: probe_interval_ms: 200 cost_smoothing: 0.7 weight_update_ms: 1000 min_weight: 0.05 equal_cost_ratio: 1.3 links: - name: lte0 device: wwan0 weight_hint: 1.0 - name: lte1 device: wwan1 weight_hint: 1.0 - name: lte2 device: wwan2 weight_hint: 0.8參數(shù)說(shuō)明probe_interval_ms設(shè)為 200 毫秒兼顧感知速度和探測(cè)開銷cost_smoothing為 0.7表示新開銷值占 70%歷史值占 30%這個(gè)比例在鏈路抖動(dòng)明顯的環(huán)境下可以調(diào)到 0.5 讓平滑更強(qiáng)weight_update_ms為 1000 毫秒每秒更新一次權(quán)重避免頻繁切換equal_cost_ratio為 1.3最大開銷不超過(guò)最小開銷的 1.3 倍時(shí)進(jìn)入等開銷模式weight_hint是初始權(quán)重提示調(diào)度器啟動(dòng)時(shí)會(huì)參考它但后續(xù)會(huì)被實(shí)測(cè)開銷覆蓋。3. 把 ltemlb 跑起來(lái)從零配置到流量驗(yàn)證3.1 環(huán)境準(zhǔn)備與鏈路探測(cè)配置動(dòng)手之前先確認(rèn)三件事每條鏈路的網(wǎng)卡是否獨(dú)立可識(shí)別、系統(tǒng)是否允許策略路由、探測(cè)包能否正常收發(fā)。以 Linux 環(huán)境為例用ip link確認(rèn)網(wǎng)卡狀態(tài)用ip route查看現(xiàn)有路由表。如果多條鏈路共用同一個(gè)物理網(wǎng)卡通過(guò) VLAN 區(qū)分需要先配置好 VLAN 子接口。鏈路探測(cè)是 ltemlb 的眼睛。常見做法是向每條鏈路的目標(biāo)地址發(fā)送 ICMP 或 UDP 探測(cè)包記錄往返時(shí)延和丟包。探測(cè)目標(biāo)不要只設(shè)一個(gè)至少設(shè)兩個(gè)不同網(wǎng)段的地址避免單個(gè)目標(biāo)故障導(dǎo)致誤判。下面是一個(gè)用 bash 做基礎(chǔ)探測(cè)的腳本示例#!/bin/bash # 對(duì)每條鏈路分別探測(cè)綁定源地址確保走指定鏈路 LINKS(wwan0:10.0.0.2 wwan1:10.0.1.2 wwan2:10.0.2.2) TARGETS(8.8.8.8 1.1.1.1) for link in ${LINKS[]}; do dev${link%%:*} src${link##*:} for tgt in ${TARGETS[]}; do # -I 指定源地址-c 3 發(fā)三個(gè)包-W 2 超時(shí)兩秒 rtt$(ping -I $src -c 3 -W 2 $tgt 2/dev/null | tail -1 | awk -F/ {print $5}) loss$(ping -I $src -c 3 -W 2 $tgt 2/dev/null | grep -oP \d(?% packet loss)) echo $dev - $tgt: rtt${rtt:-timeout}ms, loss${loss:-100}% done done這段腳本的邏輯-I參數(shù)綁定源地址確保探測(cè)流量從指定鏈路發(fā)出而不是被系統(tǒng)默認(rèn)路由帶走。-c 3發(fā)三個(gè)包取平均減少單次抖動(dòng)影響。-W 2設(shè)置兩秒超時(shí)避免探測(cè)卡死。輸出結(jié)果里 RTT 和丟包率就是后續(xù)開銷計(jì)算的輸入。實(shí)際部署時(shí)這個(gè)腳本可以改成定時(shí)任務(wù)每 200 毫秒跑一次把結(jié)果寫入共享內(nèi)存或消息隊(duì)列供調(diào)度器讀取。3.2 權(quán)重分配與路由規(guī)則落地探測(cè)數(shù)據(jù)有了接下來(lái)要把權(quán)重變成實(shí)際的路由行為。Linux 下常用做法是配合ip rule和ip route做策略路由每條鏈路一張路由表調(diào)度器根據(jù)權(quán)重決定新連接走哪張表。對(duì)于 TCP 流量還可以用iptables的 statistic 模塊按概率打標(biāo)記再根據(jù)標(biāo)記選擇路由表。下面是一個(gè)配置示例假設(shè)三條鏈路分別對(duì)應(yīng)路由表 100、101、102# 創(chuàng)建三張獨(dú)立路由表 ip route add default via 10.0.0.1 dev wwan0 table 100 ip route add default via 10.0.1.1 dev wwan1 table 101 ip route add default via 10.0.2.1 dev wwan2 table 102 # 添加規(guī)則根據(jù)防火墻標(biāo)記選擇路由表 ip rule add fwmark 0x100 table 100 ip rule add fwmark 0x101 table 101 ip rule add fwmark 0x102 table 102 # 用 iptables 按權(quán)重打標(biāo)記權(quán)重 0.5/0.3/0.2 iptables -t mangle -A OUTPUT -m statistic --mode random --probability 0.5 -j MARK --set-mark 0x100 iptables -t mangle -A OUTPUT -m statistic --mode random --probability 0.6 -j MARK --set-mark 0x101 iptables -t mangle -A OUTPUT -m statistic --mode random --probability 1.0 -j MARK --set-mark 0x102邏輯說(shuō)明第一條 iptables 規(guī)則有 50% 概率把包標(biāo)記為 0x100走 wwan0第二條在剩余 50% 里再有 60% 概率標(biāo)記為 0x101實(shí)際概率是 30%走 wwan1第三條兜底剩余 20% 走 wwan2。這樣最終分配比例就是 50:30:20。參數(shù)調(diào)整時(shí)--probability的值需要根據(jù)調(diào)度器計(jì)算出的權(quán)重動(dòng)態(tài)更新可以寫一個(gè)守護(hù)腳本定期刷新 iptables 規(guī)則。注意iptables 規(guī)則是按順序匹配的概率設(shè)置要按從大到小排列否則后面的規(guī)則永遠(yuǎn)沒(méi)機(jī)會(huì)命中。另外這種方式只對(duì)新連接生效已有連接不會(huì)中途切換鏈路除非應(yīng)用層支持重連。3.3 用 iperf3 和抓包驗(yàn)證實(shí)際分流效果配置完不等于生效必須驗(yàn)證。最直接的方法是用 iperf3 打流同時(shí)在每條鏈路上抓包統(tǒng)計(jì)字節(jié)數(shù)。下面是一個(gè)驗(yàn)證流程# 在服務(wù)端啟動(dòng) iperf3 iperf3 -s -p 5201 # 在客戶端打流持續(xù) 30 秒 iperf3 -c server_ip -p 5201 -t 30 -P 4 # 同時(shí)在三個(gè)網(wǎng)卡上抓包統(tǒng)計(jì) tcpdump -i wwan0 -w /tmp/wwan0.pcap tcpdump -i wwan1 -w /tmp/wwan1.pcap tcpdump -i wwan2 -w /tmp/wwan2.pcap 打流結(jié)束后用tcpdump -r讀取 pcap 文件統(tǒng)計(jì)每個(gè)文件的總字節(jié)數(shù)再除以總字節(jié)數(shù)得到實(shí)際分流比例。如果實(shí)際比例和配置權(quán)重偏差超過(guò) 10%需要檢查三個(gè)地方探測(cè)數(shù)據(jù)是否準(zhǔn)確、iptables 規(guī)則是否被其他規(guī)則覆蓋、鏈路本身是否有丟包導(dǎo)致 TCP 重傳集中在某條鏈路。另一個(gè)驗(yàn)證手段是看每條鏈路的隊(duì)列長(zhǎng)度和丟包統(tǒng)計(jì)。用ip -s link show wwan0查看累計(jì)發(fā)送和丟棄計(jì)數(shù)如果某條鏈路丟棄計(jì)數(shù)持續(xù)增長(zhǎng)說(shuō)明權(quán)重給高了需要下調(diào)。這個(gè)反饋可以手動(dòng)調(diào)整也可以做成自動(dòng)閉環(huán)調(diào)度器讀取丟包計(jì)數(shù)超過(guò)閾值就臨時(shí)降低該鏈路權(quán)重。4. ltemlb 負(fù)載均衡的避坑與排查記錄4.1 鏈路探測(cè)正常但流量不走指定鏈路現(xiàn)象ping 測(cè)試每條鏈路都通RTT 和丟包率也正常但實(shí)際業(yè)務(wù)流量全部走默認(rèn)路由權(quán)重配置形同虛設(shè)。原因策略路由規(guī)則優(yōu)先級(jí)低于系統(tǒng)默認(rèn)規(guī)則或者 iptables 標(biāo)記沒(méi)有正確應(yīng)用到目標(biāo)流量。常見情況是ip rule添加的規(guī)則排在默認(rèn)規(guī)則32766之后導(dǎo)致永遠(yuǎn)不命中。解決用ip rule show查看規(guī)則順序確保自定義規(guī)則序號(hào)小于 32766。如果用的是 fwmark 方式用iptables -t mangle -L -v -n確認(rèn)標(biāo)記計(jì)數(shù)在增長(zhǎng)。另外檢查rp_filter是否開啟多鏈路環(huán)境下反向路徑過(guò)濾可能把非對(duì)稱路由的包丟掉需要把對(duì)應(yīng)網(wǎng)卡的rp_filter設(shè)為 0 或 2。4.2 權(quán)重頻繁震蕩導(dǎo)致 TCP 性能驟降現(xiàn)象調(diào)度器日志顯示權(quán)重每秒都在大幅變化業(yè)務(wù)側(cè)表現(xiàn)為 TCP 吞吐量忽高忽低視頻會(huì)議卡頓。原因探測(cè)間隔太短加上開銷平滑系數(shù)太低鏈路微小抖動(dòng)被放大成權(quán)重劇烈變化。TCP 連接在鏈路間切換時(shí)擁塞窗口和 RTT 估計(jì)需要重新收斂頻繁切換直接導(dǎo)致性能下降。解決把probe_interval_ms從 200 調(diào)到 500 甚至 1000把cost_smoothing從 0.7 降到 0.4 到 0.5讓開銷值變化更平緩。同時(shí)把weight_update_ms設(shè)為探測(cè)間隔的 3 到 5 倍避免每次探測(cè)都觸發(fā)權(quán)重更新。對(duì)于 TCP 長(zhǎng)連接盡量在連接建立時(shí)確定鏈路不要中途切換。4.3 等開銷模式下某條鏈路被靜默餓死現(xiàn)象三條鏈路開銷評(píng)估接近理論上應(yīng)該均分流量但實(shí)際某條鏈路流量幾乎為零且沒(méi)有報(bào)錯(cuò)。原因最小權(quán)重下限設(shè)得太低或者權(quán)重計(jì)算時(shí)某條鏈路的開銷值因?yàn)樗矔r(shí)抖動(dòng)被算得特別高反比權(quán)重趨近于零。等開銷模式雖然會(huì)拉平權(quán)重但如果某條鏈路在進(jìn)入等開銷之前就被壓到極低權(quán)重后續(xù)很難恢復(fù)。解決把min_weight從 0.01 提高到 0.05 甚至 0.1保證每條鏈路始終有流量經(jīng)過(guò)這樣探測(cè)數(shù)據(jù)才能持續(xù)更新不會(huì)陷入「沒(méi)流量→探測(cè)不準(zhǔn)→權(quán)重更低」的死循環(huán)。另外在權(quán)重更新時(shí)加入歷史權(quán)重慣性新權(quán)重 0.7 * 新計(jì)算值 0.3 * 歷史值避免單次異常把權(quán)重打到底。4.4 探測(cè)包和目標(biāo)業(yè)務(wù)流量走不同鏈路現(xiàn)象探測(cè)結(jié)果顯示 wwan0 質(zhì)量最好但實(shí)際業(yè)務(wù)流量卻從 wwan1 出去導(dǎo)致調(diào)度決策和實(shí)際情況不一致。原因探測(cè)包綁定源地址走了指定鏈路但業(yè)務(wù)流量沒(méi)有綁定被系統(tǒng)默認(rèn)路由或策略路由帶到了其他鏈路。這種情況在同時(shí)存在多條默認(rèn)路由時(shí)特別常見。解決確保業(yè)務(wù)流量的路由規(guī)則和探測(cè)流量一致。如果業(yè)務(wù)是容器或虛擬機(jī)發(fā)出的檢查容器的網(wǎng)絡(luò)命名空間和宿主機(jī)路由表是否同步。一個(gè)穩(wěn)妥做法是用網(wǎng)絡(luò)命名空間隔離每條鏈路探測(cè)和業(yè)務(wù)都在同一個(gè)命名空間內(nèi)避免路由串?dāng)_。4.5 鏈路切換后舊連接大量超時(shí)現(xiàn)象某條鏈路掉線后調(diào)度器很快把新流量切到其他鏈路但已有連接大量超時(shí)應(yīng)用層報(bào)錯(cuò)。原因鏈路切換只影響新連接的路由選擇已有 TCP 連接的五元組沒(méi)變?nèi)匀辉噲D從掉線鏈路發(fā)送數(shù)據(jù)直到 TCP 重傳超時(shí)才會(huì)斷開。這個(gè)超時(shí)時(shí)間通常是分鐘級(jí)對(duì)業(yè)務(wù)影響很大。解決在調(diào)度器里加入連接跟蹤聯(lián)動(dòng)檢測(cè)到鏈路掉線后主動(dòng)清理該鏈路上的 conntrack 條目讓后續(xù)包觸發(fā)新連接建立。用conntrack -D -o wwan0可以刪除指定網(wǎng)卡的所有連接跟蹤條目。同時(shí)應(yīng)用層要配置合理的重連超時(shí)不要依賴 TCP 自身的重傳超時(shí)。5. 進(jìn)階技巧用歷史數(shù)據(jù)做權(quán)重預(yù)熱與回滾前面講的都是實(shí)時(shí)調(diào)度但真實(shí)環(huán)境里鏈路狀態(tài)變化往往有規(guī)律。比如某條鏈路在每天下午三點(diǎn)到五點(diǎn)丟包率明顯上升如果調(diào)度器每次都要等探測(cè)到才降權(quán)業(yè)務(wù)已經(jīng)受影響了。進(jìn)階做法是把歷史探測(cè)數(shù)據(jù)存下來(lái)用簡(jiǎn)單的時(shí)間序列模型做短期預(yù)測(cè)在鏈路質(zhì)量下降之前就提前調(diào)整權(quán)重。我一般會(huì)用最近 7 天的數(shù)據(jù)按小時(shí)聚合算出每條鏈路在每個(gè)小時(shí)的基線開銷調(diào)度器啟動(dòng)時(shí)先用基線權(quán)重預(yù)熱再逐步切換到實(shí)時(shí)探測(cè)值?;貪L機(jī)制同樣重要。權(quán)重調(diào)整本質(zhì)上是把流量從一條鏈路搬到另一條搬錯(cuò)了就是事故。我的習(xí)慣是每次權(quán)重更新幅度不超過(guò) 20%并且保留上一周期的權(quán)重快照。如果新權(quán)重生效后 30 秒內(nèi)業(yè)務(wù)側(cè)錯(cuò)誤率上升超過(guò)閾值自動(dòng)回滾到快照權(quán)重。這個(gè)閾值不要設(shè)得太敏感否則正常抖動(dòng)也會(huì)觸發(fā)回滾反而造成震蕩。驗(yàn)證預(yù)熱和回滾是否有效可以構(gòu)造一個(gè)模擬場(chǎng)景用tc命令給某條鏈路注入 10% 丟包觀察調(diào)度器多久降權(quán)、業(yè)務(wù)錯(cuò)誤率峰值是多少、回滾是否在 30 秒內(nèi)完成。下面是一個(gè)用tc注入丟包的示例# 在 wwan1 上注入 10% 丟包模擬鏈路質(zhì)量下降 tc qdisc add dev wwan1 root netem loss 10% # 觀察 60 秒后移除 sleep 60 tc qdisc del dev wwan1 root netem loss 10%這個(gè)測(cè)試能暴露調(diào)度器的響應(yīng)速度和回滾邏輯是否可靠。我踩過(guò)的坑是回滾閾值設(shè)得太高鏈路已經(jīng)丟了 30% 的包才觸發(fā)回滾業(yè)務(wù)已經(jīng)斷了一片。后來(lái)把閾值改成基于錯(cuò)誤率斜率而不是絕對(duì)值只要錯(cuò)誤率上升速度超過(guò)每秒 0.5% 就回滾響應(yīng)快了很多。還有一個(gè)細(xì)節(jié)權(quán)重預(yù)熱的數(shù)據(jù)不要用太久以前的。鏈路質(zhì)量受基站負(fù)載、天氣、周邊干擾影響7 天前的數(shù)據(jù)可能完全不適用。我一般只保留最近 3 天的數(shù)據(jù)并且每天凌晨重新計(jì)算基線。如果某條鏈路連續(xù)三天同一時(shí)段都出現(xiàn)質(zhì)量下降才把它寫進(jìn)預(yù)熱模型否則只作為參考。最后說(shuō)一個(gè)習(xí)慣每次調(diào)整 ltemlb 參數(shù)后不要只看調(diào)度器日志一定要用真實(shí)業(yè)務(wù)流量跑至少 10 分鐘同時(shí)抓包對(duì)比實(shí)際分流比例和配置權(quán)重。日志里的權(quán)重是調(diào)度器的「意圖」抓包看到的才是「事實(shí)」。這兩者不一致的時(shí)候問(wèn)題通常出在路由規(guī)則或連接跟蹤上而不是調(diào)度算法本身。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美熟女丝袜| 色婷婷婷五月天激情四射| 国产精品对白自产拍| 91 国产丝袜在线放观看| 黄在线| 91激情国产| 区一在线观看| 国产67194| 天天看夜夜看日日干| 综合av影片| 96精品在线| 日韩九区| 五月婷婷久久综合| 97国产成人精品免费视频| 另类图片综合| 色综合91好| 97久久国产亚洲精品超碰热| 啊啊啊啊操死我了| 青青草日逼视频| 一级A啪啪啪啪| 一道α片欧美| 狠狠操,使劲操| 91精品微拍福利| 91麻豆天美国产欧美高潮| 欧美中字二区| 先锋音影AV| 黄色高清久久无码依人| 吉川爱美98堂在线| 秋霞午夜视频一区二区| 极品内射| 东京热一区二区三区四区五区六区| www.狠狠操| 国模吧 一区二区三区| 一区不卡在线观看av| 欧美色乱| 中文字幕在线观看网址| 日韩性爱小视频| 亚洲日韩美女丝袜美腿人妻视频| 青青草依人大香蕉| A级片一区| 91中文字幕在线观看| 国产精品大屁股999| 97se综合网| 中文字幕视频在线观看一区二区| baisiav| 麻豆乱码久久精| 国内精品不卡无毒99999| av操操不卡| 久久大线蕉一区| 1二区9| 人妻一二三区| 先锋色眉乱伦资源| 色九九综合| 五月天婷婷色色| 青青操青娱乐| 东京热一区二区三区四区五区六区| 91在线页| 国产久久男人天堂| 欧美在线大香999| 超碰97国产欧美| 国语精品av| 亚洲色人妻综合| 99热亚洲天堂| 青青草狠狠撸| 97超碰中文在线| 午夜舔阴达高潮视频免费看| 国产乱伦亚洲| 777奇米影视777四色| 久久丁香五月天| 久久一区无码| 日韩成人人妻网站| 日韩性爱1级片视频| 国产成人亚洲精品无码古代早漏男| av网页一区二区三区| 人妻aa| 国产精品秘 福利姬在线观看| 欧美啪啪女女| 色眯眯射| 欧美丝袜亚洲| 中国一级操逼视频| 亚洲在线观看| 国产又色又粗又黄又爽| 色婷婷小说| 蜜臀久久久| 97超碰欧美精品| 久久透逼视频| 青青草日逼视频| 久久久少妇诱惑精品视频| 欧美综合网在线| 3p国产欧美99热| 一道本东京热加勒比一区二区三区| 五月天激情婷婷| 天天情欲宗合网| 亚洲中文字幕久久无码精品| 影音先锋日本一区二区| 97婷婷色| 亚州男人的天堂| 97天天摸天天爽| 一区二区三区精品久久| 久久水蜜臀亚洲AV无码精品| 精品国产乱码久久久A| 亚洲AV麻豆Aⅴ无码电影一| 99热婷婷| 久热热| 亚洲色丰满少妇高潮| 96久久精品一二三区色欲| 欧美美女自慰一区二区三区| 日韩91网| 51一区二区三区| 国产视频一区二区三区久久亚洲天堂| 国产熟女一区二区| www久久99| 日韩专区久久久| 伊人一区二区在线播放| 亚洲伊人久久精品狠狠在线| 欧美激情久操网| 啪啪综合网| 无码人妻丰满熟妇区毛片| 欧美性爱www免费版| 久久一区,青青青青草视频在线播放| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 人人喜人人妻| 天天肏天天干| 久久99精品九九久久久婷婷| 蜜乳AV一区二区三区四| 日韩精品电影| 一级久久性爱视频| 蜜桃网熟妇| 午夜影美女日鸡鸡天天视频国产| 亚熟hd视频在线| 美国一区二区三区视频| 和协影院中文字幕三区| 黄色区免费观看中文字幕| 久久一二三四不卡| 综合免费无码中文| 亚洲猛交| 亚洲熟女国产综合另类| 亚欧免费| 强乱老妇中文字幕| 操我啊啊啊啊啊| 日韩免费福利在线观看| 久噜噜| 国产无码一二三区| 啊啊啊操死我| 欧洲精品在线播放| 欧美性爱www免费版| 亚洲成人妻日韩在线| 狠狠色狠狠色狠狠五月| 欧美男人的天堂| 91国产精品熟女| 少妇厨房愉情理伦片bd在线观看| 超碰97最新人妻| 日本色色的视频| 亚洲狠| 日本伦理一区二区| 久精品无码av一区二免费国产在线观看 | 欧亚久久偷拍视频| 日韩人妻播放| 91九九| 麻豆影音天美视频| 亚洲欧美精品福利在线| 国产精品 视频| 综合干干干av久久久综合网| 开心五月深爱五月| .精品人妻一区二区三| 久久精品成人一区二区三区蜜臀| 99免费在线视频| 伊人热综合| 精品二区久久| 9精品在线| 丁香九月激情啪| 日日干天天干夜夜爽| 在线小说视频一区| 国产性感在线观看| 偷窥自拍亚洲天堂网爆| 国产精品高潮呻吟av久久4虎| 欧美 日韩 婷婷 五月| 天天做天天爱天天高潮| 色婷婷激一区二区三区| 亚洲网站一区二区在线| 国产乱码久久久| 九九热视频这里只有精品| 久久久中文| 一区二区三区探花在线观看| 亚洲天堂精品日韩电影| 五月天精品| 欧美亚洲厕所精品偷拍91| 97精品国产97久久久久久| 成年人黄色小视频网站| 97无码视频在线播放| 欧日韩一二三f区| 少妇专区一二三四五| 中文字幕天天天天天| www色色色com| 亚洲操逼无码| 丰满人妻无码一区二区三区| 精品国产人成在线| 亚洲 日本 国产 综合| 人妻少妇精品视频一区二区三区| 天天操天天7| 日韩精品9999| 干b在线性社区| 久久久一级| 国产97色在线| 国产精品香蕉热久久新品| 亚洲精品三区在线观看| 国产乱伦亚洲色图高清无码| 欧美一级AAAAAAA| 97精品国产| 免费操逼91| 啊啊啊好想要| 欧美亚洲情色| .精品人妻一区二区三| 99e久久国产精品| 国产 亚洲 一二三四| 精品午夜福利| 人人妻碰人人免费| 日本免费中文字幕在线| 日本欧美一区二区三区免费| 国产一级做a爰大片免费久久| 一本久道在线综合视频| 日韩精品人妻一| 亚洲国产精品9999在线观看| 竹菊影视国产一区二区| 大香蕉五月天婷婷| 色爱综合网| 天天欧美欧美亚洲网| 91在线页| 精品中文日韩字幕视频| 久久噜噜噜精品国产亚洲综合| 夜夜爽夜夜摸夜夜操免费视频| 夜夜做夜夜爽精品视频| 91亚洲人| 91影库| 久久一级无码精品毛片6| 亚洲成?V人片在线观看福利| 久久婷婷亚洲| 热久日综合| 成人精品水蜜桃久久久久久久| 久草毛片| 精品中文字幕一区二区| 激情九月婷婷| 一个人在线看的黄色电影网站| 精品一二三区四视频| 玖色av| 日本506070| 精品久久久久久中文字幕三区| 婷婷激情五月天小说网| 五月天丁香欧洲日韩| 中文字幕片| 久久久久久裸体| 色妇综合网| 国产女人极品高潮毛片| 99热精品在线观看| 蜜臀一区二区三区亚洲最新章节在线观看 - 高清蜜臀一区二区三区亚洲全集播放 | 精品人妻一区二区三区四区| 一二三啪啪专区| 操逼逼福利视频| 9丨久久九九九| 97一本大道亚洲一区| 伊人久久88国产女| 凹凸视频特色日本特黄| 熟妇xxxxx性春色| 精品人妻一区二区三区四区| 国产乱码精品久久久久久| 久9视频| 国产亚洲精品A在线观看下载| 色777999综合| 欧美性爱网97| 第二页中文字幕| 国产成人无码久久精品| 顶级丝袜熟女一区二区三区| 国产乱伦搜索结果91P| 色噜噜人妻av中文字幕| 超碰精品人妻狠狠干| 18精品一区| 五月丁香婷婷色| 亚洲 日韩 丝袜 熟女 变态| 粉嫩av久久一区二区三区| 草久在线| 四虎884| 国产一区二区三三视频| 久久久新亚洲AV| 精品少妇99| 中文精品少妇天堂| 蜜桃臀AV在线| 欧美人妻熟女在线| 大白逼三四级| 亚洲第一视频 欧美风情 日韩| 97日视频| 欧美在线干| 亚欧洲一区二区视频| 一区麻豆 高清中文字幕| 天天看综合网| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 蜜臀一二三| 亚洲91网站| 欧亚久久偷拍视频| 鸥美插入视频| 最新中文字幕av| 狠狠夜色午夜久久综合在线| 久久欧洲| 九九热九九热| 99国产天美| www.超碰在线| 九九毛片这里只有精品| 九九久久一区二区三区| 青青草国产亚洲精品久久| 国产精品情侣啪啪| 黄色二级片网站| 射丝袜高跟鞋99| 91人妻丝袜无码| 国产午夜视频| 91网站在线播放| 肉丝中文无码高清| 亚洲狠狠入| 天天夜夜rb| 午夜精品久久99蜜桃的功能章节| 日本道不卡| 中文字幕在线免费观看2| 亚洲美女AV无码| 黄色免费一级在线毛片| 亚洲精美粉嫩嫩泬在线观看| 色婷五月| 日本丝袜美腿人妻九九| 婷婷精品国产一区二区三区日韩| 91人妻久久久久久久久久久久久| 怡红院网站在线视频| 后入合集| 樱花蜜乳av| 两性综合网| 99热在线播放| 国产熟女一区二区丰满| 男人的天堂日韩| 欧美亚洲丝袜人妻制服中文99| 九月伊人中文字幕| 久久久久免费看少妇A片特黄| 乱伦图av| 91美女视屏| 青草视频人妻在线观看| 免费观看一区| 你想操日本小逼吗| 国产黄a三级三级三级av在线看| 青青草伊人久久| 91九色丰满高潮| 91网站18| 中文字幕性感少妇av| 99超碰色| 99精品无码| yaouchengrenav| 久久精品国产亚洲AV成人直播| 精品超碰中文在线| 97人人色| 五月婷网站| 日韩另类色图| 亚洲精品乱码久久久久久蜜桃麻豆| 秋霞 色色| 国产精品一区二区 尿失禁| 日本久操视频| 欧美,日韩,中文,另类| 久操电影| 激情深爱五月天| 婷婷美人网| 日韩大香蕉| 国产92麻豆天美精品色欲5| 毛片视频白嫩| 国产熟妇 码视频户外直播 | 亚洲日韩乱码中文无码蜜桃臀网站 | www.99热| 亚洲欧美视| 影音先锋视频在线| 97精品97| 欧美夜夜草视频| 久久一二三四五六七八九区区区 | 九九毛片这里只有精品| 极品色综合| 美女被艹尤物视频| 欧美性综合| 国产日韩精品人妻久久久久色欲网站| 九久9热| 青青草久草| www.丁香五月| 亚洲综合有码| 成人午夜视频免费播放| 亚洲诱惑天堂| 国产亚洲综合欧美一区| 日韩91网| 337p大胆噜噜噜噜噜91Av| 亚洲美女黄色| 日韩成人电影AV| 97日韩欧美亚洲| 在线人人人人人人精品超| 欧美精品久久| 国模艳艳啪啪一区| 玖玖超碰熟| 久精品无码av一区二免费国产在线观看| 国产25页| 久久99午夜精品一区人妻| 亚洲黄色网址| 亚洲美女自拍偷拍视频| 91女日逼| 久久婷婷一区二| 久久久96| 超碰在线人妻不卡| 国产中文大片资源中文字幕| 午夜综合在线| 综合色色婷婷| 黄骗免费网站| 91精品国久久久久久无码| 日本狂喷奶水在线播放212| www被窝色com| 大香蕉黄色一区| 大香蕉99999| 久久色激情一区二区三区| 网站A V在线| 国产精品久久久九九九| 竹菊影视国产一区二区| 超碰97COm中文| 人人妻人人操人人乐| 成年人黄色视频免费| 淫乱图区 | 久久免费99精品久久久久久| 91视频综合在线| 激情综合五月丁香| 亚洲电影中字一区二区| 欧美最大综合网| 青青草中文-久久青草精品一区二区三| 久草资源在线| 午夜福利在线合集| 超踫中文字幕| 老外又粗又长一晚做五次| 好爽免费视频,| 99在线精品视频| 国产偷人伦激情在线观看| 亚洲少妇在线影音| 91蜜臀熟女| 亚洲阿v天堂无码z2018| 91人妻人人澡人人爽人人精品| 欧美色图片91| 99在线精品观看99| 日本性爱欧美性爱| 少妇精品久久| 99热99re6国产在线播放| 99热官网| 强免费黄色网址| 久久国产逼| 色九九久九九| 亚洲综合情色| 亚洲欧美九九九| 亚洲欧美日韩综合在线尤物| 成年人三级黄色片视频| 欧美亚洲综合高清在线| 东北操逼| 91总综合网| 中文字幕日韩综合| aaa一级黄片| 国产中文大片资源中文字幕| 欧美天天射| 曰本特级特黄特色黄色A级网站高清在线免费看 | 日韩成人无码| 91观看 国产白丝| 天天综合网~91综合网| 五月天久久婷婷亚洲| 红杏大香蕉| 国产三级电影免费观看| 久久久久久久国产视频| gogogo免费高清看中国国语| 立川理惠被中出无码| 亚洲天天自拍| 91美女精品| 免费国产| 黄久在线| 是还免费视频1727我| AV高清一区| 欧美三级一级| 嗯嗯嗯啊啊啊操的我好爽 | 特级特黄一级毛片免费| 日本影视久久免费| 久热一区二区| 亚洲加勒比| 91n欧美| 无码人妻一区二区三区四区老鸭窝| 激情五月天校园春色网| 97精品97久久| AV男人天堂网| 99这里只有精品| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 久久久久久亚洲中文| 一个人免费视频观看在线WWW | 啊啊啊 在线| 青青久久久| 久久熟女精品不卡一区| 俺也射| 十八禁电影伊人网| 成人情色综合网| 限制级中的三级片中的黑粗大屌屌日人妻熟女| 嗯嗯啊啊日韩精品| 欧美啪啪天堂| 蜜臀中文字幕| 精品人妻1区| 双插性欧美一二三区| 黄片免费久久久久久久| 亚洲国产激情国产av| 人妻-91porn| 婷婷久久五月天| 男人的天堂不卡一区二区| 超碰97欧美在线 | 成人三级片无码| 亚洲色欲天天人妻无码系列专区| 日日日日日| 欧美制服网站美腿丝袜| 神马久久网| 色综合久久av| 久久性爱大全| 超碰调教97| 国产农村妇女精品1区二区| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 嗯嗯嗯好爽| 色婷婷成人综合| 亚洲电影91| 久久粉色| 秋霞成人一级在线观看| 久久这里只精品99re66图| 26uuu欧美| 亚洲综合113页| 欧美最大综合网| 欧美色视| 强奸乱伦麻豆| 青青草自拍视频在线播放| 老熟妇综合| 色色97爱| 国产精品嫩草久久久久| 婷婷久久综合| 久神马| 97欧美| 亚洲精品xxx| 蜜臀少妇一区二区| 少妇99| 97操| 亚洲欧美国产成人综合不卡| 久久国产99精品72福利 | 国产suv精品一区二区四| 97超碰总站| 欧美激情激情xxxx欧美专区| 激情接吻视频久久久久久| 中文伊人大香蕉视频| 天天操天天日青青草超碰av| 以及麻豆国产入口在线观看免费| 91痴汉| 一个色导综合| 大香蕉碰| 日韩欧美中文字幕搭讪巨乳美人妻视频| 精品久久无码午夜福利| 丰满人妻-区二区三区免费| 91国精产品| 亚洲性爱成人| 国产91美女高潮| 免费国产| 秋霞免费AV| 久久精品老司| 亚洲综合电影| 乱人伦 国语对白:视频直接看| 五月婷婷青青草娱乐伊人| 亚洲啪啪视频免费| 天天操女人| 精品九区| 丝袜美腿诱惑亚洲欧美视频在线观看| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 99蜜桃臀亚洲成人在线观看| 久久精品国产亚洲5555| 婷婷五月天av| 日韩三级av片| 97干在线| 人人妻人人澡人人爽久久av| 一区二区三区机械有限公司| 国产又长又大又粗的视频| 欧洲成人性爱视频| 亚洲黄a三级三级三级看三级| 最新日日夜夜天天干干| 麻豆久久久久久久久丝袜| 97视频在线播放| 日韩有码一区三区| 久久产精品一区二区三区电影| 这里有精品| 五十路三区在线| 五月婷婷丁香| 国产精品久久久| 台湾佬激情综合| 人人操人人色网| 免费的av网| 中文字幕精品免费一区二区| 91jk色拍| 可以在线观看的黄色网址| 人妻在线大香蕉| 中文字幕中文字幕一区二区| 久久久神马影院| 国产超碰人人操| 久热这里只有精品9| 五月婷在线| 97色碰| 躁躁日曰躁2020| 亚洲欧美日韩二区视频| 蜜桃臀久久| 色色色热| 久久透逼视频| 天天综合站| 中文字幕五区| 国产色综合亚洲色综合吹潮| 99re6国产精品99re| 欧美性爱在线无码| 蜜臀99久久| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 成人一道本免费视频| 天天天天天超碰| 亚洲性爱无码乱伦av| 久久久青青草| 亚洲综合影片| 男人的天堂一区三区| 国产97亚洲| 美骚妇av高清在线| 我爱大香蕉| 国产精品久久久久无码Av网曝门| 青青三级视频| 综合色图,成人综合网| 久久亚州精品成人Av无| 凹凸 69堂 在线播放| 蜜臀在线免费观看在线免费观看| 欧美日本中字另类在线| 日本在线伊人啪啪| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 国产精品自产拍在线观看社区| 91成人无码| 亚码人妻| 射 色综合| 温婉少妇玩3p| 秋霞怕怕片| 久久天堂网| 色九月综合| 五月天开心网| 亚欧无码在线| 91一区二区三区蜜桃| 欧美后入式| 在线啊啊啊啊| 97在线精品| 国产成人一级av88| 国产精品又黄又猛又粗| 婷婷性网| 色偷偷男人的天堂麻豆| 综合久欧洲| 激情综合五月| 伊人久久大香大香线蕉中文| 久久久亚洲Av| 成人国产视频在线观看| 欧美日韩一二三| 久久精品国产精品| 国产亚卅97| 久无码| 久久久无码国精品无码三区三区| 秋霞蝌科网日本一区| 午夜a成v人电影| 夫妻天天操岛国视频| 精品一区二区麻豆| 丁香五月激情综合| 人人扣人人操| 视频分类 国内精品| 精品国产91av一区二区三区| 成人情色综合网| 玖玖爱伊人玖玖爱| 欧美玖玖爱免费玖玖| 美女91在线观看| 中文有码第五页| 一区久久久二区| 91精品电影18| 大香蕉伊人亚洲| 美女露胸露屁股| 91在线视频免费中出| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 欧美专利1区2区3区4区5区免费| 久久露脸国产老熟女| 熟女人妻一区二区三区| 亚洲 国产 精品一区| 国产操操日韩三级黄| 国产家庭乱伦性爱视频| 超碰97人人cao| 日本阿v天堂在线观看| 国产精品网址| 久久久久97| 家庭乱伦麻豆| 国产Av超碰| 亚洲一区二区三区中文字幕| 亚洲欧美综合区自拍另类| 亚洲制服aⅴ中文字幕| 嗯啊抽插大香蕉网页| 日韩亚洲Av人人夜夜澡人人爽| 在线看片国产精品每日更新| 国产一区二区在线电影| 亚洲欧美日韩综合在线尤物| 亚洲色五月| 青青草原狼av| 久久夜嗨| 伦在线97| 啊啊啊啊好疼视频| 91国产伊人大香蕉| 亚洲美腿丝袜香蕉影视欧美成人| 精品二区久久| 91少妇人妻| 日韩免费簧片| 日本高清_区二区三区| 欧美日韩操逼嗦吊| 丁香婷婷久久| 天天看天天综合成人网| 人妻在线中出视频| 久久久久七视频| 久久宗合亚洲| 999热这里只有精品| 99精品丰满人妻无| 青久操| 91精品久久久久久77777| 91网站18+| 4虎在线观看| av爱爱爱| 欧美日韩性爱视屏免费看了| 6080yy午夜理论三级一区二区三区无码| 欧美亚洲玖玖玖| av一区二区三区四区五区久草臀| 九七人妻在线| 亚洲色图欧洲| 久久五十路熟女人妻| 搡老熟女老女人老熟妇免费视频| 蜜臀av一区二区三区免费观看| 嗯嗯啊啊用力视频免费| 天天综合网~91综合网| 先锋女优在线观看视频| 午夜无遮挡男女啪啪视频| 亚洲各类熟们中文字幕| 91亚洲影院综合| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 殴美在线AⅤ| 亚洲少妇喷视频看| 久草精品一区| 一区二区三区国产在线播放| 熟女精品va中文字幕| 91亚洲黑人| 夜夜嗨老熟女AV一区二区三区| 久久久精品网站| 特级丰满少妇一级AAAA爱毛片| 嗯啊免费视频| 夜夜黄| 国产一在线观看| 狼人综合婷婷激情四射| 男人的天堂kva| 一本一道波多野毛片中文在线| 嗯嗯嗯啊啊啊在线免费观看| 99久久免费看精品国产一区| 人妻一区视频| 蜜臀人妻少妇久久在线观看| 亚洲激情视频| 超碰av在线| 欧美精品亚洲精品日韩传电影| 9丨亚洲一区二区在线| 精品国产自在在线99| 色老大| 探花一区在线| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 亚洲国产精品V?在线播放| 3571色综合一区二区二区| 夫妻AV网站| 强奸乱伦Av网| 中文字幕人乱码中文字的预防方法| 久久久久久久强迫| 国产视频一区二区在线| 国产乱子伦一区二区三区在线观看| 牛黄色久午久| 97日韩欧美亚洲| 尤物国产一区在线观看| 东京热大香焦| 激情干在线| 风月影院男女十八禁| 色五天伊人| 日本一天色道久久久精品视频| 看日韩黄片| 日本一区二区三区精品| 2024黄色视频| 一及黄久一点| 中文字幕在线观看永久| 级品肉射| 黄片aaaaa一区| 亚欧美色图| 噜噜噜无码AV一级一级久久影院| 五月天人妻综合| 99色在线观看| 啊啊啊啊啊啊好多水| 黄页大片在线观看| 秋霞操逼片| 性爱AV天堂| 亚洲午夜福利视频| 国产欧美另类久久久精品课程| 无码99| 国产v亚洲v日韩v欧美v片另类 | av无码精品久久久久| 操死我了啊啊啊| 97干在线| 国产粉嫩蜜臀av一区二区三区| 有码人妻系列| 国产一区二区精品久久99| 91无摭挡| 五月天激情国产综合婷婷婷| 中文字幕丰满人妻日本| 麻豆性爱视频在线播放| 国产69精品久久久久99尤物| 四虎精品亚洲| 泰国AV在线观看| 在线色导航| 综合自拍| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 思思热免费视频观看| 欧美日韩另类激情图片| 97久久超碰国产网站| 粉嫩粉嫩一区性色AV片| 中文三一区| 欧洲乱码视频| 久操婷婷| 亚洲无码国产精品久久| 亚州精品人妻一二三区| 91蜜臀在线久久久久| 超碰在线香蕉| 丝袜足交视频| 热热色色综合| 熟女日韩| ?亚洲伊人伊成久久人综合网| 久久色精品视频在线| 97精品97| 亚码激情| 亚洲综合精品国产一区| 97爱| 国产熟码AV| 国产60区。| 九九AV| 青娱乐亚洲自拍| 婷婷五月天激情四射| 射丝袜大香蕉| 大香蕉免| 久久婷婷五月天| 亚洲精品影视老司机| 淫荡网址| 蜜臀Av一区二区三区| 欧美A√综合网| 国语人妻精彩刺激| 丰满人妻一区二区三区大胸懂色 | 日韩大香蕉AV影片| 涩涩久久精品| 色爱综合网欧美| 婷婷五月在线视频| 能直接看AV的网站| 亚洲av无码国产精品字幕| 中文不卡视频| 青久久| 欧美亚洲se91| 欧美色图片91| 熟女丝袜视频| 97天堂| 亚洲熟女中文字幕在线| 国产女人和拘做爰视频 | 隔壁邻居波多野结衣中文字幕 | 色亚洲欧美| 男人的天堂日韩| 超碰中文字幕人妻草一区| 97 亚洲 日韩 欧美 在线| 九热视频| 久久艹逼视频| 欧美综合区| 国产精品香蕉热久久新品| 强奸乱伦AV网站| 九九视频黄色片| 欧美日韩国产成人高清| 九九热九九| 一起草视频在线| 鸥美中出| 午夜精品久久久久久久久久久久久| 麻豆色99999| 91精品人妻五十路| 欧美最大综合网| 中文一区在线日| 中文字幕久久亚州无码| 伊人 俄罗斯 a v| 成人精品视频| 色爽——AV| 久久久91福利姬| 国产少妇内射| 日韩无码人妻中字久久三区四区| 欧美最婬乱婬爆婬牲视频| 99精品综合久久久久五月天| 久久久久久无码人妻中文字幕| 1024午夜激情男人的天堂| 亚洲综合贴图91| 黄色一区三区| 日日爽熟女| 96久久久久久久| 亚洲另类春色| 欧美日韩大香蕉| 91精品微拍福利| 激情网色| 91色色色| 婷婷日韩一区二区三区中文字幕在线| 伊人网av| 国产天天看| 偷拍片久久| 欧美同性恋 的搜索结果 - 91n| 日日骚一区二区三区| 91成人无码| 岛国1区2区3区在线观看| se吧提供国产乱老熟视频胖女人| 日韩乱伦AⅤ| 久久婷婷综合国际产色怕| 9+1视频网址| 精彩视频日韩| 九九热精彩视频| 67914在线兔费成人视频| 天天日天天干少妇日| 97无码视频在线播放| 97在线精品观看视频| 睡产熟女乱伦| 欧美熟爽综合| 好舒服视频| 久久久一区二区三区麻豆| 尤物网站91| 日韩丰满熟妇| 国产精品一二三免费网站| 国产精品久久久蜜臀| 91视频综合在线| 超碰九7免费| 久久久久亚洲AV无码专区少妇| 插欧洲美女欧美精品| 插入综合网| 少妇色综合| 久久国产乱子伦精品免费女,网站| 黄片视频观看| 性做久久久久久免费观看软件| 91大胆欧美| 97精品在线| 国产美女高潮| 曰韩成人免费视频| 老熟女区| 天天欧美| 乱伦Av网| 刺激性视频黄页| 噜噜瑟| 26UUU欧美激情一区二区| 天天做天天爱天天高潮| 婷婷五月天无码| 人妻少妇精品| av天堂手机版追回| 欧美性,色九九| 亚洲精品91| 久久一级无码精品毛片6| 国产视频一区二区在线| 草B在线| 国产精品久久99日日| 999狠狠综合| 蜜桃午夜视频一区二区 | 黄色片,com| 天堂av2019| 超碰久超碰久| 午夜福利免费福利视频| AV一二区| 夜色综合| www.超碰| 新怡红院| 成人性爱高清视频免费看| 国产传媒美日韩av| 少妇一区二区三区| 九九色热| chaopen97久久| 国产亚洲中文不卡二区| 黑人中出21连凳花野真衣| 亚洲色阁| 91婷婷| 国内外激情在线| 亚洲一卡2卡3卡4卡乱码网站 | 精品999日本| 九九热AV| 亚洲一区二区麻豆影院| 蜜臀在线网站| 欧美性爱伊人| 久久偷偷色综合蜜桃| 草草影院日本第一页| 超碰97资源大奶| 日韩中文字幕熟妇人妻| 色欲av国内精品久久久久久| 婷婷中文字幕| 97久久久久| 99热精品在线| 综合五月天| a在线观看| 国产白丝网站| 99热18| 最新制服中文第一页| 操逼网免费无码视频| 午夜精品久久久久久久| 日本视频在线观看污污污| 欧美 亚洲 综合 制服 另类| 变态乱伦伪娘灌肠一区二区| 丰满精品人妻少妇久久字幕| 国产极品精品美女视频| 中文幕97| 淫荡熟女乱伦网| 96久久久精品| 日韩精品在线观看网站| 久久久精品九| 五月天婷婷基地| 玖玖爱影院| 成人无码专区精品视频| 午夜.DJ高清在线观看免费7| 欧美熟妇亚洲版| 黄色性爱网网| 综合亚州欧美| 色妺妺在线视频| 国产精品不卡一区二区三区av| 宗合情欲网| 成人亚欧免费视频| 九九九国产精品| 国产11页| 九九热久久99精品re| 国产欧洲精品亚洲午夜拍精品| 97最新在线播放视频| 超碰人妻97| 宗合情欲网| 超碰成人最新最好看| 深夜激情| 麻豆国产原创AV色哟哟| 亚洲国产奇米影视久久| 日本久久久久久久久久| 天天操女人| 亚洲国产一区二区入口| 国产黑白丝在线| 超碰97爽| 美中日韩无码| 亚州色综合| 日韩精品9999| 亚洲色综合| 欧美高清无码免费视频高清版| 国产精品电影推荐| 丁香九月婷婷| 亚洲图片激情综合另类| 欧亚韩国999| 国产夜夜艹| 午夜影美女日鸡鸡天天视频国产| 97中文热色| 91在线丝袜视频| 任你草| 制度丝袜99| 综合网 欧美| 欧美日韩人妻少妇 一区二区三区| 天天日日夜夜| 国产AV毛片| 校园春色综合网| 亚洲日本大香蕉1| 97色爱| 婷婷天堂站| 色天使亚洲综合在线观看| 97超碰大| 99re在线精品78| www鬼畜国产男人的天堂| 午夜无码精品免费看性色| 日本成人在线不卡一区二区三区| 欧美日韩中国x| 欧美 综合| 日韩啪啪啪啪啪| 五月天玖玖资源站| 看免费一级在线播放毛片| 大逼色网站| 中国黄色特级精品一区二区三区片| 少妇免费视频| 无码国产精品午夜不卡(| 中文字幕人成乱码熟女香港| 成人怡红院| 亚洲色图8| 日本好吊色视频| 亚洲自拍欧美国产首页网曝| 啊啊啊操一区| 久久性爱城| 亚洲中文国际强奸字幕| 亚欧高清| 大色综合| 欧美劲爆第一页| 极品少妇久久久久| 久污| 999九九精品| 亚洲AV资源| 男女香蕉一区二区| 欧美懂色综合网| 国产中文字幕在线| 99国内熟女露脸视频| 亚洲免费日韩在线一区二区| 亚洲天堂人妻一区二区| 五月天社区| 国产精品老师| 欧美特大黄一级片片免费| 免费在线黄片视频| 国产精品无码久久久久2025| 91色人妻| 日韩熟女操逼| 凹凸视频在线一区二区| 国产精品久久久久久久久久久久| 超碰久超碰久| 农村少妇久久久久久久| 欧美人妻熟女在线| 91在线丝袜| 色欲久久99精品久久| AV天黑人| 97中文综合| 97资源站国产精品| 精品一区二区三区18| 亚洲欧美综合图片| 天堂网亚洲区手机版| 人人妻人人爽人人精品| 亚洲丨在线| 国产在线视视频有精品| 国产成人自拍视频在线| 四虎影院成年人片| 国产精品亚洲美女久久久久| 日韩免费性爱视频在线观看| 香蕉婷婷| 日本91白丝| 夜夜高潮夜夜爽| 一区二区 电影 亚洲| 亚洲有码第一页| 久久中文字幕女同性恋一区| 中文字幕欧洲有码| 91宗合网| 中日韩免费看男女操逼大全| 国产精品视频91久久| 99老司机精品视频在线观看| 久久久久亚洲?V片无码V| 久久精品国产72国产精品福利| 丁香五月激情综合国产| 嗯啊不要啊在线 | 日本天天操| 好淫网一二三视区| 欧美日韩亚洲高清不卡一区二区三区| 黄呦呦在线| 国产蜜臀在线| JuliaAnn丝袜熟女系列| 成全动漫视频观看免费下载| 亚洲 日韩 丝袜 熟女 变态| 伊人久久艹| 国产白嫩精品久久| 天天摸天天舔天天操| 激情小说激情视频| 精品性爱| 温婉少妇玩3p| 爽爽淫人网| 久久久18禁| 97超碰精品图片| 久久超碰国产一区二区三区| 伊人网综合在线视频| 色婷婷影院| 97日视频| 超碰97COm中文| 日韩性爱毛片操骚逼|