亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒數(shù)據(jù)?核心問題往往在狀態(tài)頁與agent采集鏈路上

Zabbix監(jiān)控Nginx沒數(shù)據(jù)?核心問題往往在狀態(tài)頁與agent采集鏈路上 上個月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問題。一開始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁根本沒有暴露出來agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對不上。這不是個案。Zabbix 監(jiān)控 Nginx 這件事最常見的坑不是 Zabbix 不會裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺新機(jī)器時應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁、agent 采集和模板匹配這三個環(huán)節(jié)有沒有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請求很多入門教程會把 Zabbix 監(jiān)控 Nginx 簡單理解成“Nginx 掛了就報(bào)警”。這個理解不算錯但太單薄。Nginx 是應(yīng)用入口它的價值不在于進(jìn)程起沒起來而在于它當(dāng)前扛了多少連接、請求處理得是否順暢、有沒有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過 Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開狀態(tài)頁后你會看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動以來成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請求數(shù)。Reading / Writing / Waiting分別表示正在讀請求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長時間很高說明請求堆積在讀取階段背后可能是客戶端沒有把請求發(fā)完整Waiting 大量存在不是壞事只能說明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒數(shù)據(jù)”其實(shí)和 Zabbix 無關(guān)排查過幾次就會發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁沒開啟要么是狀態(tài)頁返回的是 HTML 而不是純文本要么是 agent 訪問不到狀態(tài)頁要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請求 Nginx 狀態(tài)頁。這一條數(shù)據(jù)鏈上有任何一個環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒有想象中那么大問題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁配置先把數(shù)據(jù)源打開2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁依賴 http_stub_status_module 這個模塊。問題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時如果沒有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫里的 nginx 通常已經(jīng)包含這個模塊但不同發(fā)行版、不同倉庫之間也可能有差異容器鏡像則更不一定一些精簡鏡像會把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說明模塊沒問題。如果什么都沒有就不要繼續(xù)往下配狀態(tài)頁了先解決模塊問題。否則你配置再正確curl 訪問時也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見的做法是在一個 server 塊里加一個 location只讓狀態(tài)頁從指定路徑訪問server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個細(xì)節(jié)要說明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來allow 和 deny 用來限制來源 IP避免狀態(tài)頁暴露到公網(wǎng)。雖然狀態(tài)頁內(nèi)容看起來不敏感但泄露給外界等于給攻擊者多一個信息采集入口沒有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開頭那段純文本說明 Nginx 側(cè)已經(jīng)通了。注意curl 的來源 IP 要和 allow 規(guī)則匹配否則你會看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個容器內(nèi)要么通過容器 IP 或映射端口訪問狀態(tài)頁。容器內(nèi)的 Nginx 如果只監(jiān)聽了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問題用 curl 驗(yàn)證時最容易暴露但很多人會誤以為是自己配置寫錯了。另外狀態(tài)頁不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會把狀態(tài)頁放在 8080 或單獨(dú)一個 server 塊里。這樣的設(shè)計(jì)沒問題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個地址訪問 Nginx然后保證這個地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來改去主機(jī)上卻訪問不到。我在很多環(huán)境里見過一種最隱蔽的錯誤狀態(tài)頁本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過內(nèi)網(wǎng) IP 去訪問狀態(tài)頁。agent 請求時Nginx 看到的來源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時要想著 agent 會從哪個 IP 過來而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見的 zabbix-agent 為例配置文件里幾個關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動模式下 agent 向哪個 Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會等 Server 來問如果你用了主動模式ServerActive 也要填。很多舊教程只寫一個值換到新環(huán)境就出問題。比這更容易出錯的是 Hostname。Zabbix Web 端添加主機(jī)時填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個兩邊名字要對上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說一個“和過去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時你可能會看到多個模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會出現(xiàn) unsupported item。反過來也一樣。所以我的建議是在鏈接模板之前先打開模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時間。agent 和 agent2 的服務(wù)名也不一樣常見的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見的是/var/log/zabbix/下面。出現(xiàn)問題時日志里通常直接會告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問題。agent.ping 是通用探活 key驗(yàn)證通過后再去模板里找到你想測的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁相關(guān)的 key繼續(xù)用 zabbix_get 測試。不同版本、不同模板的 key 名稱會有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過好幾輪Zabbix 的模板策略在過去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個兩三年前的教程去選模板很可能選錯。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測 – 最新數(shù)據(jù)”里過濾這個主機(jī)等一到兩個更新周期看有沒有數(shù)據(jù)進(jìn)來。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個主機(jī)通常只需要鏈接一個對應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個模板并不會讓數(shù)據(jù)更豐富反而會讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會定義一組宏用來告訴 agent 去哪個地址、哪個路徑、用什么協(xié)議獲取狀態(tài)頁。常見宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁的訪問信息從監(jiān)控項(xiàng)中抽出來這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級覆蓋宏就行。比如狀態(tài)頁路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒改也沒關(guān)系但如果狀態(tài)頁地址做了修改一定要記得改對應(yīng)主機(jī)的宏而不是只在模板里改一個默認(rèn)值因?yàn)槟0迥J(rèn)值會影響所有鏈接該模板的主機(jī)。還有一個容易出錯的地方狀態(tài)頁地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會一直返回錯誤。這種問題在視覺上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開頁面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯誤信息。常見的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來不對比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動看一次狀態(tài)頁確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對。如果源數(shù)據(jù)是對的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個環(huán)節(jié)從上到下檢查如果你最終面對的是一臺沒數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問題。第一層Nginx 狀態(tài)頁是否可訪問。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁面問題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測試功能跑一次。如果返回錯誤根據(jù)錯誤信息調(diào)整宏。這個順序的核心思路是先確定是哪一層壞了再決定修哪里。不要在不知道哪一層出問題的時候改配置改來改去只會讓狀態(tài)更亂。5.2 高頻錯誤對照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時最容易遇到的幾類現(xiàn)象現(xiàn)象常見原因處理思路狀態(tài)頁 curl 返回 404沒有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁 curl 返回 403allow/deny 沒有放行 agent 來源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個 IP 訪問監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對、采集周期長檢查主機(jī)名一致性測試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來而是給你一個參考坐標(biāo)。遇到問題時先看現(xiàn)象再判斷屬于哪一層然后去對應(yīng)位置檢查。5.3 沉淀一個“四層驗(yàn)收清單”最后一個能長期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺 Nginx 主機(jī)時按順序過一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來源 IP。Agent 采集層服務(wù)已啟動、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺機(jī)器還是三十臺機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰Zabbix 監(jiān)控 Nginx 這套方案適合的場景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個人經(jīng)驗(yàn)看當(dāng)一個團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長在 Zabbix 上了新增一套系統(tǒng)意味著要同時維護(hù)兩套監(jiān)控體系的賬號、存儲和告警規(guī)則。6.2 不適合誰反過來如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會變得很吃力。每來一個新實(shí)例都要創(chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁數(shù)據(jù)也不夠。狀態(tài)頁給的是連接數(shù)和請求總數(shù)拿不到每個接口的響應(yīng)時間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時序數(shù)據(jù)庫或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說 Zabbix 不能做擴(kuò)展而是說你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢是簡單直接代價是深度有限。認(rèn)清這個邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過去有一點(diǎn)不同”。這句話其實(shí)很適合用來概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無論版本怎么升級你都能在最短時間內(nèi)判斷出問題出在哪一層。這才是比某一條命令更有價值的東西。所以我的長期建議是不要只收藏某個版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個簡短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒數(shù)據(jù)你不是回去翻舊教程而是打開自己的排查清單?;氐介_頭那個案例。我們最后做的事情其實(shí)很簡單把 stub_status 狀態(tài)頁配置好allow 規(guī)則放行 agent 來源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個更新周期就出現(xiàn)了。整個過程沒有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒有串成一條完整的鏈路。Nginx 側(cè)會變、Zabbix 會變、模板會變但驗(yàn)證順序不會變。下次再看到最新數(shù)據(jù)為空時不要急著在界面上反復(fù)點(diǎn)先打開一個終端curl 一下狀態(tài)頁很多時候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久一区二区三区麻豆| 777超碰| 久久妇| 青青草好吊| 午夜福利无毒不卡| 精品91摸| 国产精品久久久午夜夜伦鲁鲁| 亲子敌伦对白在线播放 | 乱子伦一区二区三区国产精品| 蜜臀久久99精品久久久久电影| 91丨国产丨白浆秘 洗澡动漫| 亚洲AV无码黄色强奸| 久热免费视频| 加勒比性爱成人在线| 强奸乱伦亚洲第一页| 91超碰人人| 加勒比99999| aaaa少妇高潮大片| 青女在线| 岛国大片在线观看网站入口| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 日韩精品一区,二区 九九...老司机| 水多多映视AV| 人妻在线臀日韩| 国产精品午夜AV完会免费| 91粉芽高清在线一区二区| 91狠狠狠| 久热免费视频| 97手机日韩| 日韩性爱网址| 国产精品丝袜在线| 亚洲 日本 一 二 三| 精品人妻15区| 台湾佬中文娱乐自偷自拍| 少妇蹲下露出大唇5| 青娱乐久久艹| 天天综合网~91入口| 萌白酱自拍视频| 偷拍 精品 另类 四区| 欧美人妻少妇| 久久成年精品| 国产三级多多影院2022国产AA一级毛片无码| 人妻 制服 日韩 中文 在线| 国产精品呦一区二区三区| 天美一区在线| 青青草日韩无码| 亚洲激情视频| 搞中出视频在线观看| 伊人网免费视频| 国产成人AV麻豆| 超碰无码加勒比| AV色图| 女同性恋久久| 九九九草| 亚洲一区日韩| 97超碰色色| 久久超碰爱| 天美传媒婬乱| 自拍视频大全亚洲专媒视频/一区二区三区| 免费av高清无码| 伊人伊人LD| 奇米狠999| 91亚洲黄色网| 色老汉色| 欧洲一级性爱视频在线观看| 欧美色性情| 亚洲熟妇图片| 日本高清有码网址视频| 中国熟女老妇仑乱一区二区三区| 伊人97超碰| 日韩免费三级黄片电影| 97操综合| 九九色综合| 国产精品香蕉| 午夜毛片高清免费不卡| 超碰成人免费| 99久久久er直播网址| 91日韩网站| 青青草原狼av| 免费一级视频特黄色大片| 91亚洲色图| 青草园大香蕉| 日本欧美国内在线| 影音先锋每日最新资源在线观看| 久久9999| 99精品久久| 91丝袜美女视频| 新97国产超碰| 啊啊啊用力在线观看| 在线播放一级无码视频| 青青草一区二区高清无码视频 | 日日夜夜干| 在线观看高清AV| 综合五月天| 日韩精品高清资源在线| 色综合网1| 国产内射爽爽大片| 久热这里| 成人熟女视频一区二区三区| 97色干| 91看黄片| 91精片| 亚洲加勒比色图| 国产白嫩精品久久| 免费观看有码高清视频| 人人 操人人 操人人| 欧美人妖内射| 亚洲日本天堂| 久久草视频污视频| 精品国产一区二区久久| 国产偷拍自拍在线视频| 影音先锋少妇| 99久久精品国产系列| 久久同城AV| 欧美香蕉视xxx| 婷婷在线播放| 中日高清无码操逼视频| 操操逼操操逼操操逼逼| 丰满人妻一区二区三区性色| 亚洲精品免费中文字幕| 中文字幕熟女人妻丝袜| 午夜传煤十二区精品| 亚洲日韩XXX| 嗯嗯啊啊视频一区二区三区| 超硑97精品| 婷婷色在线| 操逼天美3区| 日本爽爽爽爽爽爽免费视频| 天天综合网日韩| 午夜一区| 91国模| 大逼色网站| 久久亚州大香蕉| 足交视频老司机| 日本淫穴在线| 欧美伦乱爱| 欧美亚男人的天堂| 超碰久久性爱| 久久有碼| 国产精品 午夜福利| 天堂资源欧美| 在线人妻熟女一区二区三区四区五区| 91n美女视频| 欧美激情亚洲色图| 射欧美综合| 无码91| 久热色情精品| 超碰97精品在线| 精品一区二区三区蜜桃臀赵总 | 丝袜高跟澳门91视频| 91欧美另类| 97国产伦理| 久久精品视频一区三区小泽玛利亚| 天天天天天天天天综合| 日产123区精品免费观看| 日本999精品| 熟女高潮合集-永久久久-成人AV | 99国产精品自在自在| 91少妇香蕉久久精品| 91国产大片| 天天综合香 ld视频| 欧美色图亚州激情| 99国产精品久久久在线播放| 欧美九一精品久久久熟妇| 后入福利| 日韩无限资源| 欧洲在线性爱视频| 男人a天堂手机在线版| 欧美,日韩,亚洲视频| 国产精品自产拍在线观看社区| 亚洲精品中文字幕一区在线视频| 色噜噜婷婷| 熟女性视频| 妇女视频网站| 嫩草91| 亚洲国产97| 日韩欧美亚洲自拍偷拍| caoni国产亚洲av| 日韩电影天堂视频二区三区| 久久久久久无码人妻中文字幕| 老司机香蕉久久久久| 欧美人黑A片无码免视费| 日韩成年人性爱视频| 国产在线激情视频| 五月婷久久| 吉田爱美AV在线| 黄站在线免费观看| 牛牛操视频逼| 少妇无码太爽| 久久久九九| 国内偷拍精品一区二区| 自拍鲍鱼一区在线高清观看免费| 春色校园综合网| 99re6在线视频精品免费完整版安卓版| 超碰到97情色| 高清无码 国产精品| 美女诱惑爱爱| 伊人成人情色综合| 热久久无毒不卡| 国内外内射高清视频| 隔壁邻居波多野结衣中文字幕 | 久7色| 啊啊啊啊啊好大好舒服想要| 国产精品伦理| 人人艹亚洲| 啊啊啊操一区| 国产吹潮女在线观看| 色999亚洲人成色| 美女被啪到深处抽搐视频| 日韩熟女无码| 婷婷丁香六月天| 在线 亚洲 网爆 自拍| 肉丝无码中文高清| 超碰免费人妻人人| 极品五月天噜噜| 操逼短片| 日韩乱伦影音先锋| 99re69| 78精品在线| 日韩精品一区二区高清| 99色在线视频| 91激情国产| 国产精品一区av在线| 屌逼麻豆| 一区二区无码视频| 亚洲欧美一区二区三区一猛片| 久久免费老司机精品| 亚洲交换| 成年人一级黄色毛片大全在线观看| 9热9热综合网| 欧美高清18A片| 日本淫色网| 一区二区三区国产在线播放 | 人、人、摸,人、人、草| 岛国AV一区二区电影| 高清孕妇孕交 交| 3P乱轮视频| 今日头条成人一区二区三区四虎精品| 色牛aV| 亚洲一区中文字幕久久,果冻传媒一区二区天美传媒 | 精品一区96| 亚洲在线a| 欧美日韩91| 久操电影网| 亚洲码专区| 九九九九97| 亚洲黄色网址视频| 国产自啪精品视频网站黑丝| 国产精品亚洲免费| 中文字幕伊人| 天天操人人操狠狠插| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 白丝被操91| 日日天天久久啊啊aaa| 99久久99久久免费精品蜜臀| 精品十三区| 亚洲AV成人无码一二三久久| 96免费视频在线| 国产日韩色综合| 96爱综合| 中国一级特黄大片护士| 新精精品久久精品| 狠狠综合| 欧美亚洲中文| 色眯眯射| 手机在线视频国内精品| 欧美在线大香999| 国产一区二区啪啪视频| JuliaAnnXXX888| 青青草视频久久| 一二三区精品视频| 天天干一区二区| 黑人美精品 A片| 9久久久久久| 久久五月份| 大JI巴好深好爽又大又粗视频| 少妇诱惑视频| 另类小色呦| 天天干人人乐| 日本天天干天天搞一区| 久久婷婷色| 青春草莓视频在线观看网址| 亚洲91大片| 99这里都是精品| 老鸭窝在线视频播放| 五月丁香六月激情| 黄色片一区二区三区四区五区 | 亚洲精品电影| silk lablo在线观看一区二区| 国产AV色黄看到爽| 亚洲玖玖爱| 这里是精品| 大香蕉久| 爱爱啊啊啊| 日本久久网| 欧美巨大性舒爽顶到了| 搡老女人老91妇女熟女| 97干在线看| 狠狠色狠狠色狠狠五月| 91人妻人人澡人人爽人人精品| 内射中出日韩在线观看视频| 欧美日本国产日韩激情视频| 蜜乳中文字幕a在线| yazhouzaixian| 99久久无色码| 操逼日韩无码| 成人av在线播放| 中国和日本人色哪个不下载能放| 高清国产av无码| 人人操人人插 - 百度 - 百度| 一区二区播放| 久久久专区| 天美国产三级传媒| 乱伦熟女区| 三级AV入口| 亚洲无码日韩电影| 加勒比五月天| 欧美永久激情一区二区| 97天天摸天天碰| 国产激情在线| 涩涩这里只有精品视频| 秋霞色色影院| 日日爱99| 国产女主播视频在线观看| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 91蜜桃婷婷狠狠久久综合9色| 香蕉国产精品麻豆亚洲欧美日韩| 精品人妻一区二区三区免费视频| 人人爽人人精品乱人伦AV| 97人肏| 亚洲aV性爱| 日本三级A片网站com| 麻豆精品三区视频| 啊啊啊97视频| 欧美色图天堂网m| 长长久久曰曰夜夜成人网| 亚洲乱码尤物193YW| 欧美日韩日产免费网站看| 亚洲少妇在线观看| 啊啊啊免费| 99草精| 亚洲骚男同com| 精品一区二区三区四区外站 | 欧美激情 一区| 色五月激情AV在线| 老女人老91妇女老热女| 青青草手机在线免费观看| 人人乐大香蕉| 久久人人妻| 久久精品国产72国产精品福利| 亚洲91在线播放影院| 亚洲熟女乱色一区二区三区| 精品蜜乳AV免费观看| 97在线视频网站| 中文字幕AV中出| 黄色交缠性感爆操91国产精品免费一区二区三区| 校园春色亚洲无码| 91n免费处女| 国产妇女精品视频青青草| 少妇三P| 夜夜人妻爽| 老汉网| 99操| 久久宗合亚洲| 人人澡人人澡人人| 蜜区区视频79| 999热这里只有精品| 日韩图色| 色呦呦国产精品免费看| 日本人妻丰满熟妇久久久久久| 日本操逼无码| 欧美性爱第一区| 在线国产福利网址导航| 欧美十八禁在线看| 人妻久久久久久| 日日夜夜干| 狠狠干,狠狠操| 久久激情五月| 热天堂一区二区| 青青操在线亚洲视频观看欧美在线| 久久99手机免费视频| 内射卯月麻衣| 婷婷激情丁香| 日韩一级性爱无码| 国产高清在线观看欧美| 第一高清av中文字幕| 国产欧美日韩一区二区三区| 福利色色| 日韩美一区| 久久9 9 9精品| 久草新免费| 久日91在线| 久欲AV| 亚洲色电影在线| 操逼视频国产无套| 国产精品无码在线| 日韩丝袜人妻AV| 伊人伊人LD| 欧美黑人日韩少妇色情| 久久久亚洲熟妇熟女| 少妇一区二区三区高速| 色婷婷丁香五月| 偷拍网站久久男女男| 日韩欧美偷拍美女视频| 992视频一区| 日本人妻伦在线中文字幕| 久久九九国产精品| 欧美 亚洲 制服 精品| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 亚洲nv男人的天堂网| 男人的天堂不卡一区二区 | 国产99精品一区二区三区免费| 亚洲国产ⅴ高清在线观看| 八人操人人摸人人看| 国产67194| 国产AV天美| 人妻少妇久久| 日韩操啪| av九九| 一区二区三区蜜桃成人撸久久东京热 | 亚洲美女av无码| 亚洲乱伦图片视频| AND人妻系列| 视频在线97| 国产男女边吃边摸视频网站| 99热这里是精品| 中文字幕综合人妻| 一区二区三区国产在线播放| 日本网色| 欧洲精品久久| 极品色综合| 丁香色狠狠色综合久久小说| 国产高清成人传媒影视| 操逼999| 人人妻人人爱人人玩| 免费看欧美美女黄色大片| 美女97超碰| 色噜噜国产精品视频一区二区| 韩国黄片aaaa| 天堂麻豆天美| 97亚洲中文| 一级啊性爱在线视频| 2019AV天堂| 精品午夜福利| 婷婷五月影院| 极品色综合| 日本精品不卡一二三区| 91色碰| 日韩欧美传媒一区国产| 丁香五月天激情| 操老熟女AV| 国产黄片精品在线| 国产第11页| 在线观看一级α片刺激高潮视频| 久久人人妻| 欧美亚洲首页| 五月丁香成人网| 久草成人影片| 国产网红精品| 青木玲在线不卡| 日韩欧美成人午夜福利| 夜精品久无码| 91c色| 爱妻综合网| 人妻少妇被猛烈进入中| 试看福利| 日韩图区 偷拍| 久久精彩视频9| 国产91 丝袜在线播放00-百度| 秋霞视频一区二区 | 91少妇通奸网站| 国产美女mm131爽爽爽爽| 亚洲宗合网| 亚洲乱码国产乱码精网站| 一区二区三区色综合| 国产精品麻豆视频网站| 国产精品国产| 亚洲操人| 诱惑网综合| 91色艳| 九九综合九九综合| 中文字幕日韩精品一区二区三区| 日韩性爱视频在线免费观看| 97精品国产精品免费观看| 操逼操逼视频操逼| 久啪| 成人av免费观看| 97AV在线观看| 亚洲欧洲色情高清| 成人网站 免费观看| 一本色道久久综合亚洲二区三区| www.狠狠| 国产精品久久久久久亚洲色欲| 青娱乐大香蕉| 久久精品店| 欧美色另类| 好吊妞转入那个网| 免费视频在线一区二区不卡| 色综合久久夜色精品国产天堂| 夜间福利片1000无码| 国产精品乱码久久久久久久久| 欧美日韩性感| 超碰国产精品久| 久久久免费视频18| 九九Av| 国产福利一区二| 亚洲天堂人人妻| 精品在线观看视频在线| 熟妇色99| 欧美性爱网97| 丝袜大香蕉| 三级日韩一区二区三区| 欧美日韩婷婷中文| 久久激情五月| 成人无遮挡毛片免费看| 一区二区播放| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 美国aaaaa一级黄片| 南澳成人一级片在线播放| 日本天堂网| 色青青久久影视| 日本中文字幕不卡视频 | 很狠操| 99国内精品| ,成人免费啪啪视频| 青青草字幕AV| 久久女人视频| 91在线超高颜值国产| 91少妇人妻| 欧美色日| 97视频网站在线观看| 在线观看AV片| 人人操人人色网| 超碰在线在公开超碰在线在公开| 91暧暧| 综合一区中亚洲国产成人综合精品| 亚洲 欧美 精品专区 极品| 少妇专区一二三四五| 成人资源中文字幕在线观看天天| 思思热影视| 日韩激情电影中文字幕| 伊人网高清| 国产99999久久精品| 操人妻逼91| 亚洲91极品| 美女自卫慰黄网站免费| 国产AV精久久| 欧美呦呦性爱| 亚洲欧美日韩免费观看| 丰满人妻一区二区三区四区| 日韩天天本| 电影69乱码96| 精品国产嫩穴视频| 超91综合网| 爱av免费| 国产精品无码论坛| 性爱边摸边日免费AV| 日本一区视频在线观看| 男女性无套 免费九一| 97这里有精品| 久久区| 亚洲Av诱惑| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 操死我了啊啊啊| 欧美色图 人妻| 日韩三级在线观看mp4| 国产精品制服丝袜中文字幕日韩一区二区三区 | 日本久久综合| 国产精品网站免费| 亚洲色图20p| 99999无码| 内射日韩大臀美女| 精品久久在线区一区| 亚洲天堂电影精品一区| 五月婷婷六月激情| 国产成人手机视频激情| 人妻81p| 影音先锋视频在线| 超碰在线香蕉| 精品国产人成在线| 日本高清_区二区三区| 人人操人人搞人人草| 乱伦图av| 日日噜噜夜夜狠狠视频无| 亚洲精品乱码线路中文字幕| 2017人人操,人人摸| 成人性爱av| 亚洲成人免费中文字幕| 男女激情黄色网址| 免费一级欧美片片线观看| 亚洲五码一区二区三区| 男人的天堂在线| 亚州人妻| 影音资源男人日韩| 黄久在线| 熟人人妻少妇精品久久| 欧美桃色网| 亚洲欧洲日韩中文字幕一区| 天天综合青苹果| 亚州一区二区| 乱伦一二三区| 久操视频资源站公开| 被窝影院午夜看片无码| 国产日产精品久久快鸭的功能介绍| 精品一区二区成人| 女人高潮抽搐喷水视频网站| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 草蕉影视亚洲无码| 玖玖爱综合网| 97免费在线观看| 91视频伊人| 国产 无码 一区二区| 91狠狠综合久久久久久| 欧美久久毛片基地| 人妻大香蕉| 干少妇视频| 久久亚洲欧美中文字幕国语| 久久亚洲AV无码专区首页| 久久东京国产精品视频| 亚洲天堂性爱| 夜夜夜夜爽| 精品无吗m| 香蕉久久AⅤ...| 亚洲综合激情五月久久| 久久欧洲| 亚洲综合在线91| 欧美在线永久天堂| 亚洲成人综合在线| 亚州色图欧美| 日韩超碰97| 午夜啪啪片| 日韩草久视频| 亚洲欧美啪啪| {男男暴菊gay无套网站| 成视频在线观看免费看| 欧洲综合视频| 亚洲欧美啪啪| 摸奶性爱视频网站在线免费播放| 制服乱伦| 乱欲性色| 日韩人妻丝袜中文字幕| 亚洲蜜乳av| 亚洲人成色9999精品久久| 欧洲精品久久| 久久久久亚洲| 人人考人人摸人人干| 综合网久久| 九九九成人| 97在线精品观看视频| 1769精品一区二区三区| 日本日日色视频| 亚洲色图欧洲| 国内精品伊人久久久久影院会| 日本 免费 一区二区三区 久久香蕉| 亚洲色图8| 人妻 中文 日韩| 国产精品经典一卡久久久 | 国产一区在线看| 人人干人人操人人..com| 欧美少妇第一页| 校园春色美腿丝袜 | 狠狠色婷婷7777久| 国产热av| 污污汅18禁网站在线永久免费观看| 91亚州日韩高清| 情色五月天就去干| 国产精品久久久久久无码红治院| 刺激性视频黄页| 久久免费9| 全球成人中文在线| 941超碰| 成年人黄色视频免费| 久久婷五月| 欧美色图自拍| 成年人性爱日韩| 国产成人天堂| 免费观看国产不卡av| 韩国三级三级BD在线| 成人五月天丁香激情综合| 丁香五月偷拍| 超碰天天去日穴| 91丨熟女丨丰满熟女| 亚洲第一页欧美| 国产偷人伦激情在线观看| 9久综合网| 中文字幕在线免费观看 | 岛国A V在线免费看| av婷婷色网| 老司机福利青青草| 欧美人妻二区三区| 久久久一级| 午夜精品久久久久久久久久久久久| 欧美强奸乱能| 蜜臀在线看片| a在线观看| 亚洲双插| 婷婷五月天丁香| 国产精品不卡少妇白| 五月激情在线| 屁股久久久久久| 久久国产99精品72福利| 久久精品超碰| 91蜜臀在线久久久久| 久久伊人最新网址视频| 一区麻豆 高清中文字幕| 欧美传媒| 后入式视频国产自| 影音先锋中文字幕日本好一区二区| 超碰97欧美日韩| 日韩人妻一区二区精品| 果冻传媒A片一二三区| 国内自拍 日韩激情 99| 嗯嗯不要 视频| 激情一区二区三区在线观看| 91综合网站| 夜夜爽爽爽| 欧美日韩插逼视频| 成人久久久精品| 久久激情五月| 丰满人妻一区二区三区色-百度| 亚射在线| 91色综合| 中文字幕乱码人妻一区二区三区,99精品| 伊人操你| 欧美五区| 一本一道vs波多野结衣| 91老妇女| 欧美日日夜夜| 岛国片国产成人亚洲播放| 精品无码一区二区人妻久久蜜桃| 香蕉婷婷| 亚洲另类欧美精品| 韩日自拍| 丝袜熟女2P| 人干人人人操人人摸| 久操免费视频| 久久一区,青青青青草视频在线播放| 久久精品 六十路 熟女 欧美| 碰超人人在线一区二区三区| 狠狠狠狠狠干| 久久av一级av少妇av高潮 | 黄色十八禁| 天天日夜夜| 2019天天干天天操| 丰满少妇一区二区三区免费看| 97超碰逼| 激情五月婷| 日韩精品一区二区高清| 欧美啪啪天堂| 观看视频图片一区二区三区| 日本在线播放不卡一区| 精品无码久久久久久久久果冻糖心| 91nbbbbbb| 91狠| 美女9118禁| 久久人妻丝袜一区二区三| 最新亚洲人成网站在线影院| 四虎视频在线观看| 91美女丝袜诱惑视频| 欧美综合娱乐久久| 秋霞Av理论一级在线| 日韩精品操少妇| 亚州精人品大香蕉| 国产乱码精品一区二区三区四川| 丁香婷婷五月| 99蜜桃臀亚洲成人在线观看| 9久综合网| 国模少妇一区二区三区| 成人97人人超碰人人| 欧美中文综合| 日本二区不卡| 亚洲精品1区| 亚洲欧美九九九| 男人的天堂亚洲| 在线观看成人性爱免费小视频| 97精品网| 97超碰精品图片| 亚州 综合 色图| 亚洲1区| 特级丰满少妇一级AAAA爱毛片| 搡老女人老91妇女老熟女| 亚洲熟女乱色一区二区三区久久久 | 午夜激情成人在线观看| 国产白丝网站| 久久9免费视频| 久久美女国产| 韩国免费播放一级毛片| 火箭成精品视频884必出精品| 狠狠亚洲| 日本日日色视频| 有码免费观看| 操九九九九九九| 欧美国产日韩清纯唯美| 免费A V在线| 亚洲精品aa久久伊人| 搡老女人老妇女AAA一VU麻豆| 欧美中文综合| 亚洲97精品| 久久内射| 成人国产二区三区在线,男女精品。| 欧美 牲| 青青草黑寡妇男人天堂| 夜夜操91744565| 欧美天天拍| 91大胆欧美| 丰满人妻-区二区三区免费| 亚洲中文字母在线播放| 自拍偷拍 日韩无码| 黄片免费久久久久久久| 韩国黄片aaaa| 日韩激情中文字幕有码| 啪一啪免费视频| 欧美一级黄色18片免费看| 欧美激情中文字幕另类小说| 久久无码电影| 草莓精品视频在线免费观看| 影视综合无码少妇| 欧美性爱中文字幕无线码| 一起草日韩| 国模不卡| 国产树林里野战在线看| 嫖老熟女A片一二三区| 欧美十八禁在线看| 男人的天堂一区三区| 超碰免费人人| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 丁香五月天激情综合| 大香网伊人久久综合| 五月丁香激情综合网| 国产成人网址| 按摩中文字幕| 婷婷另类小说| 破处bbq| 亚洲中文丝袜美腿诱惑字幕| 淫淫综合网| 东京热男人的天堂| 八戒无码国产午夜福利| 26UUU欧美激情一区二区| 99性爱在线观看| 亚洲综合色婷婷| 婷婷99狠狠| 蜜桃传媒一区二区亚洲| 91精品婷婷国产综合久久竹菊| 久热99999| 一区二区三区四区理论片| 麻豆亚洲AV成人无码久久精品| 久久专区| 久操凹凸视频| 91社区拍啪人妻| 久久露脸国产老熟女| 丝袜六区| 国产精品 午夜福利| 色香欲天天天天综合色| 伊人网高清| 少妇久久久久久久久| a片偷拍视频| 福利在线黄片| 天天综合精品| 狠操91,com| 男人天堂网手机版婷婷| 91精品91久久久久77777俄罗斯老妇姓x| 欧美综合国产精品久久丁香| 激情干在线| 99热精品在线| 欧美变态激情网| 78精品| 少妇被c 黄 免费观看| 大香蕉乱级| 无码伊人久久大杳蕉中文无码| 国产精品女同| 超碰538| 91一区二匹| 日韩在线性爱免费视频| 青娱乐国产盛宴视频| 920日本午夜免费| 在线观看视频91| 台湾佬中文娱乐网久久久久久久久久com| 亚洲中文字幕熟女少妇一区二区| 欧美日韩啪啪电影| 婷婷色网| 青草影院内射高潮| 日少妇视频| 无码精品一区二区三区潘金莲| 亚洲有薄码区日本系列中文字幕| 97超碰天天爱天天爱| 婷婷10月天青娱乐| 色五天伊人| 在线观看十八禁| 综合亚州欧美| www.91理论| 日韩pv中文| 午夜视频久久久| 精品少妇人妻av久久免费| 操人91| 日本男人插女人的逼黄色| 在线小说视频一区| 国产肏逼网站| 无码视频黄色网战| www.AV有限公司一区| 亚洲久久久久| 91超级碰碰| 美女91av| 日夜干射色啊| 欧美亚洲图片| 中文字幕交换人妻| 第45页一区二区| 久久久久九九九九| 1024香蕉视频| 五月天欧美色图| 最新岛国大片| 青青操97| 亚洲欧美色图片| 丁香六月啪啪| 长久操视频| 九九精品99| 综合网久久| A级在线视频| 久久久艹艹艹| 丝袜美腿丝袜| 日逼视频日本| 曰韩少妇无码| 韩国一级做A片免费的| 丝袜视频网国产90| 欧美日韩岛国大片在线观看| 后入福利视频| 人妻22p| 国产AV中文| 久热婷婷| 超碰美国| 狼天天狼天天大香蕉| 亚洲无992tv| 91九色精品熟女内射| 亚州,欧美在线| 日本黄 R色 成 人网站| 97天天在线| 成人免费福利在线观看| 欧美在线第五页| 黄色av一区二区在线| 精品二区久久| 五月天伊人| 久这精品中文在线观看视频| 国产少妇与亚洲av| 国产又粗又长又大的视频| 91九色精品熟女内射| 国产成人五月天丁香花| 婷婷五月天av| 亚洲成a人v欧美综合天堂下载| 麻豆天美国美国产| 2017av无码免费无线播| 青春草A| 久草国产在线视频| 搡老熟女国产1000部| 激情五月天丁香社区| 精品国产乱码久久久久久日本公司| 久久99午夜精品一区人妻| 99色热| 99久久网站| 火箭成精品视频884必出精品| 最新加勒比丝袜在线| 亚洲啪啪视频免费| 亚洲爱爱视频一区二区| 精品国产乱码久久久久久口爆网站| 国产欧美日产一区二区三区 - 国产欧美日 | 欧美99热| 天天看天天日| 欧美综合在线91| 亚洲精品aa久久伊人| 97日亚洲欧美| 青青草吊丝| 免费综合亚洲中文| 日语五十路和六十路亚洲国产精品| 韩日巨乳美女免费视频在线观看| 强奸乱伦AV网站| 日韩91网| 超碰中文字幕人妻草一区| 国产99 中文字幕日韩小视频| 欧美色999| 婷婷15月天青娱乐| 国产精品成人在线| 黑人精品XXX一区一二区| 欧美淫乱视频| 三级片大波波| 91free福利| 黄片免费日韩| 人妻少妇精品无码专区二区密桃| 亚洲 91 在线| 每日更新AV| 乱性AV| 久久亚洲日韩国产欧| 丁香五月久久| 牛牛操视频逼| 超碰吊日色| 日本不卡二三区| 五月天久久久| 操逼啊啊啊91| 国产高清视频无码在线| 91精品国产91熟女| 中文字幕超碰CAO| 丁香久久| 久久精品国产亚洲AV无码电影| 欧美影院一区二区三区| 亚洲成人AB| 欧美色一二三| 国产一区二区三区中文字幕| 91丨熟女丨丰满熟女| 性爱网站一区二区| 国产区在线| 色综合99999| 精品久久久久黄少妇| 95人妻爽爽人人做人人澡 | www色色com| 一级性爱啪啪视频| 亚洲图片欧美色图| 欧美宗合网| 玖玖爱综合网| 日本男人插女人的逼黄色| www.97在线| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | a男人的天堂| 欧美九9 9 9| 人人做人人妻人人夜视频| 大香蕉乱级| 九九综合九九综合| 99久久99久久免费精品蜜臀| 亚欧美无遮挡| 人妻色情天天操| 亚州色国| 久久久久ab| 97一区二区蜜臀| 婷婷久久综合| 午夜色婷婷| 强免费黄色网址| 视频黄色国产一级| 免费观看网黄| 国产又黄又粗又猛大片| 久久久三区二区一区| 色男人色天堂东京热| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 亚洲瓯美色图| 18一区二区三区| A V少妇特黄三级| 大香蕉123| 精品久久青青草| 日本一区三级韩国| 五月丁香| 久久xxxx| 久久婷婷五月| 天天干天天插| 又黄又爽在线观看视频| 人妻天堂综合网| 五月婷婷丁香| 亚洲色图在线视频| 国产精品 亚洲情色| 中文字幕丝袜人妻| 在线 制服丝袜中出 人妻| 亚洲最新a在线观看| 亚洲色图欧美视频| 九九99久久| 人妻激情另类| 欧美黄页在线| 久久免费看高潮毛片韩国| 亚洲最大的黄色电影网站。| 啊啊啊97视频| 国产偷人妻精品一区二区在线| 精品国产乱码久久久兰草影视| 超碰午夜| 欧美热图99| 欧美天堂在线| 国产亚洲色婷婷久久99精品91 - 百度| 国产精品白丝| 国产男女边吃边摸视频网站| 操操操日本的逼| 不卡免费av在线播放| 五月丁香啪啪网| 精品国产一区二区三区av在线资源| 久久久99久9| 好舒服视频| 欧美精品系列| 日本不卡一区二区| 三级日本一区二区三区| av网站在线观看了| 在线视频日韩欧美国产| 国产女人高潮视频| 超碰精品| x97av| 久久青娱乐| 91综合在线| 精品少妇人妻av久久免费| 日本 欧美 国产一区| 五月丁香综合| 久久精品老司| 99热99re6国产在线播放| 伊人麻豆传媒| 久久久久久久九九九九九九| 日韩久久.一级黄色片| 九九色逼| 天堂国产AV| 日韩二区三四区五区六区在线看| 色97干| 久久精品 六十路 熟女 欧美| 日本视频一区二区三区| 色色99| 九草在线大香蕉| 亚洲综合另类色图| 国产精品久久久久久久久久久久久久吹 | 夜夜一区二区| 999 久久久| 欧美日韩中文视频播放| 蜜乳成人AV| 1人人看人人摸人人操| 亚欧高清在线| 欧洲综合视频| 98福利在线视频| 9九九国产| 天堂综合网| 日本操逼视频不卡直接放| 性爱视频久久| 欧美一区二区三区黄色影视| 少妇一区二区三区| 亚洲黄网在哪免费看| 偷窥自拍亚洲色图| 欧美亚洲清纯| 在线观看亚洲成人精品| 色综合久| 中文字幕乱偷人妻久久艾草网| 欧美 亚洲| 夜色AV无码手机在线影院| 第二页中文字幕| 自拍啪啪视频| 思思热国产在线视频| 日本一二区免费| 亚洲另类色综合网站| 草草影院最新网址| 伊人影院在线理论播放| 亚洲图片小说欧洲| 在线免费观看日韩一区| 一区二区三区精品黑丝白丝酒店对鸡 | 97内射偷拍| 人妻一区二区三区熟女| 久久肏大逼| 粉嫩久久久久| 国产精品视频在线观看| 蜜臀99久久国产| 99RE在线视频精品,这里只有精品| 久久久久久久| 人妻99p| 亚洲自拍欧美国产首页网曝 | 美国人人操人人操| 91N五十路| 国产精品3| 岛国视频一二三区| 第45页一区二区| 久久男人的天堂| 九九热精品在线| 亚洲 欧美 日韩另类 麻豆| 小日子操bb在线看| 亚洲操操操| 亚洲丨在线| 亚洲AV无码久久久国产精品| 97热视频在线观看|