亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

日志分析策略:從日志分級、輪轉(zhuǎn)到告警響應(yīng)的運維實戰(zhàn)指南

日志分析策略:從日志分級、輪轉(zhuǎn)到告警響應(yīng)的運維實戰(zhàn)指南 做運維和架構(gòu)這行時間久了都會有一個感覺日志分析這件事真正的門檻不在命令背得熟不熟而在策略。命令是死的grep、awk、journalctl 就那些參數(shù)任何人花兩周都能背下來但面對一臺故障機器、幾 G 日志文件的時候先看什么、過濾掉什么、統(tǒng)計什么、把哪幾條日志串成一條完整證據(jù)鏈這套東西才是拉開差距的地方。這篇是系列第三篇。前兩篇聊了 Linux 基礎(chǔ)命令和幾個常見服務(wù)的日志特征這篇重點放在“策略”兩個字上日志分級怎么定、采集輪轉(zhuǎn)怎么規(guī)劃、日常排查按什么套路走、告警閾值怎么設(shè)置才有意義。文章會按“源頭治理—分析套路—告警響應(yīng)—踩坑實錄”的順序展開適合正在從新手向資深運維過渡的同學(xué)也適合剛接手一套復(fù)雜業(yè)務(wù)系統(tǒng)的架構(gòu)師參考。后面所有命令我都基于實際生產(chǎn)環(huán)境驗證過的寫法可以直接抄。1. 日志分析策略的第一步給日志分級并建立排查邊界1.1 日志為什么要有“策略”而不是“搜關(guān)鍵詞”很多剛?cè)胄械耐聠栁胰罩痉治霾痪腿齻€命令嗎t(yī)ail、grep、awk出了問題直接去日志里搜 ERROR 不就行了。理論上沒錯但現(xiàn)實往往是一搜搜出來幾千行而且一大半是無關(guān)干擾。我舉一個真實的例子。某天凌晨支付服務(wù)報“下單超時”新同事在日志文件里 grep ERROR出來 5000 多行包括各種網(wǎng)絡(luò)抖動重試、緩存超時、熔斷降級看得頭皮發(fā)麻。而我接手后做的第一件事是先把排查邊界畫出來時間邊界定在故障前 5 分鐘到故障后 10 分鐘模塊邊界定在支付接口調(diào)用鏈級別邊界只看 ERROR 和 FATAL。這么一框真正需要關(guān)注的日志就剩一小段幾分鐘就定位到是數(shù)據(jù)庫連接池被慢查詢打滿。這就好比家里接到電話說水管漏水。你不可能把整棟樓的水管都拆開查肯定先問清楚哪個房間、什么時候開始漏、漏得嚴(yán)重不嚴(yán)重。日志分析的“策略”本質(zhì)就是這一套先問問題再動手的排查邏輯。沒有策略直接翻日志等于不用索引直接全表掃描運氣好能中運氣不好就淹死在日志海里。那問題來了這個“策略”到底怎么建我的建議是不要等到出故障才想而是提前把日志分級、邊界定義、分析順序這三件事固化下來變成團隊都能遵守的約定。1.2 一套通用的日志分級模型日志分級不是越細(xì)越好太細(xì)了反而沒人執(zhí)行。20 年下來我認(rèn)為一套夠用的分級模型只需要四層級別典型內(nèi)容排查時的關(guān)注點ERROR / FATAL服務(wù)異常、啟動失敗、數(shù)據(jù)庫連接失敗、未捕獲異常優(yōu)先看堆棧和上下文這是故障的主戰(zhàn)場WARN / INFO重試、降級、性能退化、狀態(tài)變更主要看趨勢和頻率單條往往不是問題ACCESS / AUDIT登錄、接口調(diào)用、權(quán)限變更、敏感操作安全審計、合規(guī)留痕、異常訪問行為分析DEBUG業(yè)務(wù)細(xì)節(jié)、變量值、流程分支平時關(guān)閉出問題時臨時開啟注意一個關(guān)鍵點ERROR 之間也有區(qū)別。有的 ERROR 是業(yè)務(wù)預(yù)期內(nèi)的比如用戶取消支付、第三方回調(diào)超時有的是系統(tǒng)級故障比如磁盤滿、OOM。如果只是機械地認(rèn)為 ERROR 就必須處理那告警疲勞、誤判會把人折磨到懷疑人生。正確做法是在日志格式里給錯誤分類預(yù)留字段比如[BIZ]表示業(yè)務(wù)異常[SYS]表示系統(tǒng)異常后面寫告警策略時就可以直接按字段過濾。很多 Linux 面試題里會考日志分析的常用命令但真正的工作場景里能用好分級模型的人永遠(yuǎn)比背命令的人走得遠(yuǎn)。分級模型定下來之后團隊里任何一個人接手排障都知道先看哪一層這就是策略的第一重價值。1.3 三個排查邊界提前畫好用起來省一半時間定完級別還要定邊界。我常用的邊界有三個每次排查前都會在腦子里過一遍。第一個是時間邊界。日志文件再大絕大多數(shù)故障都集中在某個時間窗口內(nèi)。先確定故障開始和結(jié)束的時間點然后用--since、--until或者sed -n /10:00:00/,/10:30:00/p把范圍切出來。沒有時間邊界就去翻全量日志基本等同于大海撈針。第二個是服務(wù)邊界。一臺機器上可能跑著十幾個服務(wù)日志文件也可能有幾十個。確定是哪個服務(wù)出了問題直接進對應(yīng)日志目錄比在一堆文件里 grep 高效得多。多服務(wù)共用一個日志文件時就靠日志里的服務(wù)名或模塊名字段來過濾。第三個是進程或請求邊界。一個服務(wù)進程下面有好多線程一個請求會經(jīng)過接入層、業(yè)務(wù)層、存儲層。要么記住異常線程的 PID用 PID 去 grep 上下文要么利用請求 IDtrace_id / request_id把一次請求在所有日志里的痕跡串起來。邊界定得越準(zhǔn)后面要分析的日志量就呈指數(shù)級下降。2. 日志采集與輪轉(zhuǎn)策略源頭治理比事后救火更重要2.1 journald 和文本日志怎么選很多系統(tǒng)默認(rèn)用 systemd 的 journald 收集系統(tǒng)日志這個設(shè)計非常好它把內(nèi)核日志、syslog、各服務(wù)標(biāo)準(zhǔn)輸出都收攏到一起用journalctl一條命令就能查詢而且自帶結(jié)構(gòu)化字段比如_PID、_SYSTEMD_UNIT、_HOSTNAME過濾起來非常方便。但 journald 也有兩個實際痛點。一是默認(rèn)不持久化重啟機器后日志會丟二是日志文件存儲格式是二進制的雖然journalctl能讀但想用其他分析工具直接處理時就不太順手。所以我推薦的方式是混用系統(tǒng)服務(wù)的標(biāo)準(zhǔn)輸出交給 journald用journalctl實時查業(yè)務(wù)應(yīng)用的關(guān)鍵日志單獨以文本文件落盤方便用傳統(tǒng)命令分析和后續(xù)采集。文本日志的好處是所有 Linux 系統(tǒng)都認(rèn)權(quán)限管理簡單日志分析工具鏈豐富出了問題拷貝一個文件就能交給其他人排查。如果你面對的是一套老系統(tǒng)沒有結(jié)構(gòu)化日志也沒關(guān)系文本日志足夠搞定絕大多數(shù)場景。不同發(fā)行版默認(rèn)配置略有差異但無論 CentOS、Ubuntu 還是各種國產(chǎn)發(fā)行版底層基本都是 systemd rsyslog 這套體系規(guī)則配置思路是通用的。2.2 logrotate 配置實例與參數(shù)解釋日志文件最怕的就是無限增長。磁盤被日志打滿服務(wù)各種異常這是生產(chǎn)環(huán)境最常見的低級事故之一。好在 Linux 自帶的 logrotate 能解決這個問題但我發(fā)現(xiàn)很多人只會寫最簡單的rotate 7遇到服務(wù)仍占用舊文件句柄的問題就一頭霧水。下面這個配置是我比較常用的模板拿一個應(yīng)用日志樣例來說明/var/log/myapp/app.log { daily rotate 7 compress delaycompress missingok notifempty copytruncate create 0640 app app }逐項解釋一下關(guān)鍵參數(shù)。daily表示每天輪轉(zhuǎn)一次rotate 7表示保留 7 份歷史日志。compress將輪轉(zhuǎn)出的歷史文件壓縮成 gzdelaycompress則是延遲一天再壓縮。為什么要延遲因為有些應(yīng)用進程在輪轉(zhuǎn)瞬間可能還在寫舊文件立刻壓縮會把正在寫入的數(shù)據(jù)壓壞延遲一天等文件徹底冷卻下來再壓更安全。copytruncate對某些不重開文件句柄的服務(wù)特別重要。默認(rèn) logrotate 會把舊日志改名、再新建一個同名文件但如果應(yīng)用始終持有舊文件的句柄那改名后它繼續(xù)往舊文件里寫新文件反而一直空著。copytruncate會先復(fù)制一份當(dāng)前內(nèi)容再把原文件截斷應(yīng)用無感知不會出現(xiàn)日志漏寫的問題。代價是復(fù)制和截斷之間可能有少量日志丟失但對大多數(shù)業(yè)務(wù)日志來說完全可接受。寫完之后先測試logrotate -d /etc/logrotate.d/myapp做空跑驗證確認(rèn)無誤再手動執(zhí)行一次logrotate -f /etc/lograte.d/myapp。2.3 采集側(cè)的幾個取舍輪轉(zhuǎn)只是第一步采集側(cè)的策略同樣不能忽略。第一件要做的就是對磁盤用量設(shè)置上限。journald 默認(rèn)日志增長可能很恐怖建議在/etc/systemd/journald.conf里設(shè)置SystemMaxUse500M限制總占用。如果用的是 rsyslog也要在配置里加上頻率限制避免某個服務(wù)瘋狂打印日志把整個系統(tǒng)拖垮。第二件是處理多行日志。Java 異常堆棧和 Python 的 traceback 都是一行開頭、后面跟多行的形式簡單的行采集會把一條完整異常拆成幾十條碎片分析時特別頭疼。這個問題最好在采集器層面解決Filebeat 和 Logstash 都支持multiline合并規(guī)則按“下一行是否以時間戳開頭”來決定是否續(xù)接這樣能從源頭規(guī)整日志格式。第三件是敏感信息脫敏。業(yè)務(wù)日志里經(jīng)常會混入密碼、token、手機號、身份證號如果不做處理就進日志平臺等于把用戶隱私直接暴露給所有能查日志的人。建議在應(yīng)用打印日志之前統(tǒng)一過濾或者在采集端用正則替換比如把密碼字段的password123456替換成password***。這類策略越早定越好出了安全事故再補就被動了。3. 一套能直接復(fù)用的日志分析實操套路journalctl grep awk3.1 journalctl 高效用法先說 journalctl因為它查系統(tǒng)服務(wù)日志確實好用。最核心的思路是“先縮小范圍再上過濾條件”而不是直接journalctl全量輸出然后慢慢翻。下面的命令組合我很常用journalctl -u nginx --since -10min -p err -x --no-pager這條命令的意思是查看 nginx 服務(wù)最近 10 分鐘內(nèi)級別在 err 及以上的日志-x自動補充日志中引用的文檔解釋--no-pager直接輸出到終端方便配合管道做后續(xù)處理。-u指定服務(wù)單位--since指定時間窗口-p指定日志級別這幾個參數(shù)配合使用絕大多數(shù)系統(tǒng)服務(wù)排查場景都能覆蓋。如果想導(dǎo)出結(jié)構(gòu)化的 JSON 日志做統(tǒng)計加一個-o json-pretty然后直接管道給 jq 等工具處理。比如journalctl -u payment-api --since 2024-06-15 10:00:00 -o json-pretty | jq select(.PRIORITY 3) | .MESSAGE這里有個容易忽略的細(xì)節(jié)journald 記錄的時間戳默認(rèn)顯示為本地時間但如果系統(tǒng)時區(qū)設(shè)置不對查出來的時間基準(zhǔn)就是錯的。排查前先date確認(rèn)一下系統(tǒng)時間否則你按“故障時間”去查日志很可能什么都查不到。3.2 文件日志的篩選與統(tǒng)計組合拳對于文本日志我的核心組合拳是“定位—上下文—統(tǒng)計”三步走。第一步用 grep 定位關(guān)鍵行注意用-E支持?jǐn)U展正則避免把多個條件拆成多條管道。定位到少量目標(biāo)行后用-A和-B拉出前后文grep -n ERROR /var/log/myapp/app.log | head -20 grep -n -A 20 -B 5 NullPointerException /var/log/myapp/app.log第二步是統(tǒng)計找出“到底哪里報錯最多”。比如我要看某個接口的錯誤集中在哪個模塊就先拿到日志中模塊字段對應(yīng)的列然后統(tǒng)計 Top 10grep ERROR app.log | awk {print $6} | sort | uniq -c | sort -rn | head -10這條命令的邏輯先篩出所有 ERROR 行awk 取出第 6 列具體字段按實際日志格式調(diào)整sort 排序讓相同值相鄰uniq -c 做次數(shù)統(tǒng)計再按次數(shù)倒序排列取前 10。這樣一跑哪個模塊是故障熱點、哪個服務(wù)在刷屏一目了然。如果要做時間維度分析看某個時間段錯誤量的變化曲線可以用 awk 截取時間字段并按分鐘歸并awk /2024-06-15 10:/{print substr($0,1,19)} app.log | uniq -cuniq 的原理是相鄰去重所以前面必須保證時間字段已經(jīng)排好序如果原始日志亂序就先 sort 一下再 uniq -c。這個統(tǒng)計思路可以靈活改造比如把時間粒度改成小時、把過濾條件從 ERROR 改成某個業(yè)務(wù)碼就能得到完全不同的觀察角度。3.3 把日志串成證據(jù)鏈時間、PID、RequestID單條日志只是孤證真正能定位根因的是證據(jù)鏈。最常見的串聯(lián)維度有三個。第一個是時間線對齊。多服務(wù)部署時同一個故障會同時落在多個服務(wù)的日志里而且各自時間戳可能還有毫秒級偏差。我會把相關(guān)日志先按時間排序再用 grep 或 sed 把同一時間窗口的日志提取出來按時間交錯排列這樣請求鏈路的前后關(guān)系就非常清楚。純文本排序用sort -k1,2之類的參數(shù)按時間列排序即可。第二個是 PID 關(guān)聯(lián)。遇到線程池滿了、CPU 飆高這類問題先用 top 或 jstack 拿到異常線程的 PID然后直接拿去日志里過濾grep PID12345 app.log | tail -50通過 PID 能把一次線程從創(chuàng)建、執(zhí)行到報錯的完整過程還原出來。這個方法尤其適合排查 JVM 服務(wù)和 C 服務(wù)。第三個是 RequestID 追蹤?,F(xiàn)在稍微正規(guī)一點的系統(tǒng)都會在接入層生成一個 trace_id通過 HTTP 頭或日志字段向后端傳遞。只要日志里打了這個 ID無論請求經(jīng)過多少個服務(wù)都能用一條命令把整條調(diào)用鏈撈出來grep trace_id8a2f5c1e9d gateway.log | sort -k3 grep trace_id8a2f5c1e9d payment-api.log | sort -k3這里我沒法一步跨文件拼接所以通常的做法是把每個服務(wù)的匹配結(jié)果分別導(dǎo)出成小文件再合到一起按時間排序。遇到一次復(fù)雜的分布式調(diào)用超時這個思路能節(jié)省數(shù)小時。我印象最深的一次排障支付服務(wù)報連接池滿用 PID 關(guān)聯(lián)日志后發(fā)現(xiàn)是某個定時任務(wù)發(fā)起了一批慢 SQL把池子占滿了而請求量大只是表象。沒有證據(jù)鏈這種隱蔽根因根本挖不出來。4. 告警與響應(yīng)策略從“看到日志”到“處理完故障”的最后一公里4.1 告警閾值怎么定才有意義很多人第一次寫告警規(guī)則時都會犯一個毛病只要日志里出現(xiàn) ERROR 就告警。結(jié)果一天幾百條夜里被電話轟炸很快就沒有人再認(rèn)真看了。等真正出了大事故告警響了一聲沒人接反而誤了時機。正確的做法是先建立基線。統(tǒng)計過去 7 天每天同一時間窗口內(nèi) ERROR 數(shù)量算出平均值和標(biāo)準(zhǔn)差再以“平均值 N 倍標(biāo)準(zhǔn)差”作為閾值基線。比如某服務(wù)的日均 ERROR 是 100 條波動標(biāo)準(zhǔn)差是 20 條那閾值可以定在 160 條左右。低于這個數(shù)都屬于正常抖動不需要打擾任何人。更穩(wěn)的組合方式是“比例 持續(xù)時間”。比如錯誤率超過 1% 且持續(xù) 3 分鐘才觸發(fā)告警或者 5 分鐘內(nèi)錯誤數(shù)環(huán)比上升超過 200% 才觸發(fā)。用比例而非絕對值可以自動適應(yīng)流量高峰和低谷的變化。我?guī)鸵患译娚陶{(diào)過支付告警原來是每天上百條誤報改成“錯誤率 持續(xù)時間”的組合策略后一周只有 3 條有效告警而且每一條都對應(yīng)真實事故。4.2 告警分級與降噪策略告警必須分級否則處理人的心態(tài)永遠(yuǎn)是“狼來了”。我習(xí)慣分成三檔級別定義響應(yīng)要求P1業(yè)務(wù)不可用、數(shù)據(jù)丟失、核心服務(wù)宕機5 分鐘內(nèi)響應(yīng)立即拉群、通知值班長P2核心功能受損但系統(tǒng)可用如支付成功率下降30 分鐘內(nèi)響應(yīng)優(yōu)先排查P3非核心異常、潛在隱患如某接口偶發(fā)超時記錄觀察白天處理分級之后還要降噪。常用的降噪三招一是收斂通知同一個故障在告警恢復(fù)之前不重復(fù)發(fā)送避免一個人一分鐘收 10 條短信二是加白名單把已知業(yè)務(wù)預(yù)期的 ERROR 特征碼排除掉比如“用戶取消支付”這種業(yè)務(wù)事件三是確認(rèn)機制告警發(fā)出后如果 10 分鐘內(nèi)無人確認(rèn)自動升級到下一級。這套機制跑順之后值班同事的精神壓力會小很多真出問題的時候響應(yīng)速度反而更快。4.3 從日志到處理的完整閉環(huán)日志分析的策略最終要落到“能自動處理就自動處理不能自動處理就走標(biāo)準(zhǔn) SOP”。我見過太多團隊日志采集做得很完善告警也響得很及時但告警響應(yīng)全靠某一位老師傅手忙腳亂地操作。這樣的策略算不上閉環(huán)。比較理想的閉環(huán)是告警觸發(fā)后先由腳本自動嘗試恢復(fù)。比如磁盤空間超出閾值自動清理臨時文件和過期備份進程掛了自動拉起并打印重啟原因。自動處理不成功再帶著已經(jīng)在告警信息里拼好的上下文轉(zhuǎn)人工。這樣排查時的“起跑線”就高了很多——值班人手上有的是“日志證據(jù)包加推薦處理動作”而不是一條干巴巴的告警短信。我還要求團隊每次故障處理完必須做一次日志復(fù)盤當(dāng)時哪些日志信息有用哪些日志字段缺失導(dǎo)致多花了時間這些結(jié)論反哺到采集策略和告警規(guī)則里。做上兩三輪之后告警的準(zhǔn)確率和排障速度都會有質(zhì)的提升。5. 20年運維踩坑實錄日志分析里最容易翻車的四個細(xì)節(jié)5.1 時區(qū)與時間戳陷阱時區(qū)問題是日志分析里最隱蔽也最坑人的細(xì)節(jié)。有一次我們排查一個凌晨的支付超時業(yè)務(wù)日志顯示請求是 00:30 進來的但系統(tǒng)日志顯示同一時間服務(wù)已經(jīng)在 08:30前一天晚上就出現(xiàn)了連接異常。兩邊時間差了 8 個小時因為應(yīng)用服務(wù)器時區(qū)設(shè)成了 UTC而業(yè)務(wù)日志的框架按系統(tǒng)時區(qū)打印了 UTC 時間到了人的腦子里又自動換成了北京時間導(dǎo)致怎么都對不上。遇到這種問題手動轉(zhuǎn)換可以用 date 命令date -d 2024-06-15 00:30:00 UTC %Y-%m-%d %H:%M:%S %Z這條命令把 UTC 時間轉(zhuǎn)成本地時區(qū)時間輸出直觀。但更根本的解決策略是所有服務(wù)器、所有應(yīng)用日志統(tǒng)一使用同一時區(qū)國內(nèi)業(yè)務(wù)一般統(tǒng)一 UTC8或者在日志格式里直接寫入帶時區(qū)的 ISO8601 時間戳比如2024-06-15T00:30:0008:00。這樣不管是采集、存儲還是人工分析都不會被時區(qū)差異干擾。定這個規(guī)矩花不了十分鐘但能避免以后無數(shù)個深夜的“幽靈時間”。5.2 ANSI 顏色碼干擾統(tǒng)計結(jié)果systemd 的 journalctl 輸出默認(rèn)是帶顏色高亮的如果直接管道給 grep、awk 處理問題不大但如果先把輸出重定向到文件再統(tǒng)計那些顏色轉(zhuǎn)義序列會殘留下來變成一堆[36m之類的垃圾字符。統(tǒng)計結(jié)果會莫名奇妙地偏多或偏少而且你還看不出來原因。我踩過這個坑后養(yǎng)成了習(xí)慣任何文本日志的原始文件盡量不帶 ANSI 色碼應(yīng)用打印時直接關(guān)閉顏色輸出如果拿到了帶顏色的日志先統(tǒng)一清洗一遍再分析。清洗命令如下sed -r s/\x1B\[[0-9;]*[mK]//g dirty.log clean.log\x1B是 ESC 字符后面的[0-9;]*[mK]匹配顏色代碼序列。文件名帶顏色碼的日志先過一遍這條命令再去 grep 正則就準(zhǔn)確多了。我還見過有人因為在日志里搜索[36mERROR啥都搜不到最后發(fā)現(xiàn)是顏色碼把字符串分隔開了。這種問題不大但一旦遇到會浪費半小時。5.3 大文件分析與管道緩沖問題日志文件超過幾個 G 時管道的“斷流”問題就顯現(xiàn)了。常見場景是用 grep 從大文件中篩出結(jié)果再接 head 只取前 10 行。head 讀夠 10 行就退出但 grep 還在繼續(xù)讀文件寫管道時發(fā)現(xiàn)下游沒了就會收到 SIGPIPE 信號直接被終止。這時候 shell 會報 “Broken pipe”grep 處理到一半就被殺掉了。更隱蔽的問題是你拿到了前 10 行但不確定這 10 行是否覆蓋了所有關(guān)鍵信息。解決方案是不要用 head 截斷管道而是用 grep 的-m參數(shù)直接限制匹配行數(shù)grep -m 20 FATAL app.log這樣 grep 找到 20 行后就主動停止不會浪費資源繼續(xù)掃全文件也不會觸發(fā)管道斷開。另外面對壓縮過的老日志直接zgrep、zcat就能處理不用先解壓。還有個小技巧運行g(shù)rep 文件時直接傳文件名不要先cat 文件 | grep這樣能省一次大文件讀盤對幾個 G 的日志來說差別非常明顯。5.4 輪轉(zhuǎn)間隙導(dǎo)致留證不足有次生產(chǎn)故障我們花了一整天才定位到根因結(jié)果想回頭翻出事當(dāng)天某個節(jié)點的日志時發(fā)現(xiàn) logrotate 已經(jīng)把當(dāng)時的日志輪轉(zhuǎn)并清理了只剩壓縮包。壓縮包里的內(nèi)容還不全因為故障高峰期日志量巨大沒等到第二天就觸發(fā)了按大小輪轉(zhuǎn)歷史文件被覆蓋。沒有原始日志那次復(fù)盤只能靠記憶拼湊非常被動。從此我定下規(guī)矩任何一次故障響應(yīng)第一件事不是分析而是先留證。哪怕是正在處理也要先執(zhí)行一條保存命令cp /var/log/myapp/app.log /var/log/myapp/archive/app.log.$(date %F_%H%M).save如果日志文件特別大來不及全量復(fù)制就用 tail 保存尾部因為大部分故障的現(xiàn)場都集中在最新的一段tail -c 200M /var/log/myapp/app.log /var/log/myapp/archive/app.log.tail.save這個習(xí)慣救過我很多次。重要的業(yè)務(wù)日志建議直接送到中心化日志平臺保留至少 30 天這樣既不怕輪轉(zhuǎn)清數(shù)據(jù)又能跨服務(wù)器檢索。本地輪轉(zhuǎn)策略解決的是磁盤風(fēng)險中心化日志解決的是留證和檢索兩者配合才算完整。最后分享一個我沉淀多年的小習(xí)慣接手任何一套新系統(tǒng)第一件事不是看代碼而是花一個下午把日志的分級、輪轉(zhuǎn)、采集、告警這四件事捋一遍。磨刀不誤砍柴工策略一旦建立起來后面每一次排障都快很多。日志分析這件事你把它當(dāng)搜索它就是一條命令的事你把它當(dāng)策略它就是整個運維體系的指路標(biāo)。這個系列后面還有一篇計劃專門寫容器和云原生場景下的日志分析差異有興趣的話可以先關(guān)注到時候?qū)φ罩词斋@會更大。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
曰韩人妻中文字幕在线 | 久久最新视频免费观看| 久久五十路熟女人妻| 91国产丝袜白虎| 91骚妇| 91欧美| 国产成人一级av88| 欧美操逼熟女| 韩国手机不卡无码三级视频| 97欧美资源| 亚洲天堂日本| 东京热精品97综合网| ′ !γ}丶。。久久精品欧美一区二区三区| 99久久精品国产高潮| 91综合色噜噜| 日韩兔费看黄片| www.成人无码| 久久久久久免费电影| 91精品人妻一区二区三区蜜桃臀 | 91天射| 国产操伦| AND人妻系列| 啊啊啊想要| 青青伊人久久| 大香蕉男人的天堂| 蜜臀久久99精品久久久久久久久| 久久九九国产精品| 亚洲美女自拍偷拍视频| 热久久国产| 黄色视频高清无码网站| 懂色Av一区二区三区| 99热这里只有精品1| 91AV天堂| 劲爆欧美人妖三区91| 亚洲自拍欧美色综合| 超碰天天久久79| 欧美日日夜夜| 91热色| 久操影视| 东京男人天堂| 人人操人人93| 亚洲欧洲日本精品中文a∨| 国产成人超碰在线| 国产二区视频在线观看电影| 操逼操逼逼操操逼91 | 视频黄站| 亚洲玖玖爱| 久久久免费视频18| 美欧色综合| 日产操逼| 国产一级作爱毛片| 色情五月综合婷婷| 超碰亚洲欧美日韩无| 欧美日韩丝袜| 久久久久久久久国产| 久久久草草精品| 亚洲激情深爱文学小说网站| 欧美 亚洲精品首页| 久久久久九九九| 免费试看60秒| 亚洲天堂AV在线播放| 国产 无码 一区二区| 人妻熟女一区在| 精品久久在线区一区| 美腿色图| 日韩无码第3页| 97国产超碰| 精品久久无码午夜福利| 国产呦精品一区二区三区下载| 一区二区三区欧美激情| 禁止观看美女黄| 五月天加勒比啪| 亚洲中文字幕熟女少妇一区二区| 8x福利精品第一福利视频导航| 一区二区三区四区免费视频| 极品五月天噜噜| 中文字幕AV片| 亚洲全色网| 久久精品日韩| 亚洲麻豆精品二区三区| 欧洲亚洲综合| 黑人精品一区二区在线播放| 久久性爱视频| 国产中文字幕在线观看| 中文字幕精品一区欧美| 欧美最婬乱婬爆婬性视频 | 久久久久日本视| 超碰综合色| 啊啊啊好大好深| 欧美系列在线一区二区| 亚洲综合69| 国产一区在线播放| 色婷久久| 色99久草| 99精品视频在线观看| 97干综合网| 欧美精品宗合| 骚货人妻偷情自拍在线视频| 久久精品国产亚洲AV先锋| 日本99久久| 9长久久精品| 日韩啊V| 久久人妻丝袜一区二区三| 五月婷婷青青草娱乐伊人| 思思视频免费看网站| 亚洲色图大香| 天天看片青娱乐| 99热综合| 欧美色图亚洲色| 丁香五月激情综合国产| 欧美高潮| 屌逼传媒| 尤物网站91| 96AV精品| 人人做,人人操,人人摸| 爱爱动态试试看6 0秒| 999久久久九九九九| 欧美九9 9 9| 99re9| 欧美色五月| 久久久久久久久一区二区三区| 国产 亚洲 丝袜 制服| 天天干天天日天天射黄色片| 亚洲 日韩 丝袜 熟女 变态| 国产精品一区二区后入| 九九无码视频| 国产综合久久久麻桃个| 激情终合网| 2018天天干在线视频| 亚州人妻| 福利伊人玖玖国产| 97人人色| 亚州精品一区二区三区香中文字幕在线| 97在线观看视频| 超碰国产在线| 无码操逼视频一下| 中出人妻中文字幕91在线| 黄片不用下载在线观看| 夜夜欧美 | 欧美综合色综合| 蜜乳AV一区二区三区四| 天美传媒精品一区二区| 色色97爱| 91伊人大香蕉| 色婷婷丁香五月| 热99这里有精品综合久久 | 日韩影片中文字幕一区二区三区| 呦呦影院| 国产又大又粗又长视频| 日韩精品9999| 色播五月婷婷| 最近2018中文字幕在线高清第一页| 日夜久久久九九九久| 天天操夜夜嗨| 日韩人妻丝袜中文字幕| 天天舔天天日天天射| 亚洲欧美国产成人综合不卡| 日韩AC| 亚洲成成熟女人综合一区二区| julia高潮后不停追击中出| 蜜桃狠狠色伊人亚洲综合网站| 99re8免费高清在线| 2020国产精品| 欧美性爱91| 久久亚洲一区二区色婷婷| 久久人妻四季| 亚洲AV成人无码一区二区三区在线观看 | 亚洲欧美天堂在线| 日韩精品在线观看网站| 日本中文字幕不卡视频| 亚洲激情视频| 在线五区| 97精品综合久久网| 夜夜夜久久| 99热最新| av网页一区二区三区| 九色黄站| 粉嫩av平台| 日韩无码服务区| 啊啊啊啊操死我了| 不卡九肏| 天天干一区二区| 亚洲免费人妻在| 亚洲精品国产日韩无码AV永久免| 日本大香蕉综合网红本杳社区| 欧美中文字幕一区 | 国产精品久久久蜜臀| 激情五月天综合网| 久久美女福利是上海美女| 午夜福利国产欧美日韩夜夜| 亚洲情色欧美| 天天综合网在线观看| 欧美中字不卡| 久久m| 久久久111| 蜜臀99999| 一区二区 韩日AV| 亚洲av强奸乱伦| 夜夜影视四色| 国产男人又猛又粗又爽| 岛国激情视频在线观看| 51国产午夜精品视频| 久久久久久久人妻丝袜| 探花视频免费观看国产专区| 男人的天堂va在线| 丁香七月婷婷| 另类TS人妖一区二区三区| 日韩成人无码| 91亚洲色人| 人人干黄色| 日韩精品中文字幕人妻| 大香蕉一区二区在线观看.| 黑人免费福利视频| 岛国在线国产| 亚洲欧美精品福利在线| 蜜桃臀av在线观看| 翘臀vidoes| 极品色社| 午夜福利区| 制服诱惑亚洲一区二区三区在线观看| 偷拍综合亚洲| 欧美精品欧美精品系列| 人妻欧美| 亚洲一卡二卡在线免费| 亚洲欧美在线观看无码| 一级黄色牲爱A级片| 日韩婷婷| 一区麻豆 高清中文字幕| 色婷婷蜜臀av| 久久 久久国内精品亚洲| 天天综合网合集91| 欧美人妻制服| 精品人体无圣光凹凸| 日韩欧美国产高清视频| 国产成人资源| 人妻免费观看| 国产老太乱伦一区| 亚洲人妻中文高清| 亚洲日本韩国极品一区二区| 久久婷婷在线观看视频| 亚洲做性| 日欧操屄| 欧美熟爽综合| 热热色国产一二区AV| 日韩色香| 91 亚洲 欧美 日韩 国产 综合| 综合久久婷婷| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊| 91老熟女91老女人| 女沟厕偷窥piss小便| 中文人妻av高清一区| 国内精品久久久久影院亚洲| 亚洲不卡不卡中文字幕不卡| 国内外毛片在线观看| 五月婷亚洲精品天堂| 在线观看免费视频国产| 国产一区96在线| 亚洲素人网| 超碰色综合| 精品偷拍13p欧美dodk视频| 99热思思| 激情四射婷婷六月天| 亚洲日韩人妻中文字幕一区| 久久婷婷五月综合| 中文久久96| 蜜乳中文字幕a在线| 亚洲欧美日韩夜夜| 亚州日韩97| 久久啊啊啊| 婷婷丁香五月天综合东京热| 99re不伦| 91免费看一区二区三区| 无码99| 另类老少妇| 韩国一级AAA| 久久人人爽爽爽人久久久| 日本高清一本二本免费不卡| 中文字幕精品日韩中文字幕| 97色妞| 免费岛国一级片| 综合色99| 中文有码9| 亚洲天堂人妻熟妇视频| 超碰97最新人妻| 女人天堂av在线播放| 九九九九久久久| 新怡红院| 99热91| 欧亚日本情色| 婷婷中文网| 四虎精品一区| 五月天大香蕉| 熟妇人妻精品一区二区| 婷婷久久综合久| 91 亚欧| 一区二区娱乐网站| 国产精品96| 青青草视频这里只有精品| 欧美精品一二三| 99色色| 熟女精品日韩一区二区三区 | 中文字幕欧美精品亚洲日韩蜜臀| 久热大香蕉| 丝袜美腿丝袜| 蜜桃不卡一区二区| 精品国产一区二区三区四区在线看| 不卡人妻少妇精品毛片一区23区视频| 日韩兔费看黄片| 成人AV素股で擦久久| 亚州欧美色图| av午夜玫瑰| 老司机深夜18禁污污网站| 夜夜高潮夜夜爽| 人人干黄色| 亚洲日本天堂| 亚洲高潮少妇| 日韩免费三级黄片电影| 综合色久欲| 亚洲色鬼| 欧美日韩激情无码专区| 大香蕉人妻久久| av在线浏览| 在线播放一级无码视频| 97资源站国产精品| 婷婷情色五月天| 九九无码视频| 日韩成人精品| 超碰 国产熟女精品一区| 五月香婷婷| 粉嫩av在线| 好好的日:com久久九九| 91精品国产麻豆国产自产在| 久久精品国产亚洲5555| 天美一区在线| 天美麻豆精品视频99| 无码免费在线观看黄色片| 欧洲站一级二级三级h| 碰碰在线视频| 色综合久| 色操逼网| 国产精品懂色tv影视免费观看| 亚洲熟久久| 九九九九88| 97国产高清视频在线观看| 97在线视频免费| 操逼短片| 日韩在线97| 97电影院超碰| 大香蕉免费乱伦视频| 啊啊啊免费视频| 91精品操美女| 97超碰精品成| 色91综合网| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 亚殴在线| 日本三级日本三级99| 天天日天天干天天色| 日韩欧美蜜桃精品久久中文字幕久久 | 美女91av| 欧中日成人免费影视| 狼人久草| 蜜臀AV网站| 久久性爱精品一区| 偷拍精品一区二区三区| 伊人超碰97| 我想要啊 啊 啊| 欧美 日韩 国产传媒| 99视频内射三四| 风流老熟女一区二区三区l| 美女诱惑一区| 97在线免费看视频| 麻豆尤物视频网| 色99久草| 国产精品乱码久久久久久久久| 色综合久久夜色精品国产天堂| 精品射1999| 99热免费| 成人贴图日韩欧美| 日韩性色b| 成人夜夜爽| 日本一区三级韩国| 久久99国产综合精品女同| 狠狠操狠狠| 99操视频| 91亚洲色人| 五月香婷婷| 久久久久久无码人妻中文字幕| 91情色在线| 久久性爱城| 久久九九国产精品| 欧美日本国产日韩激情视频| 亚洲系列第一页| 综合欧美激情网| 色嗨嗨在线| 搡老人老9丨女老熟人| 91在线超高颜值国产| 偷拍亚洲熟女视频播放| 五月天丁香婷婷综合网站| 国产www色在线观看| 亚洲AV无码AV吞精久久久久| 色久桃花影院在线观看| 日韩一区二区三区四区五区| 国产树林里野战在线看| 天天插天天插| 亚洲棕合电彰| 后入式五六区| 亚洲丝袜少妇在线| 午夜人人操| 亚洲导航深夜福利| 激情色色| 日本一天色道久久久精品视频| 亚洲精品一区二区免费在线观看| 91熟女视频网| 精品一级毛片在线观看| 国产精品干干干| 婷婷久热| 午夜毛片高清免费不卡| 久久久日本电影| 香蕉国产精品麻豆亚洲欧美日韩| 日本www操操操| 欧美性少妇| 国产福利合集| 亚洲日韩美女中文字幕乱| 日韩另类色图| 最新9久久久9免费视频| 中国人高清www色视频免费| 国产一级特黄大片处女| 五月天色五月| 伊人色综合欧美| 亚洲欧美另类图片| 尤物一级在线免费观看| 欧美有码亚洲中文字幕一区二区三区四区| 在线小视频| 麻豆美女丝袜人妻中文| 国产精品无码论坛| 上床不卡网站| 国产成人久久精品蜜臀| 免费观看啪视频| 操操操操网黑人| 国产极品馒头逼| 中文字幕亚韩| 欧美亚洲高清不卡| 国产精品第一区第一页| 开心激情婷婷| 97久久超碰亚洲| 亚欧成人综合影院| 丝袜综合| 日韩性爱小视频| 五月丁香综合| 亚洲 欧美 日韩另类 麻豆| 久操com| 色眯眯射| 亚洲欧洲av影音| 91欧美高清| 欧亚 另类 久| 黄色高清无码无码破解免费暗网| 性色av一区二区| 内射夫妻三片| 欧美大香蕉97| 日韩免费高清大片在线| 草久久久| 强奸乱伦AV网址| 91麻豆天美国产| a'v在线资源| 粉嫩国产精品久久粉嫩| 国产成人久久精品蜜臀| 欧美综合骚| 欧美精品黑人猛交高潮| 精品久久視頻在线| 日本506070| 精品国产乱码久久久久久影片| 亚洲图片欧美偷拍| 亚州少妇| 国产精品视频91久久| 中文字幕91综合| 日韩精品资源专区二区| 91久久18禁| 黄色在线网站| 天天日天天干天天摸天天操| 天天做天天爱天天爽| 久久系列| 丝袜无码a片| 国产精品呦一区二区三区| 老女人碰碰在线碰碰视频| 国产女人与拘做受视频免费| 人妻大香蕉| 91超级碰| 欧美性爱第一页久久| 日韩不卡码| 韩国午夜理伦三级好看| 欧美大的香蕉有线电视视频| 亚洲色图久久成人| 五十路六十路素人熟女| 一本一道久久综合久久| 2020视频1区2区3区| 黑人精品一区二区在线播放| 超碰久久精品| 大香蕉碰碰| 国产JDAV无码视频在线观看| 91黑丝操| 美女啊啊啊啊啊啊啊| 亚洲无码成人精品| 久久香蕉国产线看观看亚洲女人 | 1人人看人人摸人人操| 亚洲图片 激情小说| 国产67194| 一起草三级AV电影在线观看| 看看日B真人视频| 中亚av| 无码精品人妻一区二区三区妖精 | 人妻日日夜夜精品| 日本视频在线观看污污污| 欧亚三区动漫| 好舒服视频| 精品视频久久久久九九九九9999 | 99精品伊人| 色久综合| 久久AV无码网址| 一级毛片电影免费看| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 成年男人的天堂| 五月丁香社区婷婷日韩欧美精品影院| 在线午夜成人无码视频| 亚洲图片欧美另类综合免费视频大大香| 九九九九久久久| 日本三级网页| 欧美日韩*字幕一区| 四虎AV在线播放| 人妻黑丝袜电影| 中文字幕在线观看网页| 久久人妻精品| 强奸a片网| 黄色av网站在线播放| 女人综合网| 天堂网亚洲区手机版| 另类视频在线| 欧美91网站| 美女裸体麻豆天美蜜桃91| 99热在线观看| 九热视频| 亚洲成人综合在线| 99日精品欧美国产| 黄色小视频日本txt| 成在线人在线观看视频| 无码精品久久| 亚洲乱色熟女一区| 国产极品粉嫩馒头一线天av| 97色97干| 亚洲欧洲激情卡通另类文学四射小说网站| 国产嫩草精品A88AV| 男人天堂久久精品不卡| 狠狠干妹子| 夜色97| 国产蜜臀在线| 日韩电影中文字幕| 国产美女91| 一卡二卡在线播放| 亚洲骚逼少妇| 国产白丝AV| 深夜国产福利| av影片在线观看不卡| 亚洲97超碰| 中文字幕精品探花视频| 亚洲乱码精品一区二区| 私人尤物在线精品不卡| 欧美gv在线观看| 日本人妻中文字幕精品| 美女尤物人人操| 人人干人人搞人人摸| 国产激情片在线观看| 激情AV| 中文无码一二三区| 国产精品色哟哟| 伊人aaa| 日韩精品人妻中文字幕不卡乱码| 色色九区| 第四色奇米影视777| 欧美另类精品xxxx| 久久五月视频| 欧美最婬乱婬爆婬性视频 | 乳欲人妻办公室奶水| 97摸视频| 欧美日日网| 天天看特黄的免费网站| 欧美高潮| 在线精品福利免费播放| 热久久这里只有精品| 欧美成不卡网| 欧美激情黑人| V A在线| 久久人人舔人人爽舔人人av片| 97人人超| 丰满少妇高潮无码| 无马一区二区| 在线免费观看日韩一区| 婷婷在线播放| 色拍偷亚洲| 另类欧美色| 激情五月天插| 欧美国产日韩清纯唯美| 精品二999| 欧美性夜| 国产偷拍自拍在线视频| 中文字幕精品丝袜| 四虎884| 豆花视频操逼网址| 婷婷五月影院| 久久久91福利姬| 人人妻碰人人免费| 色婷婷狠狠| 久久国语| 手机看片日韩人妻| 精品丰满人妻一区二区三区免费观| 亚洲欧美国产中文字幕| 久久 精品| 黄色高清无码无码破解免费暗网| 男女激情中文字幕| 2017天天拍大香蕉| 夜夜草网站| 亚洲老司机123专区| 四虎精品永久在线播放| 97人人干人人操| 午夜AV污污污| 亚洲一区二区三区播放在线| 蜜臀av中字字幕网站| 人妻精品一区二区| 久草大| 99最新日韩偷拍视频| 亚洲欧洲日韩天堂av| 亚洲中文字幕有码视频一区二区三区| 国产又粗又长又大的视频| 国产女人操逼视频| 亚洲综合射| 日韩国产欧美伦理在线| 日韩超碰精品综合| 操逼无码操逼| 九九久久国产精品| 亚洲 小说 欧美 激情 另类| 亚洲欧美九九| 亚洲av性爱电影| 久操B网| 狠狠操使劲操| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 嗯嗯嗯啊啊啊在线免费观看| 熟女熟妇一区二区三四区| 日本女人操逼| 激情一区二区| 男人的天堂在线有码| 九九九九免费| 国产13区| 国产极品精品美女视频| 中文字幕人乱码中文字的预防方法| 一二三四视频中文字幕在线看| 97精品视频免费| 久久久久人妻二区精品叶可怜| 亚洲免费97免费| 免费超碰97在线观看| 97就爱干| 爱做久久久久久| 久久久91| 欧美黄色图片| 淫荡少妇免费| 天天干人妻视频| 人妻啊啊人妻啊| 97超碰精品| 超碰97最新人妻| 午夜偷拍久久熟女| 日本欧美不卡| 熟女天天干| 极品美女福利在线观看| 日本精品一区二区不卡| 人妻久热在线| 国产亚洲日韩在线三区黑人| 久久精品女同亚洲女同13| 五月天久久久| 96精品久久久久久久久久| 欧美另类自拍 | 91chinese在线| 亚洲本色精品一区二区久久| 天天内射| 人妻久久久久久久久久久久久久久 | 欧美日韩操逼动图| 日日不卡av| 青青草视频导航官网| 国产精品久久久久无码AV会牛| 日韩9区| 性爱AV天堂| 五月婷婷丁香六月| 香蕉久久AⅤ...| 日本欧美不卡| 亚洲色图 图片| 蜜臀久久一区二区| 夜间福利片1000无码| 97免费在线观看视频| 久久久专区| 亚洲天堂电影精品一区| 日韩国产欧美伦理在线| 国产精品久久久久久久久久久久久久吹| 美女97超碰| 99无码视频| 亚洲国产精品有声| 欧美综合另类| 国产视频97| 久久AV无码1区2区3区| 婷婷五月天色色| 福利社区午夜一区二区| 亚洲丝袜诱惑| 九久久九九久视频| 狠狠亚洲| 人人操天天爽| 可以看的av| 精品v日韩欧美国产| 成全动漫视频观看免费下载| 国产精品一区二区密臀| 国产丸一视频| 九一精品牛牛一区二区| 亚洲青青青视频在线| 国产一区二区欧美日本| av天堂精品久久| A 天堂| 欧美综合网| 国语少妇精| 四虎av在线| 一区二区三区四区五区久久久久久| 久久久久ab| av操操不卡| 美女露胸露奶头| 国产乱码久久| 一区二区偷拍拍视频| 一区二区三区机械有限公司| 久久肏大逼| 户外裸露刺激视频第一区| 亚洲熟女性高潮久久久| 欧美性爱无码一区二区三区| 综合伊人激情| 免费日韩黄片| 日韩性爱1级片视频| 中文字幕人成乱码熟女香港| 亚洲AV秘无码一区..| 国产精品久久久久久亚洲色欲| 中文字幕99999| 色姑娘综合网| yaouchengrenav| 亚洲AV成人精品网站在AV| 日韩熟女无码| 美国精品国产精品| 日韩人妻制服丝袜av| av天堂精品久久| 一区操逼日比视频| 成人性爱高清视频免费看| 日韩性爱电影一区| 亚洲夜夜欢无码一区二区| www九九热| 99丝袜福利在线播放| 1区2区3区在线视频| 男人天堂站| 久久久久久久久久黄色网| 久久一二三四不卡 | 91在线丝袜| 久久线上视频免费看| 亚洲熟女av中文字幕| 国产高清自拍视频| 亚洲图片婷婷五月天| 国产精品一区二区 尿失禁| 99操视频| 日本日日色视频| 国产一区二区三区,在线观看观看| 一区二区亚州激情久婷婷欧美| 综合少妇网| 成人小说另类在线| 99精品久久久久久久婷婷| 啪啪91| 91精品成人| 青青青草原| 日韩性爱啪啪视频| 久久久久久国产精品免费网站 | 精…码一二三区| 欧美精品23| 精品成人av一区二区三区在线| 97人妻色| 色香91| av亚欧| 欧美性爱一级操| 性欧美另类高清| 欧美亚洲涩涩| 亚洲天天在线| 91精品啪在线观看国产城中村| 精品久久久久久亚洲| 精品无码人妻一区二区免费蜜桃| 国产女性无套 免费观看| 夜夜一区二区| 欧美第二页午夜| 另类图片欧美激情综合| 一区二区三区激情在线观看| 2025亚洲男人天堂| 东京热,男人的天堂| AV在线性爱| 极品色社| 97网站在线观看| 两女互慰AV高潮喷水在线观看| 色色婷婷丁香| 无码操逼天堂| 岛国黄片网站| 另类图片五月| 亚洲色婷婷综合久久一区二区三区| 日日操免费视频| 欧美亚洲丝袜人妻制服99| 中文子幕一二三| 伦激情人妻另类人妻| 青青草视频这里只有精品| 久久9免费视频| 日韩99精品视频综合区| 91超碰人人| 男人的天堂va在线| 婷婷五月天av| 久久中文字幕女同性恋一区| 乱伦一区二区三区‘| 中文字幕在线观看AV| 97Ai亚洲| 天天综合精品| 美女t无毒不卡不卡| 黑人无码一区二区| 亚州熟妇精品| xxxx网站亚洲精品| 国产91精品久久久久久久网曝门| 欲香欲色| 香一区二区三区| 精品视频一二三中文| 五月天综合| 高清视频一区| 久久女人一区二区三区| 久久在肏| 丁香激情网| 麻豆成人AV| 精品妇女一区二区三区| 久久国产乱子伦精品免费女,网站| 精品久久99| 97亚洲中文| 超碰三级秋霞| 在线视频 亚洲精品| 丝袜狠狠草尤物人妻av91| 超碰在线人人射| 日韩精品熟妇| 激情无码日韩| 激情文学小说一区二区| 色色色色电影网| 久久香蕉国产线看观看亚洲女人 | 精品国产Av无码久久久伦古装 | 秋霞一级A片黄色视频| 亚洲自拍欧美国产首页网曝| 免费人成在线观看网站品爱网| 日韩无码AB| 欧美视频边做饭边橾| 97久操| 九九精品美女高溯喷水| 亚洲 小说 欧美 激情 另类| 97精品综合久久网| 男女真人网18| 9久久久久| av午夜玫瑰| 亚洲美女自拍偷拍视频| 欲色综合| 欧美色图亚洲特色| 国产精品久久久久久久毛片1| 欧美偷| 九一屌逼| 午夜无码精品免费看性色| 亚洲一区二区中文字幕| 啊啊啊啊啊在线观看网址 | www.操| 视频国产精品未满十八禁止在线观看| 欧美日韩系列| 在线观看十八禁| 人妻 中文 日韩| 大香蕉中文网| 97久久免费| 欧美在线视频99| 人人操人人插 - 百度 - 百度| 久久人妻无码毛片A片麻豆| 五月天激情综合网| 国产成年女人免费视频播放a| 久久9免费视频| 中文有码第五页| 国产女人成人精品视频| 91福利网在线观看| 加勒比av网| 欧美性爱一内片一区二区三区| 玖玖玖玖精品国产剧情| 欧美综合网| 熟女高潮精品一区二区| 国产美女91视频| 九九热精品视频在线观看| 亚洲图片色图欧美另类| 亚洲熟女诱惑| 亚洲一二三四区在线免费看视频| 九九热免费国产视频婷婷伊人| 久操视频资源站公开| 日本东京热久久久电影| 99少妇| 屁股久久久久久久久| 中文字幕视频2区| 色播五月丁香| 嫩草一区二区在线观看| a片久久久久久久久久久久 | www久| www国产天美久久久| 欧美一区二区三区互相| 日日夜夜免费| 天堂亚洲精品| 久久机热| 嗯嗯啊啊好大好爽| 天天日天天射天天干| 成人在线视频二区| 五月天开心网| 中字乱伦AV| 久操视频资源站公开| 高清无码一区二区三区| 五月天婷婷在线看| 免费a v| 久操97| 综合 亚洲 欧美| 加勒比aⅴ| 成人三级片一区二区三区视频| 91在线丝袜| 久久精品中文字幕女同| 人人爽人人精品乱人伦AV| 热久日综合| 性生活无遮挡纯毛片在线看| 激情露脸爱| 日欧美色| 1区2区3区中文字幕日韩| 亚熟在线| 青苹果影院男人的天堂| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 任我爽视频在线观看| 国产亚洲精品美女久久久| 亚州综合网| 3PAV乱伦视频| 国产色图乱伦| 国产在线观看一区二区三区| 青娱乐淫乱1314| 国产在线播放成人免费| 91久久| 熟妇乱伦一区二区| 日本孕妇一区二区视频操逼免费看 | 久久久啊啊| 福利风月五月天影院| 91欧美偷拍| 手机久操欧美综合色码| 天天操美美| 成人AV在线网站| 久久黄人人爽视频| 狠狠操狠狠操操| 另类图片欧美激情综合| 欧美激情性爱视频网站| 国产精品极品美女视频| 自拍偷拍2025在线观看| 日本女人操逼| 青娱乐亚洲热| 91老熟女老女人国产老太 | 欧美在线干| 丝袜美腿欧美| 麻豆性爱视频在线播放| 色在线69堂| 久久久青青草| 亚洲精品一二牛牛| 亚洲av影音先锋| 亚洲欧洲另类| 亚洲日韩青青草色月| 久久久噜噜噜久久人妻| 果冻传媒A片麻豆熟妇人妻| 秋霞网无码| 51一区二区三区| 婷婷五月丁香五月| 亚洲AV资源| 蜜臀aV午夜一区二区三区| 操熟女91| 小视频玖玖| 好吊妞转入那个网| 久操在97| 亚洲欧洲激情卡通另类文学四射小说网站 | 蜜臀99久久精品久久久久| 无遮挡一级毛片视频免费的| 人妻99p| 观看免费区二区三区二| 台湾佬中文娱乐网久久久久久久久久com | 丁香激情网| 欲射影视| 麻豆天美一区二区| 国产极品美女高潮无套在线观看| 五月天婷婷成人网| 国产一区二区三区久久精品太古里| 欧美日韩制服| 国产最新小视频在线播放下载 | 91香蕉国产尤物视频| 欧美日韩国产高清在线一二三区 | 校园春色美腿丝袜 | 超碰日韩美妻| 欧州一区二区三区四区| 久热伊人| 另类成人首页一区| 国产亚洲深夜激情| 六月婷婷激情| 精品综合久久久久久97| 欧美综合国产精品久久丁香| 婷婷五月色| 日本中文字幕熟妇| 亚洲密乳AV| 精品大久久| 色臀AV| 欧亚免费视频| 黄色十八禁| 日韩99精品视频综合区| 日韩97视频!在线| 色臀AV| 狠狠色丁香| KK色在线影院| 强奸乱伦动态污图免费 | 精品天堂| 日韩成人综合网| 久久妇| 逼操网站| 久久久久久波多野吉衣高潮| 免费AV中文网在线观看| 蜜桃色色网站视频三区| 色综合大香蕉| 五月丁香成人网| 97久操| 99久久婷婷| 午夜噜噜噜| 婷婷啪啪| 亚洲色电影在线| 综合熟女| 国产精品9999| 亚洲男人bt天堂| 日韩小电影| 插入综合网| 天天综合91| 国产白嫩精品久久| 激情小说日韩无码| yazhousetuoumei| 无码人妻精品一区二区三区99不卡 | 久久精品国产97欧美精品亚洲 | 91色欧美| 中文字幕 人妻不满 在线视频| 97亚洲色图| 婷婷久草一区二区三区| 亚洲人妻久久| 麻豆国产原创AV色哟哟| 人人操人人摸avav| 日本精品性生活久久久| 亚洲AV秘 精品久久老牛影视| 欧美激情久久久久| av凤凰久久久| 久久啊啊啊| 人人爱夜夜爱| 综合久久久久久久综合网| 亚洲综合夜色| 色婷婷久久| 超碰免费97| 嗯嗯,好大,好爽,好骚 | 亚洲爱爱视频一区二区| 免费的黄片wwwwww| 国产精品久久久久婷婷二区次| 亚码激情| 1人人看人人摸人人操| 丝袜天堂网| 亚洲欧美精品一区天堂久久| 欧美不卡五十路| 中文幕97| 另类小说五月天| 家庭乱伦麻豆| 91视频综合在线| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 91成人高清在线观看| 91青青在线视频| 国产少妇与亚洲av| 密乳AV免费观看| 天天欲望网| 亚洲自拍另类丝袜综合| 福利在线黄片| 在线午夜成人无码视频| 色哟哟av网址| 国产欧美精品日韩区二区麻豆天美| 国产又色又粗又黄又爽| nuu12国产麻豆精品| 国产馆极品诱惑| hd成人一区二区在线| 亚洲av噜噜噜噜噜噜| 东京热大香焦| 91色噜噜狠狠| 综合激情婷婷| 日韩免费在线视频观看| 亚洲女人91| 国产偷人妻精品一区二区在线| 色婷婷五月天| 免费A V在线播放| 免费岛国一级片| 欧美色爱综合| 蜜臀99999| 国产av高清版| 久久精视频美日韩在线视频| 欧美人与动性人交a| 91欧美www| 风月影院男女十八禁| 偷拍欧美激情| 久久99视频| 加勒比在线视频一区二区三区| 欧美大片91| 91中文字幕在线观看| 黄日韩| 台湾佬中文娱乐自偷自拍| 激情五月丁香五月| 天天做日日做天天欢。| 日欧操屄| 美女被啪到深处抽搐视频| 97伦综合| 精品人妻视频一区二区在线播放| 美骚妇av高清在线| 97国产精品国| 色噜噜综合在线| 国产免费一区在线观看| av日韩国产一区二区| 香蕉国产精品麻豆亚洲欧美日韩| 欧美性夜| 国产路线专区| 97欧美日韩综合| 玖玖无码超碰| 超碰欧美97资源| AV久日| 国产AV人人夜夜澡人人爽麻豆| 噜噜噜久久亚洲精品色情| 亚洲图片欧美制度| 日韩熟女精品无码专区一区二区 | 91久久免费视频互動交流| 日韩兔费看黄片| 囯产精品久久久久久久久久二区三区| 蜜臀AV一区二区三区| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 国产精品免费1区2区视频| 欧美极品美女aaaaaa级黄片| 欧美色999| 12一15性XXXX粉嫩国产| a级免费在线观看| 久久专区| 一级性爱视频免费观看 | 久久九色| 99在线精品视频| 97资源制服丝袜| 美女人妻色网站| 超碰激情808| 99在线观看无大码| 91爱看| 97jingpin| 天天干人妻视频| 91高潮| 欧美亚洲国产91在线| 激情抓乳插进去啪啪啪日韩| 黄片免费看的| 性色av婷婷久久一区二区点复制|