亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

SAP HANA高頻短查詢排查:從捕獲請求統(tǒng)計到PLV執(zhí)行計劃分析

SAP HANA高頻短查詢排查:從捕獲請求統(tǒng)計到PLV執(zhí)行計劃分析 周五下午三點某數(shù)據(jù)平臺的運維群里開始有人喊系統(tǒng)卡了。我登錄 SAP HANA 看了一眼CPU 已經(jīng)沖到 85%可昂貴的語句追蹤里一條慢 SQL 都沒有——單條執(zhí)行都低于 1 秒。這個場景在 SAP HANA 的故障排查里太典型了真正拖垮系統(tǒng)的往往不是那幾條明顯的慢 SQL而是大量高頻短查詢的累積。要抓住它們得打開 Capture Request Statistics要讀懂它們?yōu)槭裁绰值冒褕?zhí)行計劃導(dǎo)成 PLV 文件用 VS Code 打開逐節(jié)點分析。這篇文章就把這套完整流程寫下來。1. 為什么默認(rèn)的昂貴語句追蹤抓不住隱形慢 SQL1.1 昂貴語句追蹤的 1 秒閾值陷阱SAP HANA 默認(rèn)并不是什么都不記錄它有一套叫 Expensive Statement Trace 的機制。這套機制看名字就知道專門記錄執(zhí)行得比較貴的語句。問題是它有一個硬性的執(zhí)行時間閾值在indexserver.ini配置文件的[expensive_statement]段里參數(shù)叫threshold_execution_time默認(rèn)值是 1000000 微秒也就是 1 秒。這意味著什么只有單次執(zhí)行時間超過 1 秒的 SQL 才會被記錄到昂貴語句日志里。很多運維同學(xué)排查慢 SQL 時習(xí)慣先看這個日志結(jié)果發(fā)現(xiàn)里面空空如也于是得出數(shù)據(jù)庫沒有慢 SQL的結(jié)論。但線上業(yè)務(wù)的真實情況往往是單次 100 毫秒的查詢每秒被調(diào) 500 次一分鐘累計占用數(shù)據(jù)庫 CPU 的時間就是 300 秒。單拿出來哪一條都不夠昂貴標(biāo)準(zhǔn)合在一起卻能把整個實例拖垮。這就引出一個非常關(guān)鍵的觀點慢 SQL 的定義不能只看單次耗時還要看執(zhí)行頻率和累計資源消耗。昂貴語句追蹤本質(zhì)上是一個事后告警工具適合人工抽查不適合做全量畫像。想看清系統(tǒng)里到底跑了什么需要的是另一套能力——全量請求捕獲。1.2 高頻短查詢?nèi)绾温峡逑到y(tǒng)高頻短查詢的最可怕之處不是每一次執(zhí)行有多重而是它的累積效應(yīng)。舉個例子一個查詢單次 50 毫秒執(zhí)行 2000 次總耗時是 100 秒。這 100 秒里包含了對 CPU 的占用、內(nèi)存的申請釋放、計劃緩存的查找和更新、結(jié)果集的序列化。如果并發(fā)高還會放大鎖等待和線程排隊。更隱蔽的是大量短查詢會不斷沖擊執(zhí)行計劃緩存導(dǎo)致真正需要復(fù)用的好計劃被頻繁換出整體命中率下降讓每條 SQL 的平均編譯開銷上升。用戶體感就是系統(tǒng)整體變卡但抓單條 SQL 又抓不到。這類問題在接口型業(yè)務(wù)里最常見。前端輪詢接口、定時任務(wù)高頻掃描、報表工具反復(fù)拉取同一段數(shù)據(jù)都會產(chǎn)生這種隱形慢 SQL。它們不會寫進昂貴語句日志也不會觸發(fā)告警只會讓 CPU 慢慢爬升直到某一天高峰期扛不住。1.3 什么場景值得開捕獲Capture Request Statistics 的核心價值在于它把所有經(jīng)過 SQL 引擎的請求都記錄下來無論快慢。這樣你拿到的不是幾個典型樣本而是一段時間內(nèi)的完整請求畫像。我一般在三類場景下會主動開啟捕獲。第一類是定期的性能巡檢不需要等出故障先抓一到兩天的全量數(shù)據(jù)做基線第二類是系統(tǒng)上線前后的對比確認(rèn)新功能或新版本有沒有引入異常的查詢模式第三類是說不清哪里慢的疑難雜癥沒有明確慢 SQL但整體 CPU 或響應(yīng)時間異常這時候必須靠全量數(shù)據(jù)還原現(xiàn)場。2. 打開 Capture Request Statistics參數(shù)、落表和性能代價2.1 三步開關(guān)命令、驗證與生效范圍打開 Capture Request Statistics 的操作非常輕量一條 ALTER SYSTEM 語句就能完成。在目標(biāo)租戶庫執(zhí)行ALTER SYSTEM ALTER CONFIGURATION (indexserver.ini, SYSTEM) SET (sql, capture_request_statistics) true WITH RECONFIGURE;注意幾個細節(jié)。第一SYSTEM表示在集群級別修改配置這個配置會廣播到所有 indexserver 節(jié)點在有多節(jié)點、多租戶的架構(gòu)下不需要逐臺登錄設(shè)置。第二WITH RECONFIGURE必不可少它讓配置立即生效否則只是寫入了配置文件要等實例重啟才生效。第三這個參數(shù)作用在 indexserver 進程上所以要在目標(biāo)租戶庫執(zhí)行而不是在 SYSTEMDB 里執(zhí)行了事。設(shè)置完成后先確認(rèn)一下生效狀態(tài)SELECT FILE_NAME, SECTION, KEY, VALUE FROM SYS.M_CONFIG WHERE FILE_NAME indexserver.ini AND KEY capture_request_statistics;看到 VALUE 為 true就說明開關(guān)已經(jīng)生效。此時系統(tǒng)里的請求會開始往統(tǒng)計表寫入數(shù)據(jù)。2.2 捕獲數(shù)據(jù)落在哪兩張統(tǒng)計表的關(guān)鍵字段開啟捕獲后數(shù)據(jù)落在_SYS_STATISTICS模式下的兩張核心表里。一張是REQUESTS_CAPTURED記錄每一次請求的執(zhí)行概況另一張是STATEMENTS_CAPTURED保存 SQL 語句文本。兩者通過STATEMENT_KEY字段關(guān)聯(lián)。REQUESTS_CAPTURED里我最常用到的字段有這些字段含義用途START_TIME請求開始時間做時間段過濾圈定業(yè)務(wù)高峰期DURATION_MICROSEC請求總耗時微秒計算平均耗時、總耗時STATEMENT_HASHSQL 文本哈希把相同文本的 SQL 聚合成一類STATEMENT_KEY語句唯一鍵關(guān)聯(lián)到 STATEMENTS_CAPTUREDUSER_NAME執(zhí)行用戶過濾系統(tǒng)請求、定向分析業(yè)務(wù)用戶APPLICATION_NAME應(yīng)用名稱定位到具體接口或客戶端TOTAL_CPU_TIME請求消耗的 CPU 時間看資源消耗比耗時更直觀這張表是典型的寬表字段很多。實際做分析時先抓住執(zhí)行次數(shù)、總耗時、平均耗時、CPU 時間這四類就足夠邁出第一步了。2.3 捕獲的代價采樣與窗口期建議先說結(jié)論Capture Request Statistics 有額外開銷但通常可控。每次請求結(jié)束后數(shù)據(jù)庫需要把統(tǒng)計信息寫入統(tǒng)計表這個動作本身會消耗一定 CPU 和 IO。特別是在每秒幾千次短查詢的高并發(fā)場景寫入放大效應(yīng)會比較明顯。所以我不建議把這個開關(guān)常年常開更推薦窗口期狩獵的做法。比如設(shè)定 30 分鐘到 2 小時的捕獲窗口覆蓋業(yè)務(wù)高峰或者做 1 到 2 天的全量捕獲用于季度巡檢。捕獲結(jié)束后立刻關(guān)閉。如果確實需要長期監(jiān)控可以研究一下采樣相關(guān)參數(shù)把捕獲比例調(diào)低但那樣會損失全量數(shù)據(jù)的完整性屬于權(quán)衡方案。我的經(jīng)驗是排查性能問題不需要 7x24 小時全量捕獲抓一個完整的業(yè)務(wù)周期比如一個工作日下午加一個早晨高峰已經(jīng)能覆蓋大多數(shù)典型問題。3. 從統(tǒng)計表里撈出真正值得優(yōu)化的 Top SQL3.1 第一刀按 SQL 指紋做總耗時聚合數(shù)據(jù)抓下來了直接一條條看肯定不現(xiàn)實。第一步一定是聚合。按什么維度聚合我建議按STATEMENT_HASH做分組這個字段相當(dāng)于 SQL 的指紋不同文本但結(jié)構(gòu)相似的語句會落在不同的哈希上歸并起來非常干凈。下面這條查詢是整個過程的核心建議直接收藏SELECT RC.STATEMENT_HASH, COUNT(*) AS EXECUTION_COUNT, SUM(RC.DURATION_MICROSEC) / 1000000 AS TOTAL_DURATION_SEC, AVG(RC.DURATION_MICROSEC) / 1000 AS AVG_DURATION_MS, MAX(RC.DURATION_MICROSEC) / 1000 AS MAX_DURATION_MS, SUM(RC.TOTAL_CPU_TIME) / 1000000 AS TOTAL_CPU_SEC FROM _SYS_STATISTICS.REQUESTS_CAPTURED RC WHERE RC.START_TIME ADD_SECONDS(CURRENT_UTCTIMESTAMP, -3600) GROUP BY RC.STATEMENT_HASH ORDER BY TOTAL_DURATION_SEC DESC LIMIT 20;為什么排序用 SUM 而不是 MAX這是很多初學(xué)者容易犯的錯。MAX只能告訴你最極端的那一次有多慢如果把所有資源都用來優(yōu)化這一條很可能是在大海撈針而SUM把執(zhí)行次數(shù)和單次耗時做了乘法直接量化了這條 SQL 在這段時間內(nèi)總共消耗了多少數(shù)據(jù)庫時間。優(yōu)化掉的每一秒都是實打?qū)嵉南到y(tǒng)吞吐量提升。3.2 第二刀關(guān)聯(lián)出 SQL 文本拿到哈希排名后下一步是把 SQL 文本撈出來。哈希只是一個代號你不知道具體是哪個查詢。通過STATEMENT_KEY關(guān)聯(lián)到STATEMENTS_CAPTURED表就能看到完整的語句內(nèi)容SELECT SC.STATEMENT_STRING, RC.STATEMENT_HASH, COUNT(*) AS EXECUTION_COUNT, SUM(RC.DURATION_MICROSEC) / 1000000 AS TOTAL_DURATION_SEC FROM _SYS_STATISTICS.REQUESTS_CAPTURED RC JOIN _SYS_STATISTICS.STATEMENTS_CAPTURED SC ON RC.STATEMENT_KEY SC.STATEMENT_KEY WHERE RC.START_TIME ADD_SECONDS(CURRENT_UTCTIMESTAMP, -3600) GROUP BY RC.STATEMENT_HASH, SC.STATEMENT_STRING ORDER BY TOTAL_DURATION_SEC DESC LIMIT 20;執(zhí)行這條查詢時我建議多等幾秒因為聚合的數(shù)據(jù)量可能很大。如果同時抓了多個節(jié)點的數(shù)據(jù)最終統(tǒng)計表里是整合后的結(jié)果不需要手動合并。拿到 SQL 文本后先肉眼掃一遍 WHERE 條件、JOIN 條件、子查詢結(jié)構(gòu)很多問題在這一步已經(jīng)能猜個七八分。真正的確認(rèn)還得靠執(zhí)行計劃。3.3 快速通道用 M_EXECUTION_STATISTICS 應(yīng)急看最近請求有一種情況不需要開 Capture Request Statistics你只想看看最近幾分鐘系統(tǒng)在跑什么比如正在處理一個實時故障。這時候可以查詢系統(tǒng)視圖SYS.M_EXECUTION_STATISTICS它記錄了最近實際執(zhí)行過的請求而且直接帶有STATEMENT_STRING字段連關(guān)聯(lián)都省了。SELECT STATEMENT_STRING, COUNT(*) AS EXECUTION_COUNT, SUM(DURATION_MICROSEC) / 1000000 AS TOTAL_DURATION_SEC, AVG(DURATION_MICROSEC) / 1000 AS AVG_DURATION_MS FROM SYS.M_EXECUTION_STATISTICS WHERE START_TIME ADD_SECONDS(CURRENT_UTCTIMESTAMP, -900) GROUP BY STATEMENT_STRING ORDER BY TOTAL_DURATION_SEC DESC LIMIT 10;但要提醒一句這個視圖是個內(nèi)存環(huán)只保留最近一段時間或最近一部分請求容量有限不適合做歷史分析和完整畫像。它的定位是應(yīng)急快照用于快速確認(rèn)現(xiàn)在到底在跑什么。真正要寫分析報告、做趨勢對比還是得靠 Capture Request Statistics 落表的數(shù)據(jù)。3.4 順手做體檢執(zhí)行次數(shù)、平均耗時、CPU 占比除了總耗時排名我通常還會順手分析三個維度因為它們能反映不同類型的性能問題。執(zhí)行次數(shù)特別高但平均耗時很低的 SQL往往是接口輪詢或者循環(huán)調(diào)用優(yōu)化思路是緩存結(jié)果、減少調(diào)用次數(shù)或者改批量查詢平均耗時高但執(zhí)行次數(shù)低的 SQL一般是復(fù)雜報表或大范圍掃描優(yōu)化思路是加過濾條件、拆分查詢、優(yōu)化 JOIN 順序CPU 時間占比異常高的 SQL即使耗時不高也可能是大量運算、函數(shù)處理或類型轉(zhuǎn)換導(dǎo)致的這類問題會在 CPU 掛高時特別明顯。這三個維度的分析不需要額外查詢上面的聚合 SQL 已經(jīng)包含了相關(guān)字段只需要改變排序和觀察角度。4. 把執(zhí)行計劃導(dǎo)出 .plv用 VS Code 打開4.1 統(tǒng)計回答是誰執(zhí)行計劃回答為什么前面做的所有工作都是在回答一個問題系統(tǒng)里哪些 SQL 消耗最大。這是一個定位的過程。但要真正解決問題必須回答下一個問題這些 SQL 為什么慢是表掃描走了全表是 JOIN 順序有問題還是 WHERE 條件里的函數(shù)導(dǎo)致索引失效回答為什么靠執(zhí)行計劃。SAP HANA 的執(zhí)行計劃可視化文件就是 PLV全稱 Plan Visualization。它把優(yōu)化器生成的算子樹轉(zhuǎn)換成圖形界面每個節(jié)點展示算子類型、消耗時間、處理行數(shù)、具體屬性。對于熟悉節(jié)點閱讀的人來說一張 PLV 比幾千行日志都直觀。4.2 產(chǎn)出一條 .plv 的兩種常見方法第一條路徑是在 SQL 控制臺里用EXPLAIN PLAN語句直接生成執(zhí)行計劃。比如EXPLAIN PLAN FOR SELECT ORDER_ID, CUSTOMER_NAME, TOTAL_AMOUNT FROM ORDER_HEADER WHERE ORDER_DATE 2024-01-01 AND ORDER_DATE 2024-02-01;執(zhí)行后控制臺會返回一個結(jié)果集里面按層級列出了算子樹。在 SAP HANA 的 Database Explorer 里可以在這個結(jié)果面板上找到導(dǎo)出計劃或Visualize Plan之類的按鈕把計劃保存成.plv文件。第二條路徑更直接在 Database Explorer 里打開某條 SQL 語句的執(zhí)行歷史找到具體某一次執(zhí)行直接下載對應(yīng)的執(zhí)行計劃文件。這種方式拿到的通常是那份實際執(zhí)行過的計劃包含真實行數(shù)和耗時比純估算計劃更有診斷價值。需要特別注意一個坑EXPLAIN PLAN FOR生成的是優(yōu)化器估算的計劃反映的是數(shù)據(jù)庫認(rèn)為應(yīng)該怎么執(zhí)行而不是實際上怎么執(zhí)行。在統(tǒng)計信息不準(zhǔn)確或查詢過于復(fù)雜時估算計劃和實際計劃可能差別很大。定位問題時優(yōu)先使用實際執(zhí)行計劃。4.3 VS Code 環(huán)境與擴展配置拿到 .plv 文件后用文本編輯器打開只能看到一堆 JSON真正舒服的打開方式是使用可視化渲染工具。VS Code 里可以直接做到這一點。先在擴展市場搜索并安裝 SAP 官方提供的 SAP HANA Database Explorer 擴展。安裝完成后VS Code 會把.plv文件關(guān)聯(lián)到該擴展的執(zhí)行計劃可視化視圖。直接點擊文件名打開就能看到圖形化的算子樹。如果擴展裝好了雙擊還是顯示 JSON不需要卸載重裝右鍵點擊文件選擇 Open With然后手動選擇 SAP HANA 相關(guān)的執(zhí)行計劃查看器即可。這種手動關(guān)聯(lián)在第一次使用時很常見。4.4 打開失敗和渲染異常的排查邏輯沒有擴展時的表現(xiàn)最直接文件會以純文本 JSON 打開一眼就能識別。有擴展但打不開可分為三種情況。第一文件后綴不是.plv可能是.json或.txt需要右鍵手動關(guān)聯(lián)第二文件內(nèi)容不完整比如從控制臺復(fù)制時只復(fù)制了一部分 JSON這種情況需要重新導(dǎo)出完整文件第三版本兼容性問題數(shù)據(jù)庫版本和 VS Code 擴展版本跨度太大時某些節(jié)點屬性可能顯示不全但通常不會完全打不開。一個比較實用的兜底方案如果 VS Code 的環(huán)境一直配置不好可以把 .plv 文件直接拖入 SAP HANA Database Explorer 的網(wǎng)頁版網(wǎng)頁版同樣內(nèi)置了 PlanViz 渲染器功能不輸 VS Code。5. 讀懂一張 PLV五個必須看的抓手5.1 先看算子樹從根到葉子的閱讀順序打開一張 PLV第一眼看到的是縱向或橫向的算子樹。根節(jié)點在最上端或最左端葉子節(jié)點在底部或最右端數(shù)據(jù)從葉子往根方向流動。每一層節(jié)點都代表一個具體的操作全表掃描、索引查找、JOIN、聚合、排序、投影等等。我最先看的是根節(jié)點??偤臅r就放在那里它旁邊的耗時條通常很夸張。如果根節(jié)點顯示 85% 的耗時都來自底下某個子樹那問題就不需要繼續(xù)猜了——所有注意力都應(yīng)該投到那個子樹里去。這個閱讀順序看起來簡單但很多人在 PLV 里迷路的唯一原因就是從葉子開始看結(jié)果被一堆細枝末節(jié)的操作帶偏。正確做法永遠是先看根再看最耗時的分支最后才收縮到具體算子。5.2 行數(shù)估算值和實際值相差一個數(shù)量級就要警惕PLV 里每個節(jié)點都標(biāo)注了行數(shù)。這可能是整張計劃里最有價值的數(shù)據(jù)??吹臅r候要區(qū)分兩種行數(shù)估算行數(shù)Estimated Rows和實際行數(shù)Actual Rows。估算行數(shù)是優(yōu)化器基于統(tǒng)計信息推算出來的實際行數(shù)是查詢真正處理的數(shù)據(jù)量。當(dāng)兩者非常接近時說明優(yōu)化器的判斷靠譜執(zhí)行計劃整體可信當(dāng)兩者相差超過一個數(shù)量級時說明統(tǒng)計信息已經(jīng)過期、直方圖不準(zhǔn)確或者存在復(fù)雜表達式讓優(yōu)化器無法準(zhǔn)確估算。這種偏差是性能問題的溫床可能直接導(dǎo)致優(yōu)化器選擇了錯誤的 JOIN 順序或掃描方式。在實際計劃里發(fā)現(xiàn)這類偏差下一步就是刷新相關(guān)表的統(tǒng)計信息比如執(zhí)行ANALYZE相關(guān)操作然后再對比新計劃。很多莫名其妙慢的查詢刷新統(tǒng)計信息后自動就好了。5.3 三類重點算子掃描、Join、聚合算子種類很多但性能診斷中需要聚焦的其實只有三類。第一類是 TABLE SCAN。看到一個大的 TABLE SCAN 節(jié)點時要立刻確認(rèn)表是列存還是行存過濾條件下推到了哪一層以及有沒有做分區(qū)裁剪。最壞的情況是整張幾億行的列存表從頭掃到尾那基本等于把查詢速度的下限拉滿了。第二類是 JOIN???JOIN 類型是 HASH JOIN 還是 NESTED LOOP JOIN然后看驅(qū)動表是哪一邊。通常驅(qū)動表應(yīng)該選小表或過濾后數(shù)據(jù)量小的一方如果順序反了耗時會成倍增長。還要確認(rèn) JOIN 條件是否完備缺了條件的笛卡爾積是性能殺手這是新手最容易踩的坑。第三類是聚合和排序。GROUP BY 的字段數(shù)量直接影響分組開銷字段越少越快排序操作如果出現(xiàn)在大數(shù)據(jù)量節(jié)點上會消耗大量內(nèi)存和臨時空間。三類算子可以整理成一張自查表分析任何執(zhí)行計劃時都可以對著過一遍算子類型關(guān)注點常見性能問題TABLE SCAN列存/行存、過濾下推、分區(qū)裁剪全表掃描、謂詞未下推JOINJOIN 類型、驅(qū)動表順序、條件完備笛卡爾積、驅(qū)動表過大AGGREGATION / SORTGROUP BY 字段數(shù)量、排序數(shù)據(jù)量分組鍵過多、內(nèi)存溢出5.4 謂詞下推、分區(qū)裁剪和隱式轉(zhuǎn)換這三個概念聽起來抽象但它們的共同點是決定了掃描階段到底碰了多少數(shù)據(jù)這是查詢性能的根基。謂詞下推就是 WHERE 條件里的過濾動作能不能提前發(fā)生。理想情況下過濾應(yīng)該在掃描葉子節(jié)點時就把大部分行擋掉而不是把大量數(shù)據(jù)一路傳到上層再過濾。在 PLV 里如果發(fā)現(xiàn)一個很大的過濾條件出現(xiàn)在樹的上層節(jié)點而不是緊貼著掃描節(jié)點就說明下推失敗要對執(zhí)行計劃做進一步分析。分區(qū)裁剪更直白如果表按日期分區(qū)WHERE 里指定了日期范圍執(zhí)行計劃應(yīng)該只掃描對應(yīng)分區(qū)。如果 PLV 顯示掃描了全部分區(qū)說明分區(qū)鍵沒有被有效利用。隱式轉(zhuǎn)換是導(dǎo)致前兩個問題失效的元兇。最典型的表現(xiàn)是 WHERE 條件里對索引列或分區(qū)列套上了函數(shù)或者字段類型不匹配導(dǎo)致數(shù)據(jù)庫悄悄做了類型轉(zhuǎn)換。比如WHERE TO_CHAR(ORDER_DATE) 2024-01-15這會讓數(shù)據(jù)庫放棄日期分區(qū)裁剪和索引掃描老老實實全表掃描。這一類問題在 PLV 上往往不是一眼能看到的名字而是掃描節(jié)點行數(shù)異常偏大這個現(xiàn)象。6. 一個真實案例高頻短查詢的完整排查鏈路6.1 現(xiàn)象每天下午三點準(zhǔn)時變慢接手過一個某數(shù)據(jù)平臺的性能問題現(xiàn)象非常規(guī)律每天下午三點半左右系統(tǒng)開始變慢持續(xù)大約四十分鐘其他時段一切正常。初期的排查方向集中在后臺批處理上因為臨近下班時間通常有匯總?cè)蝿?wù)在跑。但從應(yīng)用監(jiān)控來看批處理按時啟動了數(shù)據(jù)庫的昂貴語句日志里也沒有任何超過 1 秒的查詢監(jiān)控面板上一片祥和用戶卻切切實實在報卡頓。這個矛盾點正是我前面提到的隱形慢 SQL的典型特征。當(dāng)時決定不再猜了直接開 Capture Request Statistics 做全量捕獲。開關(guān)在三點前打開持續(xù)了一個半小時捕獲了一整個異常時段。6.2 捕獲數(shù)據(jù)給出的第一輪證據(jù)捕獲結(jié)束后用前面那套聚合查詢把數(shù)據(jù)拉出來結(jié)果完全出乎意料。Top 排名前四的 SQL 全是 SELECT 語句分別來自同一個訂單查詢接口總執(zhí)行次數(shù)驚人——四類語句加起來在 90 分鐘內(nèi)執(zhí)行了近 2 萬次平均單次 80 毫秒左右。單看單次耗時完全不差但累計總耗時排到了整個系統(tǒng)第一位。順著應(yīng)用名追過去發(fā)現(xiàn)這個接口被前端頁面設(shè)置成了每 3 秒輪詢一次而且一個頁面同時會觸發(fā)多張報表卡片每張卡片都調(diào)這個接口。輪詢頻率高本身沒問題問題在于這四類查詢內(nèi)部都藏著同一個性能隱患——它們對訂單主表的掃描方式非常低效幾億行的列存表每次查詢都從最近的分區(qū)開始掃。6.3 PLV 揭示的根因函數(shù)包裹索引列把其中耗時最高的一條 SQL 導(dǎo)出執(zhí)行計劃在 VS Code 里打開 PLV。算子樹一眼看過去葉子節(jié)點是一個巨大的 TABLE SCAN掃描行數(shù)幾乎是全表量級而根節(jié)點耗時占比高達 70%。過濾條件確實存在但它對一個時間字段做了格式化處理寫成了形如TO_CHAR(ORDER_DATE, YYYY-MM-DD) 2024-06-01的條件。這正是典型的隱式轉(zhuǎn)換問題。時間字段是分區(qū)鍵理論上只需要掃一個分區(qū)但函數(shù)包裹讓優(yōu)化器無法把等值條件轉(zhuǎn)換成范圍掃描最終選擇了掃描大量分區(qū)甚至全表。類似的問題還有把字符型字段轉(zhuǎn)成數(shù)值型再比較同樣會讓索引失效。讀 PLV 到這里根因已經(jīng)非常清楚了。SQL 本身邏輯沒問題是寫法沒有尊重字段的原始類型等于親手把優(yōu)化器的手腳綁住了。6.4 改寫 SQL 之后的效果對比修復(fù)方式是重寫 WHERE 條件把函數(shù)移到等號右側(cè)變成對常量做處理-- 優(yōu)化前 WHERE TO_CHAR(ORDER_DATE, YYYY-MM-DD) 2024-06-01 -- 優(yōu)化后 WHERE ORDER_DATE TO_TIMESTAMP(2024-06-01 00:00:00) AND ORDER_DATE TO_TIMESTAMP(2024-06-02 00:00:00)改完再看執(zhí)行計劃葉子節(jié)點的掃描行數(shù)直接下降到原來的幾十分之一分區(qū)裁剪生效了。對比捕獲數(shù)據(jù)同一接口查詢的平均耗時從 80 毫秒降到 9 毫秒由于執(zhí)行次數(shù)不變該時段的總耗時下降了接近 90%。三天后觀察 CPU 趨勢下午三點半的峰值完全消失。事后復(fù)盤給我的啟示是很多高頻短查詢的優(yōu)化收益被嚴(yán)重低估。一條查詢優(yōu)化掉 70 毫秒聽起來不刺激但乘上每小時幾千次的執(zhí)行頻率就是肉眼可見的 CPU 資源釋放。7. 捕獲與診斷中容易踩的坑7.1 坑一開關(guān)開了就不關(guān)統(tǒng)計表瘋漲Capture Request Statistics 一旦開啟統(tǒng)計表的數(shù)據(jù)量增長很快。高并發(fā)場景下一小時就可能寫入幾十萬條記錄長期不關(guān)會導(dǎo)致_SYS_STATISTICS模式下的表膨脹反過來影響系統(tǒng)性能。我的做法是把開啟操作和關(guān)閉操作寫在同一條運維記錄里并且給捕獲窗口設(shè)置一個明確的結(jié)束時間。比如在操作備注里寫15:00 開啟預(yù)計 17:00 關(guān)閉。如果確實需要長時間分析也要規(guī)劃定期清理統(tǒng)計表的策略避免磁盤和內(nèi)存被歷史數(shù)據(jù)占滿。7.2 坑二排名只看 MAX漏掉高累計消耗分析捕獲數(shù)據(jù)時如果只按 MAX 排序會把注意力引向那些偶爾慢一次的查詢比如月末跑批、定時報表。真正持續(xù)消耗系統(tǒng)資源的往往藏在 SUM 排名的前列。這兩種查詢的優(yōu)化價值完全不同。單次 2 秒、每天跑 5 次的報表查詢優(yōu)化到 1 秒每天省 5 秒單次 50 毫秒、每分鐘跑 200 次的接口查詢優(yōu)化到 25 毫秒每分鐘省 5 秒一天下來節(jié)省的時間是前者的幾十倍。所以不管看哪份報告我都習(xí)慣把 SUM 作為第一排序字段MAX 只作為參考。7.3 坑三把 EXPLAIN PLAN 的估算計劃當(dāng)成實際表現(xiàn)EXPLAIN PLAN輸出的是優(yōu)化器認(rèn)為應(yīng)該怎么跑的計劃屬于預(yù)演性質(zhì)實際執(zhí)行時因為數(shù)據(jù)分布、內(nèi)存、并發(fā)等因素計劃可能完全變樣。我曾經(jīng)犯過這個錯誤優(yōu)化好一條 SQLEXPLAIN PLAN 看起來非常完美但上線后性能沒有提升一查實際執(zhí)行計劃優(yōu)化器運行時選擇了另一條低效的路徑。原因是對某張大表的統(tǒng)計信息嚴(yán)重過期優(yōu)化器在真實環(huán)境中重新評估后放棄了預(yù)演時選定的 JOIN 順序。所以驗證優(yōu)化效果時不要停留在 EXPLAIN PLAN 層面最好拿到實際執(zhí)行計劃對比或者直接觀察捕獲數(shù)據(jù)中該 SQL 的真實耗時變化。PLV 文件如果來自實際執(zhí)行會標(biāo)注實際行數(shù)和耗時可靠性遠高于純估算計劃。7.4 我的習(xí)慣把捕獲做成季度巡檢的一部分這套方法我并不僅用于應(yīng)急排查更多時候用于例行巡檢。每季度挑一個業(yè)務(wù)周期開啟一到兩天捕獲把 Top SQL 清單導(dǎo)出來存檔再和上一輪的結(jié)果對比。哪些新查詢進入了 Top哪些舊查詢的耗時在下滑哪些查詢的執(zhí)行次數(shù)在悄悄上漲都一目了然。這個習(xí)慣幫我在故障發(fā)生前發(fā)現(xiàn)過不少隱患。比如某條老查詢本來平均 20 毫秒連續(xù)兩個季度慢慢漲到了 120 毫秒單次不慢總量卻翻了好幾倍順著統(tǒng)計表一查原來是底層表數(shù)據(jù)量膨脹現(xiàn)有索引選擇性變差。如果等到用戶報障再查可能已經(jīng)是高峰期扛不住的臨界點。我自己最深的體會是診斷 SAP HANA 性能問題Capture Request Statistics 和 PLV 是一對組合拳前者負(fù)責(zé)把真兇從海量請求里撈出來后者負(fù)責(zé)把犯罪動機從算子樹里挖出來。缺了第一步你只是在瞎猜缺了第二步你知道是誰卻不知道怎么改。按這套流程走下來大多數(shù)性能問題都能在半小時內(nèi)給出明確結(jié)論。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天综合网~91综合网| 中文字幕av乱伦| 精品美女人人干| 久久侵犯人妻爽爽爽| 在线观看不卡一区二区三区| 免费看国产大AB| 一区二区久久天天干狠狠| av日韩在线观看电影| 久操电影| 97爱爱官网| 久热久操| 国产又大又粗又长视频在线| 淫妻综合网| 亚洲Av无码成人精品国产| 激情小说日韩无码| 亚州综合网| 91热| 精品二区三四区五电影 | 成人片视频| 人妻嗯啊啊在线播放| 特级丰满少妇一级AAAA爱毛片| 亚洲国产一区二区日韩专区| 9久在线视频只有精品| 美女91网址| 亚洲高清少妇| 亚洲国产天堂| 天天看精品动漫视频一区| 久久男人的天堂| 久久久久99精品成人片蜜臀| 天天躁日日躁狠狠躁| 亚洲精品少妇| 思思热一热婷婷热一热| 国产激情视频一区区三区| 97人人色| 成人AV超碰免费在线| 69精品| 久久久久久人体| 青青草导航在线视频| 91爰爱欧美| 色婷婷淫色网| 深爱伊人影院| 啊啊啊想要| 亚洲人成在线放东京热| 国产亚洲欧美每日在线| 精品毛片久久久精品毛片| 无码av永久免费专区网站| 日本欧美一区二区三区免费| 久久久久国产无av| 久久久久久久 九九九九九九九| 玖色AV| 人妻插插人妻人| 久久久久久中文字幕中文字幕最新| 99久久网站| 亚洲一级性爱视频免费看| 日本阿v天堂在线观看| 久久久精品成人国产| 无码日韩网站| 欧美AB在线观看| 老熟女熟妇| 国产精品熟女九九九| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 欧美国产一区二区三区麻豆传媒 | 都市久久精品激情亚洲| 天天干夜夜一操| 91黑人无码激情在线| www色色com| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 丁香五月色| 99热超碰| 亚洲国产亚洲天堂| 亚洲丝袜少妇在线| 免费一级黄色录像影片| 九九热精品在线| 91是天天| 另类图片五月天| 亚洲美女AV无码| 色色色天美视频| 人妻熟女字幕一区二区| 亚洲影视高清三级-草1024榴社区入口-品爱AV| 丝袜足交视频| 在线色导航| 九九色热| 91女优在线观看 | 婷婷色播婷婷| 啊啊啊好大好湿| 桑老女人九区| 尤物黄色在线观看网站| 久久欧美1卡2卡3| 国偷自 一区二区| 国内毛片热久久思思热| av九九| 啊啊啊啊二区好大| 91丝袜在线播放| 国产区91柔拿会所技师| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 男人天堂2012| 人妻精品一区一区三区蜜桃91| 久久草草亚洲蜜桃臀| 日韩乱插| 四季AV一区二区凹凸精品小说| 日日AAvv| 婷婷尹人大香蕉免费| 欧洲自拍色图gif在线| 操国产高清| 六月丁香啪啪| 99999国产| 亚洲av影音先锋| 精品97精品97| 精品国产av一区二区三区四区入口| 97国产成人精品免费视频| 男人网站婷婷| 成人一级性爱| 97超碰精品成| 欧美日韩性爱视屏免费看了| 日韩熟女视频二区| 欧洲熟妇xxXx欧美老妇裸体| 欧美色97| 色噜噜狠狠色综无码久久合欧美| 久久久无码精品人妻二区| 搡老人老9丨女老熟人| 乱老熟女一区二区三区| 隔壁邻居波多野结衣中文字幕 | 人妻偷拍一区二区三区| 欧美综合在线第一页| 爱av免费| 亚洲欧美综合网 | 久久人妻熟女一区二区| 伊人天堂在线| 超碰成人人人爽人人爽| 蜜桃精品一区二区三区ww | 亚洲性爱高潮影院| 欧美激情一区| 亚洲淫乱骚妇AV| 成人自拍三级在线观看| 欧美精品久久| 久草福利在线资源站| 91n免费处女| 国产51色综合久久免费| 亚洲九九九| 久久精品视频久久久| AVE乱伦| 老熟女熟妇| 手机在线播放国产福利| 人人人干干人人干| 亚洲图片偷拍欧美| 插入综合网| 久综合国内精品自在自线| 激情小说亚洲图片| 操操碰| 99久久精品欧美国产| 大香蕉欧美国产日韩高潮| 国产精品熟女丝袜一区二区| 亚洲色天| 色97干| 亚洲熟妇熟在线电影视频| 在线观看色视频| 超碰97COm中文| 久久亚洲熟妇在线视频| 三级三久久线久久99久目本WW| 久久无码精品| 久区视频| 精品一区二区三区四区外站| 激情五月综合| 蜜乳AV一区| 夜夜爽夜夜高潮夜夜爽| 9999久久久久| 开心六月色| 午夜福利免费福利视频| 色婷婷一区二区三区久久| 日韩美女,国产传媒,视频一区| 在线不卡视频| 人人操人人操草草| 欧美高清无码免费视频高清版| 欧美 综合 亚洲| 日韩人妻大香蕉| 懂色天天爱天天日天天射天天澡| 懂色Av| 国产精品69久久久久孕妇欧美| 肥臀熟女福利视频一区二区| 99视频只有精品| 日韩精品在线观看观看| 中文精品一区二去| 欧美97爱| 蜜臀99久久国产| 98超碰日本| 日韩AV一区二区三区三州三州| 免费人成?大片在线播放| 先锋影音av先锋一区| 欧美少妇高潮| 久久久草草精品| 91丝袜在线视频| 黑丝91视频| 欧美婷婷五月天| 日欧亚洲二三区大片不卡| 男人午夜天堂| 97超碰美女| 人妻第一页| 强乱老妇中文字幕| 91亚洲最新在线| 另类专区加勒比| 在线观看A啊啊啊| 狼天天狼天天大香蕉| 激情五月天社区| 日韩AV无码中文一区二区| 三级精品三级在线观看| 尤物av网站免费在线播放| 熟女人妻一区二区三区免费看| 久久黄黄黄| 久久久三区二区一区| 玖玖超碰熟| 亚洲91大片| 久久九精品| 亚洲国产精品久久久男人的天堂| 99爱爱| 福利大香蕉| 97资源站久久| 放黄片放3级黄片没穿衣服| 亚洲日韩精品一区二区| 国产亚洲福利第一页丝袜| 97免费在线视频| 黑人猛交| 久久久久久久伊人精品| 日本熟女中文字幕一区| 国产精品久久久鸭无码的功能| 日韩丰满熟妇| 婷婷色中文字幕| 男人天堂2012| 青青草无码视频| av影院十区| 天天肏天天干| 欧美系列在线一区二区| 久久99亚洲精品久久99果| 亚洲av强奸乱伦| 久久久久13| 免费看污网址| 亚洲天堂精品日韩电影| 国产精品干干干| 国内精品久久久久影院亚洲| 又大又黄国产| 麻豆区久久久久亚| 久久精品国产亚洲AV先锋| 亚洲电影中字一区二区| 国产欧美亚洲精品a第2页| 亚洲综合97中文网| 精品无码久久久久| 三四中文字幕| 18禁精品网站在线看| 桃花色涩综合影院| 四虎视频在线观看| 成人日本片久久久蜜桃| 日B操| 婷婷五月天激情网| 欧美一区二区在线资源| 风间由美日韩欧美久久| 日韩黄色片子| 婷色五月天| 日本免费一区二区不卡 | 婷婷久久久| 久久久∴| 日本性感人妻91| 大香蕉手机视频| 久久伊人青青草| 久夜操| 日本成人A片网站| 农村妇女一级二级三级视频| 亚洲图片欧美另类综合免费视频大大香| 欧在线一二区| 丁香五月天激情综合| 91欧美另类| 日韩视频中文字幕| 中文字幕一区 二 区 三 四 五 区日 日 骚| 60秒免费小视频| 日日摸天天爽夜夜欢| 人、人、摸,人、人、草| 久久熟妇五十路一区| 麻豆一区二区三区在线看 | 国产极品999| 久9精品| 大香蕉丝袜一级片| 亚欧洲一区二区视频| se吧提供国产乱老熟视频胖女人| 色香阁在线| 天天操天天舔| 国产高清1234区| 超碰人妻97| 亚洲另类电影| 欧美九九九| av资源在线观看少妇| 日韩人妻精品| 在线人人人人人人精品超| 99黄页网站| 国产日韩区| 欧美乱妇狂野欧美在线视频| 日本成人A片免费看| 日本大香蕉| 国产精品蜜臀久久久久无码AV| av天堂影视中文在字幕在线中文 | 岛国片国产成人亚洲播放| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 在线国产福利网址导航| 加勒比伊人影院| 首页中文字幕中文字幕免费| 成人AV在线网站| 极品尤物在线观看| 亚洲狠狠入| 国产又粗又又黄又猛| 91精品丝袜久久久久久| 99 国产丝袜在线| 在线视频免费播放一区| 精品玖九九久| 一区久久久二区| 亚洲97成人在线观看| 国产精品色哟哟| 青青操综合网| 色悠久| 久久人妻97久久久久久久| 黄色操人| 玖玖资源视频一区二区三区| 狠狠干综合| 国产精品懂色tv影视免费观看 | 国产一区自拍欧美日韩| 日本2020一区二区| 熟妇人妻一区二区| 人人摸人人添人人操| 老鸭窝在线视频播放| 狠狠操夜夜操蜜桃视频三区| 亚洲影院无码在线| 91综合天天看| 啊啊啊啊啊好大好舒服想要| 乱色视频中文字幕| 亚洲AV麻豆Aⅴ无码电影一| 国产精品久久久999| 天天躁日日躁AAAXX| 97香蕉网| 91欧美少妇| 人人澡人人爽人人精品| 日韩性爱电影一区| 国产又猛又粗又爽又黄| 免费视频观看60秒| 欧美韩日精品资源| 亚州操操穴网| 97色碰| 欧美亚洲一级在线观看| 试看60秒 爽| 九九九九97| 人人手机欧洲亚洲国产人妻| 噜噜吧,噜噜色,噜噜| 亚洲熟妇一,二,三期| 久久久少妇诱惑精品视频| 久久综合18p| 国产综合操逼高清| 91九色蝌蚪在线观看| 国产精品乱码久久久| 亚码人妻| 亚洲激情天堂网| 大香樵伊人网| av大香蕉| 欧美国产日韩高清在线| 秋霞影音一区二区三区| 370p日韩欧美亚洲精品| 999久久久免费精品国产牛牛| 国内一区二区三区| 亚洲无限观看| 男女激情中文字幕| 亚洲瓯美色图| 老熟女熟妇| 丁香五月av| 性色av网站| 麻豆国产视频精品观看| 日韩免费福利在线观看| 国产狂喷潮在线精品| 亚洲人妻爽爽爽| 男人天堂网手机版婷婷| 日韩高清一二三| 青青草啪啪网| 97天天弄| 美女AV一区二区| 天天看人人操屄犊摸阴| 开心六月色| 一直超碰| 大香蕉欧美日韩| 啊啊啊啊二区好大| 亚洲Av噜噜一区二区三区妖精| 九久9热| 美日韩一卡二卡三卡免费人妻精品| 五月天激情小说| 九九色综合| 国产999精品久久久久久| 久久99久久99久久99人受| 无码自拍SM| 柠檬AV导航| 欧美十八禁在线看| 在线 制服丝袜中出 人妻| 色5月婷婷| 激情五月婷婷综合| 久jiu久神马影院| 日韩97视频!在线| 91丝袜美女| 久久中文色图| 青青草日韩免费观看高清在线| 91老熟女老女人国产老太| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 日韩另类| 亚洲AO在线| 今日头条成人一区二区三区四虎精品| 97精品97久久| 国产999精品久久久| 人人妻人人玩人人澡人人爽| 熟妇xxxxx性春色| 最新中文字幕在线亚洲| 国产后入精品| 99色骚| 国内精品99999| 亚洲国产成人精品999| 玖玖玖玖精品国产剧情| 九九热免费国产视频婷婷伊人五月| 日韩AV色图| 人妻大相焦在线| 欧美 亚洲 综合 制服 另类| 亚洲av青草久久一区二区| 四虎精品永久在线观看| 又黄又粗又硬又长又大| 干干干天天| q2午夜理论片夜色av| 91白虎| 美女久久久| 五月丁香拍拍激情综合三级| 伊人性在线视频| 大香蕉综合网| 精品亚洲黄色片 国产精品导航一区二区 | 97超碰9| 欧美色视频在线| 婷婷中文字幕| 亚洲宗合网| 老司机福利青青草| 操逼网站地址| 热久日综合| 日本欧美不卡| 九九综合久久| 91亚洲欧美综合高清在线| 久久久精品网站| 女人午夜视频777| 亚洲射综合网| 秋霞怕怕片| 色色色热| 99久在线精品99re8蜜桃| 高清无码在线播放网站| 亚洲AO在线| 一区二区影视| 无套内射性感少妇视频| 人澡逼| 黄色视频60分钟| 久久久久久中文字幕中文字幕最新| 亚洲一二三四区在线免费看视频| 亚洲精品尤物yw在线影院| 天美国产精品| 久久久精品网站| 九九香蕉网| 97视频在线免费| 男女激情黄色网址| 97亚洲国产| 亚洲精品国产专区在线观看| 超碰97色色| 日韩强奸av| 台湾佬中文娱乐自偷自拍| 四虎在线观看视频| 欧美日韩夜夜| 91一区二区三区蜜桃| 情侣开房子拍 日韩无码 女的很漂亮| 操一对老熟妇爽上天视频| 久草视频分类在线| 91高清欧美| 99精品在线| 亚洲欧美日韩不卡人妻| 国内91熟女人妻丝袜天天精品视频在线| 高潮9999外国| 色色无码| 亚洲无码超碰免费| 日韩欧亚中文在线| 午夜寂寞欧美| 熟妇人妻精品一区二区| 精品99999久久久久久| 久操免费在线| 激情亚洲天堂| 亚洲国产一级精品毛一级精品看免费视频 | 亚洲有薄码区日本系列中文字幕| 日本不卡一区| 亚洲AV不卡在线观看尤物| 3P乱轮视频| 日日躁天天躁狠狠躁| 九九热最新| 秋霞Av理论一级在线| 蜜臀99999| 亚洲精品一区二区三区在线播放| 婷婷激情丁香| 色狠狠综合噜一二三区| 一区二区三区成人高清视频| 欧美久久人体| 97精品国产97久久久久久户外免费| 国内毛片欧美香蕉精品| 日产成人久久| 精品妇女一区二区三区| 伊人精品久久网站| 精品人妻丰满熟妇一区二区三| 日韩天美| 51一区二区三区| 手机在线大香蕉| 91中文精品日韩欧美在线| 国产 无码 一区二区| 亚洲色电影在线| 亚洲 欧美 另类 日韩 人妻一区| 久久婷婷影院| 国产精品免费日韩| 97亚洲综合| 久久成人网站| 夜夜久久| 真实高潮91| 人人透人人操| 亚洲国产av中文字幕久久| 精品女同一区二区三区| 男人的天堂VA在线| 九九热精品在线| 国产一区二区三区精品观看啪| 91综合色噜噜| 蜜臀AV一区二区三区| 欧美熟女妇同| 欧美老熟另类| 天美传媒一二三区永久网站| 免费综合亚洲中文| 人人人人插| 天天看精品动漫视频一区| 熟女少妇一区二区三区| 久久动漫精品视频这里只有精品| 熟妇最新先锋一二三区| 丁香六月啪| 亚洲日韩美女中文字幕乱| 国内精品嫩模A∨私拍小视频| 欧美黑人与女人91| 亚洲精品蜜桃久久久| 农村妇女精品一区二区| 欧美综合色站| 歐美一級亂黃99在綫精品| 天天弄天天操| 五月婷丁香| 日本午夜久久电影| 999国产精品999| 亚洲高清无码在线桃色| 人人操肉肉| 免费啪啪av| 欧洲综合无码| 啪啪啪东京| 国产丝袜欧美在线视频| 欧美v亚洲v综合v国产v妖精| 亚洲精品一二牛牛| 青娱乐福利99| 日本色色视频网站| 午夜无遮挡男女啪啪视频| 日本黄大片在线观看视频| 国产精品懂色tv影视免费观看| 国产农村妇女精品| 极品销魂美女一区二区| 99re免费视频精品全部| 操www| 岛国网址国产| 国产无码一二三区| 久色网| 欧美精品第3页| 天天综合,91综合永久| 欧苏综合色综合| 欧美制服网站美腿丝袜| 青青草原综合久久大伊人精品| 一二三啪啪专区| 又摸又舔在线观看网站| 欧日韩在线观看| 青青草国产一区二区三区| 国产精品69久久久久久久 | 大香蕉乱伦视频网| 婷婷亚洲中文字幕在线| 人人超碰在线观看黄| 亚洲人久久久网| 九九九九热只有精品| 久久精品人妻一区| 一区二区三区探花在线观看| 色香色欲天天综合网天天来吧| 综合婷婷| 天堂国产AV| 日本不卡免费二区| a'v在线资源| 国产成人一级av88| 日本99视频| 熟妇艹鸡八| 97精品视频在线播放| 男人久久天堂| 日韩免费大片一级播放| 九九热超碰| yazhousetuoumei| 大干人妻| 欧美激情视频在线一区| 九色视频91| 75大香蕉| 亚洲熟女av中文字幕| 精品九九国产无码| 91亚洲黑人| 色香欲天天天天综合色| 私人尤物在线精品不卡| 黄色高清无码无码破解免费暗网| 日本青青草在线| 九九久精品| 中文字幕高清精品一区| 激情综合亚洲| 天天操美美| 狠狠婷婷亚洲中文综合久久| 99综合| 男人的天堂久久狠| 蜜乳AV免费观看| 婷婷丁香六月天| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 老熟妇一区二区三区| 国产无码久久高清| 色99色| 伊人视频| 青椒国产97在线熟女| 中文一区二区婷婷视频| 色97干| 美女被艹尤物视频| 国产视频小说| 少妇一级婬片免费放一级a性色.| 日韩乱码Av| 欧成人精品一区二区三区| 啪啪啪精品视频| 嗯嗯啊啊视频一区二区三区| 高清有码一区二区| 欧美日韩m| 丰满人妻一区二区三区四区| 婷婷丁香成人| 97色欧洲| 五月天激情四射| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 久久久久久九九九九| 欧美色五月| 久久久久久久久久久精| 婷婷亚洲五月***久久| 91欧美综合在线| 奇米狠999| 欧美91丝袜| 日本Xx性爱| 人妻激情在线视频| 91在线精品| 久热这里| 色婷婷电影网| 亚洲在饯| 亚洲丝袜色图| 免费自拍三级综合| 国产欧美黑人丰满在线| 青娱乐久久艹| 超碰色美女| 色婷婷av在线观看| 国产一级高清免费观看| 天天综合网久久ww| 爽极品影院| 日日干夜夜欢| 超碰av在线| 欧美激情激情xxxx欧美专区| 九九九九日本| 日韩成人性爱电影在线播放| 超碰吊日色| WWW4虎| 翔田千里AⅤHD无码| 久久久久78| 高清在线偷拍自拍视频| 高潮精品| 欧美青青视频| 久久婷婷五月天| 99色网| 中文字幕人乱码中文字的预防方法| 人妻乱仑一区二区三区| 91性感在线| 无码视频一区二区| 曰韩av中文字幕专区| 午夜αv| 丰满精品人妻少妇久久字幕| 日本 欧美 国产一区| 91美女视频在线观看| 91处女视频在线观看| 乱色视频中文字幕| 黄色AV免费| 久久华人网| 嗯嗯啊啊操死我| 夜夜影视四色| 大肥女高潮bbwbbwhd视频| 久久亚洲色图中文字幕| 中文字幕第页| 免费簧片在线观看| 欧美人体性爱互联网第一页婷婷日本| 新视频sss国产| 日韩三级一区 | 亚洲熟女综合| 九九热在线精品视频| 欧美Aⅴ| 日日躁夜夜躁狠狠躁超爽| 伊人991| 久久熟女人| 日韩免费看黄片| 100啪啪视频大全| 欧美日韩人妻精品系列一区二区三区| 狠狠操一区二区| 9九九九九视频在线观看| 色婷婷视频| 日韩国产精品人妻无码久久久| 蜜臀久久精品久久久久视频| 中文有码第五页| 激情久久久| 国产小黄片在线免费观看| 亚洲中文字幕在现观看| 夜夜夜夜久久久久| 天欧美在线| 国产精品网站www| 九九九九88| 欧美男人一区| 九九色婷婷| 在线观看日韩av不卡| 亚洲天堂一区二区久久| 亚洲视频中文一区| 中文字幕后石码四区五区| 亚洲日精品| 青青草好吊| av 模特一区了| 小明看看网址| 中文字幕人妻色偷偷久久皮| 在线天堂999| 操狠狠| 黄污污污污| 五月丁香网站| 大香蕉亚洲中文| 九九热精品| av大香蕉| 七久久久| 欧美视频在线第3页| 日本在线一二| 日韩有码一区三区| 校园春色制服丝袜中文字亚洲| 五月丁香啪啪网| 九九碰九九爱97超碰| 美日韩成人| 五月激情在线| 超碰久久中文| 成人老鸭窝人人在线视频| 亚洲图片欧美制度| 亚洲人妖网| 亚洲性猛| 亚洲久久天堂| 校园春色亚洲色图| 欧美综合亚洲综合| 亚洲成人激情小说视频| 亚洲无码 国产无码| a片自拍直播视频| 翔田千里AⅤHD无码| 成人性爱视频在线看| 亚洲精品一区二区三区在线播放| 婷婷AV一区二区三区| www久久久| 97 亚洲 日韩 欧美 在线| 欧美美女在线高潮999| 久久久性爱视频| 久久精品成人一区二区三区蜜臀| 欧美性少妇| 欧美人妻少妇| 国产一区二区三三视频| 中国探花熟女| 亚洲天天艹| 1000午夜黄色| 99999久久精| 91精品国产91久久福利| 在线视频免费播放一区| 99色视频| 99蜜桃臀亚洲成人在线观看| 亚洲欧美内射| 亚洲啪啪综合?v一区综合精品区| 中文字幕久热视频在线| 久久精品性| 色综合加勒比四四季| 日本道日本道中文字幕日本道最新日本道在线观看 | 九九久精品| 亚洲国产成人精品999| av天堂5| 国产视频一区二区在线观看| 超碰在线1234区| 精品欧美老熟女一二区| 成人午夜小视频手机在线看| 天天综合色电影| 国产精品3| 高清无码久操视频| 亚洲精品99| 99在线啪| 欧美福利视频啊啊啊啊| 激情综合亚洲| 91久久国外网| 久久国产逼| 午夜精品久久久久久久男人的天堂| 国产av热热色| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 亚洲97| 成人在线视频网| 伦在线97| 91被操| 色蜜AV| 超碰色大香蕉| 日本欧美亚洲高清在线看| 色婷婷综合久久中文字幕雪峰| 偷拍导航视频网站| 一级A片女人高潮叫床| 熟妇艹鸡八| 日本淫乱女一区二区三区视频| 精品国产精品一区二区| 久久久久久少妇| 黄色av网站在线播放| 久久久99久9| AV中亚| 五月丁香啪啪| 久久老熟女| 99精品久久久久久久婷婷蜜桃| 青青草狠狠撸| 国产av波波国产精品| www.高清无码诱惑一区.com| 操国产逼| 大香蕉十区| a片自拍直播视频| 操人妻丝袜高跟| 风月影院十八禁| 精品久久視頻在线| 男人的天堂va| 欧美人妻精品| 凹凸视频在线一区二区| 久久久久日本视| 热99这里有精品综合久久| 亚洲,欧美,春色,另类| 久热最新在线杭州| 色性欧美| 人妻性爱一区二区| 亚洲精品天天影视综合网 | 日欧亚洲二三区大片不卡| 超碰久久草| 亚洲一欧洲中文字幕在线| 96久久久精品| www网站黄| 噜噜噜噜天天狠狠| 五月天激情婷婷| 中文久久| 欧美97在线观看| 精品一区二区在线针对华人免费观看这里只有精品免费观看 | 国产 日韩 另类 视频一区爱| 久草毛片| 久久五月份| 校园春色综合网| 1二区9| 在线人人人人人人精品超 | 国产精品麻豆免费视频| 亚洲性少妇| **一级毛片国产| 色欧美亚洲| 国产欧美日韩臀| 粉嫩不卡一区二区性爱| 殴美性天天| 好看的91视频| 国产一区二区啪啪视频| 国产精品96| 日韩三级在线观看mp4| 福利伊人玖玖国产| 9Ⅰ超碰| 四季AV综合网址| 玖玖爱免费观看视频| 欧美激情区| 欧美精品91| 极品色www影院| 欧洲在线性爱视频| 欧美在线色| 九九在线精品| 少妇一区二区三区高速| 97精品视频在线| 夜夜操老骚逼视频网站| 操逼片中文| 久久久久亚洲| 综合97久久| 美日韩一卡二卡三卡免费人妻精品| av强奸乱轮| 熟女人妻一区二区三区| 激情小说亚洲视频| 福利风月五月天影院| 亚洲精品乱码久久久久久蜜桃麻豆 | 日本熟女免费視颖| 啊啊啊啊操死我| 欧洲亚洲综合| 有码人妻系列| 日本色婷婷| 国产欧美精选激情视频| 国产400孕妇孕交群| 青青草中日韩在线| 日韩av色图综合| 天天爽天天操| 久久鲁干| 尤物网址| 午夜成人爽爽爽爽A片李冰冰| 老司机福利社视频在线观看| 久久精品72| 久久欧美按摩999| 在线国产探花| 太久视频| 日韩亚洲精品一区二区| 小说区 图片区色 综合区| 性欧美91| 91大香蕉伊人| 人妻天天爽夜夜爽2| 欧美乱妇狂野欧美在线视频| 高树玛利亚无码流出| 红杏大香蕉| 中日高清无码操逼视频| 一区二区视频在线播放| 日韩乱伦AⅤ| 国产91av在线播放| 人妻一区二区三区四区视频| 亚洲男人天堂2017| 亚洲骚逼少妇| 啊啊啊水好多| 校园激情狠狠四射| 久草精品在线| 亚洲中文字幕av| 一本大道久| 亚洲色图8| 蜜区区视频79| 欲香欲色综合天天伊人| 清纯唯美第一页| 成人三级片一区二区三区视频| 蜜桃午夜视频一区二区 | 久久精品99| 少妇精品久久久八区九区| 91五月天| 色拍偷亚洲| 国产丝袜高跟美女av免费观看| 啊啊啊啊好疼视频| 精品丰满熟妇人妻一区| 在线看污网站| 97超碰日韩| 粉嫩av平台| 日本欧美一区二区三区视频麻豆| 日本性感人妻91| 亚洲成人在线高清| 免费亚洲黄色视频在线观看| 色情乱伦AV| 五月天激情影院| 丁香六月综合激情| 性色avv| 久久最新视频免费观看| 97爱b| 亚洲在线综合| 人人妻人人澡人人爽人人精品浪潮| 97干在线视频| 国产精品久久久久久亚洲色欲| 日韩精品一区二区高清| 国产欧美岛国精品一区| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 国产偷人伦激情在线观看| 操婢日韩| 在线啊v一区| 精品夜夜澡人妻无码| 国产乱弄免费在线视频。| 伊人在线大香蕉二。| 97在线视频网站| 国产精品99精品视频网站| 国产精品久久99日日| 日本色色色| 裸模AV女优| 18精品一二区| 91精品国产91久久福利| 国语精品内射在线观看| 国产这里只有精品| 国产精品。| 亚洲天堂电影网99999| 少妇久久久久久| 视频国产精品未满十八禁止在线观看| 99久久九九| 北京美女一区二区| 亚洲天堂男| 日韩在线性爱免费视频| 91黑丝露脚| 性交一区二区在线播放| 亚洲天天更新| 韩国午夜理伦三级好看| 久操黄色视频| 久久成人网站| 性爱视频免费网址| 婷婷精品| 蜜臀av中文字幕| 精品无码秘 人妻一区二区| 精品黑人一区二区| 精产国品一区二三产品| julia国产在线 | 超碰这里只有精品| 欧美狠狠| 日本 欧美 国产一区| 91中文精品日韩欧美在线| 亚洲色人阁| 日韩在线观看字幕精品| 抽查国产福利主播| 九九九九AV| 日本精品成人无码| 成人精品一区二区三区| 亚洲美女av无码| 九九伊人网| 欧美激情黑人| 亚洲AV无码翔田千里网站| 亚洲国产一区二区三区在线| 天天天干977| 久久精品国产亚洲AV无码电影| 亚州综合电影| 国产在线播放成人免费| 久99热| 超碰是碰在线观看| 日韩无码嘿咻黑热久| 天堂亚洲精品久久老牛| 亚洲色图尤物视频| 国产精品一二三区18| 五月天色色色| 老鸭窝日丰县女人| 八戒无码国产午夜福利| 97网址www| 国产乱伦视频污| 久久侵犯人妻爽爽爽| 日本道不卡| 四虎免费看黄| 久久綜合很很很| 一区AV| 中亚av| 国产精品剧情| 欧美日韩情色一区二区| 天天射日日干| 日韩精品区二区三区不卡| 97久久久久| 色噜噜狠狠色综无码久久合欧美| 90后后入| 婷婷丁香在线| 中文字幕AV中出| 先锋精品av色鲁| 亚洲激情视频| 日韩女优中文字幕| 日本成熟少妇A∨网站| 蜜臀AV一区二区三区激情综合| aa片毛片| 佐山爱中文字幕| 国产精品久久久久久久AV大片| 亚洲情色图片区| 久久人人爽爽人人爽人人片αV| 好舒服视频| 精品在线观看视频在线| 亚洲天堂少妇| 青草视频在线看看看看看看看看看| 欧美成97爱| 欧插网站| 成年人三级黄色片视频| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 蜜桃av综合网发布| 亚洲天堂资源在线| 香蕉99秘 精品一区丁香| 精品日韩人妻视频| 激情文学 亚洲图片| www.色婷婷色综合| 2019天天干| 一区二区视频你懂的| 亚洲中文一区二区三区视频| 老熟女网站| 久久综合女优| 人妻激情偷乱视三区频一区二区| 96超碰网| 久久av色| 一区三区啪啪| 又大又大又大又粗爽高潮观看| 97看操| 亚洲aV无码成人在线观看| 欧美日韩资源| 欧美91网站| 九月丁香婷婷| av在线播放国产一区| 俺也射| 97亚洲一区| 亚洲古典另类欧美在线| 黄骗免费网站| 成人精品欧洲亚洲| 大香蕉宗合网在线| 日本精品无码三级网站| 久久久久久性爱免费视频| 蜜臀AV成人精品蜜臀| 五月天社区| 高清一区AV无码| 蜜臀久久久99久久久久 | 96国产精品| 国产小炒后入式| 丁香激情五月天| 无码逼| 久久婷婷电影网| 超碰久久.com| 久9久精品视频| 2001天天操| 麻豆啪啪啪视频| 日日夜夜精品| 2019天天干| 97超碰公开| 国产精品久久久久久久免牛肉蒲团| 久久久久成人蜜桃精品| 温婉少妇玩3p| 午夜男女爽爽大片免费观看| 日本亚洲嫩草影院啪啪| 亚洲国产丝袜在线观看| 4141514逼喷水三级片| 99在线观看| 人人爱人人操人人性| 免费啪啪av| 国内偷拍精品一区二区| 精品国产乱码久久久| 日韩色图 一区二区| 欧美韩国你懂得在线 | 资源在线观一 二| 99人人干| 黄片直播三级黄片两女一男| 欧美日韩另类在线| 在线a亚洲视频播放在线| 亚洲精品91| 国内毛片四区| 亚春色色| av橘色网站| 老鸭窝成人| 天天操熟妇| 本道在线| 一区超碰一区| 超碰 国产熟女精品一区| 久久久免费懂色| 人妻黑丝袜电影| silk lablo在线观看一区二区| 一本一道久久综合久久| 国产人妖的免费的视频| 黄色免费一级在线毛片| 亚洲图片欧美色图| 久久六六| 日本操逼视频在线| 大香蕉伊人网| 日韩性爱长视频免费| 91天天| 97超碰站| 午夜福利国产欧美日韩夜夜| 肏逼视频日本| 国产精品嫩草影院午夜两性| 超碰精品国产无码| 日韩黄片影院| 亚洲欧美在线观看无码| 曰韩操B| 国产家庭乱伦网址| 黄色一级视| 狠狠色婷婷7777久| 色婷婷综合久久久久中文国产精品一区中文字幕,国产福利电影一区二区三区 | 国产精品久久久午夜夜伦鲁鲁| 亚洲蜜臀精品视频久久| 亚洲小说视频|