亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

linux-command 手冊(cè)解讀:strace 系統(tǒng)調(diào)用跟蹤工具詳解與實(shí)戰(zhàn)

linux-command 手冊(cè)解讀:strace 系統(tǒng)調(diào)用跟蹤工具詳解與實(shí)戰(zhàn) 文檔教程【免費(fèi)下載鏈接】linux-commandLinux命令大全搜索工具內(nèi)容包含Linux命令手冊(cè)、詳解、學(xué)習(xí)、搜集。https://git.io/linux項(xiàng)目地址https://gitcode.com/GitHub_Trending/linux/linux-command點(diǎn)擊查看免費(fèi)下載本篇文章基于 linux-command 倉(cāng)庫(kù)中的 strace 命令文檔 展開(kāi)系統(tǒng)講解這一「集診斷、調(diào)試、統(tǒng)計(jì)于一體」的系統(tǒng)調(diào)用跟蹤工具從語(yǔ)法與全部選項(xiàng)入手通過(guò)追蹤系統(tǒng)調(diào)用、跟蹤信號(hào)傳遞、系統(tǒng)調(diào)用統(tǒng)計(jì)三個(gè)經(jīng)典實(shí)例再到分析 Oracle lgwr 進(jìn)程寫(xiě)入行為的綜合實(shí)戰(zhàn)讓讀者掌握用 strace 定位故障、理解程序工作過(guò)程、量化系統(tǒng)調(diào)用開(kāi)銷的完整方法論。strace 是什么系統(tǒng)調(diào)用與信號(hào)的雙重觀察窗口strace 命令是一個(gè)集診斷、調(diào)試、統(tǒng)計(jì)于一體的工具它通過(guò)對(duì)應(yīng)用的系統(tǒng)調(diào)用和信號(hào)傳遞進(jìn)行跟蹤幫助工程師解決問(wèn)題或了解應(yīng)用的工作過(guò)程。需要明確的是strace 與專業(yè)的調(diào)試工具如 gdb定位不同它不是一個(gè)專業(yè)調(diào)試器不會(huì)提供斷點(diǎn)、單步執(zhí)行、變量查看等交互式調(diào)試能力而是以「旁觀者」的視角記錄程序與內(nèi)核之間的每一次交互。Linux 用戶態(tài)程序的一切行為最終都要通過(guò)系統(tǒng)調(diào)用syscall到達(dá)內(nèi)核例如讀寫(xiě)文件、分配內(nèi)存、創(chuàng)建進(jìn)程、網(wǎng)絡(luò)通信同時(shí)進(jìn)程也會(huì)接收來(lái)自內(nèi)核或其他進(jìn)程的信號(hào)signal。strace 恰好把這兩類事件全部記錄下來(lái)并解析成人類可讀的文本這就構(gòu)成了觀察程序行為的兩個(gè)最佳窗口。在 linux-command 倉(cāng)庫(kù)中strace 與幾個(gè)工具形成互補(bǔ)關(guān)系便于橫向?qū)Ρ壤斫鈒trace 命令文檔跟蹤進(jìn)程調(diào)用庫(kù)函數(shù)的情況與 strace 跟蹤系統(tǒng)調(diào)用恰好互補(bǔ)二者常搭配使用gdb 命令文檔功能強(qiáng)大的程序調(diào)試器支持?jǐn)帱c(diǎn)、單步、變量查看屬于真正的「專業(yè)調(diào)試器」strace 不與其競(jìng)爭(zhēng)。strace 最簡(jiǎn)單的用法就是執(zhí)行一個(gè)指定的命令在命令結(jié)束之后它也就退出。在命令執(zhí)行的過(guò)程中strace 會(huì)記錄并解析命令進(jìn)程的所有系統(tǒng)調(diào)用以及這個(gè)進(jìn)程所接收到的所有信號(hào)值。語(yǔ)法strace [ -dffhiqrtttTvxx ] [ -acolumn ] [ -eexpr ] ... [ -ofile ] [-ppid ] ... [ -sstrsize ] [ -uusername ] [ -Evarval ] ... [ -Evar ]... [command [ arg ... ] ] strace -c [ -eexpr ] ... [ -Ooverhead ] [ -Ssortby ] [ command [ arg... ] ]兩種語(yǔ)法形式的區(qū)別在于第一種是常規(guī)跟蹤模式直接跟蹤并實(shí)時(shí)輸出每個(gè)系統(tǒng)調(diào)用第二種固定以-c開(kāi)頭進(jìn)入統(tǒng)計(jì)模式只輸出系統(tǒng)調(diào)用的匯總統(tǒng)計(jì)報(bào)表。-Ooverhead用于設(shè)置每個(gè)系統(tǒng)調(diào)用的開(kāi)銷值微秒級(jí)以便-c統(tǒng)計(jì)時(shí)扣除該開(kāi)銷得到更真實(shí)的耗時(shí)-Ssortby指定統(tǒng)計(jì)結(jié)果的排序字段如 time、calls、errors 等。選項(xiàng)詳解strace 的選項(xiàng)覆蓋面很廣下面是文檔中給出的完整選項(xiàng)清單-c 統(tǒng)計(jì)每一系統(tǒng)調(diào)用的所執(zhí)行的時(shí)間,次數(shù)和出錯(cuò)的次數(shù)等. -d 輸出strace關(guān)于標(biāo)準(zhǔn)錯(cuò)誤的調(diào)試信息. -f 跟蹤由fork調(diào)用所產(chǎn)生的子進(jìn)程. -ff 如果提供-o filename,則所有進(jìn)程的跟蹤結(jié)果輸出到相應(yīng)的filename.pid中,pid是各進(jìn)程的進(jìn)程號(hào). -F 嘗試跟蹤vfork調(diào)用.在-f時(shí),vfork不被跟蹤. -h 輸出簡(jiǎn)要的幫助信息. -i 輸出系統(tǒng)調(diào)用的入口指針. -q 禁止輸出關(guān)于脫離的消息. -r 打印出相對(duì)時(shí)間關(guān)于,,每一個(gè)系統(tǒng)調(diào)用. -t 在輸出中的每一行前加上時(shí)間信息. -tt 在輸出中的每一行前加上時(shí)間信息,微秒級(jí). -ttt 微秒級(jí)輸出,以秒了表示時(shí)間. -T 顯示每一調(diào)用所耗的時(shí)間. -v 輸出所有的系統(tǒng)調(diào)用.一些調(diào)用關(guān)于環(huán)境變量,狀態(tài),輸入輸出等調(diào)用由于使用頻繁,默認(rèn)不輸出. -V 輸出strace的版本信息. -x 以十六進(jìn)制形式輸出非標(biāo)準(zhǔn)字符串 -xx 所有字符串以十六進(jìn)制形式輸出. -a column 設(shè)置返回值的輸出位置.默認(rèn) 為40. -e expr 指定一個(gè)表達(dá)式,用來(lái)控制如何跟蹤.格式[qualifier][!]value1[,value2]... qualifier只能是 trace,abbrev,verbose,raw,signal,read,write其中之一.value是用來(lái)限定的符號(hào)或數(shù)字.默認(rèn)的 qualifier是 trace.感嘆號(hào)是否定符號(hào).例如:-eopen等價(jià)于 -e traceopen,表示只跟蹤open調(diào)用.而-etrace!open 表示跟蹤除了open以外的其他調(diào)用.有兩個(gè)特殊的符號(hào) all 和 none. 注意有些shell使用!來(lái)執(zhí)行歷史記錄里的命令,所以要使用\. -e traceset 只跟蹤指定的系統(tǒng) 調(diào)用.例如:-e traceopen,close,rean,write表示只跟蹤這四個(gè)系統(tǒng)調(diào)用.默認(rèn)的為setall. -e tracefile 只跟蹤有關(guān)文件操作的系統(tǒng)調(diào)用. -e traceprocess 只跟蹤有關(guān)進(jìn)程控制的系統(tǒng)調(diào)用. -e tracenetwork 跟蹤與網(wǎng)絡(luò)有關(guān)的所有系統(tǒng)調(diào)用. -e stracesignal 跟蹤所有與系統(tǒng)信號(hào)有關(guān)的 系統(tǒng)調(diào)用 -e traceipc 跟蹤所有與進(jìn)程通訊有關(guān)的系統(tǒng)調(diào)用 -e abbrevset 設(shè)定strace輸出的系統(tǒng)調(diào)用的結(jié)果集.-v 等與 abbrevnone.默認(rèn)為abbrevall. -e rawset 將指定的系統(tǒng)調(diào)用的參數(shù)以十六進(jìn)制顯示. -e signalset 指定跟蹤的系統(tǒng)信號(hào).默認(rèn)為all.如 signal!SIGIO(或者signal!io),表示不跟蹤SIGIO信號(hào). -e readset 輸出從指定文件中讀出 的數(shù)據(jù).例如: -e read3,5 -e writeset 輸出寫(xiě)入到指定文件中的數(shù)據(jù). -o filename 將strace的輸出寫(xiě)入文件filename -p pid 跟蹤指定的進(jìn)程pid. -s strsize 指定輸出的字符串的最大長(zhǎng)度.默認(rèn)為32.文件名一直全部輸出. -u username 以u(píng)sername的UID和GID執(zhí)行被跟蹤的命令面對(duì)這么多選項(xiàng)可以從四個(gè)維度來(lái)組織理解輸出控制類-o filename將輸出寫(xiě)入文件對(duì)應(yīng)下文的「重定向輸出」-a column對(duì)齊返回值的輸出位置-s strsize限制字符串輸出長(zhǎng)度-q抑制附加消息-v展開(kāi)所有調(diào)用細(xì)節(jié)如環(huán)境變量、狀態(tài)、輸入輸出等因調(diào)用頻繁默認(rèn)不展開(kāi)的內(nèi)容-x/-xx控制非標(biāo)準(zhǔn)字符串的十六進(jìn)制顯示-i打印系統(tǒng)調(diào)用入口地址。進(jìn)程跟蹤類-f跟蹤 fork 出的子進(jìn)程守護(hù)進(jìn)程排障常用-ff配合-o時(shí)按filename.pid為每個(gè)進(jìn)程單獨(dú)輸出-F嘗試跟蹤 vfork-p pid掛接到已運(yùn)行進(jìn)程-u username以指定用戶身份運(yùn)行被跟蹤命令。時(shí)間類-r相對(duì)時(shí)間-t/-tt/-ttt三種時(shí)間戳精度-T單次調(diào)用耗時(shí)-c匯總統(tǒng)計(jì)-Ooverhead扣除系統(tǒng)調(diào)用開(kāi)銷-Ssortby指定統(tǒng)計(jì)排序字段。診斷輔助類-d調(diào)試信息-h幫助-V版本信息。其中最重要的是-e expr其格式為[qualifier][!]value1[,value2]...。qualifier 只能是trace、abbrev、verbose、raw、signal、read、write之一默認(rèn)是tracevalue 是用于限定的符號(hào)或數(shù)字感嘆號(hào)表示否定。例如-e open等價(jià)于-e traceopen表示只跟蹤 open 調(diào)用而-e trace!open表示跟蹤除 open 以外的所有調(diào)用。另有all和none兩個(gè)特殊值。注意有些 shell 會(huì)用!執(zhí)行歷史命令因此在命令行中需要加反斜杠轉(zhuǎn)義。trace限定符還提供了幾個(gè)預(yù)置分類非常實(shí)用-e tracefile只跟蹤文件操作相關(guān)系統(tǒng)調(diào)用-e traceprocess只跟蹤進(jìn)程控制相關(guān)系統(tǒng)調(diào)用-e tracenetwork跟蹤所有網(wǎng)絡(luò)相關(guān)系統(tǒng)調(diào)用-e tracesignal跟蹤所有與信號(hào)相關(guān)的系統(tǒng)調(diào)用-e traceipc跟蹤所有與進(jìn)程間通信相關(guān)的系統(tǒng)調(diào)用。read/write限定符則用于輸出指定文件描述符上讀寫(xiě)的數(shù)據(jù)內(nèi)容例如-e read3,5表示輸出從 fd 3、5 讀出的數(shù)據(jù)——這在分析協(xié)議交互時(shí)非常有用。實(shí)例一追蹤系統(tǒng)調(diào)用讀懂程序的一舉一動(dòng)做一個(gè)很簡(jiǎn)單的程序來(lái)演示 strace 的基本用法。C 語(yǔ)言代碼如下# filename test.c #include stdio.h int main() { int a; scanf(%d, a); printf(%09d\n, a); return 0; }程序邏輯極其簡(jiǎn)單從標(biāo)準(zhǔn)輸入讀一個(gè)整數(shù)再按 9 位寬度補(bǔ)零輸出。用gcc -o test test.c編譯得到可執(zhí)行文件 test然后用 strace 調(diào)用執(zhí)行strace ./test執(zhí)行期間程序會(huì)要求輸入一個(gè)整數(shù)輸入 99得到結(jié)果// 直接執(zhí)行test的結(jié)果 oracleorainst[orcl]:~ $./test // 執(zhí)行的結(jié)果 99 000000099 // 通過(guò)strace執(zhí)行test的結(jié)果 oracleorainst[orcl]:~ $strace ./test // strace的trace結(jié)果 execve(./test, [./test], [/* 41 vars */]) 0 uname({sysLinux, nodeorainst.desktop.mycompany.com, ...}) 0 brk(0) 0x8078000 fstat64(3, {st_modeS_IFREG|0644, st_size65900, ...}) 0 old_mmap(NULL, 65900, PROT_READ, MAP_PRIVATE, 3, 0) 0xbf5ef000 close(3) 0 open(/lib/tls/libc.so.6, O_RDONLY) 3 read(3, \177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\200X\1..., 512) 512 fstat64(3, {st_modeS_IFREG|0755, st_size1571692, ...}) 0 old_mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ee000 old_mmap(NULL, 1275340, PROT_READ|PROT_EXEC, MAP_PRIVATE, 3, 0) 0xa02000 old_mmap(0xb34000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED, 3, 0x132000) 0xb34000 old_mmap(0xb37000, 9676, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) 0xb37000 close(3) 0 set_thread_area({entry_number:-1 - 6, base_addr:0xbf5ee740, limit:1048575, seg_32bit:1, contents:0, read_only_exec:0, limit_in_pages:1, seg_not_present:0, useable:1}) 0 munmap(0xbf5ef000, 65900) 0 fstat64(0, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ff000 read(0, 99 99\n, 1024) 3 fstat64(1, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5fe000 write(1, 000000099\n, 10000000099 ) 10 munmap(0xbf5fe000, 4096) 0 exit_group(0) ?從 trace 結(jié)構(gòu)可以看到程序完整的工作過(guò)程系統(tǒng)首先調(diào)用execve開(kāi)始一個(gè)新的進(jìn)程接著進(jìn)行環(huán)境初始化——uname獲取內(nèi)核信息、brk調(diào)整堆、一系列old_mmap映射動(dòng)態(tài)庫(kù)libc.so.6代碼段與數(shù)據(jù)段、set_thread_area設(shè)置線程本地存儲(chǔ)最后程序停頓在read(0, ...)上——這對(duì)應(yīng)scanf等待輸入。輸入 99 后程序調(diào)用write將格式化后的數(shù)值000000099輸出到屏幕fd 1最后調(diào)用exit_group退出進(jìn)程完成整個(gè)執(zhí)行過(guò)程。這里值得留意的是每個(gè)系統(tǒng)調(diào)用末尾的 0、 3、 10它們是調(diào)用的返回值例如read(0, 99\n, 1024) 3表示從標(biāo)準(zhǔn)輸入實(shí)際讀到了 3 個(gè)字節(jié)write(1, 000000099\n, ...) 10表示寫(xiě)出了 10 個(gè)字節(jié)。返回值是 strace 輸出中最關(guān)鍵的信息之一排障時(shí)經(jīng)常據(jù)此判斷調(diào)用是否失敗負(fù)數(shù)即出錯(cuò)。實(shí)例二跟蹤信號(hào)傳遞觀察進(jìn)程如何被終止仍使用上面的 test 程序觀察進(jìn)程接收信號(hào)的情況。先執(zhí)行strace ./test等到等待輸入的畫(huà)面時(shí)不要輸入任何內(nèi)容然后打開(kāi)另一個(gè)終端窗口輸入killall test可以看到程序隨即退出最后的 trace 結(jié)果如下oracleorainst[orcl]:~ $strace ./test execve(./test, [./test], [/* 41 vars */]) 0 uname({sysLinux, nodeorainst.desktop.mycompany.com, ...}) 0 brk(0) 0x9ae2000 old_mmap(NULL, 65900, PROT_READ, MAP_PRIVATE, 3, 0) 0xbf5ef000 close(3) 0 open(/lib/tls/libc.so.6, O_RDONLY) 3 read(3, \177ELF\1\1\1\0\0\0\0\0\0\0\0\0\3\0\3\0\1\0\0\0\200X\1..., 512) 512 fstat64(3, {st_modeS_IFREG|0755, st_size1571692, ...}) 0 old_mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ee000 old_mmap(NULL, 1275340, PROT_READ|PROT_EXEC, MAP_PRIVATE, 3, 0) 0x2e9000 old_mmap(0x41b000, 12288, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED, 3, 0x132000) 0x41b000 old_mmap(0x41e000, 9676, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_FIXED|MAP_ANONYMOUS, -1, 0) 0x41e000 close(3) 0 set_thread_area({entry_number:-1 - 6, base_addr:0xbf5ee740, limit:1048575, seg_32bit:1, contents:0, read_only_exec:0, limit_in_pages:1, seg_not_present:0, useable:1}) 0 munmap(0xbf5ef000, 65900) 0 fstat64(0, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5ff000 read(0, 0xbf5ff000, 1024) ? ERESTARTSYS (To be restarted) --- SIGTERM (Terminated) 0 (0) --- killed by SIGTERM 這次的關(guān)鍵變化在最后三行阻塞在read(0, ...)上的進(jìn)程收到 SIGTERM 信號(hào)read 系統(tǒng)調(diào)用被中斷返回? ERESTARTSYS (To be restarted)該返回值表示系統(tǒng)調(diào)用將被重啟緊接著 strace 打印出--- SIGTERM (Terminated) 0 (0) ---標(biāo)記信號(hào)到達(dá)并以 killed by SIGTERM 明確告知 test 進(jìn)程是被 SIGTERM 信號(hào)殺死的。killall命令默認(rèn)發(fā)送的正是 SIGTERM可參考倉(cāng)庫(kù)中 killall 命令文檔它把「按名稱查找進(jìn)程 發(fā)送信號(hào)」兩步合并為一步。這一實(shí)例展示了 strace 的典型排障用法當(dāng)程序「莫名其妙」退出時(shí)strace 能明確告訴你是被哪個(gè)信號(hào)終止的——這在排查 OOM Killer、外部監(jiān)控腳本誤殺、服務(wù)重啟等場(chǎng)景中尤其有用。實(shí)例三系統(tǒng)調(diào)用統(tǒng)計(jì)量化程序行為strace 不光能追蹤系統(tǒng)調(diào)用通過(guò)-c參數(shù)它還能將進(jìn)程所有的系統(tǒng)調(diào)用做一個(gè)統(tǒng)計(jì)分析。執(zhí)行帶-c參數(shù)的 stracestrace -c ./test得到的統(tǒng)計(jì)結(jié)果oracleorainst[orcl]:~ $strace -c ./test execve(./test, [./test], [/* 41 vars */]) 0 % time seconds usecs/call calls errors syscall ------ ----------- ----------- --------- --------- ---------------- 45.90 0.000140 5 27 25 open 34.43 0.000105 4 24 21 stat64 7.54 0.000023 5 5 old_mmap 2.62 0.000008 8 1 munmap 1.97 0.000006 6 1 uname 1.97 0.000006 2 3 fstat64 1.64 0.000005 3 2 1 read 1.31 0.000004 2 2 close 0.98 0.000003 3 1 brk 0.98 0.000003 3 1 mmap2 0.66 0.000002 2 1 set_thread_area ------ ----------- ----------- --------- --------- ---------------- 100.00 0.000305 68 47 total統(tǒng)計(jì)表清晰地揭示了程序的行為特征open被調(diào)用了 27 次卻出現(xiàn) 25 次錯(cuò)誤error 列stat64調(diào)用 24 次出現(xiàn) 21 次錯(cuò)誤——這是因?yàn)閯?dòng)態(tài)鏈接器在搜索共享庫(kù)時(shí)會(huì)對(duì)多個(gè)候選路徑逐一open/stat64找不到就返回錯(cuò)誤直到命中正確的路徑這是正?,F(xiàn)象而非故障。% time列展示每個(gè)系統(tǒng)調(diào)用的耗時(shí)占比seconds是該類調(diào)用的累計(jì)耗時(shí)usecs/call是單次調(diào)用平均耗時(shí)calls是調(diào)用次數(shù)errors是出錯(cuò)次數(shù)。末尾的total行給出全局匯總本次運(yùn)行共 68 次調(diào)用、47 次出錯(cuò)、總耗時(shí) 0.000305 秒。這個(gè)功能對(duì)分析程序性能熱點(diǎn)極有價(jià)值哪類系統(tǒng)調(diào)用最耗時(shí)、出錯(cuò)最頻繁一眼即知從而為優(yōu)化方向如減少文件系統(tǒng)訪問(wèn)、增加緩存、合并小寫(xiě)入提供數(shù)據(jù)支撐。常用參數(shù)實(shí)戰(zhàn)除了-cstrace 還提供了其他常用參數(shù)便于按需獲取信息。重定向輸出參數(shù)-o用于將 strace 的結(jié)果輸出到文件中。如果不指定-o默認(rèn)輸出設(shè)備是 STDERR也就是說(shuō)-o filename和2filename的結(jié)果是一樣的# 這兩個(gè)命令都是將strace結(jié)果輸出到文件test.txt中 strace -c -o test.txt ./test strace -c ./test 2test.txt理解這一點(diǎn)的實(shí)際價(jià)值在于strace 結(jié)果默認(rèn)走 stderr 而非 stdout因此既可以用-o讓工具自己管理輸出文件也可以借助 shell 的重定向機(jī)制把輸出導(dǎo)入任意位置例如配合grep過(guò)濾、tee同時(shí)查看和保存。跟蹤產(chǎn)生大量輸出時(shí)務(wù)必使用文件保存避免終端刷屏影響觀察。對(duì)系統(tǒng)調(diào)用進(jìn)行計(jì)時(shí)strace 可以使用-T參數(shù)將每個(gè)系統(tǒng)調(diào)用所花費(fèi)的時(shí)間打印出來(lái)每個(gè)調(diào)用的時(shí)間開(kāi)銷顯示在調(diào)用行最右邊的尖括號(hào)內(nèi)oracleorainst[orcl]:~ $strace -T ./test // 這里只摘錄部分結(jié)果 read(0, 1 1\n, 1024) 2 2.673455 fstat64(1, {st_modeS_IFCHR|0620, st_rdevmakedev(136, 0), ...}) 0 0.000014 mmap2(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) 0xbf5fe000 0.000017 write(1, 000000001\n, 10000000001 ) 10 0.000016 munmap(0xbf5fe000, 4096) 0 0.000020 exit_group(0) ?注意read調(diào)用耗時(shí) 2.673455 秒——這是它阻塞等待鍵盤(pán)輸入的時(shí)間與程序執(zhí)行邏輯一致而后續(xù)調(diào)用都是微秒級(jí)。這一參數(shù)把「哪次調(diào)用慢」精確到單個(gè)系統(tǒng)調(diào)用級(jí)別是定位 IO 瓶頸、鎖等待、網(wǎng)絡(luò)阻塞的利器。系統(tǒng)調(diào)用的時(shí)間strace 會(huì)將每次系統(tǒng)調(diào)用的發(fā)生時(shí)間記錄下來(lái)使用-t/-tt/-ttt三個(gè)參數(shù)即可看到效果參數(shù)名輸出樣式說(shuō)明-t10:33:04 exit_group(0)輸出結(jié)果精確到秒-tt10:33:48.159682 exit_group(0)輸出結(jié)果精確到微秒-ttt1262169244.788478 exit_group(0)精確到微秒且時(shí)間表示為 Unix 時(shí)間戳三種精度的選擇取決于分析粒度粗看調(diào)用序列用-t足夠分析毫秒級(jí)延遲或調(diào)用頻率用-tt需要與其他日志時(shí)間戳如應(yīng)用日志、數(shù)據(jù)庫(kù) trace 文件做跨源對(duì)齊時(shí)-ttt輸出的 Unix 時(shí)間戳最方便計(jì)算時(shí)間差。截?cái)噍敵?s參數(shù)用于指定 trace 結(jié)果每一行輸出的字符串長(zhǎng)度。下面看看對(duì) test 程序中-s參數(shù)的影響指定-s 20然后在 read 時(shí)輸入一個(gè)超過(guò) 20 個(gè)字符的數(shù)字串strace -s 20 ./test read(0, 2222222222222222222222222 // 我們輸入的2一共有25個(gè) 22222222222222222222..., 1024) 26 // 而我們看到的結(jié)果中2只有20個(gè)默認(rèn)情況下字符串最多顯示 32 個(gè)字符文件名除外文件名一直全部輸出。當(dāng)關(guān)心調(diào)用參數(shù)中的大塊數(shù)據(jù)如完整的 SQL 文本、協(xié)議報(bào)文時(shí)就需要調(diào)大-s反之當(dāng)輸出中夾雜大量二進(jìn)制數(shù)據(jù)影響閱讀時(shí)可以調(diào)小-s讓輸出更清爽。跟蹤一個(gè)現(xiàn)有的進(jìn)程strace 不僅能自己初始化一個(gè)進(jìn)程進(jìn)行跟蹤還能掛接到現(xiàn)有進(jìn)程上參數(shù)-p就是起這個(gè)作用的strace -p pid掛接運(yùn)行中的進(jìn)程是生產(chǎn)環(huán)境排障的典型姿勢(shì)進(jìn)程已經(jīng)出現(xiàn)異??ㄋ?、高負(fù)載、句柄泄漏時(shí)才介入無(wú)需重啟進(jìn)程直接觀察其當(dāng)前行為。掛接后按 CtrlC 即可停止跟蹤并恢復(fù)進(jìn)程正常運(yùn)行。綜合實(shí)戰(zhàn)strace 分析 Oracle lgwr 進(jìn)程前面介紹了不少功能和參數(shù)下面來(lái)看一個(gè)實(shí)用的綜合案例研究 Oracle 的 lgwrLog Writer日志寫(xiě)進(jìn)程進(jìn)程驗(yàn)證它是否像文檔所述那樣每 3 秒寫(xiě)一次 log 文件。考慮到 lgwr 寫(xiě)日志的觸發(fā)條件比較多需要找一個(gè)空閑的 Oracle 實(shí)例做這個(gè)實(shí)驗(yàn)。第一步獲取 lgwr 進(jìn)程的 PIDps -ef|grep lgwr oracle 5912 1 0 Nov12 ? 00:14:56 ora_lgwr_orcl得到 lgwr 的 PID 是 5912ps -ef | grep的常規(guī)找進(jìn)程方式可參考倉(cāng)庫(kù)中 ps 命令文檔。啟動(dòng) strace將跟蹤結(jié)果輸出到 lgwr.txt 文件中strace -tt -s 10 -o lgwr.txt -p 5912這里綜合使用了三個(gè)參數(shù)-tt輸出微秒級(jí)時(shí)間戳用于精確觀察寫(xiě)入間隔、-s 10截?cái)嘧址敵鰈gwr 寫(xiě)入的數(shù)據(jù)塊很大只關(guān)心前 10 個(gè)字符即可、-o lgwr.txt將結(jié)果寫(xiě)入文件避免長(zhǎng)時(shí)間跟蹤刷屏。過(guò)一會(huì)兒停止 strace然后查看結(jié)果。由于輸出較多為了方便只查看 Oracle 寫(xiě)入 log 文件時(shí)用到的 pwrite 函數(shù)調(diào)用grep pwrite\(20 lgwr.txt為什么 grep 時(shí)用pwrite(20呢因?yàn)楫?dāng)前機(jī)器打開(kāi)的 log 文件句柄編號(hào)從 2 開(kāi)始。具體查找方法是先找出當(dāng)前活動(dòng)的日志文件都有哪些在 SQL*Plus 中執(zhí)行select member, v$log.status from v$log, v$logfile where v$log.group#v$logfile.group#;得到MEMBER STATUS -------------------------------------------------- ---------------- /db/databases/orcl/redo-01-a/redo-t01-g03-m1.log INACTIVE /db/databases/orcl/redo-03-a/redo-t01-g03-m2.log INACTIVE /db/databases/orcl/redo-02-a/redo-t01-g02-m1.log CURRENT /db/databases/orcl/redo-04-a/redo-t01-g02-m2.log CURRENT /db/databases/orcl/redo-01-a/redo-t01-g01-m1.log INACTIVE /db/databases/orcl/redo-03-a/redo-t01-g01-m2.log INACTIVE /db/databases/orcl/redo-02-a/redo-t01-g04-m1.log INACTIVE /db/databases/orcl/redo-04-a/redo-t01-g04-m2.log INACTIVE然后到 /proc 中查看該進(jìn)程打開(kāi)的文件句柄ll /proc/.5912/fd/得到lrwx------ 1 oracle dba 64 Dec 30 10:55 18 - /db/databases/orcl/redo-01-a/redo-t01-g01-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 19 - /db/databases/orcl/redo-03-a/redo-t01-g01-m2.log lrwx------ 1 oracle dba 64 Dec 30 10:55 20 - /db/databases/orcl/redo-02-a/redo-t01-g02-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 21 - /db/databases/orcl/redo-04-a/redo-t01-g02-m2.log lrwx------ 1 oracle dba 64 Dec 30 10:55 22 - /db/databases/orcl/redo-01-a/redo-t01-g03-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 23 - /db/databases/orcl/redo-03-a/redo-t01-g03-m2.log lrwx------ 1 oracle dba 64 Dec 30 10:55 24 - /db/databases/orcl/redo-02-a/redo-t01-g04-m1.log lrwx------ 1 oracle dba 64 Dec 30 10:55 25 - /db/databases/orcl/redo-04-a/redo-t01-g04-m2.log對(duì)照 SQL 查詢結(jié)果可知狀態(tài)為 CURRENT 的兩個(gè)活動(dòng)日志文件group 2 的兩個(gè)成員對(duì)應(yīng)的句柄是 20 和 21。至此grep pwrite\(20 lgwr.txt的過(guò)濾條件就有了依據(jù)。得到的結(jié)果如下11:13:55.603245 pwrite(20, \1\\0\0J!..., 1536, 4363264) 1536 11:13:55.603569 pwrite(21, \1\\0\0M!..., 1536, 4363264) 1536 11:13:55.606888 pwrite(20, \1\\0\0M!..., 1536, 4364800) 1536 11:13:55.607172 pwrite(21, \1\\0\0M!..., 1536, 4364800) 1536 11:13:55.607934 pwrite(20, \1\\0\0P!..., 1536, 4366336) 1536 11:13:55.608199 pwrite(21, \1\\0\0P!..., 1536, 4366336) 1536 11:13:55.610260 pwrite(20, \1\\0\0S!..., 1536, 4367872) 1536 11:13:55.610530 pwrite(21, \1\\0\0S!..., 1536, 4367872) 1536 11:14:00.602446 pwrite(20, \1\\0\0V!..., 1536, 4369408) 1536 11:14:00.602750 pwrite(21, \1\\0\0V!..., 1536, 4369408) 1536 11:14:00.606386 pwrite(20, \1\\0\0Y!..., 1536, 4370944) 1536 11:14:00.606676 pwrite(21, \1\\0\0Y!..., 1536, 4370944) 1536 11:14:00.607900 pwrite(20, \1\\0\0\\..., 1024, 4372480) 1024 11:14:00.608161 pwrite(21, \1\\0\0\\..., 1024, 4372480) 1024 11:14:00.608816 pwrite(20, \1\\0\0^!..., 1024, 4373504) 1024 11:14:00.609071 pwrite(21, \1\\0\0^!..., 1024, 4373504) 1024 11:14:00.611142 pwrite(20, \1\\0\0!..., 1536, 4374528) 1536 11:14:00.611454 pwrite(21, \1\\0\0!..., 1536, 4374528) 1536 11:14:05.602804 pwrite(20, \1\\0\0c!..., 1024, 4376064) 1024 11:14:05.603119 pwrite(21, \1\\0\0c!..., 1024, 4376064) 1024 11:14:05.607731 pwrite(20, \1\\0\0e!..., 1024, 4377088) 1024 11:14:05.608020 pwrite(21, \1\\0\0e!..., 1024, 4377088) 1024 11:14:05.608690 pwrite(20, \1\\0\0g!..., 1024, 4378112) 1024 11:14:05.608962 pwrite(21, \1\\0\0g!..., 1024, 4378112) 1024 11:14:05.611022 pwrite(20, \1\\0\0i!..., 1536, 4379136) 1536 11:14:05.611283 pwrite(21, \1\\0\0i!..., 1536, 4379136) 1536從輸出可以清楚讀出11:13:55 有一組寫(xiě)操作隨后 11:14:00、11:14:05 又各出現(xiàn)一組——兩次寫(xiě)日志的時(shí)間間隔正好是 5 秒。每組寫(xiě)操作中l(wèi)gwr 對(duì)成員文件 20 和 21 交替以pwrite寫(xiě)入 1024/1536 字節(jié)的數(shù)據(jù)塊pwrite 的第三個(gè)參數(shù)是寫(xiě)入長(zhǎng)度第四個(gè)參數(shù)是文件偏移返回值等于寫(xiě)入長(zhǎng)度表示寫(xiě)入成功。這驗(yàn)證了 lgwr 的周期性寫(xiě)入行為也完整展示了一個(gè)「strace 掛接生產(chǎn)進(jìn)程 SQL 查詢定位文件 /proc 確認(rèn)句柄 定向 grep 過(guò)濾」的組合排障方法論。小結(jié)何時(shí)使用 strace回顧全文strace 的典型使用場(chǎng)景可以歸納為四類程序「憑空」退出或行為異常用strace或strace -f跟蹤子進(jìn)程觀察卡在哪個(gè)系統(tǒng)調(diào)用、收到什么信號(hào)參考實(shí)例二的 SIGTERM 定位法性能熱點(diǎn)定位用-c得到系統(tǒng)調(diào)用統(tǒng)計(jì)表或-T定位單次慢調(diào)用參考實(shí)例三與常用參數(shù)一節(jié)理解陌生程序的內(nèi)部工作過(guò)程用默認(rèn)跟蹤模式完整記錄其啟動(dòng)、初始化、主循環(huán)的每一步系統(tǒng)調(diào)用參考實(shí)例一生產(chǎn)環(huán)境診斷運(yùn)行中的進(jìn)程用-p掛接 -o落盤(pán) -tt精確時(shí)間戳配合 grep 過(guò)濾感興趣的系統(tǒng)調(diào)用參考綜合實(shí)戰(zhàn)中的 lgwr 案例。掌握 strace 后Linux 上「程序做了什么」不再是一個(gè)黑盒。它和 ltrace 命令文檔庫(kù)函數(shù)層、gdb 命令文檔交互調(diào)試層共同構(gòu)成了從系統(tǒng)調(diào)用到用戶態(tài)代碼的完整觀察鏈條是 Linux 工程師排障工具箱中不可或缺的一環(huán)。贊分享文檔教程【免費(fèi)下載鏈接】linux-commandLinux命令大全搜索工具內(nèi)容包含Linux命令手冊(cè)、詳解、學(xué)習(xí)、搜集。https://git.io/linux項(xiàng)目地址https://gitcode.com/GitHub_Trending/linux/linux-command點(diǎn)擊查看免費(fèi)下載相關(guān)推薦MATHC向量操作完全指南從基礎(chǔ)到高級(jí)的2D/3D向量處理MATHC向量操作完全指南從基礎(chǔ)到高級(jí)的2D/3D向量處理 MATHC是一個(gè)純C語(yǔ)言編寫(xiě)的輕量級(jí)數(shù)學(xué)庫(kù)專注于2D和3D向量處理為游戲開(kāi)發(fā)、圖形編程等場(chǎng)景提終極指南如何在xv6-riscv中實(shí)現(xiàn)系統(tǒng)調(diào)用跟蹤與strace工具功能終極指南如何在xv6 riscv中實(shí)現(xiàn)系統(tǒng)調(diào)用跟蹤與strace工具功能 xv6 riscv是一個(gè)基于RISC V架構(gòu)的教學(xué)操作系統(tǒng)通過(guò)學(xué)習(xí)它可以深入理解操操作系統(tǒng)嵌入式img2threejs 細(xì)節(jié)清單Detail Inventory實(shí)戰(zhàn)指南把參考圖中的身份細(xì)節(jié)變成可門(mén)禁的結(jié)構(gòu)化數(shù)據(jù)img2threejs 細(xì)節(jié)清單Detail Inventory實(shí)戰(zhàn)指南把參考圖中的身份細(xì)節(jié)變成可門(mén)禁的結(jié)構(gòu)化數(shù)據(jù) 導(dǎo)讀 detailInventoryAI 技能3D渲染代碼生成創(chuàng)作聲明:本文部分內(nèi)容由AI輔助生成(AIGC),僅供參考
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
爱干爱射网啊啊啊| 爱爱动态60秒| 天天干天天日天天射黄色| 18禁无码永久免费无限制| 9精品久久| 激情深爱五月天| 另类亚洲一区二区三区| 超碰精品国产无码| 蜜臀久久99精品久久久久久婷婷 | 影音综合网| 蜜桃色院一区久久| 91色鬼| 欧美东京热精品A∨| 久久精品国产亚洲5555| 中国熟妇| 熟妇女伦乱视频视频| 嗯嗯啊啊用力视频免费| 欧美日韩国第一区| 国产精品91一样| 色婷婷狠狠| 国产精品一区二区 尿失禁| 日本成人免费一区二区三区| 亚洲中字幕日本一区二区三区| 欧美的精品的视频| 国产精品一区在线播放| 黄站在线免费观看| 激情综合 婷婷五月 红杏| 久久成人午夜狠狠| 欧美综合色综合| 亚洲色图自拍| 97视频一区| 婷婷精品久久av影视| 天天爱综合网| 欧美激情内射| 中文字幕丰满子伦无码专区在线视频最新 | wuyechaopeng| 国产熟码AV| 九色 蝌蚪 熟女自 | 神马久久久久久伦理片| 欧美一区二区三区另类精品| 成人性爱视频在线看| 热无码中文亚洲H一道本一区二区| 成 人 A V免费视频在线观看| 国产日韩色综合| 亚洲国产一级中文综合久久天堂在线免费观看| 久久久人体| 99999无码| 九九玖玖精品| 色姑娘综合网| 国产精品免费日韩| 99久re热视频精品98| 大香蕉啪啪啪| 日韩精品人妻系列无码天堂| 欧美第二页| 亚洲国产97| site:sinbotex.com| 欧美日本成人一区二区| 国产真实野战在线视频| 婷婷五月花| 亚洲色图加勒比| 欧美中字二区| 亚洲熟女av中文字幕| 蜜臀99久久精品久久久懂爱| 尤物网址| 抽查国产福利主播| 国产免费内射视频| 日韩欧美国产高清视频| 欧美久久久15P| 激情久久日韩精品中文字幕麻豆| 97在线视频网站| 为用户提供免费看黄网址在线观看| 在线观看一级α片刺激高潮视频| 国产亚洲精品av一区| www.yw尤物| 91麻豆天美国产| 欧美在线中M| 国产精品农村妇女精品| 超碰在线97国产| 999热日韩精品| 91中出| 中文字幕精品一区欧美| 超碰超碰95| 久久高清无码夜夜操| 91激情| aaaa少妇高潮大片| 黑人中出21连凳花野真衣| 色99久草| 18禁免费视频| 97高清啪啪| 玖色av| 亚洲蜜桃V妇女| 品亲网欧美品亲网| 肏逼福利网站| 99热在线播放| 亚洲情色 无码专区| 精品高清av中文字幕| 亚洲砖码砖专无区2023| 粉嫩AV输入| 极品销魂美女一区二区| 少妇无码太爽| 97干在线| 嗯~啊~快点 死我视频| 欧美色老汉| 亚洲精品无码久久AV| 亚洲日韩av一区二区三区百合| 欧美天天在线| 欧美亚洲日本视频久久久| 欧美第38页| 大香蕉啪啪啪| 四虎av在线| 国产精品制服丝袜清纯唯美 | 人妻精品视频一区二区三区| 激情99| KK色在线影院| 日韩啪啪网| 色一区二区三区综合| 亚洲成人日韩小说| 蜜臀无码一区二区| **一级毛片国产| 超碰视97中文| 99久久99九九99九九九| 天堂亚洲精品| 思思热在线观看| 国产黑白丝在线| 超碰人人在线| 中文字幕一区二区在线日韩精品| 亚洲熟女乱色一区二区三区久久久| 小视频国产| 亚洲AV高潮| 国产无码精品成人| 久久爽爽精品| 盗摄 精品 另类 一区| 亚洲 在线| 天天插天天射| 操逼网站网站| 欧美激情久久久久| 免费黄色视频网址| 国产精品一区av在线| 欧美在线 亚洲| 静品嫩模一区二区| yw尤物av无码点击进入麻豆| 人人干黄色| 欧美人妻中出| 五月丁香综合网| 亚洲开心网| 91人妻视频| 日本操逼视频导航| 色臀av| 婷婷激情一区二区三区俺也去| 精品久久久久久无码| 黄日韩| 久久五月丁香| 呦呦影院| 亚洲欧美清纯| 欧美日韩97在线| 婷婷九月| 国产Aα| 亚洲影视综合| 99re6在线视频精品免费完整版安卓版| 99色在线视频| 日韩精品人妻一| 午夜美女诱惑电源网| 欧美最婬乱婬爆婬性视频| 乱伦熟女专区| 亚州综合在线| 亚洲国产97在线精品一区| 九九精品美女高溯喷水 | 视频在线中文字幕| 天天淫人人妻日日色| 日韩一性一交一A片俄罗斯| 一区二区三区高清 | 精品无码不卡视频| 日韩啊V| 9999免费精彩视频| 国产精品成人无码av无码免费| 91殴美| 操老熟女AV| 亚洲蜜臀懂色| oumeisetu综合| 日本性爱少妇| 国产精品成人无码av| 涩涩涩综合| 天天噜| 亚洲在钱| 色哟哟1区2区| 日韩欧美中文字| 久久综合女优| 北京美女一区二区| 国产又大又粗又长视频在线| 艾草av| 91狠狠综合久久久久久| 五月激情影院| 日韩情色视频| 裸模AV女优| 91九色丨国产丨爆乳| 国产超碰在线| 噜噜噜狠狠色综合| 欧美做爰无码A片视频| 操逼国产免费| 芊芊操逼视频无码| 国产性爱在线视频一区二区| 久久久久久网址| 好属操| 久久婷婷电影网| 亚洲国产精品成人久久蜜臀| 成人av福利在线观看| 老司机深夜18禁污污网站| 欧美中出| 亚洲激情综合另类男同| 天天色黄色影院天天操| 日韩av一级黄片| 欧美视频一区二区在线| 天天综合网~69| 欧美在线官网| 精品人妻一区二区三区四区石在线| 久久久9999| 欧美亚洲小说| 在线免费观看日韩一区| 午夜精品久久久久久久99蜜桃一| 亚洲黄网在哪免费看| 99久久99九九99九九九| 亚洲精品丝袜-不卡成人免费……| 色婷五月| 超碰国产情侣自拍网| 欧美日韩222| 99啪啪视频| 久久爽爽精品| julia国产在线 | 人人操AV| 97色欧州| 久9爱精品| 少妇色| 天天操人人操狠狠插| 亚洲天堂中文字| 亚欧性爱ab| 俺去也婷婷| 精品国产污一区二区三区| 天天看特黄的免费网站| 性色aV一区二区三区噜噜| а√天堂资源官网在线资源| 亚洲高清无码在线桃色| 婷婷四五区| 麻豆天美传媒在线视频天堂| 9I1性色影院| 97欧美视频| 亚洲男人久久综合天堂| 操91| 2019午夜福利视频| 校园春色制服丝袜中文字亚洲| 超碰亚洲97| 中文字幕女同在线| 白丝一区| 天天摸,夜夜摸| 亚洲限制级| 午夜精品久久久久久久第一页按摩| 大香蕉欧美| 欧美性巨大╳╳╳╳╳高跟鞋| 天天操夜夜操| 少妇激情一区二区三区视频| 亚洲综合精品国产一区| 天美精品一区二区三区四区在线观看| 精品人妻久久久久一区二区三区| 国产极品精品美女视频| 99久久这里只有精品| 亚洲欧美视| 日韩操p| 大奶啊啊好爽| 天天操妹子| www.99中文字幕| 99爱久久视频频| AV女资源| 粉嫩绯色AV一区二区在线| 综合亚洲情色| 国产 日韩 欧美一区| AAA久久| 老熟妇一区二区三区啪啪| 啊啊啊啊啊在线| 日本精品第一视频在'| 蜜桃精久三区| 黄色片A级一区二区三区| 极品色社| 免费精品无码一级毛片牛牛影视 | 中文字幕高清20页视频| 色噜噜人妻丝袜a∨先锋影| 久久久亚洲精品电影免费看| 亚洲另类春色| 啊啊啊好舒服好爽啊啊啊视频| 国产精品第一页国产大屁股视频免费区| 欧美午夜视频精品久久| 天天大干大香蕉| 秋霞蝌科网日本一区| 久干网| 成人av影院在线观看| 内射黑人| 日韩人妻播放| 国产成人精品一区| 亚洲第一在线视频| 国产精品白丝www| 久热9| 淫纸中9区| 九九亚洲视频| 亚洲性网| av东京热男人的天堂| 国产一级特黄大片处女| 丝袜狠狠草尤物 91| 粉嫩av在线一区二区| chaopen97久久| av资源在线播放天堂| 欧美综合1性辶| 超碰亚洲欧美日韩无| 久久只有精品| av天天在线| av网页一区二区三区| 激情久久日韩精品中文字幕麻豆| 欧美精品99久久久| 欧美 日韩 亚洲 春色| 人澡逼| 99性爱| 色综合av综合久久| 4tube欧美女厕所| 黑丝内射一区二区三区| 一个色导综合| 美女黄色91| 日韩一999精品| 亚洲第一免费视频| 蜜臀久久99精品久久久久久-DVD| 中文字幕丝袜美腿| 成人性爱高清视频免费看| 91爱剪切久久| 91美女視頻| 国产免费一区二区三区最新不卡| av最新免费中文字幕| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 国产专区路线| 精品久热| 国产精品久久久久亚洲av| com 首页 18岁 禁区 女优 免费 精选 同城 | 操逼1区| 青草精品视频日本久久久久网站在线| 色综合20p| 人妻激情偷乱视频一区二区三区| 成人蜜乳小视频网站| 国产亚洲女v在线观看| 亚洲精品一区二区三区在线播放| 绯色AV粉色AV蜜臀AV| 欧美92| 91麻豆天美国产欧美日| 欧美一级专区免费大片 | www久久99| 天天弄欧美| 欧洲亚洲人妻无码久久三区四区| 亚洲另类欧美精品| 色婷婷六月| 午夜无码熟妇丰满人妻| 国产一区二区三区高清视频| 亚洲精品三| 中文字幕超碰CAO| 麻豆成人影音在线| 久久久九九网站| 97视频在| 夜夜草天天| 4399成人黄A片| 久久视频少妇美女| 免费啪啪av| 久操B网| 国产午夜精品一区二区三区牛牛| 天天做日日做天天欢。| 亚洲 欧美 小说| 亚洲牲交| 香蕉在线一区二区三区| 亚洲欧美综合图片| 殴美大黄片| 欧美少妇性乱| 欧美一级特黄淫片在线观看| 日韩精品99久久久久久中文字幕| 黄色成人网久久久久久| 三级片大波波| 久久久久久网址| 国产后入精品| 亚欧色图在线激情| 国产精品熟女AV中文字幕在线播放| 人妻91少妇| www.99热| suv精产一二三区| 天天拍天天操| 亚洲色图综合| 97se综合网| 白丝被操91| 五月天伊人| 高清无码久操视频| 极品久久久久久久久久久久久久| 精品亚洲国产成人精品| 春色综合免费| 久久色情| 欧美色狠| 欧美色图下一页| 粉嫩粉嫩一区性色AV片| 国产91丝袜 在线播放| 亚洲欧美大香蕉| 中文字幕三四区| 欧美日韩国产中文精品字幕自在自线, | 亚洲欧美大香蕉| 99re视频这里只有精品| 伊人97超碰| 91免费看一区二区三区| 亚洲第91页 | 极品尤物女神在线观看| 亚洲91射| 国产一区二区三区中文字幕| 欧美片第一页| 玖玖超碰熟| 色婷婷综合网| 国产精品日本无码A片| 蜜桃视频一区二区三区| 爱我干综合| 97日韩| 欧美在线啊啊啊 | 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 欧美人妻精品| 亚洲一级性爱视频免费看| 五毛骚逼极品美女怕怕| 日本超碰在线国产一区| 中文字幕精品一区欧美| 四虎884| JULIA人妻风俗店中出电影| 色网在线视频观看免费| 超碰97综合| 超碰天天操你比| 操碰91| Av手机版天堂网| 91AV国产精品| 婷婷激情一区二区三区俺也去| 日本性爱少妇| 婷婷色色五月天福利| 天天日熟妇| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 精品视频97| 男人的天堂一区三区| 麻豆美女丝袜人妻中文| 狠狠干妹子| 九九十八精品| 亚州伊人色综台| 国产性久久久| 亚洲国产精品无码AV久久久| www.久久超碰| 传媒免费一区二区三区| 91色鬼| 色综合天天| 亚洲 日韩 丝袜 熟女 变态| 亚州熟女乱伦| 伊人麻豆传媒| 青青青草原| 久久久久久波多野吉衣高潮| 欧美嫩性色| 亚洲精品视频在线播放| 午夜男人av| 20cm女自慰在线日韩欧美| 免费视频观看60秒| 97超碰国产亚洲精品| 色天堂综合| 91在线免费观看处女| 25国产精品免费观看| 欧日a| 国产精品无码久久久久2028| 另类亚洲一区二区三区| 国产精品视频内谢女人| 狠狠超| 久久九九久精品国产尤物|国产精品爽黄69天堂A片潘金莲,国产亚洲精品第一综合 | 成人无码欧美一级A片狼牙直播| 精品中文日韩字幕视频| 97视频www| 久久精品视频28| 日韩丝袜人妻AV| 天天日B狠狠操| 日韩一级二级| 一区二区三区 丝袜 高跟 美腿| 99热超碰| 韩国久久97| 女人爽到高潮久久久| 婷婷中文字幕| 中亚av| 久久久精品国产亚洲伊人| 涩五月婷婷| 天天插天天干| 欧洲免费一区二| 日韩av三四区| 伊人991| 国产一区二区久久| 国产99999久久精品| 欧美日韩97在线| 台湾佬中文娱乐网久久久久久久久久com| 亚洲国产丝袜在线观看| 欧美一品道| 亚洲国产精品久久久久婷婷老年 | 中日无幕一二三四区| 九久9热| 国产60区。| 成人五月天色网| 亚洲 综合 第一页| 婷婷五月天色网| 天天干人人乐| 亚洲自拍偷拍视频在线| 草草影院最新网址| 9999九九九久久久| 热的中文 热的有码 热的国产| 97操综合| 中文字幕三四五区| 国产强奸AV在线| 性爱视频无打码在线观看| 国产中文精品一区二区在线观看| 簧片免费看视频| 欧美黑人XXXⅩ高潮交| 黑人中出21连凳花野真衣| 四虎在线播放| 超碰在线91| 92性色国产午夜福利在线661| 无码高清国产AV| 91干熟女| 国产农村妇女精品一| 亚州欧美总和| 天天澡天天爽日日AV| av在线观看不卡网站| 亚洲精品三| 欧美精品第四五页中文字幕在线观看| 天天搞欧美| 国产午夜在线观看| 在线国产一区二区av| 欧美一区91大爱| 亚洲欧洲无码一区夜| 国产免费小视频| 日本成人A片网站| 亚洲色五月| 夜夜国产一区| 亚州综合色| 国产精品成人无码av无码免费| 精品丰满人妻一区二区三区免费观| 操操操操网黑人| 在线天堂资源亚洲| 日逼视频日本| 超碰午夜| 久久久久婷婷| julia中文字幕在线观看| 熟妇女伦乱视频| 久久久久久久国产视频| 自拍盗摄一区| 舔足天天操天天射| 99热只有这里有精品| 亚洲第一页欧美| 精品一区二区三区丰满熟女-亚洲欧美一区| www.久久制服糖| 色av中文字| 91久久国产精品| 色天使亚洲综合在线观看| 性欧美另类高清| 久久蜜桃一区二区| 99精品成人免费看| 亚州欧美总和| 中文字幕一区二区日韩网| 成人日韩欧美| 97在线观视频免费观看| 3PAV乱伦视频| 日韩三级久久久| 日本欧美不卡| 激情丁香五月婷婷| 国产精品另类| 91丨九色丨43老版熟女| …中文字幕亚洲乱,97人妻无码费视… | 久久久免费视频18| 国产激情av女片自拍| 亚州操操穴网| 色老大| 伊人五月天激情| 97热视频在线观看| 操比国产| 亚洲色图国产另类| 亚洲国产ⅴ高清在线观看| 91在线色| 性爱视频无打码在线观看| 91成人在线| 亚洲乱色熟女一区| 婷婷15月天青娱乐| 欧亚乱色熟女一区二区| 操老熟女AV| 久久九九国产精品| 人妻另类| 嗯嗯啊啊视频在线看| 国产精品扒开腿做爽爽爽视频| 精品一区二区三区蜜桃臀赵总| 色香av| 91逼逼女人91| 亚洲精品一区二区精品| 老女人碰碰在线碰碰视频| 色欲蜜臀AV| 久久久精品一区二区| 性做久久久久久免费观看软件 | 操操操五月天婷婷丁香影院| 久久爽爽精品| 国产视频不卡在线观看| 亚洲综合在线91| 九色 人妻 大香蕉| 欧美日韩另类在线播放| 欧美爱国产综合、| 91人妻爽爽人人做人人澡| 97精品| 老汉网| 欧美日韩第一页| 亚州欧美色图| 久久久国产精品亚洲精品| 人妻熟女av国产网站| 日本加勒比无码专区| 欧美欲色| 亚洲国产欧美中文永久| 成·人免费午夜在线观看| 亚洲吊色| 五月天伊人| 久久精品国产亚洲AV高清演员表| 国产AV线| 日本不卡高清免v欧美日韩在线观看| 国产亚洲精品激情| 哈哈操 大香蕉| 美女大乳久久久久久久女人18| 播播亚洲小说亚洲| 大肥女高潮bbwbbwhd视频| 色网1| 亚洲欧洲小说图片视频| 嫩草影院在线观看精品 | 综合九九| 久久秀这里有精品| 久久久久久久国产a∨| 欧美劲爆第一页| 新视频sss国产| 日本精品一区三区| www国产天美久久久| 蜜臀99久久精品久久久懂爱| 99热国产| 欧洲亚洲人妻无码中字久久三区四区| 97福利视频| 亚洲图片婷婷五月天| 偷拍盗拍亚洲色图图片 | 久久人人妻| 玖玖爱免费观看视频| 国产午夜精品理论片一二三区区 | 欧美综合制服在线| 91九九九馒头| 婷婷九月色| 美女极品一区二区三区| 人人性爱视频免费| 久久九九网| 91影库| 亚洲精品久久久久毛片A片拉屎 | 黑丝少妇在线观看| 女人午夜视频777| 国产精品成人无码a v毛片| 好属操| 婷婷人妻激情| 男人天堂久久精品不卡| 性性久久| 成人老鸭窝人人在线视频| 920日本午夜免费| 精品少妇一区二区三区在线视频| 欧美日韩一区二区三区四区蜜桃| 久久丁香久草综合网| 亚洲久久久| 蜜臀AV一区二区三区| 国产成人啪一区二区| yy少妇精品久久| 亚洲第91页 | 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 久久99久久99精品免视看婷婷| 国产高清MV操逼视频| 人人操人人插人www| 亚洲?V无码专区在线电影| 乱伦日本中文自拍| 欧美视频一| 色综合一本| 国内毛片欧美香蕉精品| 青娱乐淫乱1314| 国产性爱强奸乱伦大全| 日韩成年人性爱视频| 超碰在线人人射| 日韩操啪| 日本欧美韩国国产在线| 精品久久久高清无码| 亚洲 日本 国产 综合| 五月婷婷六月丁香网址| 日韩激情小说一区二区| 国产不卡免费在线视频| 国产一区在线免费播放| 大香蕉黄色一区| a网站免费观看| 极品五月天噜噜| 99999精品视频| 国产成自自拍在线观看| 91精品国久久久久久无码| 亚洲色图综合网| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 欧美AB在线| 精品国产一区探花在线观看| 国产三级资源在线观看| aaaa少妇高潮大片| 超碰av人人人| 欧美性暴力猛交XXXX| 精品久久九| 欧日韩一二三f区| 天啪| 370p日韩欧美亚洲精品| 国产强奸超碰AV| 2010男人的天堂| 麻豆天美制片厂网站视频| 色亚州人久干视频在线观看免费版 | 狠狠综合| 成人A片男人的天堂| 果冻传媒A片一二三区| 亚洲人妻五月丁香婷婷| 美女操逼A A| 久久美女福利是上海美女| 狠狠 91| 2019精品国产无码成人| 亚洲第一无码播放立川理惠| 天天日天天色| 蜜桃精品视频一区| 粉嫩AV一区二区夜夜| 人人做,人人操,人人摸| 亚洲免费人妻在| 国产天天骚| 久久久国产护士丝袜美腿一| 亚洲在线| 国产成人www免费人成看片| 激情四射婷婷四五月天| 亚洲一区制服诱惑| yw尤物av无码点击进入麻豆| 久久AV无码网址| 嗯嗯嗯,草死我| 精品丰满熟妇人妻一区| 国产精品探花色| 天天做天天爱天天高潮| 亚洲日韩欧美一区二区| 国产精品爆乳懂色蜜乳| www色婷婷| 东京热熟女亚洲视频网站| 久久免费9| 成年人性爱日韩| 欧美亚洲影视| 69麻豆天美| 最新国产精品久久精品| 亚洲激情色片 | 欧美92| aaaa少妇高潮大片| 91中文精品日韩欧美在线| 天美传媒婬乱在| 777奇米影视777四色| 成人久久无码www| 91精品国产综合久久久蜜臀酒店| 日韩乱伦视频| 亚洲伊人久久精品影院| 岛国福利在线精品播放| 99精品丰满人妻无| 精品一区二区三区丰满熟女-亚洲欧美一区| 国产精品宅男免费| 欧美在线l亚洲| 国产午夜福利专区综合| 成年女人一区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 天美传媒国产原创中文字幕亚洲欧美另类 | 欧美一品道| 丰满人妻一区二区三区四区| 丝袜综合| 亚洲一卡二卡在线免费| 97在线国产精品| 欧美日韩传媒| 日韩草久视频| 九九九色| 国产性刺激| 免费观看成人www精品视频| 91亚·色| 亚洲日韩av专区无码| 天堂av2019| 欧美影院一区二区三区| 少妇毛片久久| Sekablack无码一区| 熟女色图在线| 一区二区三区高清天码| 传媒免费一区二区三区| 高清国产成人无码| 午夜无码熟妇丰满人妻| 熟女人妇一区二区三区| 精品人妻一区二区蜜桃视频| 亚洲五月婷| 午夜在线播放| 欧美一级欧美三级在线观看 | 狠狠爱夜夜| 色精品极品| 天天夜躁日日躁狠狠2002| 少妇500双飞99| 国产高清26uuu| 干妹子| 美女刺激久久国产欧美| 极品销魂美女一区二区 | 久久免费中文字幕在线观看| 自拍内地三级在线观看| 97在线青| 一区二区三区机械有限公司| 少妇无码999| 手机不卡视频不卡在线一二三区| 午夜福利1区2区3区| 色香伊人| 日日夜夜干| 一级性爱视频免费观看 | 色眯眯av| 五月天婷婷色| 久热影视| 天天天天天天天天综合| 国产精品人妻一区二区| 男人的天堂久久狠| 中文字幕 码 自拍 视频 区| 草草电影院| 加勒比少妇AV婷婷六月天超碰超碰| 国产伦精品一区二区三区在线观| 狠狠爱综合网| 亚洲一二三四区在线免费看视频| 日本免费中文一区二区三区四区| 日韩免费福利在线观看| 久久后入制服| 日本不卡码黄色| 欧美黑人精品一区二区| 啊啊啊好多水| 加勒比综合a∨| 九九九午夜| 蜜乳AV网址| 国产自制av蜜乳| 亚洲脚交| 六月丁操逼| 玖玖色综合| 日韩国产欧美伦理在线| 天天影视亚洲| 亚洲欧美日韩中文久久自慰| 91蜜臀在线久久久久| 一本一道vs波多野结衣| 84YTCOM性无码| 啊啊在线| 欧亚日韩三区| 中文字暮97| 亚洲偷拍自拍在线视频| 日韩簧片免费看| 九九草| 中文字幕第95页| 天天天乱色综合全| 香蕉在线一区二区三区| 欧美性爱伊人| 377p欧洲日本亚洲大胆| 国产成人在线观看网址| 久久久久女教师免费一区| 91久久久老司机| 91偷拍欧美亚洲| 蜜桃久久一区二区三区| 久久精品国产96精品亚洲拳交| 情趣丝袜无码操逼视频| 91美女视频在线观看| 四虎免费在线播放| 啊啊啊啊啊好舒服视频| 夜夜人妻爽| 欧美 青青草| 天天干2019| 久久人妻办公室视频| 亚洲国产一区二区三区四区国产| 国产欧美精选激情视频| 天天夜躁日日躁狠狠2002| 97色亚洲| 麻豆久久一区二区三区| 日逼97| 欧美色97| 超碰人人干天天射| 国产精品69久久久久久久| 熟妇国产免费一区| 精品一国2| 丝袜亚洲91| 亚洲揄拍网| 97久久久精品| 日本人妻天堂网站在线播放| 日本中文字幕高跟| 大香蕉免| 2019天天操天天爽天天拍| 亚洲综合113页| 久久一留热品黄| 物尤视频一区二区| 九九热视频这里只有精品| 丝袜综合| 人人搡人人肉久久精品| 香蕉免费一区二区三区不读| 欧美 日韩 婷婷 五月| 91精品婷婷国产综合久久竹菊| 亚洲成人色情五月天丁香花| 97欧美色资源| 久久AV色| 熟妇无码视频三区| 96超碰网| 一区二区三| 国产在线综合网| 人人摸.人人色| 亚洲毛片一级带毛片基地| 丁香六月东京热| 丁香色色网| 亚洲综合春色| 蜜臀99999| 天美91| 欧洲色色| 久久婷婷伊人| 五月丁香成人网| 青青草在线成人视频| 成人精品视频一区二区| 亚洲色图欧美另类在线| 中文熟女五十乱码在线| 亚洲色婷婷综合久久久久中文| 97精品一区二区三区免费| 婷婷婷婷婷婷久久久久| 亚洲成人性爱网站在线播放| 欧美日本国产日韩激情视频| 大香蕉综合在线| 你操综合| 麻豆天美在线喷水AV| 深喉吞精| 中文字幕精品一区二| 亚洲色 国产 欧美 日韩| 色色色综合网| 97视频620| 国产日韩美女小穴视频网站不卡| 国产精品久久| 性爱AV天堂| 夜夜精品视频一区二区| 极品色| 国产成人精品无码久久| 五月天激情小说| 五十路二区在线| 夜夜高潮夜夜爽夜夜爱爱一区| 成人小说另类在线| 日韩精品在线观看网站| 丝袜狠狠草尤物人妻av91| 九一国产精品| 国产精品直播在线观看直播| 在线观看国产黄色| 国产精品久久久蜜臀| 欧美色老汉| se01国产在线视频| 嗯啊不要啊在线 | 人妻少妇三级| 男人久久天堂| 久久免费精品视频免一| n1038 一二三区| 熟女少妇视频| 亚洲系列第一页| 精品人妻夜夜草| 欧美亚洲手机在线| 艹比视频国产精品| 国产精品亚洲四五区在线观看| 久久黄黄黄| 国产福利在线视频网站| 久久综合日韩亚洲欧美| 97操b| 亚洲蜜桃V妇女| 欧美在线l亚洲| 牛牛AV人人夜夜澡人人爽| 婷婷色网| 蜜桃传媒视频第一区入口在线看| 亚洲性爱免费电影| 欧美图片色综合| 女色综合| 日韩精品区二区三区不卡| 国内外毛片在线观看| 亚洲欧洲综合成人av一区| 国产精品久久9| 超碰在线一区二区三区| 大香蕉黄色一区| 麻豆a'v电影| 久久久久久久国产视频| 日本999精品| 自拍偷拍国产欧美日韩韩| 久久日韩毛| 亚洲97超碰| 久久综合九九| 日本二区不卡| 欧美中出1| 九色 蝌蚪 熟女自| 粉嫩av在线一区二区| 中国的操老妇女| 18禁网站在线播放| 日韩精品电影| 国产免费操逼| 足交视频老司机| 久久国产热视频97电影| 97在线观看免费视频l| 黑人白女精品一区| 欧美熟妇亚洲版| 99re公开精品免费视频| 97国产色图 | 淫荡少妇免费| 91AV天美在线视频| 熟女精品va中文字幕| 丰满丝袜少妇AV| 99热这里只有精品地址| 骚鸭AV| 大香蕉婷婷| 超碰97精品| 激情文学欧美| 国产精品无码久久久久2028| 激情五月天校园春色网| 五月天黄色激情视频| 91欧美情色| 草草影院在线视频| 国产在线视频午夜精华在| 五月丁香黄色网| 国产传媒美日韩av| 国产日韩欧美亚洲精品95 | 久久一区,青青青青草视频在线播放| 天天射天天操天天干天天吃2018| 神马久久中文字幕| 中文字幕aⅴ在线视频| 一卡二卡在线播放| 午夜精品久久久久久久男人的天堂 | 成人性爱免费播放| 美女毛片999| 麻豆啪啪啪视频| 日韩情色一区二区| 97超碰无码网| 国产 无码 一区二区| 97操碰| 色性荡荡荡荡视频| 久久riav中文精品| 91美女视频直播| 视频在线观看一二三区| 26uuu性| 青草精品视频一日本久久久久网站| 操人妻少妇中文| 亚洲精品国产熟女| 蜜臀AV一区二区三区| 动漫片子网站3黄| 欧美视频一区二区在线| 精品国产乱码久久久久久蜜臀| 九九英色视频| 无码国产精品午夜不卡(| 91熟女视频| 天天操天天谢| 天天综合日韩网| 日韩成人精品视频自拍| 搡老女人老熟女91老熟女综合网| 亚州久久9| 亚洲欧洲另类| 在线免费观看日韩一区| 91亚洲欧美激情| 18禁久极品美女久久哦哟呀!| 五月丁香婷婷色| 91人妻最真实刺激绿帽| 久久欧美激情| 少妇色综合| 久久久久9久久久久| 国产呦精品一区二区三区下载| 国产黄色剧情影片麻豆免费播放| 伊人在线大香蕉二。| 国产日韩精品一区二区三区| 综合自拍| 午夜亚洲国产理论秋霞| 偷拍盗拍亚洲色图图片| 色偷综合| 曰本熟女视频| 日韩av女优在线免费一区| 天天天天天天天天天天干美女| 精品国产Av无码久久久伦古装| 91在线国产后入风骚翘臀美女素人| 人人爱夜夜爱| 丁香六月激情| 国产精品久久久久久 百度| 日韩熟女无码| 色噜噜狠狠色综无码久久合欧美| 99热99re6国产在线播放| 日han少妇无码| 狼人综合婷婷激情四射| 在线另类| 99久久久无码国产精品性男| 国产操伦| 日本黄色精品专区网站| 伊人操| 欧美日韩欧美| 97久久久久久久久久| 欧美影音在线| 玖玖爱一区在线| 欧美性战999| 久久a久久| 精品久久久久,69国产成人精| 99自拍视频在线| 日本一级性爱| 国产色精品午夜大片| 丰满岳乱妇一区二区三区| 人妻偷拍一区二区三区| 亚洲网站一区二区在线| 婷婷涩嫩草鲁丝久久午夜精品| 欧美成97爱| 伊人九九| 青青草依人大香蕉| 竹菊一区二区三区AV线| 国产精品大屁股999| 嗯嗯啊啊的视频| 日日干夜夜欢| 嫩草 我啊~嗯~在线| 91视频综合在线| 亚洲国产蜜臀系列在线观看| 男人的天堂2000| 亚洲伊人久久精品影院| 欧美 亚洲 综合 制服 另类| 久久久99999久网站| 熟女AV一区| 久久 久久国内精品亚洲| 久操av在线| 欧美亚洲韩国视频十五区 | 婷婷五月天AV| 在线播放中文字幕| 99热国产精品| 毛片99-全集电影手机免费观看完整-B029AV| 亚洲日韩乱码中文无码蜜桃臀网站| 麻豆一区在线| 九七人妻在线| 欧美,日韩,中文,另类| 97se亚洲| 一区二区三| 69视频入口| 秋霞一级A片黄色视频| 亚洲成人免费中文字幕| 天堂中文资源在线bt| 久久草在线综合视频| 日本三级大片| 麻豆黄色五月天| 白丝少妇一区二区| 日韩 女同 综合| 97欧美日韩精品| 亚洲天天操| 天天激情综合站| 1禁看欧美黄片免费看| 日韩精品一区二区三区色欲| 国产 日韩 欧美 人妻 熟女 中文 69人妻精品一区二区绯色 | 极品美女嘿咻| 人妻精品一区二区| 精品欧美不卡在线播放| 久久久久久日韩| 人人操人人狠狠操| 久久国产99精品72福利| 天天α片| 久久精品无码熟妇一区二区三区视频导航| 97日亚洲欧美| 国内毛片无遮挡国产| 亚洲AV无码成人精品久久| 美女诱惑爱爱| 99热 按摩 日韩| 超碰天天去日穴| 亚洲另类欧美精品| 日本精品不卡一二三区| 熟妇熟女亚洲天堂网| AV99热18这里只有精品| 夫妻日逼| 欧美一级久久久丰满| 五月婷婷丁香六月| 麻豆一区在线| 外国91|