亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

深入理解Go的panic、defer與recover:運(yùn)行時(shí)協(xié)作機(jī)制與工程實(shí)踐

深入理解Go的panic、defer與recover:運(yùn)行時(shí)協(xié)作機(jī)制與工程實(shí)踐 很多人寫Go有一段時(shí)間了但問到panic、defer、recover這三兄弟到底是什么關(guān)系、運(yùn)行時(shí)的底層處理順序是什么、為什么recover必須放在defer里才有用還是容易卡殼。這類問題也是Go面試?yán)锏某?透蔷€上排查故障時(shí)繞不開的關(guān)鍵機(jī)制。我最早接觸Go時(shí)也踩過不少坑比如以為recover可以像try-catch一樣捕獲任何位置的異常結(jié)果在goroutine里直接崩了比如以為defer的執(zhí)行順序是從上到下結(jié)果資源釋放順序全反了。后來把運(yùn)行時(shí)源碼和匯編輸出翻了一遍才算真正理清這三者之間的協(xié)作鏈路。這篇文章就把我對(duì)panic、defer、recover的底層理解、實(shí)際用法、以及踩坑心得完整整理出來。1. panic不只是拋出異常Go運(yùn)行時(shí)錯(cuò)誤處理的底層鏈路很多人把panic類比成其他語(yǔ)言的throw這個(gè)類比幫我們快速理解用途但千萬別當(dāng)成等價(jià)物。throw和catch是異常控制流而panic在Go里是一次運(yùn)行時(shí)中止指令它觸發(fā)的不只是錯(cuò)誤處理而是一整套包含棧展開stack unwinding、defer隊(duì)列執(zhí)行、宕機(jī)恢復(fù)判斷的底層流程。1.1 panic的運(yùn)行時(shí)數(shù)據(jù)結(jié)構(gòu)從panic實(shí)例到棧展開當(dāng)代碼執(zhí)行到panic(something went wrong)時(shí)運(yùn)行時(shí)并不會(huì)立刻終止進(jìn)程。它會(huì)先構(gòu)造一個(gè)_panic結(jié)構(gòu)體掛到當(dāng)前goroutine的鏈表上這個(gè)結(jié)構(gòu)體在runtime/runtime2.go里定義type _panic struct { argp unsafe.Pointer arg any link *_panic pc uintptr sp unsafe.Pointer recovered bool aborted bool goexit bool }link字段指向的是該goroutine之前尚未處理的panic也就是說一個(gè)goroutine里可以嵌套發(fā)生多個(gè)panic比如defer里再次觸發(fā)panic。recovered字段標(biāo)記是否已被recover接住goexit則標(biāo)記是否從runtime.Goexit路徑進(jìn)來的。在panic函數(shù)內(nèi)部runtime/panic.go核心邏輯是調(diào)用gopanic這一步會(huì)做幾件事把_panic掛入當(dāng)前g的_panic鏈表、遍歷當(dāng)前goroutine的defer鏈表執(zhí)行延遲函數(shù)、檢查是否有recover介入。如果整個(gè)defer鏈走完都沒有recover運(yùn)行時(shí)才會(huì)走到fatalpanic輸出堆棧日志并終止進(jìn)程。所以panic會(huì)立刻讓程序崩潰這個(gè)直覺是錯(cuò)的準(zhǔn)確的表述是panic會(huì)立刻中斷當(dāng)前控制流并開始逐層執(zhí)行defer只有當(dāng)一個(gè)defer都沒接住時(shí)才會(huì)崩潰。1.2 defer鏈表的維護(hù)編譯期注冊(cè)與運(yùn)行期執(zhí)行defer語(yǔ)句在編譯期會(huì)被改寫成對(duì)runtime.deferproc的調(diào)用真正到運(yùn)行期defer會(huì)被插入當(dāng)前goroutine的_defer鏈表頭部。這就是為什么defer執(zhí)行順序是后進(jìn)先出LIFO。我們來看一段示例func main() { defer func() { fmt.Println(first defer) }() defer func() { fmt.Println(second defer) }() defer func() { fmt.Println(third defer) }() }這段代碼的輸出順序是third defer second defer first defer從源碼來看每次deferproc都會(huì)把新_defer掛到鏈表頭部而panic或函數(shù)返回時(shí)defer執(zhí)行是從頭部開始取的。這個(gè)設(shè)計(jì)背后的工程考慮是后注冊(cè)的defer通常是更細(xì)粒度的清理動(dòng)作應(yīng)該先執(zhí)行。比如先打開文件、再加鎖、再建立網(wǎng)絡(luò)連接關(guān)閉順序自然應(yīng)該是連接先關(guān)、鎖再釋放、文件最后關(guān)LIFO恰好符合這個(gè)對(duì)稱關(guān)系。_defer結(jié)構(gòu)體還包含started字段標(biāo)記這個(gè)延遲函數(shù)是否已經(jīng)開始執(zhí)行。如果函數(shù)執(zhí)行到一半又發(fā)生panic運(yùn)行時(shí)可以據(jù)此判斷是否重復(fù)執(zhí)行。1.3 panic的傳播路徑逐層向上不是跳回調(diào)用點(diǎn)panic和throw的另一個(gè)巨大差異在于傳播路徑。throw是沿調(diào)用棧向上查找catch塊找到以后直接把棧解開跳回catch位置繼續(xù)執(zhí)行。而panic不同它并不跳回某個(gè)位置而是沿著當(dāng)前goroutine的defer鏈表逆序執(zhí)行完所有延遲函數(shù)之后才繼續(xù)傳播到函數(shù)的調(diào)用方調(diào)用方再重復(fù)這個(gè)流程。舉個(gè)例子func A() { defer func() { fmt.Println(A defer) }() B() } func B() { defer func() { fmt.Println(B defer) }() panic(boom) } func main() { defer func() { fmt.Println(main defer) }() A() }這里執(zhí)行順序是B defer A defer main defer panic: boompanic在B里觸發(fā)先執(zhí)行B自己的defer然后傳播到A執(zhí)行A的defer再到main執(zhí)行main的defer最后整個(gè)goroutine的defer鏈都走完仍然沒有recover才輸出崩潰日志并退出。這個(gè)傳播路徑很重要它直接決定了我們不應(yīng)該依賴調(diào)用方棧幀里的局部變量狀態(tài)來做恢復(fù)邏輯因?yàn)閳?zhí)行defer時(shí)棧已經(jīng)被解開很多層了。2. defer的三大語(yǔ)義陷阱LIFO、參數(shù)求值、執(zhí)行時(shí)機(jī)defer是Go里最容易被誤用的關(guān)鍵字因?yàn)樗?jiǎn)潔的語(yǔ)法背后藏著幾個(gè)反直覺的語(yǔ)義。我見過很多線上bug追根溯源都是對(duì)defer參數(shù)求值時(shí)機(jī)、命名返回值交互、以及循環(huán)中注冊(cè)行為理解不到位造成的。2.1 參數(shù)求值的嚴(yán)格時(shí)機(jī)聲明時(shí)求值不是執(zhí)行時(shí)求值defer后接的函數(shù)調(diào)用其參數(shù)會(huì)在defer語(yǔ)句出現(xiàn)時(shí)立即求值而函數(shù)體則延遲到外層函數(shù)返回或panic時(shí)執(zhí)行。這一點(diǎn)和所有其他語(yǔ)言的延遲執(zhí)行機(jī)制都不同。func main() { i : 1 defer fmt.Println(i) i 2 }輸出結(jié)果是1不是2。因?yàn)閒mt.Println(i)在defer聲明那一刻就已經(jīng)把i的當(dāng)前值1作為參數(shù)拷貝進(jìn)去了。這個(gè)特性容易踩坑的場(chǎng)景是文件路徑、超時(shí)時(shí)間等參數(shù)的傳遞。如果你希望延遲函數(shù)讀取調(diào)用時(shí)的最新值需要把參數(shù)改成指針、閉包捕獲、或者傳遞引用類型i : 1 defer func() { fmt.Println(i) }() i 2閉包捕獲的是變量i本身不是值拷貝所以輸出是2。這里有個(gè)工程上的判斷準(zhǔn)則如果defer只做清理不需要讀取外部狀態(tài)用值參數(shù)更安全如果需要讀取最新的外部狀態(tài)用閉包捕獲變量但要清楚此時(shí)引入的是共享可變狀態(tài)需要注意并發(fā)安全。2.2 命名返回值與defer的交互返回值在return時(shí)賦值defer后執(zhí)行Go的return并不是一條原子指令它可以拆成三步把返回值賦值給命名返回變量如果是裸return跳過分步執(zhí)行defer中的函數(shù)真正返回到調(diào)用方這就導(dǎo)致了一個(gè)經(jīng)典的需求用defer修改函數(shù)的返回值是可行的前提是函數(shù)使用了命名返回值。func f() (result int) { defer func() { result 100 }() return 1 }這里f()返回的是101不是1。因?yàn)閞eturn 1先把1賦給resultdefer執(zhí)行時(shí)把result加到了101最終返回的是result。這個(gè)特性在需要統(tǒng)一處理錯(cuò)誤碼、注入公共埋點(diǎn)、包裝錯(cuò)誤信息時(shí)非常有用我經(jīng)常這樣寫func getUser(id int) (user *User, err error) { defer func() { if err ! nil { err fmt.Errorf(get user %d failed: %w, id, err) } }() // ... }每個(gè)返回錯(cuò)誤的函數(shù)內(nèi)部無需重復(fù)拼接上下文統(tǒng)一放在defer里處理。但要注意如果沒有使用命名返回值defer里無論怎么改局部變量都無法影響最終返回給調(diào)用方的值。2.3 循環(huán)里的defer資源不會(huì)在循環(huán)結(jié)束時(shí)釋放在循環(huán)里直接寫defer是個(gè)極其常見的資源泄漏源頭for _, file : range files { f, err : os.Open(file) if err ! nil { continue } defer f.Close() }這里的defer是在外層函數(shù)作用域內(nèi)注冊(cè)的循環(huán)體內(nèi)所有defer會(huì)堆積到函數(shù)返回時(shí)才一起執(zhí)行。如果循環(huán)幾千次文件描述符會(huì)全部被占住輕則達(dá)到系統(tǒng)上限重則直接拖垮進(jìn)程。正確的做法是把循環(huán)體抽成獨(dú)立函數(shù)for _, file : range files { processFile(file) } func processFile(file string) error { f, err : os.Open(file) if err ! nil { return err } defer f.Close() // ... }這樣defer在每次processFile返回時(shí)就執(zhí)行了不會(huì)堆積。這個(gè)原則同樣適用于數(shù)據(jù)庫(kù)連接、HTTP響應(yīng)體、鎖的釋放凡是defer出現(xiàn)在循環(huán)里的先默認(rèn)有性能問題。2.4 defer的性能開銷與Go 1.14的開放編碼優(yōu)化早期Go版本的defer性能開銷很大因?yàn)樗婕癲eferproc和deferreturn的調(diào)用、鏈表的插入與遍歷在高頻函數(shù)里影響明顯。Go 1.14 引入了開放式編碼open-coded defer在編譯期直接把大多數(shù)defer內(nèi)聯(lián)到函數(shù)尾部省去了鏈表操作。但開放編碼有幾個(gè)限制defer出現(xiàn)在循環(huán)里、函數(shù)中defer數(shù)量超過8個(gè)、存在recover調(diào)用等場(chǎng)景都無法使用開放編碼會(huì)回退到傳統(tǒng)模式。關(guān)于這個(gè)優(yōu)化我在實(shí)際項(xiàng)目里觀測(cè)到的結(jié)果是去掉瓶頸函數(shù)里多余的defer通過提前校驗(yàn)錯(cuò)誤并直接返回CPU耗時(shí)能降12%左右。不過對(duì)于絕大多數(shù)業(yè)務(wù)代碼來說defer的可讀性收益遠(yuǎn)大于微秒級(jí)的性能損耗沒必要為了性能刻意回避它。只有在明確的熱路徑上才值得去用內(nèi)聯(lián)清理邏輯替代defer。3. recover為什么必須活在defer里從棧展開機(jī)制看recover的本質(zhì)recover這個(gè)內(nèi)置函數(shù)看起來很簡(jiǎn)單調(diào)用它就能接住panic。但如果你在panic發(fā)生的同一函數(shù)里、panic語(yǔ)句之后直接調(diào)用recover是接不住的。很多人第一次寫恢復(fù)代碼時(shí)會(huì)犯這個(gè)錯(cuò)誤不理解recover和defer之間的強(qiáng)制性綁定關(guān)系。3.1 為什么裸調(diào)用recover接不住panic先看這個(gè)例子func main() { fmt.Println(start) panic(boom) recover() // 不會(huì)執(zhí)行到這 fmt.Println(end) }這段代碼不會(huì)輸出endrecover()這行根本執(zhí)行不到。因?yàn)閜anic會(huì)立即中斷當(dāng)前函數(shù)的正常控制流后續(xù)語(yǔ)句全都不會(huì)執(zhí)行。再比如func main() { defer fmt.Println(deferred) panic(boom) recover() }這里是panic先觸發(fā)然后運(yùn)行時(shí)開始遍歷defer鏈表執(zhí)行了fmt.Println(deferred)之后傳播到main的調(diào)用方仍然沒有recover程序崩潰。寫在panic后面的recover()就像掉進(jìn)了時(shí)間裂縫永遠(yuǎn)不會(huì)被調(diào)度到。recover的工作原理本質(zhì)上是從當(dāng)前goroutine的_panic鏈表里取出最頂端的panic并把它的recovered字段置為true。這個(gè)過程必須在defer函數(shù)被運(yùn)行時(shí)調(diào)用的過程中完成否則沒有任何_panic可供處理。運(yùn)行時(shí)的gorecover函數(shù)runtime/panic.go會(huì)檢查兩個(gè)條件當(dāng)前是否正在執(zhí)行defer函數(shù)、_panic鏈表的頭節(jié)點(diǎn)是否存在。只有兩者都滿足recover才能真正接住。3.2 多層defer嵌套時(shí)recover的生效范圍recover接住的是當(dāng)前goroutine、當(dāng)前defer調(diào)用棧上的panic。同一個(gè)goroutine的多個(gè)defer之間是共享_panic鏈表的但跨goroutine則完全隔離。看一個(gè)常見的多層defer場(chǎng)景func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recovered in main:, r) } }() func() { defer func() { fmt.Println(inner defer run) }() panic(boom) }() }執(zhí)行順序是panic觸發(fā)后先執(zhí)行內(nèi)層匿名函數(shù)的defer輸出inner defer run接著panic傳播到main執(zhí)行main的defer這里recover成功接住程序繼續(xù)執(zhí)行main函數(shù)剩余代碼。注意recover是在main的defer里執(zhí)行的它捕獲的panic雖然起源于內(nèi)層匿名函數(shù)但機(jī)制上它作用于main這個(gè)goroutine的_panic鏈表所以能正常接住。recover的隔離邊界是goroutine不是函數(shù)嵌套層級(jí)。這引出一個(gè)重要結(jié)論如果需要保護(hù)一個(gè)不可控的第三方庫(kù)調(diào)用應(yīng)該把可能panic的邏輯和recover邏輯放在同一個(gè)goroutine里一旦跨了goroutine恢復(fù)邏輯就失效了。3.3 子goroutine里的panic無法被父goroutine的recover接住這是Go里最隱蔽的崩潰場(chǎng)景之一。很多團(tuán)隊(duì)在主流程里寫了recover就以為整個(gè)進(jìn)程安全了但如果在業(yè)務(wù)代碼里啟動(dòng)了一個(gè)goroutine這個(gè)goroutine里發(fā)生了panic主流程的recover是完全插不上手的。func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recovered:, r) } }() go func() { panic(goroutine panic) }() time.Sleep(time.Second) }這段代碼照樣崩潰因?yàn)閞ecover只能接住當(dāng)前goroutine的panic。子goroutine里觸發(fā)的panic會(huì)沿著子goroutine自己的defer鏈傳播如果子goroutine沒有對(duì)應(yīng)的recover運(yùn)行時(shí)直接終止整個(gè)進(jìn)程不會(huì)給其他goroutine任何挽回機(jī)會(huì)。這也是Go社區(qū)為什么強(qiáng)烈建議每個(gè)啟動(dòng)goroutine的入口尤其是無法完全掌控運(yùn)行的第三方庫(kù)回調(diào)都應(yīng)該在最外層包一層帶recover的包裝函數(shù)。這是生產(chǎn)環(huán)境進(jìn)程穩(wěn)定性的最后一道防線。3.4 recover和runtime.Goexit同樣走defer但不會(huì)被recover攔截runtime.Goexit會(huì)讓當(dāng)前goroutine立即終止但在終止前會(huì)執(zhí)行該goroutine的所有defer。和panic不同的是Goexit并不會(huì)構(gòu)建_panic結(jié)構(gòu)體它走的是另一條路徑recover對(duì)它是無效的。func main() { defer func() { fmt.Println(defer run) if r : recover(); r ! nil { fmt.Println(recovered:, r) } }() runtime.Goexit() }輸出只有defer run沒有recovered的輸出。Goexit在runtime/panic.go里會(huì)設(shè)置_panic.goexit true雖然也經(jīng)過defer執(zhí)行但recover不會(huì)把它當(dāng)作可恢復(fù)的panic處理。這個(gè)特性在實(shí)際中不常用但在實(shí)現(xiàn)自己的超時(shí)任務(wù)取消機(jī)制或?qū)憸y(cè)試用例強(qiáng)制結(jié)束goroutine時(shí)需要注意區(qū)分。4. 從panic觸發(fā)到recover接住一次完整的運(yùn)行時(shí)協(xié)作鏈路前面把三個(gè)關(guān)鍵點(diǎn)分開講了現(xiàn)在把它們串成一個(gè)完整的時(shí)序。理解了這個(gè)協(xié)作鏈路很多所謂的詭異問題其實(shí)都能順理成章地解釋清楚。4.1 一次完整panic/recover調(diào)用的時(shí)序拆解假設(shè)我們有如下代碼func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recover in main:, r) } }() foo() } func foo() { defer fmt.Println(foo defer) bar() } func bar() { panic(oops) }實(shí)際的運(yùn)行時(shí)步驟拆解如下bar函數(shù)執(zhí)行到panic(oops)觸發(fā)gopanic。運(yùn)行時(shí)在bar對(duì)應(yīng)的goroutine上構(gòu)建_panic結(jié)構(gòu)體掛入鏈表。開始遍歷bar的defer鏈。bar沒有注冊(cè)defer所以跳過。panic傳播到foo遍歷foo的defer鏈執(zhí)行fmt.Println(foo defer)輸出foo defer。這個(gè)defer函數(shù)執(zhí)行完成后沒有調(diào)用recover所以panic繼續(xù)傳播。panic傳播到main遍歷main的defer鏈執(zhí)行recovergorecover從_panic鏈表中取出panic對(duì)象設(shè)置recoveredtrue返回oops。main的defer里判斷r ! nil輸出recover in main: oops。gopanic檢查到panic已經(jīng)被recover執(zhí)行recovery流程恢復(fù)當(dāng)前goroutine的棧狀態(tài)跳回main函數(shù)的deferreturn位置繼續(xù)執(zhí)行。main函數(shù)正常返回程序正常退出。在這個(gè)鏈路里有個(gè)細(xì)節(jié)值得注意recover不是吞掉panic而是把panic標(biāo)記為已恢復(fù)。而一旦恢復(fù)整個(gè)goroutine的棧展開流程就停止了main會(huì)從deferreturn的位置繼續(xù)往下走。這也是為什么recover之后還能繼續(xù)執(zhí)行主流程的原因。4.2 內(nèi)層recover與外層傳播的邊界如果內(nèi)層defer已經(jīng)recover了外層defer是否還會(huì)感知到這個(gè)panic答案是不會(huì)因?yàn)檫@個(gè)panic已經(jīng)被標(biāo)記為recovered不會(huì)再繼續(xù)傳播。func main() { defer func() { if r : recover(); r ! nil { fmt.Println(outer recover:, r) } else { fmt.Println(outer recover: nothing) } }() func() { defer func() { if r : recover(); r ! nil { fmt.Println(inner recover:, r) } }() panic(boom) }() }輸出是inner recover: boom outer recover: nothingpanic在匿名函數(shù)里觸發(fā)先去執(zhí)行匿名函數(shù)的deferrecover接住了panic不再向外傳播main的defer自然看不到任何panic。如果內(nèi)層defer只是打印日志沒有調(diào)用recoverpanic就會(huì)繼續(xù)向外傳播外層defer的recover就能接住。4.3 defer中再次panicpanic鏈表的嵌套處理defer函數(shù)里再觸發(fā)panic是合法的但會(huì)導(dǎo)致多個(gè)_panic對(duì)象掛在一個(gè)goroutine上??催@個(gè)例子func main() { defer func() { if r : recover(); r ! nil { fmt.Println(recovered:, r) } }() defer func() { panic(second panic) }() panic(first panic) }執(zhí)行順序是第一個(gè)panic觸發(fā)runtime開始遍歷defer鏈執(zhí)行到第二個(gè)defer時(shí)這個(gè)defer又拋出一個(gè)panic。新的_panic被掛到鏈表頭部?jī)?yōu)先于舊的panic處理。runtime轉(zhuǎn)而處理第二個(gè)panic繼續(xù)遍歷defer鏈執(zhí)行第一個(gè)defer這里recover接住的是最新的panic即second panic然后整個(gè)流程結(jié)束。所以輸出是recovered: second panic如果第一個(gè)defer里先recover了一次又會(huì)把第二個(gè)defer的panic標(biāo)記為恢復(fù)函數(shù)繼續(xù)執(zhí)行。這種defer里再panic的模式在實(shí)際業(yè)務(wù)中很少見但排查問題時(shí)看到只恢復(fù)了最新的panic、之前的panic被吞掉或者覆蓋了不要慌這符合運(yùn)行時(shí)行為。4.4 recover之后panic參數(shù)丟失的問題一個(gè)容易被忽略的細(xì)節(jié)是recover返回的是傳入panic接口的值。如果panic(nil)recover返回的也是nil這就產(chǎn)生了一個(gè)判斷陷阱defer func() { if r : recover(); r ! nil { fmt.Println(recovered) } }() panic(nil)這里panic(nil)傳入的是空接口的零值recover返回nil判斷r ! nil為假看起來就像沒有panic一樣。Go 1.21之前panic(nil)的行為確實(shí)如此運(yùn)行時(shí)也不會(huì)認(rèn)為panic已經(jīng)恢復(fù)但因?yàn)閞ecover返回了nil讓恢復(fù)邏輯漏判。Go 1.21起官方把panic(nil)單獨(dú)識(shí)別為*runtime.PanicNilErrorrecover會(huì)返回一個(gè)非nil的錯(cuò)誤對(duì)象算是把這個(gè)坑補(bǔ)上了。但為了兼容性和代碼可讀性實(shí)踐中仍然建議不要傳nil給panic傳一個(gè)明確的錯(cuò)誤對(duì)象語(yǔ)義更清晰。5. 實(shí)戰(zhàn)中recover失效的典型場(chǎng)景與排查思路理論講完了這部分是我在實(shí)際項(xiàng)目里踩過、也幫別人排查過的高頻問題匯總。每個(gè)場(chǎng)景都會(huì)先說現(xiàn)象再分析根因最后給出可落地的修復(fù)方案。5.1 跨goroutine的recover失效根因與修復(fù)這是線上服務(wù)崩潰的頭號(hào)原因?,F(xiàn)象是主流程有全局recover中間件日志里卻依然出現(xiàn)某個(gè)goroutine的panic堆棧進(jìn)程直接退出。根因前面已經(jīng)講透recover只能作用于調(diào)用它的goroutine。主流程的recover在main或http handler的goroutine里子goroutine的panic不會(huì)經(jīng)過它。修復(fù)方案很直接封裝一個(gè)安全啟動(dòng)函數(shù)。func GoSafe(fn func()) { go func() { defer func() { if r : recover(); r ! nil { log.Printf([recover] goroutine panic: %v, r) debug.PrintStack() } }() fn() }() }所有不確定安全的異步任務(wù)都通過GoSafe啟動(dòng)統(tǒng)一的panic兜底就位了。這個(gè)方法簡(jiǎn)單有效是我們團(tuán)隊(duì)go項(xiàng)目里所有g(shù)oroutine的啟動(dòng)標(biāo)準(zhǔn)。5.2 recover寫在非defer位置代碼沒執(zhí)行到或執(zhí)行無效有同事曾經(jīng)把recover寫在函數(shù)中間想先記一筆日志再繼續(xù)執(zhí)行func process() { defer cleanup() doSomethingRisky() if r : recover(); r ! nil { log.Printf(recovered from panic) } // 繼續(xù)其它邏輯 }這個(gè)recover是無效的因?yàn)閐oSomethingRisky一旦發(fā)生panicprocess的正常控制流立刻被打斷recover()這行代碼不會(huì)被執(zhí)行到。正確的姿勢(shì)是把recover放進(jìn)defer里或者用閉包把風(fēng)險(xiǎn)區(qū)包起來func process() { defer cleanup() func() { defer func() { if r : recover(); r ! nil { log.Printf(recovered from panic) } }() doSomethingRisky() }() // 繼續(xù)其它邏輯 }注意第二種方式里如果確實(shí)發(fā)生了panic并被內(nèi)層recover接住那么doSomethingRisky后續(xù)的局部狀態(tài)可能是殘缺的需要自行判斷是否還能安全地繼續(xù)外層邏輯。這一點(diǎn)沒有銀彈需要在業(yè)務(wù)里權(quán)衡。5.3 defer函數(shù)的參數(shù)錯(cuò)誤導(dǎo)致recover本身panic這個(gè)坑比較隱晦。recover本身返回的是any但在defer函數(shù)內(nèi)部訪問外部變量、做類型斷言時(shí)可能觸發(fā)新的panic把原本的恢復(fù)流程打斷。func main() { defer func() { if r : recover(); r ! nil { s : r.(string) // 如果panic傳的是error類型這里會(huì)panic fmt.Println(recovered:, s) } }() panic(errors.New(boom)) }這里r.(string)的類型斷言失敗會(huì)引發(fā)一個(gè)新的panic最終程序還是崩潰。正確做法是用安全斷言或者只做類型判斷不強(qiáng)制轉(zhuǎn)換defer func() { if r : recover(); r ! nil { if s, ok : r.(string); ok { fmt.Println(recovered:, s) } else { fmt.Printf(recovered unknown panic: %v\n, r) } } }()還有一個(gè)相關(guān)的最佳實(shí)踐defer里的recover代碼應(yīng)該只做日志記錄、狀態(tài)標(biāo)記、資源清理這類安全操作不要在里面做復(fù)雜的類型斷言、網(wǎng)絡(luò)請(qǐng)求、或修改共享數(shù)據(jù)結(jié)構(gòu)然后加鎖等高風(fēng)險(xiǎn)操作?;謴?fù)代碼本身要盡可能簡(jiǎn)單、不會(huì)再次panic。5.4 recover后程序狀態(tài)不一致不要盲目繼續(xù)執(zhí)行recover接住了panic并不意味著一切恢復(fù)如初。panic發(fā)生位置之后的棧幀全部被解開局部變量可能處于半初始化的狀態(tài)外部資源可能只申請(qǐng)了一半。如果此時(shí)繼續(xù)執(zhí)行依賴這些狀態(tài)的核心邏輯可能出現(xiàn)數(shù)據(jù)錯(cuò)亂。我在支付對(duì)賬模塊里踩過一次坑。一個(gè)解析回執(zhí)文件的函數(shù)中間出現(xiàn)了數(shù)組越界panic被上游統(tǒng)一recover接住后外圍邏輯繼續(xù)往下執(zhí)行導(dǎo)致一批回執(zhí)文件被標(biāo)記為已處理但實(shí)際沒入庫(kù)。修復(fù)方案是在recover分支里明確返回一個(gè)錯(cuò)誤狀態(tài)讓調(diào)用方感知這一步?jīng)]完成而不是假裝一切正常func parseBatch(records [][]string) (result []Record, err error) { defer func() { if r : recover(); r ! nil { err fmt.Errorf(panic while parsing batch: %v, r) result nil } }() // 逐條解析可能panic }退出這個(gè)函數(shù)時(shí)通過命名返回值把err置為非nil調(diào)用方就知道本次處理失敗可以走重試或人工介入流程。這個(gè)是生產(chǎn)環(huán)境里非常關(guān)鍵的容錯(cuò)策略。6. 工程化實(shí)踐用panic、defer、recover搭建可靠的故障隔離層理解了機(jī)制最終要回到工程落地。為什么Go官方建議盡量用error處理預(yù)期內(nèi)的錯(cuò)誤用panic處理不可恢復(fù)的錯(cuò)誤因?yàn)閜anic本質(zhì)上是一個(gè)極端的控制流操作它跳過的代碼太多、副作用太大如果把它當(dāng)作常規(guī)錯(cuò)誤處理手段整個(gè)程序的健壯性會(huì)變得難以推理。6.1 error和panic的分工預(yù)期內(nèi)vs不變量被破壞我的判斷標(biāo)準(zhǔn)是這樣error處理預(yù)期內(nèi)的失敗。網(wǎng)絡(luò)超時(shí)、校驗(yàn)失敗、資源不存在這些都應(yīng)該用error返回調(diào)用方可以優(yōu)雅降級(jí)、重試、或者提示用戶。panic處理不變量被破壞的場(chǎng)景。數(shù)組越界、空指針解引用、類型斷言失敗、map并發(fā)寫檢測(cè)這些意味著程序狀態(tài)已經(jīng)不可信繼續(xù)執(zhí)行只會(huì)產(chǎn)生更多錯(cuò)誤數(shù)據(jù)。這個(gè)分工不是教條而是基于成本考量。error可以讓調(diào)用方就地決策panic則是說我不知道誰該為此負(fù)責(zé)先中斷讓最外層的兜底記錄現(xiàn)場(chǎng)。6.2 用defer實(shí)現(xiàn)事務(wù)性的資源清理與補(bǔ)償defer的一個(gè)高級(jí)用法是實(shí)現(xiàn)事務(wù)效果在函數(shù)開頭申請(qǐng)多個(gè)資源任何一個(gè)步驟失敗前面已經(jīng)申請(qǐng)的資源都能自動(dòng)釋放而且釋放順序正確。func transfer(from, to *Account, amount int) (err error) { if err from.Lock(); err ! nil { return err } defer from.Unlock() if err to.Lock(); err ! nil { return err } defer to.Unlock() if amount from.Balance { return errors.New(insufficient funds) } from.Balance - amount to.Balance amount return nil }這里加鎖順序是from再to釋放順序是to再from正好滿足對(duì)稱釋放。如果中間任何一步出錯(cuò)提前返回前面加上的鎖也能通過defer釋放掉。這套模式在數(shù)據(jù)庫(kù)事務(wù)、分布式鎖、文件操作的場(chǎng)景里是通用的。6.3 生產(chǎn)級(jí)HTTP服務(wù)的全局panic恢復(fù)中間件在Web服務(wù)里我們需要的是單個(gè)請(qǐng)求panic不影響整個(gè)進(jìn)程。Go的net/http庫(kù)里每個(gè)連接的處理都在獨(dú)立的goroutine里所以統(tǒng)一恢復(fù)邏輯必須放在中間件層。func RecoveryMiddleware(next http.Handler) http.Handler { return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) { defer func() { if err : recover(); err ! nil { log.Printf([panic] path%s error%v trace%s, r.URL.Path, err, string(debug.Stack())) http.Error(w, http.StatusText(http.StatusInternalServerError), http.StatusInternalServerError) } }() next.ServeHTTP(w, r) }) }這樣單個(gè)handler里的panic會(huì)被記錄到日志、返回500給客戶端進(jìn)程繼續(xù)服務(wù)其他請(qǐng)求。這里debug.Stack()的調(diào)用價(jià)值很高它能打印出panic發(fā)生時(shí)完整的堆棧定位問題比單純一個(gè)錯(cuò)誤信息高效得多。6.4 值得堅(jiān)持的recover使用紀(jì)律根據(jù)多次事故排查的經(jīng)驗(yàn)我總結(jié)了四條紀(jì)律recover一定要放在defer里而且能不放就不放。只有明確需要防止進(jìn)程崩潰或者隔離不可控代碼的場(chǎng)景才用。recover范圍要盡量小。不要在最外層對(duì)整段業(yè)務(wù)邏輯做籠統(tǒng)的recover那樣會(huì)掩蓋真正的bug。盡量縮小到單次調(diào)用、單個(gè)模塊的邊界上。recover后必須記錄完整堆棧。只打panic的error值很多時(shí)候定位不了問題堆棧才是找根因的關(guān)鍵。recover后必須明確返回錯(cuò)誤或標(biāo)記異常狀態(tài)讓上層知道這次調(diào)用沒有正常完成不能假裝無事發(fā)生。6.5 單元測(cè)試?yán)锶绾悟?yàn)證panic分支測(cè)試panic場(chǎng)景也要按規(guī)矩來。Go沒內(nèi)置斷言這個(gè)函數(shù)會(huì)panic的庫(kù)但可以通過recover來捕獲func TestFooPanics(t *testing.T) { defer func() { if r : recover(); r nil { t.Errorf(expected panic, got none) } }() Foo() }如果要斷言panic的具體內(nèi)容可以對(duì)r做類型斷言。這在寫防御性代碼的測(cè)試時(shí)很常用確保自己的函數(shù)在非法輸入時(shí)會(huì)以預(yù)期方式中斷而不是靜默返回錯(cuò)誤結(jié)果。7. 結(jié)合GC與內(nèi)存視角panic和defer對(duì)性能的隱藏影響這部分是很多人忽略的。雖然Go 1.14的開放編碼優(yōu)化大幅降低了defer的開銷但panic路徑上的運(yùn)行時(shí)行為依然有成本和限制。7.1 panic導(dǎo)致的棧增長(zhǎng)與GC壓力panic觸發(fā)時(shí)運(yùn)行時(shí)需要對(duì)當(dāng)前goroutine的棧做展開操作。如果棧上分配了大量對(duì)象或者defer函數(shù)比較多、閉包捕獲了大量外部變量這個(gè)展開過程會(huì)增加GC掃描壓力。在極端情況下高頻率的panicrecover會(huì)導(dǎo)致明顯的CPU抖動(dòng)。我做過一個(gè)壓測(cè)一個(gè)函數(shù)每調(diào)用一萬次就觸發(fā)一次panic并被recover相比直接返回error吞吐量下降約15%到25%具體依賴堆棧深度和defer數(shù)量。結(jié)論是不要把panic當(dāng)作流程控制手段在熱路徑上使用它的成本比error高一個(gè)量級(jí)。預(yù)期內(nèi)的錯(cuò)誤老老實(shí)實(shí)返回error。7.2 開放編碼defer的適用邊界Go 1.14之后編譯器對(duì)defer做了開放編碼優(yōu)化在函數(shù)體尾部直接展開defer函數(shù)調(diào)用省去了運(yùn)行時(shí)鏈表操作。但以下情況無法使用這種優(yōu)化defer出現(xiàn)在循環(huán)體內(nèi)函數(shù)中defer數(shù)量超過8個(gè)函數(shù)中包含調(diào)用recover的defer使用go關(guān)鍵字或defer結(jié)合閉包且閉包較大理解這些邊界很有用。如果代碼性能敏感可以檢查一下是否頻繁觸發(fā)了非開放編碼路徑。一個(gè)實(shí)際案例我們有個(gè)函數(shù)頻繁defer釋放臨時(shí)分配的緩沖對(duì)象且函數(shù)非常短性能測(cè)試發(fā)現(xiàn)這部分占CPU超過10%。把defer改成顯式調(diào)用后耗時(shí)下降了8%。但要注意這種優(yōu)化屬于確認(rèn)瓶頸后做的手術(shù)不能一上來就避開defer。7.3 關(guān)于panic堆棧日志的截?cái)嗑€上服務(wù)日志里panic堆??赡芊浅iL(zhǎng)。Go默認(rèn)打印完整堆棧如果每個(gè)goroutine都打印日志量會(huì)非常恐怖。經(jīng)驗(yàn)做法是業(yè)務(wù)恢復(fù)日志里用debug.Stack()打印當(dāng)前goroutine的堆棧但可以在日志系統(tǒng)層面做截?cái)啾热缦拗?KB保留前幾十行關(guān)鍵幀就足夠定位了。核心的崩潰行號(hào)、調(diào)用關(guān)系都集中在堆棧上半部分不需要完整輸出。8. 從一個(gè)線上事故看三者協(xié)作的完整復(fù)盤最后分享一個(gè)我參與排查的真實(shí)事故它幾乎是panic、defer、recover所有陷阱的集合體現(xiàn)對(duì)照著看能加深印象。8.1 事故現(xiàn)象一個(gè)訂單處理服務(wù)在深夜突然重啟K8s里顯示容器退出碼2。日志里有幾條panic記錄但詭異的是服務(wù)明明有全局recover中間件為什么進(jìn)程還是退了8.2 排查過程先看panic堆棧發(fā)現(xiàn)崩潰源頭在一個(gè)異步消息消費(fèi)的goroutine里它處理消息時(shí)調(diào)用了一個(gè)第三方SDKSDK內(nèi)部觸發(fā)了panic。堆棧往上走沒有經(jīng)過任何帶recover的defer直到goroutine入口都沒有兜底運(yùn)行時(shí)直接把進(jìn)程殺掉了。再看我們以為的全局recover它掛在HTTP handler的中間件里只能保護(hù)HTTP請(qǐng)求的goroutine。消息消費(fèi)的goroutine是另一個(gè)入口完全沒被覆蓋到。繼續(xù)往下查發(fā)現(xiàn)SDK里那個(gè)panic的觸發(fā)條件是配置文件里一個(gè)字段被錯(cuò)誤地置空了。SDK沒有對(duì)空值做防御性判斷直接解引用空指針。表面上這是SDK的bug但我們的消息消費(fèi)入口沒有隔離機(jī)制導(dǎo)致一個(gè)配置錯(cuò)誤直接帶崩了整個(gè)服務(wù)。8.3 修復(fù)措施修復(fù)分了三層入口兜底所有消息消費(fèi)的goroutine同樣包一層帶recover的包裝函數(shù)統(tǒng)一記錄堆棧并發(fā)送告警。風(fēng)險(xiǎn)隔離把調(diào)用第三方SDK的部分單獨(dú)抽到一個(gè)函數(shù)里內(nèi)部用deferrecover包住。panic被接住后把該條消息標(biāo)記為消費(fèi)失敗進(jìn)入重試隊(duì)列而不是讓進(jìn)程崩潰。配置校驗(yàn)在加載配置的階段就做空值校驗(yàn)從源頭避免SDK拿到非法參數(shù)。這個(gè)事故讓我徹底意識(shí)到recover不是寫了就有用它必須精準(zhǔn)地出現(xiàn)在每一個(gè)可能發(fā)生panic的goroutine入口上。這也是我把GoSafe做成團(tuán)隊(duì)公共庫(kù)的原因。8.4 復(fù)盤結(jié)論panic、defer、recover這三者的關(guān)系如果打一個(gè)比方defer是無論函數(shù)走到哪條路都必須經(jīng)過的收尾通道panic是突然闖進(jìn)這個(gè)通道的緊急事件而recover是在通道里設(shè)置的緊急事件處理點(diǎn)。處理點(diǎn)不在通道里就永遠(yuǎn)攔不到這個(gè)事件處理點(diǎn)夠多、覆蓋了所有入口事件才能被安全化解?,F(xiàn)在寫Go項(xiàng)目我?guī)缀跣纬闪思∪庥洃浬婕癵oroutine的地方先套GoSafe涉及文件、鎖、連接的地方優(yōu)先defer清理涉及不可控外部庫(kù)調(diào)用的地方單獨(dú)隔離加recover。這套習(xí)慣幫我省掉了大量凌晨起來看監(jiān)控的時(shí)間。也希望這篇拆解能讓你在面對(duì)panic、defer、recover時(shí)不只是知道語(yǔ)法而是真正理解它們背后的運(yùn)行時(shí)協(xié)作邏輯寫出更穩(wěn)的Go代碼。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91人妻视频在线| 萌白酱自拍视频| A 在线网址| 精品高清一区二区三区三州| 黄色免费网页无码| 免费夜夜爱黄色视频毛片| 一区二区三区机械有限公司| 天美精品av| 麻豆国产av网| 国产探花日韩援交| 97超碰色五月| 青娱乐欧美激情一区二区| 国产精品ⅴ无码大片在线看.| 美女极品一区二区三区| 五月婷在线| 夜夜一区二区| 日本久久超碰| 免看60秒涩涩视频| 国产精品操| 欧亚性爱在线视频| 玖玖视频在线资源一区二区三区| 久久夜嗨| 精品高清牛人盗摄一区二区三区中文字幕A片免费在线观看 | 亚洲日产专区| 啊啊啊不要啊啊受不了了视频在线| 伊人青青一区成人视频在线观看区| 人妻熟妇久草在线| 欧成人精品一区二区三区| 福利视频一区二区微拍| 国偷自 一区| 91色人妻| 91jk色拍| 日韩av免费一级电影| 丁香五月成人| 精品一区二区三区18| 色色婷婷丁香| 青青免费在线视频一区| 亚洲日产专区婷婷| 欧美性爱中文字幕无线码| 亚洲少妇色图自慰直播| 上海一级黄片| 91爱看| 91情色| 欧美激情亚洲色图| 99国产在线 精品 视频| 天操天操夜操夜月操月年年操操| 国产女生在线| 91欧美网| 狠色婷婷久久一区二区三区_| 国模私拍一区二区三区神乳| 91黑丝操| 熟女丰满人妻一区| 无码国产Av| 麻豆视频test| 欧美性爱视频免费一区一A | 日韩性爱网址| 一区AV| 久久精品视频久久久| 超清中文乱码字幕| juliaann欧美丝袜办公室| 日韩人妻操B| 天天做日日做天天欢。| 亚洲图片 欧美电影| 欧美精品四区| 日韩无码一级黄色av片| 后入福利视频| 日日干夜夜骑| 大香蕉日亚洲日本亚大| 天天日日日射| 人妻-91porn| 亚洲中文字幕在现观看| 素颜老阿姨乱情色| 夜夜综合| 欧洲小说色图视频另类| 亚洲图片欧美在线视频| 国产免费一区二区在线A片视频| 亚欧日韩成人| 成人精品久久| 女人一区| 啊啊啊好湿国产一二| 国产久久av| 天天草天天干天天日| 99re国产精品视频| 在线欧美69V免费观看视频| 亚洲国产精品成人久久蜜臀| 亚洲骚逼少妇| 久久99草| 丰满人妻一区二区中文| 欧美姓爱综合网| 欧美 色 亚洲| 精品一区二区三区蜜桃| 男人的天堂kva| 91色插| 水多多映视AV| 日本操逼无码| 在线视频 亚洲精品| 日韩无码视频黄色| PMv在线观看| 乱欲视频| 久操网址| 120分钟婬片免费看| 天天干天天狼在线视频| 小草三级久久观看| 久热精品在线| 成年人网站在线免费观看| 91国产丝袜白虎| 91精品人妻一品二品三品| 大香蕉伊人75| 婷婷丁香五月天综合东京热| 啪啪视频mP4| 中文字幕78| 搞中出久久| 午夜福利av电影在线| 妇女性内射冈站HDWWWCOM| 无套内射性感少妇视频| 综合网欧美在线| 精品9区| 欧美天天综合站| 9.1小视频| 亚洲综合欧美| 殴美牲| 91精品国产91熟女| 国产一区二区精品久久99| 91色欧美| 久久精品国产亚洲AV高清演员表| 中日韩熟女| 熟女一区二区三区| 91n美女视频| 走光一区92下载| 97久久超碰日韩精品| 北约熟女超碰| 97 超碰 人人做 人人爱| 国产精品不卡少妇白| 日韩精品中文字幕二区| 啊啊啊啊啊啊啊啊啊啊在线观看| 午夜精品久久一区二区| 青娱乐国产精品| 人妻少妇久久久| 操逼A∨| 久久久久久性爱视频| 精品免费成人久久| 六九九九| 亚州综合色| 搞中出视频在线观看| 日韩免费在线观看不卡| 久9久精品视频| 亚洲97久久精品亚洲| WWW美腿丝袜香蕉中文| 久久岛国| 人人澡人人澡人人| 热热色综合网| 爽爽爽免费视频| 91精品成人| 97超碰免费生活| 久热这里| 成人无码在线超碰网| 无码人妻一区二区三区色欲aⅴ | 农村妇女一级二级三级视频| 国产精品青草综合久久| 国产女人高潮视频| 美日韩一二三区| 天天欲望网| 国产精品无码久久久久2028| 天天日天天爽| 国产熟女高潮一区二区三区| 国产操逼逼网| 丝袜夫妻自拍| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 美国久久一二三四| 欧美玖玖爱免费玖玖| 亚洲第一页色网| 久久国产逼| 黄片免费看黄片免费看| 观看免费区二区三区二| 欧美日韩精品国产91| 91欧美经典| 亚洲欧美天堂| 亚州综合网| 国产精品视频白浆免费| 黄网色一区二区三区四区精品| 啊啊啊好爽快点啊啊啊嗯嗯| 小明看看网址| 东京热视频网| 精品一区二区三区蜜桃臀赵总 | 人妻少妇无码 | 在线 亚洲 网爆 自拍| 2019亚洲男人天堂| 国产女乱淫真高清免费视频| 欧亚乱色熟一区二区三四区| 蜜臀99久久精品| 亚洲精品尤物yw在线影院| 精品国产乱码久久久久久口爆网站| 91麻豆天美国产欧美日| 久久久啊啊啊| 抽插无码高清一区| 久久啊哟| 97手机日韩| 成年女人18级毛片毛片免费观看| 亚码人妻| 精品九九国产无码| 麻豆黄色五月天| 亚洲女人毛茸茸91| 欧美日本一区二区a人| 欧美久久婷| 女色综合| 成 人 影视 一区 二区 三区 四区| 老熟乱一区二区三区四区| 丰满人妻一区二区三区四区| A V少妇特黄三级| 久久免费精品96| 精品久久久久久无码| 欧美专区第一页| 深爱伊人影院| 99综合免费视频| 亚洲中文字幕久久无码精品| 九九热超碰| 亚洲人精品久久久| 无码少妇精品一区二区60岁老人| 97久久超碰国产精品| 妺妺跟我一起洗澡没忍住| 欧洲精品网| 天天色,天天干,天天干| 日韩精彩视频| 91久久久久久| 综合亚洲网| 美中韩AV综合网| 久久久久久九九九九| 高潮内射在线| 国产午夜精品在线观看| 免费97视频| 国产一区在线免费播放| 欧美性第一页| 二三四区精品| 九色婷婷| 国产丝袜欧美在线视频| 午夜福利在线合集| 欧美特大黄一级片片免费| 日韩欧美中文字亚洲慕| A久久| 欧美亚洲手机在线| 欧美18 在线观看| 亚洲激情天堂网| 亚洲美女自拍偷拍视频| 欧洲久久一二线| 超碰99热中文字幕| 日韩视频啪啪| 老熟乱一区二区三区四区| 亚洲古典另类欧美在线| 亚洲色图综合| 久色99999| 在线一道啪| 91爱剪切久久| 久久久久ab| 日韩九区| 狠狠操夜夜| 男人天堂免费| juliaann精品熟女一区| 久久精品一区二区一8| 久久精品一区| 99热啪啪| 欧美色999| 麻豆九九九| 91精品啪在线观看国产城中村| 97久久国产精品女不卡| 人妻五十路在线| a久久| 一级片在线观看高清无码| 欧美91精彩| 日本天天吊| 国产 亚洲 丝袜 制服| 亚洲色图 欧美| 九九九九九九免费视频| 9超碰免费| 亚洲砖码砖专无区2023| 久久爱97| 亚洲高清男人天堂| 欧美色九九九| 婷婷久久大香蕉| 91P0RNY大屁股人妻| 亚洲人妻精品一区二区| 久草色在线观看| 97人人操人人摸| 免费国产电影一区二区| 欧州91高潮| 91久久国产精品| 中文字幕女同在线| 美日韩在线不卡人妻| 日本三级大片| 精品人妻伦一二三区久久| 蜜臀一区二区三区在线 | 青青草综合在线| 久久精品视频一区三区小泽玛利亚| 亚洲 图片 综合91| 国产免费大片| 无码9区| 国模精品一区二区三区苹果色戒| 思思性爱| 99这里只有精品国产| 国产精品久久久久久久久久久久久久吹 | 国产做?爰片久久毛片?片美国| 欧美极度丰满熟妇hd| 欧美成熟性爱精品| 日韩免费三级黄片电影| 欧美高清无码免费视频高清版| 亚洲 日本 不卡| 97在线播放 | 操b在线观看| 国产色图乱伦| 无遮挡男女激烈动态图| 日韩三A大片在线观看| 2017天天插| 强乱老妇中文字幕| 天美传媒AV在线播放| 天天做天天爱| 久久精品人妻一区| 精品无码一区二区三区| 天天干天天燥| 日本道久久综合色色| 免费A片三p视频| 欧美夜夜草视频| 亚洲天堂五月天国产| 国产精品亚洲色婷婷久久久| 亚州免费啪啪视频| 国产AV色黄看到爽| 国产精品一二三在线看| 欧美 亚洲 偷拍自拍| 久热9| 六月丁香五月婷婷| 精品人妻一区二区三区-国产| 久久熟女人| 日韩二三区| 婷婷香网站| 强上我不卡卡| 伊人991| 亭亭在线资源| 天美传媒精品一区二区| 四虎国产精品永久地址入口| 丰满高潮18xxxx| 国产浮力影院第1页| 精品久久99| 国产精品天美传媒| 国产精品视频在线播放| 麻豆色约约| rion磁力链接| 熟妇操花| 婷婷丁香六月天| 超碰调教97| 九九热免费国产视频婷婷伊人| 人妻 欧美 中文| 色噜噜狠狠色综无码久久| 97国产精品视频| 福利操逼| 超碰79人人乐| 蜜臀99999| 九一精品牛牛一区二区| 亚洲精品国产av天美传媒| 日本天堂在线播放| 狠狠操,使劲操| 伊人网综合在线视频| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 另类欧美色| 2018天天干在线视频| 国产原创剧情在线丝袜 | 国产最新小视频在线播放下载| 屁屁影院一区二区三区国产| 97亚洲资源| 亚洲图片视频小说| 中国zzijzzijzzwww精品| 99热9| 日少妇亚洲版| 日本熟妇自慰性高潮一区二区三区| 日本高清一本二本免费不卡| 手机在线中文字幕国产| 亚洲另类在线观看| 久久久九| 亚洲AV无码AV吞精久久久久| 婷婷色导航| 大香蕉男人的天堂| 校园春色 欧美| 欧美性爱日韩高清| 伊人97色天使| 亚洲综合有码| 国产Aα| 成人女人国产| 中文字幕三四五区| 超碰成人免费| 一本一道久久综合久久| 久久无码电影| 国产91专区| 日韩图区 偷拍| 99在线精品视频| 美女上床网站| 日本一区二区做爱的视频| 求求你操操我| 在线视频97| 午夜理论片在线观看免费| 九草在线大香蕉| 国产乱伦视频污| 校园春色制服丝袜中文字亚洲| 亚洲综合性网址| 天天日天天干天天色| 亚洲青青青视频在线| 夜夜高潮夜夜爽夜夜爱爱一区 | 嗯,啊。舔我逼| 欧美激情性爱视频网站| 蜜桃色色网站视频三区| 大香蕉线| 欧美色图亚洲色图成人在在线| 极品白嫩美少妇在地板上位骑射淫水泛滥| 99热官网| 一区二区乱码福利| 亚洲精品97在线| 亚洲国产精品久久AV| 女色视频社区| 日韩黄色av中文字幕| 精久久久91| 思思热免费在线视频| 狠狠干综合| 亚洲精品久久久久久久蜜桃臀| 久久小视频| 免费精品无码一级毛片牛牛影视 | 熟女激情综合网| 99re95| 国产福利电影| 天天操天天日天天干| 亚州AV无码国产精品| 性高潮久久久| 成人精品电影| Av手机版天堂网| 91处女在线视频| 91精品久久综合熟女| 日韩大香蕉| 欧美性爱一区二区三区四区 | 国产精品视屏| 亚熟hd视频在线| 欧美性爱一级操| 啊啊啊啊啊啊在线| 欧亚成人在线视频| 久久午夜伦| av网站国产主播在线| 91真人天天在线| 日韩国产中文字幕| 国产无马在线| 国产精品毛片| 亚洲图片 91| 中文?日韩?免费?精品| 欧美天堂亚洲电影院一区在线播放| 亚洲成人久久美女| 国产午夜福利专区综合| 精品人妻一区二区三区蜜桃视频| 狠狠色综合网| 青青久久手机线视频| 国产精选视频| 亚洲日韩XXX| 日韩AV一区二区三区四四| 尹人免费观看视频在线| 日韩大香蕉AV影片| 欧美综合网1| 淫淫总合网| 少妇高潮流水av免费| 人妻少妇精品久久久| 天天摸,夜夜摸| 欧美久久人人网| 97视频网站| 无码人妻丰满熟妇区毛片| 91九色精品熟女内射| 国产一区二区精品久久99| 91天天综合日韩欧美| 伊人久久亚洲中文字幕不卡| 欧美日韩99精品麻豆传媒| 天天日B夜夜干B时时操B| 欧美亚洲自拍另类人妻| 欧美人妻少妇| 亚洲美女精品九九视频| 91精品国| www.成人无码| 青青操视频在线| 美欧老女人97| 久久av网| 色九九九| 久久国产对白激情浪潮| 九九九九九九九九九九九免费国产| 色色色99| 精品久久人妻成人网| 色嗨嗨在线| 国产精品网址| 国产AV中文| 日本 情色 1区| 日韩精品一区,二区 九九...老司机| 欧美se亚洲| 亚洲情色第一页| 丁香五月天堂网| 91精品啪在线观看国产城中村| 成人日韩3| 插B在线观看| 欧洲精品区| 91电影色诱| 国产免费大片| 美女97超碰| 人妻出轨一区二区三区| 大吊色| 91+欧美| AV高清一区| 色噜噜狠狠色综无码久久合欧美| 亚洲色婷婷| 丁香婷婷色五月| 99热精品在线在线| 国产亚洲色婷婷久久99精品91| 色综合尤物| 精品久热| 久久日韩毛| 打av高清| 日韩av情韩国爱禁区av一区二区| 亚洲精品国产熟女久久久| 日本精品九九九| 超碰在线在公开超碰在线在公开| 97操97干| 熟妇综合一区二区三区| 74成人在线| 家庭乱伦国产精品| jizzjizz欧美| 国产精品无码av嫩草| 日本激情免费大片| 亚洲色久| 国产福利夜| 麻豆精品天美| 9长久久精品| 久热99999| 久久97精品久久久久久久不卡| 国产无码成人无码| 欧美成人一级免费电影| 国产精品一二三免费网站| 亚洲精品欧美专业| 欧美综合传媒| 欧美狠狠| 色呦呦呦在线观看视频| 日本福利社| 五月天色电影| 91色综合色| 亚洲色交| 亚洲精品一区二区精品| 女人被添高潮免费视频| 日日夜夜国产综合| 中文字幕国产| av中亚| 91狠狠综| 乱伦日本色图AⅤ| 欧美亚洲激情小说| 日本熟妇自慰性高潮一区二区三区| 91搡老女人老妇女老熟女歌词翻译| 性色av大全| 99自拍视频| 成人精品一区二区三区| 老司机香蕉| 极品白嫩美少妇在地板上位骑射淫水泛滥| 中文字幕一区二区无码成人| 国产黄片精品在线| 欧美久久九九| 亚洲中文字幕久久无码精品| 免费看黄片现成| 九九av| 中文字幕一区二区三区蜜桃视频| 一道α片欧美| 欧美日韩丝袜| 色图四区| 乱伦a片视频| 丰满翘臀美女影院视频| 日韩无码第3页| 五月亭亭六月丁香| 99九九久久| 色踪合AV| www.av在线视频| 天天干天天日天天射黄色大片| 9精品久久久久| 欧美日韩操操操| 岛国人妻少妇av在线观看| 美女久久久| 2010男人的天堂| 欧美日韩国产色五月综合在线| 国产精品原创巨作?v网站| 99热国产| 亚州欧美在线| 一区二区三区激情在线观看| 精品妇操一区二区三区| 久久五十路熟女人妻| 中文字幕片| 极品销魂美女一区二区| 天天影视网综合少妇| 欧美色97| 九久9精品| 久久久久久久| 亚洲国产天堂| 一道本东京热加勒比一区二区三区| 亚洲精品欧洲精品| 91丝袜在线播放| 国产原创剧情在线丝袜| 日韩黄色成人性爱| 99热日| 五月激情视频| 中文字幕成人| 91九九| 国产亚洲色婷婷久久99精品91葵花宝典 | 人人透人人操| 欧美狠狠鲁| 91美女视频。| 人妻9117c| 三四中文字幕| 色综合一本| 久久有码视频| 香蕉国产精品麻豆亚洲欧美日韩 | 欧日a| 69精品在线| 激情久久日韩精品中文字幕麻豆| 日本免费不卡二区| 欧美精品亚洲精品日韩传电影| 国产蜜臀精品一区二区尤物| 内射小黄片| 97精品国产97久久久久久免费| 97精品网站| 欧美黄色大片在线观看| 白 大 人妻 区 在线| 老女人综合网| 青青11操操操操操操操操| 天天舔天天日天天射| www.99色| 天美欧美国产| 免费簧片在线观看| julia ann久久| 中文字幕aⅴ在线视频| 天天色播| 欧美亚洲激情| 97日视频| 福利视频一区二区微拍| 熟女精品一区二区在线观看| 久久不卡一区二区 | 香蕉人欧美综合| 精品视频123区小说区| 思思久热在线精品66| 国产精品一区二区在钱播放| 99热在线播放| 97爱欧美| 成人午夜小视频手机在线看| 中文字幕免费观看| 亚洲AV无码国产精品久久久久| 国产又粗又长又大的视频| 国色天香av| 人妻少妇被猛烈进入中| 男女啊啊啊| 亚洲av热热色| 久久思思热| 中国AV美女| 日本天堂在线播放| 97天天综合网| 亚洲精品 大香蕉| 美女91网址| 日韩性爱播放| 国产91精品福利在线| 破处bbq| 国产污视频麻豆传媒一区二区| 九九色图| 欧美国产欧美在线观看| 欧美激情激情xxxx欧美专区| 色悠久久久av| 加勒比色综合| 自拍盗摄一区| 丁香六月东京热| 国产精品久久久啊| 精品九区| 日韩97在线| 亚洲同性aV综合| 国产精品一区二区麻豆| 亚洲凸凹超碰成人| 中文字幕加勒比海高清无码免费视频| 日韩女模中文造逼| 91GD.COM| 丁香五月婷婷五月| 大香蕉伊人网WWWn0n| 色哟哟-国产专区| 99性爱| 99色色网| AV色女综合| 亚洲久久久| 蜜乳中文字幕a在线| av网站免费看| 韩国一级做a久久久久| 国产精品三级视频网站| 激情五月天色色网| 天综合网| 天天操人人操骚逼网站| 精品人妻一区二区蜜桃视频| 国产精品国产精品国产| 岛国片在线视频网站| 国产三级资源在线观看| 欧美人妻久久精品二区三区| 日韩啪啪啪啪啪| 国产精品91一样| 激情综合av| 超碰夫妻97| 动漫区日韩区欧美区| 日日骚 av| 久久久久久久久久久久97 | 国产欧美精品日韩区二区麻豆天美| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 麻豆这里只有精品| 超碰79人人乐| 人妻激情另类| 国产视频小说| 亚洲性爱成人| 亚洲激情在线| 少好三P| 一级片在线观看高清无码| 国产亚洲精品av一区| 九九热精品免费视频| 九九热精彩视频| 午夜国产成人精品视频| 欧美另类色图片| 日本幼女18+| 丝袜美腿制服人妻二区中文字幕 | 免费一级黄色录像影片| 天堂国产AV| 探花视频免费观看国产专区| 激情五月激情综合网| 亚洲清纯综合| 日韩一级片在线看| 97伊人超碰| 欧亚在线视频| 97精品97| 激情看片网站| 欧美性暴力猛交| 蜜臀久久一区二区| 日韩15p| 18精品一区| 98人妻精品一区二区色欲| 久久国产视频专区一二三| 精品亚洲一区在线观看| 国产suv精品一区二区四| 九色黄站| 欧洲亚洲人妻无码中字久久三区四区| 亚洲āv网址在线观看| 99操| 青娱乐手机日韩在线视频| 亚洲精品性爱片| 久久久精品,3| 国产自产91区13区| 国产精品久久久久久久毛片1| 亚洲素人综合| 国产精品国产自产拍高清AV| 18禁免费视频| 日韩综合97p| 九热大香蕉| 这里只有精品视频| 国产一区二区三区白丝| 中国和日本人色哪个不下载能放| 婷婷五月天av| AA特级绝黄| Sekablack无码一区| 久久二| 欧洲亚洲人妻无码久久三区四区| 久久欧美按摩999| 操逼片中文| 美国精品国产精品| 91春色| 久久青青草在线视频| 91伊人久久在线| 91欧美美女日韩国产婷婷| 国产对白刺激视频| 久久产精品一区二区三区电影| 欧美在线干| 超碰97久久观看| 亚洲国内精品成人不卡| 久久精品无码专区| 99在线视频播放| 亚洲免费97免费| 一区二区 电影 亚洲| 无码人妻丰满熟妇奶水区毛片| 韩国一级做A片免费的| 国产一区二区三区视频在线看| 青青在线视频日韩欧美| 97se亚洲综合自| 午夜一区| 欲香欲色| 色色色日本| AV和黑人在线播放| 无码WWW免费视频网站| 国产伦乱91| 亚洲色诱惑| 一区二区三区精品黑丝白丝酒店对鸡| 成人三级片无码| 97久久超碰| 综合日韩激情另类图片| 亚州图片第一页| 清纯唯美亚洲综合| 欧美的性爱网站免费| 人妻丰满熟妇一区二区三| 操逼天美3区| 久操婷婷| 久久久国产精品亚洲精品| 亚洲中字慕不卡| 欧美人妻少妇| 国产欧美日韩一区二区三区| 欧美日综合| www.色五月| 2010男人的天堂| 97爱b| 熟妇综合一区二区三区| 亚洲欧洲国产综合av| 99热思思| 青青伊人加勒比海| 欧美成人一级麻豆| 97最新在线播放视频| 国产夫妻一区二区| 啪啪啪亚欧美视频| 欧美激情综合| 无码一区二区三区四区五区六区七区八区九区十区视频 | 金典av| 欧美色偷偷| 亚洲欧洲国产综合av| 天堂资源站| 国产精品麻豆视频网站| 青青草密桃在线播放| 91九色丰满高潮| 精品视频免费在线一区| 欧美亚洲丝袜美女电影| 国产二区三区免费视频| 日本色色色色色视频| 欧美韩国你懂得在线 | 午夜无码熟妇丰满人妻| 一类无码操逼视频| 无码视频一区二区| 超碰在线观看av不卡| 中文字幕人妻色偷偷久久皮| 精品久久久久久AV无码| 久久蜜色情在线视频xxx免费观看| 亚洲人妻在线精品| 欧美色图片91| {男男暴菊gay无套网站| 老熟女中文字幕高清| 美女午夜福利免费视频| 一本色道久久综合狠狠操| 911粉嫩人妻| 亚洲欲色| 91精产一区二区三区| 中文字幕 国产 精品| 亚洲天堂久久久久久粉红视频| 欧美制服网站美腿丝袜| 天天伊人| 北野未奈加勒比av| 国产精品青青草| 亚洲人妻中文高清| 大JI巴好深好爽又大又粗视频| 成人天天看站长推荐| 国产在线精品偷| 日韩在线一区二区| 91情色在线| 超碰国产情侣自拍网| 亚洲黄色网址视频| 久久成人国产精品| 97色操| 内射中出日韩在线观看视频| 久久久无码av精| 一区二区三区国产在线播放| 人妻无码一区二区三区久久99| 人人色人人射人人妻| 国产99 中文字幕日韩小视频| se01国产在线视频| 在线二区不卡| 97精品人妻一二三四| 中文字幕AV片| 天天综合网1| 亚洲日韩青青草色月| 亚洲成人免费在线| 成人无码影片视频在线| 一区AV| 亚洲玖玖爱| 91制服丝袜| 78精品| 九九九久久久| 婷婷干黄色| 日韩 欧美 另类 人妻| xxxx网站亚洲精品| 午夜偷拍久久熟女| 国产一区二区啪啪视频| 亚洲欧洲偷拍一区| 后入 亚洲 美女 射| 久久超碰亚洲人| 91美女在线视频| 国产精品久久久777| 亚洲男人综合网| 欧美成人精品一区| 国产精品人妻免费精品| 久久五月天婷婷丁香中文字幕| 久久精品欧美一区二区三区不卡| 岛国片在线播放| 九月激情婷婷| 婷婷五月天福利| 丁香五月成人| 动漫区日韩区欧美区| 99日视频在线免费| site:sinbotex.com| 大黄片做爱的大的| 激情综合网五月婷婷五月天| 99色色网| 亚洲青青草| {男男暴菊gay无套网站| 2010男人的天堂| 黄色一区三区| 精品国产91内射久久| 99在线免费观看| 粉嫩久久久极品| 久久riav中文精品| 亚洲91亚洲| 超碰人妻97| 久久色情| 人人操超碰在线| 午夜国产成人福利视频| 日韩中文9| 国产精品呦一区二区三区| 色盈盈影院| 国产精品不卡av免费在线观看| 少妇超碰在线| 校园春色美腿丝袜| 8050午夜少妇无码| 亚洲欧美日韩中文久久自慰| 操逼免费视频无码国产| 操人妻丝袜高跟| 欧美牲| 91网亚洲| 一本精品日本在线视频精品| 97色爱| 男人女人18禁片免费看网站| www.人人摸在线视频| 久久欧美性爱视频| 国产成人精品午夜福利| 先锋色眉乱伦资源| 人妻大香蕉| 美女黄频a美女大全免费皮| 国产精品一区在线播放| 五月色综合| 91粉芽高清在线一区二区| 91老妇女| 综合 青草 伊久久 影院 综合 | 91 综合 色| 欧美人妻二区三区| 丁香五月天激情综合| 国产黄色小视频网站| 日本操逼aaaaa| 久久二| 在线播放中文字幕| 60秒免费小视频| 欧美午夜精品久久久久久3D| 亚洲一区二区性爱电影| 精品无码久久久久久国产浪潮| 大学生美女口爆| 啊啊啊啊好疼| 操逼网站网站| 久久久性爱| 99re28在线观看| 人人妻人人色一区二区三区| 精品一国2| 情色五月天网| 青青草影视蜜久久| 久久风骚城市| 国产精品欧美在线观看| 日韩小电影| 精品无码久久久久久久杏吧| 日本国产亚洲一区在线观看| 在线免费观看高清无码视频| 91国产操逼视频| 五十路熟女人妻一区二区在线观看| 97综合国产| 高清国产无码av| 欧美精品一区二区少妇免费A片| 精品久久久久久AV无码| 黄色片,com| 色999亚洲人成色| 在线黄色污污网站| 久久高清无码夜夜操| 精品福利| 中文字幕日韩人妻视频一区二区三区| 国产成人精品亚洲日本| www.婷婷| 人妻大香蕉| 免费少妇一区二区| 欧美极品女人的天堂| 精久久久91| 无人区高清电影免费观看一区二区三 www.qmcai2.com | 日韩97在线| 欧美Ⅴ性爱| 女人双腿搬开让男人桶| 夜夜操二区| 四虎影视在线| 91丝袜人妻| 无码在线亚洲| 黄日韩| 国产精品懂色tv影视免费观看| 国产色呦呦| 日本 免费 一区二区三区 久久香蕉 | 91亚洲不卡一区| 97日韩欧美亚洲| 欧美在线观看综合国产| 国产亚洲色婷婷99精品91| 热思思免费视频| 国产精品熟女AV中文字幕在线播放| 超清福利精品视频在线| 精品十三区| 色综合色综合网| 日本天堂在线播放| 亚洲 日本 一 二 三| 亚洲成人黄色在线观看| 97超碰中文在线| 日本九九久久99播| 717影院理论午夜伦八戒| 九九热精品视频六| 国产四虎在线| 国产家庭乱伦网址| 97精品免费视频网站| 九九九九九九九九九九九蜜桃| 色999;丁香五月| aV中文麻| 久久9 9 9精品| 亚洲最大网站av| 成年在线视频日本亚洲在线视频区精品江靖宇公司 | 自拍欧美| 亚洲国产尤物yw在线观看| 啊啊啊啊好疼视频| 激情网五月天| 无码精品久久久天天影视| 又黄又硬又粗又长国产视频| 欧美亚洲综合色| 国产av又色又爽又黄| 久久神马影院| 丰满人妻一区二区三区四| 欧美日日操| 啊啊啊想要| julia ann久久| 青青伊人久久| 九九久久一区二区三区| 大香蕉久久| 午夜欧美女人操逼| 91综合在线| 亚州性色| 老鸭窝亚洲毛片| 九月丁香婷婷色| 亚洲春色一区二区三区| 日日日大屁股骚女人精品| 亚洲成人av色网| 桃花色综合影院| 综合另类| 加勒比东京热五月天天堂网| 人人乐大香蕉| 五月综合视频| 欧美系列在线一区二区| 久久五十路熟女人妻| 久热一区二区| 色妺妺AⅤ| 国产日韩美女小穴视频网站不卡| 超碰97首页| 大香蕉男人的天堂| 中文字幕97色| 操死我了嗯嗯嗯| 超碰1024久久| 国产丰满熟夫69mpp| 91中文精品日韩欧美在线 | 人人操人人大香蕉| 婷婷六月色开| 自拍鲍鱼一区在线高清观看免费| 综合操逼| 欧美网站免费| 亚州伊人色综台| 国产11页| 四虎国产成人精品免费一女五男| 美女露胸露奶头| av操操不卡| 久久只有精品一区二区三区| 精品视频97| 人人爽夜夜玩视频| 精品视频一二三中文| 国语对白露脸XXXXXX| 日韩免费在线视频观看| 亚洲AV无码成人精品久久| 人人乐大香蕉| 97精品久久久久中文字幕| 天美传媒精品一区二区三区| 婷婷久草| 亚洲精品91| 中字乱伦AV| 天天操天天插| 操操吧亚洲乱伦视频| 特色a在线上| 日韩欧美大力操| 天天热精品| 日韩性爱1级片视频| 久久综合中文国产| 一起草三级AV电影在线观看| 色色婷婷五月天| 神马久久久久久久久久久久| 97香蕉网| 97精彩视频网站| 亚洲激情片| 少妇3P性爱自拍| 色噜噜精品一区二区三| 95精品在线| 美女91AV| 五月丁香综合网| 唯美清纯 妖精视频| 十八禁啪啦拍视频无遮挡| 99re这里只有精品中心播放| 熟女一区二区三区四区| 免费一级黄色录像影片| 青娱乐手机日韩在线视频| 啪啪视频免费在线观看| 麻豆精品久久久久久久| 亚洲日韩国产精品| 蜜桃久久综合视频| 久久久久女教师免费一区| 国产综合永久精品日韩鬼片| 日本精品一区二区三| 久久精品国产亚洲AV片多多| 五月综合久久| 国产亚洲色婷婷久久99精品91 - 百度| 国产福利精品最新在线 | 99re这里| 日本精品一区二区中文字幕| 96一区二区| 天天日天天屌天天操| 99热99在线| 午夜视频久久久久一区| 丰满人妻一区二区三区四区| 色月天AV导航| 精品人妻美妇91job| 日韩性爱小视频| 一区二区三区在线日韩影院观看| 久久一二三四五六七八九区区区| 欧美综合娱乐久久| 97九色| 日韩欧美三级| 久久久熟妇熟女国产| 男人的天堂不卡一区二区 | 97青娱乐超碰久久| 少妇熟女1区2区3区| 91美女小视频| 欧美色图亚洲色,麻豆| 色制服丝袜夫妻av一区| 啊啊啊好湿久久| 3571色综合一区二区二区| 操逼操网| 韩国黄色片精品久久久| 黄色AAAAAAAAAAA大片| 桃花色综合影院| 色综合加勒比| 成人线上超碰| 久久久久亚洲Av无码专区老牛影视| 91美女视频直播| 国内外激情在线| 任我爽视频在线观看| 日日干日日操五月天伦理视频| 欧美.亚洲.另类.丝袜.制服.诱惑| 操逼逼无码| 久久草在线综合视频| 天美麻花大全视频|