亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

開源支付編排層 Hyperswitch 部署解析:從路由策略到多通道接入

開源支付編排層 Hyperswitch 部署解析:從路由策略到多通道接入 做過支付接入的都知道一件事支付渠道越用越多每多一家就要重新經(jīng)歷一整套對接流程。兩三條通道還能靠代碼里的 if-else 撐住通道數(shù)量到了五條以上路由策略、失敗重試、回調(diào)處理、對賬口徑就開始互相打架出問題的時候連排查都無從下手。這篇內(nèi)容圍繞開源支付方案 Hyperswitch 做拆解和部署解析盡量把“為什么要引入支付編排層”“核心架構(gòu)怎么拆”“部署有哪些關(guān)鍵步驟”“接入通道和配置路由時要注意什么”這些環(huán)節(jié)一次說透適合正在選型支付中臺、或者已經(jīng)決定自托管開源支付網(wǎng)關(guān)的團(tuán)隊參考。1. 為什么要折騰一個開源支付編排層場景驅(qū)動與選型邏輯1.1 沒有統(tǒng)一層的多通道接入痛點藏在哪表面上看接一個支付通道就是調(diào)幾個接口而已。真正做起來就會發(fā)現(xiàn)每個通道都有自己的一套調(diào)用協(xié)議有的用 REST 接口有的要求簽名后才允許請求有的把失敗原因拆成三級錯誤碼有的只有一個字符串描述退款接口的差異更大有的支持部分退款有的只能整單退有的退款還有時間窗口。更麻煩的是回調(diào)。支付結(jié)果要靠服務(wù)端異步回調(diào)來通知但每個通道的回調(diào)字段命名不同簽名算法不同重試次數(shù)和間隔也不同。我們在模擬項目X里整理了十幾條通道的接入文檔光是回調(diào)樣例的字段映射就做了四版。如果這些邏輯全部堆在業(yè)務(wù)代碼里后果就是每次接新通道都要改業(yè)務(wù)模塊而業(yè)務(wù)模塊的每次改動都可能影響到舊的支付邏輯。線上偶發(fā)出現(xiàn)“常見失敗”錯誤的原因往往就是這類業(yè)務(wù)代碼疊加導(dǎo)致的問題。路由策略也是繞不過去的坎。同一個用戶、同一筆訂單不同通道可能給出完全不同間的成功率。某通道A在北上廣深的穩(wěn)定性和某通道B在邊遠(yuǎn)地區(qū)的表現(xiàn)可能截然相反而且通道費率還不一樣。若沒有統(tǒng)一策略層就只能把路由邏輯寫死在代碼里換個參數(shù)都要發(fā)布一次。1.2 自研網(wǎng)關(guān)的隱性成本經(jīng)常被低估很多團(tuán)隊會覺得不就是做個封裝層嗎自己寫一個網(wǎng)關(guān)模塊就行用不著引入開源方案。這個判斷低估了支付編排層的復(fù)雜度自研網(wǎng)關(guān)不只是把請求轉(zhuǎn)發(fā)出去還涉及統(tǒng)一錯誤碼、冪等控制、狀態(tài)機流轉(zhuǎn)、異步調(diào)度、重試與熔斷、回調(diào)驗簽、對賬數(shù)據(jù)落地、配置熱更新。一個相對完整的內(nèi)部網(wǎng)關(guān)如果從零開始做至少要覆蓋兩套對外接口和十套左右內(nèi)部狀態(tài)流轉(zhuǎn)邏輯。正常排期會達(dá)到三到四個月而且前期還不含演練和故障預(yù)案。相比之下在一個成熟支撐的支付服務(wù)之上做二次開發(fā)最快兩三周就能把沙盒環(huán)境跑通。我并不是說自研不可行而是在多數(shù)團(tuán)隊并非專業(yè)做支付基礎(chǔ)設(shè)施的前提下從成熟方案起步、按需裁剪整體投入產(chǎn)出會克制得多。對比維度自研編排網(wǎng)關(guān)基于開源支付方案搭建核心代碼量需完整新建已有基礎(chǔ)按需裁剪多通道接入每個通道寫一套復(fù)用適配層框架路由與降級從零設(shè)計內(nèi)置規(guī)則機制迭代穩(wěn)定度依賴團(tuán)隊經(jīng)驗有社區(qū)版本修復(fù)支撐運維要求全鏈路自主維護(hù)核心組件可觀測1.3 Hyperswitch 到底解決了哪一類問題Hyperswitch 這類項目解決的典型問題就是“在商戶系統(tǒng)和支付通道之間增加一層可編程的編排層”。它本身不碰資金不替你做清算它的職責(zé)集中在三件事統(tǒng)一接口、統(tǒng)一數(shù)據(jù)模型、統(tǒng)一路由調(diào)度。商戶側(cè)只需要對接一套標(biāo)準(zhǔn)支付 API后面連的是某個通道A還是通道B由編排層在執(zhí)行時決定。用一句大白話概括它不是幫你選定任何一家支付服務(wù)商而是讓你別被任何一家綁定死。當(dāng)某通道的費率調(diào)整或服務(wù)出現(xiàn)波動時你可以把流量平滑切到另一條通道對上層業(yè)務(wù)幾乎沒有影響。2. 拆解 Hyperswitch核心模塊、調(diào)用鏈與狀態(tài)機2.1 兩個視角看架構(gòu)對外統(tǒng)一 API對內(nèi)一排適配器拆開看 Hyperswitch 的架構(gòu)最核心的思路是“雙向抽象”。向上它面向業(yè)務(wù)系統(tǒng)提供一套統(tǒng)一支付 API包括創(chuàng)建支付、查詢狀態(tài)、發(fā)起退款、注冊退款結(jié)果通知等基礎(chǔ)操作。無論底層是哪個通道業(yè)務(wù)側(cè)拿到的響應(yīng)結(jié)構(gòu)都是一致的。這樣業(yè)務(wù)研發(fā)只需要關(guān)心支付業(yè)務(wù)語義不需要關(guān)心通道差異。向下它通過連接器適配器與各家通道打交道。連接器適配器做的事情遠(yuǎn)比想象中細(xì)請求字段映射把業(yè)務(wù)側(cè)的金額、幣種、用戶標(biāo)識等數(shù)據(jù)映射為通道要求的格式響應(yīng)字段映射把通道返回的結(jié)果轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)結(jié)構(gòu)錯誤碼翻譯把通道自定義的錯誤碼歸一化成為內(nèi)部標(biāo)準(zhǔn)錯誤碼方便上層統(tǒng)一判斷簽名與鑒權(quán)按通道要求的簽名方式對請求簽名并驗證通道而來的回調(diào)簽名能力差異補償對于不支持部分退款的通道在適配層做好整單退款或阻斷提示。這種架構(gòu)帶來的直接好處是新增一個通道時不需要動業(yè)務(wù)代碼只需要在連接器配置層新增一個適配項然后配置好路由關(guān)系即可。核心模塊大致可以分成五塊模塊主要職責(zé)數(shù)據(jù)/狀態(tài)載體API 服務(wù)層接收商家端支付請求轉(zhuǎn)發(fā)給調(diào)度層請求上下文路由核心根據(jù)規(guī)則選出目標(biāo)通道路由配置調(diào)度器負(fù)責(zé)異步任務(wù)、超時處理、重試隊列消息隊列/任務(wù)表回調(diào)處理器驗簽、解析結(jié)果、更新支付狀態(tài)支付單狀態(tài)配置與密鑰管理管理通道憑據(jù)、加密密鑰、路由策略配置存儲2.2 一次支付的完整調(diào)用鏈從發(fā)起請求到回調(diào)落地我們拆一條比較典型的支付鏈路看看編排層內(nèi)部到底發(fā)生了什么業(yè)務(wù)系統(tǒng)調(diào)用“創(chuàng)建支付”接口傳入訂單號、金額、幣種、用戶選擇的支付方式API 服務(wù)層校驗參數(shù)生成內(nèi)部支付單號并把支付狀態(tài)標(biāo)記為待處理路由核心接收支付單讀取當(dāng)前生效的路由策略通過預(yù)計算選出目標(biāo)通道調(diào)度器把支付狀態(tài)下發(fā)觸發(fā)連接器適配層通過目標(biāo)通道創(chuàng)建遠(yuǎn)端支付會話通道返回支付會話標(biāo)識、跳轉(zhuǎn)地址等信息服務(wù)層把結(jié)果組裝成統(tǒng)一響應(yīng)返回給業(yè)務(wù)系統(tǒng)用戶完成支付后通道向回調(diào)處理器發(fā)起異步異步通知回調(diào)處理器驗簽解開數(shù)據(jù)更新本地支付單狀態(tài)并觸發(fā)訂單完成回調(diào)業(yè)務(wù)系統(tǒng)接收支付完成通知執(zhí)行后續(xù)發(fā)貨、積分等動作。這個流程里最容易忽略的是第 3 步的“預(yù)計算”和第 6 步的“回調(diào)驗簽”。路由預(yù)計算不是隨便選一個通道而是需要考慮通道狀態(tài)、歷史成功率、費率成本、用戶地域等多種條件。回調(diào)驗簽則決定了支付結(jié)果是否可信任何繞過驗簽直接更新狀態(tài)的做法都會給資金安全留下巨大隱患。2.3 狀態(tài)機與冪等設(shè)計為什么失敗重試不會重復(fù)扣款支付單從創(chuàng)建到終態(tài)狀態(tài)機設(shè)計非常關(guān)鍵。通常包含待支付、支付處理中、支付成功、支付失敗、已退款、部分退款等狀態(tài)。這里最難的是“支付處理中”這個中間態(tài)請求已經(jīng)發(fā)給通道但還沒有收到明確成功或失敗結(jié)果。如果此時掉電或超時需要靠狀態(tài)機允許從中間態(tài)重新查詢通道狀態(tài)而不是簡單地把狀態(tài)改回待支付。冪等設(shè)計是防止重復(fù)扣款的基石。一般來說每次支付請求會攜帶冪等鍵由訂單號和內(nèi)部支付單號組成。編排層在收到重復(fù)請求時會直接返回原有請求的處理結(jié)果而不是重新向通道發(fā)起扣款。我們在實際驗證中專門用腳本并發(fā)發(fā)了十幾筆相同訂單號的請求最終都指向同一筆支付單沒有出現(xiàn)重復(fù)扣款。需要明確的是編排層所有的狀態(tài)都是“支付過程狀態(tài)”不等于資金狀態(tài)。真正錢的流轉(zhuǎn)記錄還是要以通道側(cè)的對賬單為準(zhǔn)。這一點在業(yè)務(wù)系統(tǒng)對接時就要約定清楚避免兩邊口徑不一致。3. 部署解析從零跑通一套可觀察的單機環(huán)境3.1 部署前要準(zhǔn)備好的東西版本、依賴與應(yīng)用密鑰單機部署 Hyperswitch 并不復(fù)雜但有幾個前置條件比代碼本身更容易讓人卡住。首先部署環(huán)境需要準(zhǔn)備 Docker 和容器編排插件。雖然源碼方式也能直接運行但在日常開發(fā)驗證中容器化明顯更省事。單機驗證建議至少給到 4 核 CPU、8G 內(nèi)存和 20G 磁盤太低的配置跑不起來數(shù)據(jù)庫初始化階段經(jīng)常 OOM。其次應(yīng)用依賴集中在一個關(guān)系型數(shù)據(jù)庫和一個緩存服務(wù)。數(shù)據(jù)庫用于保存支付單、路由配置、事件記錄等結(jié)構(gòu)化數(shù)據(jù)緩存用于保存短期會話狀態(tài)和頻控計數(shù)。如果本地沒有這兩個服務(wù)先用系統(tǒng)包或容器把數(shù)據(jù)庫和緩存部署好確保網(wǎng)絡(luò)連通。最終還需要準(zhǔn)備一組應(yīng)用密鑰用于加密敏感的通道憑據(jù)。生產(chǎn)環(huán)境會建議通過外部密鑰管理服務(wù)注入單機演示可以直接放在環(huán)境變量里。這個密鑰一旦丟失之前加密過的配置就無法解開了所以一定要做好備份。3.2 用容器編排把核心依賴?yán)饋硪砸粋€最小化的本地驗證環(huán)境為例我習(xí)慣先把依賴層用容器拉起再啟動支付服務(wù)本身。下面是一個簡化版本的編排配置重點是展示依賴關(guān)系不同版本下具體鏡像名會有些差異services: postgres: image: postgres:15 environment: POSTGRES_USER: pay_user POSTGRES_PASSWORD: pay_password POSTGRES_DB: pay_db ports: - 5432:5432 volumes: - pg_data:/var/lib/postgresql/data redis: image: redis:7 command: [redis-server, --appendonly, yes] ports: - 6379:6379 volumes: - redis_data:/data volumes: pg_data: redis_data:這個配置里有兩個細(xì)節(jié)值得強調(diào)。第一給 Redis 開了 appendonly否則容器重啟后緩存數(shù)據(jù)可能丟失第二數(shù)據(jù)庫和服務(wù)的數(shù)據(jù)目錄都用命名卷持久化避免容器重建導(dǎo)致數(shù)據(jù)清空。啟動依賴后再單獨啟動支付服務(wù)容器。這個階段最關(guān)鍵的是環(huán)境變量。以下列表可以對照檢查環(huán)境變量作用示例數(shù)據(jù)庫連接串應(yīng)用連接數(shù)據(jù)庫postgres://pay_user:pay_passwordpostgres:5432/pay_db緩存地址應(yīng)用連接緩存服務(wù)redis://redis:6379/0應(yīng)用密鑰加密通道憑據(jù)一串32位以上的隨機字符串日志級別控制日志輸出量info路由配置路徑指定路由規(guī)則文件位置/etc/pay/router.json3.3 初始化配置數(shù)據(jù)庫遷移、應(yīng)用啟動與健康檢查數(shù)據(jù)庫啟動后下一步是確認(rèn)數(shù)據(jù)庫遷移已經(jīng)執(zhí)行。支付編排服務(wù)一般會把表結(jié)構(gòu)變更放在遷移腳本中首次啟動時自動執(zhí)行。如果遷移失敗要在日志里找到具體是哪張表創(chuàng)建失敗常見原因是數(shù)據(jù)庫版本太低或字符集配置不對。遷移通過后啟動服務(wù)用健康檢查接口確認(rèn)狀態(tài)。這個階段我們會在本地執(zhí)行類似下面的命令把服務(wù)注冊到內(nèi)部檢測系統(tǒng)里docker compose up -d docker compose ps curl -s http://127.0.0.1:8080/health健康檢查返回正常狀態(tài)后千萬別急著直接連生產(chǎn)通道先做兩件事第一確認(rèn)應(yīng)用能正常讀寫數(shù)據(jù)庫最簡單的方式是發(fā)起一次查詢支付單狀態(tài)的請求第二確認(rèn)緩存連接正常否則路由決策和頻控邏輯會在流量上來后頻繁報錯。3.4 數(shù)據(jù)目錄、日志目錄與常見啟動失敗的信號部署過程中最常見的啟動失敗信號我列幾個高頻的數(shù)據(jù)庫連接被拒大概率是連接串里的賬號密碼和數(shù)據(jù)庫實際配置不一致先檢查數(shù)據(jù)庫容器的環(huán)境變量端口占用支付服務(wù)默認(rèn)端口被其他進(jìn)程占用調(diào)整映射端口前記得同步修改健康檢查的地址Redis 內(nèi)存耗盡本地 Redis 默認(rèn)沒有內(nèi)存上限數(shù)據(jù)量上來后可能 OOM單機驗證建議限制 maxmemory并設(shè)置適當(dāng)?shù)奶蕴呗赃w移超時數(shù)據(jù)庫第一次建表很慢容器編排里可以把數(shù)據(jù)庫服務(wù)標(biāo)記為健康后再啟動應(yīng)用避免應(yīng)用比數(shù)據(jù)庫先起來。日志目錄需要提前規(guī)劃。單機部署時日志落在容器標(biāo)準(zhǔn)輸出直接通過容器日志接口查看即可。如果后續(xù)要上生產(chǎn)日志必須接入集中采集平臺并把敏感字段在輸出前過濾掉。這里有很深的教訓(xùn)后面我專門講。4. 接入真實支付通道連接器配置與沙盒支付驗證4.1 連接器適配器是什么為什么要為每個通道寫一層適配連接器適配器是 Hyperswitch 對外部通道的統(tǒng)一接入層。每接入一個通道本質(zhì)上是實現(xiàn)一套適配邏輯接收編排層下發(fā)的標(biāo)準(zhǔn)化支付指令轉(zhuǎn)換成通道接口要求的參數(shù)結(jié)構(gòu)再封裝返回結(jié)果。為什么必須寫這層適配而不是直接調(diào)通道接口因為通道之間的差異無處不在。有些通道要求金額以分為單位有些要求以分為單位再補兩位小數(shù)有些返回錯誤碼是數(shù)字有些是字符串有些對回調(diào)地址有域名白名單限制有些要求回調(diào)地址必須攜帶固定的加密參數(shù)。適配層的價值就是把所有“不確定性”集中在一個地方處理。業(yè)務(wù)側(cè)永遠(yuǎn)只看見統(tǒng)一結(jié)構(gòu)編排層永遠(yuǎn)只向適配層下發(fā)標(biāo)準(zhǔn)指令。即使某平臺突然調(diào)整了接口版本也只需要修改對應(yīng)的適配實現(xiàn)不需要碰上層業(yè)務(wù)邏輯。4.2 配置通道憑據(jù)與商戶身份通道配置主要涉及兩類數(shù)據(jù)一類是通道對接信息包括網(wǎng)絡(luò)環(huán)境中的商戶號、API 密鑰、回調(diào)驗簽公鑰另一類是渠道能力參數(shù)例如是否支持預(yù)授權(quán)、是否支持部分退款、結(jié)算幣種范圍等。配置通道憑據(jù)時有三個容易踩坑的點密鑰加密通道密鑰進(jìn)入配置前必須用應(yīng)用密鑰加密存儲不能以明文形式出現(xiàn)在配置文件中環(huán)境隔離沙盒環(huán)境和生產(chǎn)環(huán)境的憑據(jù)絕不能混用。我們有次在驗證環(huán)境誤把一條生產(chǎn)憑據(jù)復(fù)制到沙盒配置里導(dǎo)致沙盒支付被真實結(jié)算排查了很久才定位到權(quán)限隔離不同商戶主體應(yīng)該使用不同的憑據(jù)組防止跨商戶越權(quán)操作。建議先把通道配置為沙盒模式在沙盒里跑通完整支付流程后再在維護(hù)窗口切換到生產(chǎn)模式。通道切換前還要檢查回調(diào)地址是否在白名單中很多通道的回調(diào)地址變更需要提前一天報備。4.3 在支付沙盒里走第一筆失敗單如何看日志定位問題沙盒驗證的第一步是用一個測試商戶身份創(chuàng)建一個支付請求。請求通常包含訂單號、金額、幣種、支付方式和用戶標(biāo)識。如果創(chuàng)建請求返回成功說明參數(shù)映射和認(rèn)證鏈路是通的如果返回認(rèn)證失敗優(yōu)先檢查簽名算法是否實現(xiàn)正確。第一筆請求大概率是不能直接成功的這不代表部署出了問題而是需要觀察日志里路由決策的日志輸出。路由日志會顯示請求命中了哪條規(guī)則、選擇了哪個通道、通道返回的原始錯誤信息。常見的問題包括參數(shù)不匹配金額字段單位錯誤導(dǎo)致創(chuàng)建支付會話失敗來源限制通道對發(fā)起支付的環(huán)境有檢測測試環(huán)境容易被風(fēng)控拒絕回調(diào)地址不合法沙盒要求回調(diào)地址必須在預(yù)設(shè)名單中測試卡受限特定測試卡號只能在特定金額范圍內(nèi)使用。我們在模擬項目X中處理一個典型問題就是“錯誤碼映射鏈不完整”。適配層收到一條通道的錯誤碼但錯誤碼表里沒有對應(yīng)翻譯導(dǎo)致上層看到的是一串原始錯誤信息而不是標(biāo)準(zhǔn)化錯誤碼。后來補全適配層錯誤碼表后業(yè)務(wù)側(cè)才真正能用統(tǒng)一的錯誤碼做邏輯分支。5. 路由與降級策略把編排層變成風(fēng)控和體驗的避震器5.1 路由規(guī)則到底怎么設(shè)成本優(yōu)先、成功率優(yōu)先還是按通道比例路由規(guī)則是整個編排能力的核心它的價值不在技術(shù)實現(xiàn)而在策略設(shè)計的合理性。常見的路由策略有幾種策略核心邏輯適用場景成本優(yōu)先選擇單筆成本最低的通道對毛利敏感的電商場景成功率優(yōu)先根據(jù)近期成功率選擇通道高客單價場景優(yōu)先保障支付成功按比例分發(fā)按比例把流量分配到多個通道灰度新通道逐步觀察表現(xiàn)按地域分流根據(jù)用戶地域選擇本地優(yōu)勢通道跨境支付、區(qū)域差異化運營按金額帶分流大額走穩(wěn)定性通道小額走低成本通道綜合成本與體驗實踐中我建議不要做單一策略而是組合使用。例如默認(rèn)按成本優(yōu)先分塊但當(dāng)某通道成功率在最近五分鐘內(nèi)低于閾值時把它的權(quán)重臨時降為零流量自動切換到備用通道。這就是后面要說的自動降級。路由規(guī)則最好支持熱加載。也就是說路由配置修改后不需要重啟服務(wù)而是通過配置中心或文件變更觸發(fā)重載。否則每次調(diào)整策略都變成一次運維發(fā)布效率太低。5.2 支付失敗后的自動換切別把重試做成定時炸彈支付失敗后的重試和換切看起來簡單做不好卻會變成事故。最典型的問題是重試風(fēng)暴一批請求全部失敗后如果沒有熔斷機制調(diào)度器會把所有失敗請求都集中到另一條通道結(jié)果備用通道也被壓垮。合理的設(shè)計需要三層控制第一層是單筆重試限制。一筆支付最多嘗試兩個通道超過限制后直接返回失敗避免無限換切。第二層是基于狀態(tài)的重試間隔。失敗后退避式重試如果用戶在支付等待界面重試要控制在幾秒內(nèi)完成如果是異步任務(wù)可以設(shè)置更長的退避間隔。第三層是通道熔斷某通道連續(xù)失敗超過閾值后主動將其移出候選池一段時間。我們曾模擬過這樣一類場景主通道因為網(wǎng)絡(luò)波動導(dǎo)致大部分請求超時由于沒有熔斷所有請求直接切向備用通道備用通道出現(xiàn)連鎖失敗。加上熔斷后主通道進(jìn)入冷卻期備用通道的流量有自控均值整體支付成功率反而比沒有熔斷時更穩(wěn)定。5.3 Webhook 回調(diào)的可靠投遞與對賬回調(diào)是支付鏈路中最為關(guān)鍵的一環(huán)。通道完成支付后通過回調(diào)通知編排層更新訂單狀態(tài)。如果回調(diào)丟失就會造成“用戶已經(jīng)付款但訂單沒有推進(jìn)”的問題。因此回調(diào)處理至少要做三件事驗簽、冪等、兜底查詢。驗簽保證回調(diào)來源可信冪等保證同一回調(diào)重復(fù)到達(dá)時不重復(fù)處理兜底查詢則是定時向通道側(cè)查詢支付狀態(tài)主動修正不一致的數(shù)據(jù)。對賬是所有支付系統(tǒng)的最后一道防線。通常以通道側(cè)提供的對賬單為準(zhǔn)逐筆比對內(nèi)部支付單狀態(tài)。對賬發(fā)現(xiàn)差異時先以對賬單為準(zhǔn)更新內(nèi)部狀態(tài)再人工判斷是否補單退款。這個過程代碼上看起來簡單但真正執(zhí)行時最消耗人的是異常分類規(guī)則和人工復(fù)核流程。6. 生產(chǎn)化之前必須補的功課安全、運維與兼容性6.1 憑據(jù)加密與日志脫敏進(jìn)入生產(chǎn)前安全加固必須優(yōu)先處理不能等上線后再補。第一位就是憑據(jù)管理。通道商戶號、API 密鑰、回調(diào)驗簽公鑰都不能放明文環(huán)境變量更不能進(jìn)日志。配置密鑰時優(yōu)先選擇外部憑證管理服務(wù)讓應(yīng)用在啟動時動態(tài)拉取而不是打包進(jìn)容器鏡像。日志脫敏同樣重要。支付系統(tǒng)日志中容易出現(xiàn)卡號、有效期、用戶手機號等敏感字段。即便日志只在內(nèi)部系統(tǒng)查看也必須保證敏感信息經(jīng)過掩碼處理。之前我們排查一個線上問題時發(fā)現(xiàn)日志里連著打印了完整卡號那之后就把所有涉及卡號的日志字段強制做了過濾。日志脫敏不能靠一時興起要沉淀成可復(fù)用的過濾器集中處理所有輸出字段。規(guī)則包括但不限于只保留卡號后四位手機號保留前三位和后兩位商戶密鑰永遠(yuǎn)不打印。6.2 監(jiān)控指標(biāo)、告警閾值和人工降級預(yù)案生產(chǎn)環(huán)境不能只靠日志排查問題必須有完整的監(jiān)控指標(biāo)和告警。支付編排層最需要盯的指標(biāo)是這幾項支付成功率整體成功率出現(xiàn)明顯下降優(yōu)先懷疑路由策略或者某個通道發(fā)生故障通道失敗率各通道單獨統(tǒng)計實時發(fā)現(xiàn)異常通道平均支付耗時與長尾耗時p95、p99 耗時暴露性能瓶頸回調(diào)延遲從支付完成到收到回調(diào)的時間間隔延遲偏高可能影響訂單履約重試次數(shù)分布重試過多的請求說明主通道質(zhì)量下降。告警閾值沒有統(tǒng)一標(biāo)準(zhǔn)需要根據(jù)業(yè)務(wù)波動調(diào)整。一個相對安全的起點可以這樣設(shè)置支付成功率五分鐘均值低于 95%觸發(fā)提醒某通道失敗率高于 10%觸發(fā)熔斷評估回調(diào)延遲超過五分鐘的請求占比高于 1%觸發(fā)鏈路排查。除了自動熔斷還需要準(zhǔn)備人工降級預(yù)案。當(dāng)系統(tǒng)出現(xiàn)自動遷移解決不了的問題時運維可以直接修改路由配置將流量切到備用通道或按比例灰度切換。這個操作必須在文檔里記錄步驟并定期演練。6.3 非功能需求清單時區(qū)、幣種、小數(shù)精度與測試卡生產(chǎn)化不只是功能層面的問題還有一堆非功能細(xì)節(jié)要考慮。這里列一個我們踩過的坑清單時區(qū)與時間戳。支付單據(jù)的時間戳建議統(tǒng)一使用 UTC 存儲業(yè)務(wù)展示時再轉(zhuǎn)換到本地時區(qū)。不要用服務(wù)器本地時間直接參與對賬不同物理機的時區(qū)偏移會導(dǎo)致對賬平不了。幣種與金額精度。金額在數(shù)據(jù)庫里使用最小貨幣單位存儲例如“分”或“厘”避免浮點數(shù)計算誤差。不同幣種之間的小數(shù)位數(shù)不一致涉及幣種轉(zhuǎn)換時尤其要小心。測試卡與沙盒數(shù)據(jù)隔離。沙盒環(huán)境里保留的測試卡、測試用戶在切換生產(chǎn)前要全部清理或標(biāo)記。否則一旦測試單進(jìn)入生產(chǎn)統(tǒng)計對賬和報表都會亂。參數(shù)校驗。支付請求的金額、幣種、訂單號長度等參數(shù)必須在入口校驗避免異常數(shù)據(jù)流入通道。簡化的校驗邏輯會在通道側(cè)暴露無法從編排層兜底。最后以我的實操經(jīng)驗收個尾如果說拆解這套開源支付方案的部署過程有什么讓我印象最深的那一定是不要在第一天上線時就上全部通道。第一次接入只要把一個主通道和備用通道跑通把路由、回調(diào)、對賬、熔斷全鏈路驗證一邊再逐步增加通道。通道越多運維復(fù)雜度和故障面就越大前期把基礎(chǔ)邏輯做扎實后面才能扛得住流量。另外建議在正式切換前做一次故障演練強制把主通道不可用看看自動換切是否迅速生效、備用通道能否承接全部流量、失敗率是否觸發(fā)告警。這個演練比看十遍文檔都有效。支付系統(tǒng)本質(zhì)上是最不能接受“上線后慢慢修”的系統(tǒng)投入時間做預(yù)案永遠(yuǎn)不會虧。這套方案后續(xù)還有很多可以擴(kuò)展的方向比如把路由策略接入智能風(fēng)控、引入更多渠道適配、將失敗重試機制做成可視化配置面板。而所有擴(kuò)展的前提都是先把基礎(chǔ)部署、通道接入和運維監(jiān)控打磨到位。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天激情四射| 欧美狠狠弄| 草B在线| 青草青青久久久久久国产| 免费观看性欧美一级| 久久激情四射婷婷丁香五月天| 婷婷伊人一区| 欧美最婬乱婬爆婬性视频| 永久免费发布性爱网| 天美传媒精品一区二区| 午夜性刺激视频免费观看| 久久鲁夜| 91啪9色| 亚洲操逼无码| 久久久久成人亚洲国产| 九九精品99| 26uuu最新| 色妇综合网| 色偷偷男人的天堂麻豆| 国产乱子伦一区二区三区免看| 欧美在线色图| 97视频网站在线观看| 久久伊人大香蕉| 人人操,操人人| 人人看欧美性爱| 亚洲欧洲综合成人av一区| 97天堂| 天天肏天天干| 欧美天天综合网版| 东北熟女91| 亚洲AV色图一区| 久久久内射良家| 久久动漫精品视频这里只有精品| 青青草久久在线| 国产成人主播| 天天操天天射青青草| 蜜乳av首页| 天天干天天日天天射黄色| 国产成人精品亚洲日本| 天堂资源欧美| 91亚洲影院综合| 天美一二三在线观看Av| 亚洲一区二区三区麻豆传媒| 欧美大片天天看| 1234区中文字幕在线观看_青青草国产在线_日韩一区二区 | 免费看污网站| 嗯嗯啊好大| 欧美色图 人妻| 乱欲性色| 亚洲色综网| 日本免费一区二区不卡| 人妖欧美一区二区| 淫荡少妇免费| 国产精品网站免费| 蜜臀久久99精品久久久久久成人小说 | 久久久久久9| 亚洲激情综合另类| 影视综合无码少妇| 黑丝内射一区二区三区| 久久久久久性爱视频| 久久99草| 极品少妇久久久| 92一区二区| 日韩成人精品| 日韩Va亚洲va欧美Ⅴa久久| 在线观看亚洲专区| 992这里有精品| 精品十三区| 大屁股国产在线视频| 97精品视频在线播放| 精品美女少妇一区二区| 天天做天天爱夜夜爽毛片试看| 久久精品国产亚洲5555| 国产亚州日韩欧美看片| 大香蕉 222| 久久超碰大香蕉| 果冻传媒一区二区三区| 大香蕉免费3| 五月丁香色情| 亚洲情色图片区| 精品一区二区久久| 一区二区三区亚洲| 少妇超碰在线| 成人天天爽| 91欧美大片| 99精品欧美一区二区三区桃色| 伊人久久婷婷| 久久久久久久久久久久久久久久9| 亚洲骚男同com| 男啪女色黄无遮挡免费观看| 国产亚洲禁久一区二区| 青青草国产一区二区三区| 亚洲有码视频二区| 人妻激情偷乱视频一区二区三区| 日本天天干天天搞一区| 亚洲无码视频免费在线观看网址!| 殴美在线AⅤ| 久久亚洲影院一区二区| 97这里有精品| 囯产乱伦一区二区三女| 伦在线97| 人人人摸人人| 91久久久视| 久久久久久九| 欧美99热| 亚洲毛片久久| 日本黄 R色 成 人网站| 日韩精品作爱导航| 91精品亚洲内射孕妇| 色嘟嘟人妻天堂网| 日韩有码专区| 激情五月婷婷| 国产白丝网站| 精品久久99| 中出20p| 中国探花熟女| 人人操人人肉久久精品| 激情五月婷婷| 欧美激情精品| 天天欧美欧美亚洲网| 欧美高清16| 黑人精品成人一区二区三区| 97超碰欧美| 天天摸,夜夜摸| 蜜臀久久99精品久久久久久无删减 | 中文字幕av一区二区三区人妻少妇| 国产精品一区午夜福利| 成人久久久精品| 亚洲国产婷婷在线播放| 夜夜爽爽夜夜精品视频| 婷婷五月天福利| 欧美热图99| 九九热视频在线观看| 欧美成人精品一区| 久久久草成人网站久久久草成人久久久草久久久 | 亚州成人a∨| 久草成人| 欧美午夜色妇色鬼| 无码自拍SM| 天天综合网视频91| 人妻熟女午夜精品在线| 污色区网站| 二对二中文字幕。| 日韩激情中文字幕有码| 玖玖爱视频网站| 欧美|91色综合| 男女啪啪网站免费视频| 97公开久久| 国产人妻天天干精品| 色欧美色交综合| 99视频内射三四| 色噜噜国产精品视频一区二区| 91粉芽高清在线一区二区| 激情小说亚洲色图| 青青草日本中文字幕| 人人人人插| 国产suv一区二区三区6| 情色五月天网| 国产毛片精品一区二区色欲黄A片| 成人免费性爱视视| 精品美女人人干| 99精彩视频| 一级人妻性爱视频| 久久99久久99精品天美传媒棢·纸:.| 91蜜臀熟女| 亚洲一卡2卡3卡4卡乱码网站 | 中文字幕99999| 免费成人在线熟妇网| 乱老女人一区二区视频| 人妻献身系列第54部| 欧美后入式| 九热大香蕉| 91GD.COM| 欧美日韩国产高清在线一二三区| 中文字幕熟女人妻丝袜| 哑洲在线| 国产免费久久精品99re韩国| 偷拍亚洲高清图片| 麻豆国产尤物AV| 脫衣舞一区二区三区| 人妻久久| 天天天堂影视日韩亚洲91| 色蜜AV| 亚洲色图欧美视频| 搡老熟女老女人老熟妇免费视频| 岛国在线免费视频| 亚洲欧美色图| 日韩超碰97| 久久精品女同亚洲女同13| 亚洲天堂另类小说男人| 亚洲少妇诱惑| 久久久久国产亚洲一区欧美色图日韩 | 国产精品久久发布| 激情五月天网站| 韩国黄片aaaa| 尤物视频一区| 青娱乐二区免费| 色九久| 久久久久久久久女黄| 少妇与黑人高潮在线| 思思热在线观看| 一区二区三区四区免费视频| 亚洲精品久久久久久久蜜桃臀| 午夜亚洲国产理论秋霞| 男人的天堂午夜av| 久久无码一区二区二三区性色| 99色网| 97天天日| 欧美日韩大香蕉| 人人妻人人爽一区二区三区| 97久久超碰| 日韩性爱长视频免费| 超碰色综合| 骚女天天综合网| 亚洲欧美另类图片| 97精品网| 亚洲网站一区二区在线| 大香蕉黄色一级片免费看| .精品人妻一区二区三| www.色吧5.com| 一中国女人毛片水真多| 成人无遮挡毛片免费看| 中文字幕一区二区日韩网| 日韩性爱毛片操骚逼| 91人妻精华帖| 婷婷中文网| 乱伦日本色图AⅤ| 高清无码国产亚洲| 狠狠中文字幕| 东京热一区二区三区四区五区六区| 亚洲 图片 欧美 色图| 91在线丝袜视频| 精品一二三区四视频| 学生妹天天看| 国产免费小视频| 国产精品扒开腿做爽爽爽视频| 91精品国产一区三一| 男人天堂电影院| 懂色中文一区二区三区| 无码精品蜜桃一区二区三区ww| 立川理惠无码一区二区| 日韩少妇丰满亚洲| 久久久草草精品| 久久香蕉国产线看观看亚洲女人| 欧州一区二区三区四区| 人人看人人摸人人色| 婷婷久草一区二区三区| 日本男人插女人的逼黄色| 久久青娱乐| 欧美不卡五十路| 免费自拍三级综合| 狠狠爱综合| 中文字幕视频一区视频二区| 欧美线天码中字| 中文字幕一二三| 伊人一区二区在线播放| 91爱综合| 久久熟女嫩草成人片免费| 亚洲一区中文精品| 日韩精品99999| 91成人国产综合久久精品蜜月| 久草综合网| 久久精品 六十路 熟女 欧美| 能在线播放的国产三级| 久草成人福利导航| 97天天在线| 亚洲阿v天堂在线| 在线观看综合精品亚洲| 97欧美色资源| 欧美色狠| av九九| 91激情综合| 91天天综合网| 欧美色五月| 久久九操在线观看| 九九精品99| 国产精品乱人伊人网| 亚洲天天自拍| 极品极品色影院| 黄色十八禁| 尹人免费观看视频在线| 98一区二区精品| 国语精品av| A 天堂在线观看视频| 97久久精品亚洲中六字幕| 91精品91久久久久77777俄罗斯老妇姓x| 99久久久er直播网址| 亚洲精品国产AV天美传媒| 久久精品店| 91九色网| 老熟乱一区二区三区四区| 人妻日日干| 精品无码一二三四区| 中文字幕av亚洲精品| 超碰人人乐97| 色五月AV| 久久久久日本视| 久久久无码视频| 狠狠干狠狠干| 中文乱码字幕观看| 78综合网| 黄片免费看的| 超碰这里有精品| 中文字幕亚韩| 超碰九九| 91亚·色| 为用户提供免费看黄网址在线观看| 97欧美精品综合| 色欲三区| 超碰这里有精品| 无遮挡猛进视频免费无限观看| 大香蕉92| 69AV女优男人的天堂| 影音先锋每日最新资源在线观看 | 伊人在线大香蕉二。| 久久久亚洲高清不打码| 亚洲精品蜜桃久久久| 国产尹人在线视频免费| 久久久久97| www鬼畜国产男人的天堂| 亚洲中文字幕在线视频一区二区| 5252色欧美在线| 91精品国产日韩欧美综合| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 97精品国产97久久久久久户外免费| 草草草视频在线免费看| 日本中文字幕一区| 97蜜桃综合| 亚洲国产成人7777| 91劲爆| 国产av尤物| 国产精品不卡av免费在线观看| 黑人性欧美| 日韩欧无码一区二区三区免费不卡| 综合性视频99| 东方亚洲在线操逼天堂| 日韩精品-原创伙伴| 久久久久久久极品香蕉视频| 一个国产在线综合网站| 亚洲精品乱码久久久久久蜜桃麻豆| 思思热在线| 日韩免费看在线黄色片| 9久久久久久| 99re69综合| 亚洲精品成人激情在线| 影音先锋每日最新资源在线观看 | 9997se| 中文字幕黑人大片| 精品亚洲国产成人av网站| 97se亚洲综合自| 精品然女一区二区| 日日狠狠久久偷偷色综合免费| 免费观看网黄| 综合色好色| 屁股久久久久久久久| 日本一区二区电影网站| 亚洲日本韩国在线| 中文操嬖片。| 欧美伊人久久综合网| 操逼视频免费日韩无码| A级在线视频| 十八禁黄色| 色在线69堂| 色欲人妻一区二区在线| 色性荡荡荡荡视频| 青青操青娱乐| 婷婷丁香成人| 天堂种子在线www网资源| 日婷婷| 91天天看| 日日骚中文字幕| 欧美亚洲清纯| 亚洲无限观看| 亚洲性猛| 日韩78m视频| 久操 高清| 久久夜夜夜夜| 青青操在线亚洲视频观看欧美在线| 天天做天天爱天天高潮| 91超级碰碰碰| 99超碰色| 91人妻丝袜无码| 亚洲国产精品久久久久婷婷青年| 屌逼麻豆| 成人夜夜爽| 免费观看欧美日韩操逼视频| 色区久久| 亚洲操操操| av九九| 色色色综合网| 欧美日韩国产中文超碰| 黄色大片一区二区密桃丝袜| 久久久久久久久久久999| 色女99一级片在线观看| 国产av热热色| 亚洲综合一| 欧美综合色综合| 免费男人的天堂| 农村少妇久久久久久久| 欧美翘臀视频网站一区二区三区| 国产精品天堂| 日日干天天干夜夜爽| 99久热| 国产伊人精品在线| 久久久久久久久久久免费精品 | 国产亚洲国产超碰| 六月天婷婷| 欧美毛片在线网| 区一在线观看| 91超碰在线播放| 狠狠躁久久躁| 国产精品99999| 国内精品嫩模A∨私拍小视频| 日韩精品在线放| 欧美性爱中文字幕无线码| 多乙久久久久久| 欧美精品99久久久| 欧美亚男人的天堂| 操淫穴亚洲五月丁香| 亚洲影视高清第一页| 熟女精品日韩一区二区三区| 久久黄片国产一区二区| 久久久91福利姬| 国产熟女一区二区| 国产福利电影| 清柠毛片| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊| 久久久噜噜噜久久人妻| 亚洲天天操| 精品久久久高清无码| 国产吞精a级片激情电影| 午夜丁香婷婷| 久久m| 人人操人人摸超碰| 噜噜噜在线视频| av大香蕉| 九九热精彩视频| 超碰99re| 欧美麻豆成人同性GⅤ在线| 伊人青青一区成人视频在线观看区| 亚洲美女黄色| 久久亚州精品成人Av无| 日韩精品一区二区三区四虎影视| 亚洲欧美日韩国产丝袜自拍中文| 91亚洲综合| 欧洲一级性爱视频在线观看| 色第一页| 五月天亚洲色图| 性开放中文AV高清无码免费看| 男人的天堂啪啪| 99精品丰满人妻无码| 狠狠操,使劲操| 看一级黄色视频| 伊人久久大香蕉线AV五月天| 欧美AB在线| 爆操无码| 91精品免费| www.久久制服糖| 国产人妻精品久久久一区二区三区| 四虎精品一区| 多毛小伙内射老太婆| 国产精品2020| 免费观看性欧美一级| 91狠狠综合久久久久久| 97综合国产| 婷婷丁香久久| 欧美日韩亚洲少妇寂寞影院正在播放 | 日韩av色图综合| 亚洲爽图| 草b在线| 91欧美大片| 深爱五月婷婷| 亚洲 欧美 色图| 亚洲婷婷五月天| 啊啊啊啊好疼| 丁香五月AV| 欧美综合网在线| 久久久久成人蜜桃精品| 色姑娘综合网| 磁力99AV| 日韩中文字幕在线视频观看| 亚洲欧美综合图片| 区日韩亚洲乱码av电影| 2021国产成人精品久久| 人人污日韩一区二区| 久久精品国产精品一区| 97中文字幕色| AV免费在线播放一区| 操逼无毒无码免费视频| 激情婷婷五月天| 啊啊啊爽爽| 9999伦理视频| 在线a v| 97欧美色| 免费观看欧美日韩操逼视频| 国产精品嫩草影院午夜两性| 午夜毛片高清免费不卡| 97色色婷婷| 国产精品人妻无码久久久互動交流| 嗯……啊…嗯嗯…啊…好舒服| 日韩高清黄片| 亚洲人妻色图| 九九热免费在线国产视频伊人五月| 涩综合导航| 91视频综合在线| 婷婷91| 人人看黄色视频| 大香蕉色欲AV| 一本正道久久熟女| 亚洲一本大道中文字幕无码在线| 亚洲欧洲自拍| 97精品中文字幕| 鲁鲁色综合网| 天天做日日爱夜夜爽| 极品国产内射| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 亚洲欧洲第二视频在线观看色图| 久操热线| 日韩精品一区二区日韩| 熟女人妻精品一区二区视频| 欧洲精品网| 亚洲精品男人的天堂| 精品午夜福利国产一区二区在线观看| 九九亚洲| 亚洲另类色综合网站| 亚洲第一页欧美| 丁香五月成人| 亚洲成熟国产精品美女| 中文字幕人妻资源在线| 操熟女91| 一区二区播放| 青青草狠狠撸| 久久国产精品,久久国产| 日韩中文字幕二区| 午夜福利av电影在线| 少妇久久久久久久久| 欧美在线|亚洲| 国产成人主播| 国产无遮挡| 人妻久久久久久| 玖玖爱免费观看视频| 成人自拍三级在线观看| 99热在线观看| 偷拍 亚洲 欧美| 国产白丝网站| 九九九九九九精品| 久草色在线观看| 亭亭在线资源| 欧美一区二区三区成人性生活| 诱惑人妻欧美一区在线播放| 欧美色图亚洲色图成人在在线| 日本三级日本三级99| 黄色小视频日本txt| 天天操天天射天天日| 欧美大波激情xxxx| 久久久99免费| 性爱视频啪啪啪啪| 免费人成在线观看网站品爱网| 久久的免费性爱视频| 蜜臀99久久精品久久久懂爱| 91在线欧美| 精…码一二三区| 熟妇熟女一区二区三区| 夜夜精品视频| 日本欧美中文字幕| 日本成人免费一区二区三区| 欧美真人抽搐一进一出gif| 日欧操屄| 18禁免费视频| 亚洲无码久久久久久久| 午夜男女爽爽爽在线视频 | 天天干夜夜鈤| 免费观看一区| 少妇厨房愉情理伦片bd在线观看| 另类TS人妖一区二区三区| 国内毛片国产欧美拍| 三级特黄60分钟播放| 国产午夜激片Av毛片不卡| 伊人久操| 国产剧情一区在线观看| 安徽熟妇视频| 97资源站久久| 亚洲一区二区三区婷婷| 黄色香蕉视频网站一区| 成人性爱美曰韩| 日本九九九九| 4141514逼喷水三级片| 青青草日本中文字幕| 国产吹潮女在线观看| 欧美日韩亚洲天堂| 亚洲av综合伊人久久| 老司机老司机午夜影院| 骚逼高潮久久精品| 一区二区不卡| 超碰97综合| 亚洲熟女精品| 亚洲天堂区| www.高清无码诱惑一区.com | 快播久久人人aV| 精品视频一区二区| 夜夜影视四色| 亚洲aw毛茸茸在线| 日本久久久久久久久久| 人人人摸人人| 婷婷色综合| 国产小炒后入式| 东京热,男人的天堂| 国产无码高清操逼视频| 任你草| 校园春色亚洲无码| 大学生美女口爆| 国产情侣自拍在线播放| 夜夜狠狠躁日日躁色视频| 日本不卡中文| 91在线视频观看国产| 久久久久成人蜜桃精品| 超碰 国产熟女精品一区| 老司机午夜精品视频| 欧洲熟妇xxXx欧美老妇裸体| 狠狠亚洲| 色哟哟AⅤ| 少妇二级| 国内一级精品| 入口操逼网站| 亚洲精品蜜桃久久久久久久| 亚洲黄色视频在线观看视频| 五月天色五月| 极品出轨视频网站| aaaa少妇高潮大片| 黄色不卡视频| 国产二区三区免费视频| 超碰人人乐97| 久久区| 五月天综合| 色噜噜日韩精品| 久久久久久AⅤ无码免费肉站| 91精品婷婷国产综合久久竹菊| A片大香蕉在线| 久操99| 又大又大又大又粗爽高潮观看 | 2017大香蕉| 天天操夜夜操| 色噜噜日韩精品| 色激情五月天| 黄片免费看的| 九九亚洲精品| 黄色免费网| 性感女人网页在线观看视频| 色综91| 天天91~综合入口| 男人的天堂免费| 日韩精品99999| 性色aV一区二区三区噜噜| 婷婷99狠狠| 超碰欧美97| 不卡超碰护士AV在线免费播放| 超碰免费人妻在线| 天天操av懂色| 乱伦熟妇一区二区| 亚洲欧洲无码97久久精品| 久久亚州精品成人Av无| 免费成人在线熟妇网| 特级丰满少妇一级AAAA爱毛片| 麻豆黄站| 欧洲色色| 亚洲欧美日韩制服另类| 青青草男人天堂| 日韩国产乱子伦App| 熟女高潮精品一区二区| 人妻激情另类| 岛国激情视频在线观看| 97精品97久久| 五月婷婷综合网| 91丨国产丨白浆秘 洗澡动漫| 国产美女激情| 大香蕉丝袜一级片| 深夜福利黄片| 在线情色电影 91大| 大香蕉黄色一区| 97欧美视频| AV99热18这里只有精品| 亚洲欧美日韩综合在线尤物| 激情综合网亚洲| 日韩精品三级片长长久久| 国产日本久久免费精品| 2020久久免费视频| 久久骚| 大香蕉伊人色偷偷在线| 欧亚性爱在线视频| 欧美美女视频| 久久九精品| 亚洲av夫妻操穴网| 日本成人电影资源网| 91少妇人妻| 性爱欧美五月| 蜜桃久久综合视频| 乱伦av麻豆| 91综合网| 青青操在线视频| 人妻熟女一区二区三区在线| 色色亚洲| 小情侣高清国产在线视频| 色吧 综合| 欧美色图99| 91草草草| 日韩三级网址| 99热网站| 少妇高潮对白在线观看| www.亚洲成人一区| 美女黄网| 久久久涩| 97国产精品久久久久| 欧美久久婷婷| 综精品久久久aaaa| 大奶啊啊好爽| 最近的最新的中文字幕视频| 高清无码在线播放网站| 翔田千里AV无码秘 三区| 中日韩久久久免费看| 97一区二区三区视频| 成年男人的天堂| 麻豆国产尤物AV| 综合色99| 91人妻Pr| 久久精品中文字幕无码l| 午夜视频久久久久一区| 国产精品不卡av免费在线观看| 日韩人妻无码不卡网站| 成人情色综合网| 99re在线视频| 日本孕妇孕交| 新精精品久久精品| 97视频www| 久久亚洲不卡一区二区三区| 嗯嗯嗯,草死我| 美女露胸露屁股| 狠狠躁AV| 亭亭丁香激情| 天天综合有色网| 日本三级人妻a人妻一在线| 91人人看| 爱干爱射网啊啊啊| 成人综合网 欧美| 蜜臀久久99精品久久久久免费观| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 大香交| 国产精品午夜精品| 亚洲成人在线乱码色午夜| 91成人精品| 九九九九九精品| 黑人娇小av在线播放| 一级片视频啪啪| 韩国手机不卡无码三级视频| 看大黄色大片原件| 国产成人免费观看在线视频| 女人午夜视频777| 欧美丰满熟妇XXXX性ppX人交| 九九色热| 精品久久久久瑟瑟| 久久久久网站-538在线视频-欧美永久乱码| 日本999精品视频| 国产亚洲日本| 抽插一区二区视频| 精品国产乱码久久久久久网站入口| 久久午夜色播影院免费高清| 尹人免费观看视频在线| 日韩欧美中文日韩欧美色| 午夜男女爽爽爽在线视频 | 亚洲双插| 日韩肏逼视频| 激情无码日韩| 麻豆国产尤物AV| 嫩草伊人久久精品| 春色综合免费| 91美女在线观看| 久操网址| 亚洲91少妇| 9999亚洲电影| 色色九区| 亚洲熟女性高潮久久久| 婷婷五月天AV| 亚洲情色在线| 亚洲日韩精品一区二区| 日韩亚洲中文有码视频| 97人人干| 99蜜桃臀久久久欧美精品网站| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 亚洲熟女人妻中文字幕一区二区| 看免费一级在线播放毛片| 天天日天天干天天整| 久久久999网站| 热久久无毒不卡| 久久伊人最新网址视频| 亚洲一区二区三区欧美日韩| 欧美性色综合网| 欧美另类丝袜熟女| 国产91啪| 九九玖玖精品| 南澳成人一级片在线播放| 在线观看无码三级少妇| 日韩偷拍色图| 99超碰网| 精品一区二区综合熟妇| 97久久精品亚洲中六字幕| 精品一区二区三区蜜桃| 国产免费操逼| 5252色欧美在线| 亚州男人天堂| 操逼日韩无码 | 玖草在线视频| 996热| 黑人粗大V S日韩女优视频| 激情熟女12P| 蜜臀久久99精品久久久老,,| av天堂加勒比| 8050午夜少妇无码| 老鸭窝黄色视频网站| 亚洲av性爱电影| 五月天激情综合网| 校园春色美腿丝袜| 人人干人人操人人..com| 干B| 一区二区三区高清天码| 中文字幕丝袜人妻| 精品视频一区二区| 色噜噜综合在线| 久草这里只有精品| 1024香蕉视频| 992视频一区| 激情婷婷五月天| 欧美丝袜91| 亚洲精品成人| 青青草依人大香蕉| 超碰人人色| 欧美色亚洲色| 99色色网| 另类图片综合| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 不卡在线观看视频| 特污免视频| 偷拍亚洲| 久久的网站啊啊啊啊啊| 亚洲国产一级黄色视频| 欧美性色综合网| 亚洲图片色图欧美另类| 国产一区二区三区久久精品太古里| 香蕉一区二区三区在线视频| 亚洲一区二区av| 成人一区二区三区四区| 330dv亚洲成年视频网| 91美女色视频亚洲| 国产欧美黑人丰满在线| 久欲AV| 无码不卡亚洲成?人片| 囯产精品久久久久久久久久梁医生 | 中英熟女操女| 精品久久久久久久久久久久 | 校园春色欧美色图| 国产精品午夜福利亚洲综合网| 国产精品 午夜福利| 国产强奸乱伦xd| 日韩av电影网站| AV九九| 国产v亚洲v日韩v欧美v片另类| 插老姨肥穴| 一级特级aaaa毛片免费观看 | 国产精品呦一区二区三区| 啊啊啊轻点在线观看| 农村妇女一级二级三级视频| 久久精品人人做人人看| 综合大香蕉美。| 亚洲图片欧美91N| 一区二区三区高清天码| 999久久芭蕾| 欧美亚洲激情小说| 亚洲无吗在线视频| 国产91美女视频| 天堂麻豆天美| 亚洲啪啪性视频| 国产精品黑人一区二区三区| 男人成人黄色视频在线观看免费下载| 91啪啪视频| 国产精品久久久久久久久久梁医生| AV色五月天| 男人的天堂2018东京热啪啪啪| 性爱视频无打码在线观看| 久久久久久人体| A啊啊在线观看| 婷婷午夜| 思思热久久成人| 久9九综合在线| 69久久久久久久久久久久久| 98色网| 把腿张开老子CAO烂你| 亚洲色天| 中文字幕熟女人妻丝袜丝| 欧美色图私拍91| 狠狠爱综合网| 婷婷午夜成人色中色| 国产无码成人无码| 9久9久| 99蜜桃臀久久久欧美精品网站| 啊…啊…操我用力操我 | 蜜臀99久久精品| 大香蕉中文aV在线| 热久久这里只有精品| 国产黄片在线免费观看| a片偷拍视频| 成人怡红院| 亚洲综合有码| 日韩精彩视频| 免费网站观看www在线观| 屌色在线97视频| 国产情侣自拍在线播放| 成人麻豆av电影网站| 狠狠久久手机视频精品| 久久久久久久9| 精品少妇高潮久久| 蜜桃精品视频一区二区三区| 伊蕉97蜜桃97狠狠综合干| 日韩伦理久 久久 清纯 | 国产无码三级视频在线观看| 老妇女91| 五月情色天| 亚洲激情在线| 久久婷婷一区| 青青草影视蜜久久| 爱丝福利| 偷拍亚洲视频一区二区三区四区| 亚洲十八禁止| 青草影院内射高潮| 欧美亚洲宗合色性图| 精品免费国产二区三区 | 岛国AB视频| 91精品国产日韩欧美综合| 特级特黄一级毛片免费| 熟妇xxxxx性春色| 一本色道综合久久欧美| 五月丁香黄色网| 性色AV蜜色av色欲av| 探花视频免费观看国产专区| 国产精品电影大全| 探花视频免费观看国产专区| 欧美精品69性爱| 午夜小电影在线插入淫高潮| 18禁看网站一区| 操逼视频国产无套| 久久久久亚洲av综合波多野制衣| 97在线观看播放视频| 国产www色在线观看| 人人干人人操人人..com| 看日韩操逼| 婷婷久久综合| 好湿好紧好爽 视频| 国产精品久久久蜜臀| 亚洲 欧美 另类 日韩 人妻一区| 少妇内射www在线观看视频 | 亚洲色啪| 久久久一热在线播放| 大香蕉99热| 国产99999久久精品| 99最新日韩偷拍视频| 操久久久久| 2024年最新色情网站在线观看| 午夜视频黄| 亚洲日韩美女中文字幕乱| 26uuu最新| 色欧美天天| 天天干夜夜操一区二区| 日韩美一区| 国产性刺激| 国产第11页| 欧美图片校园春色| 亚洲色宗合| 国产亚洲日韩欧| 人摸人人操人| 开心五月天激情网| 少妇毛片久久| 91 国产丝袜在线播放-百度| 网友自拍第1页| 日韩熟女操逼| 久久性爱免费送| 又大又黄国产| 97就爱干| 99人妻| 欧美黑人精品在线播放| 天天操综合网| 欧美亚洲美少妇一区二区| 色婷婷日韩精品一区二区三区| 超碰78| 亚州AV无码国产精品| 狠狠狠一区二区三区| 久草精品一区| 91精品人| 日韩性爱高清免费视频| 麻豆区99999| 国产2.3.4区| 黄视频免费| 色色色欧美| 人人澡人人弄| 综合久久9| 免费看欧美美女黄色大片| 青青草亚洲一区| 亚洲国产97在线精品一区| 91精品微拍福利| 久久超碰久| 超碰97人人乐| 操逼日批| 色女女女导航| 黑人性暴力毛片| 天天操天天干一区二区 | 97精品免费视频网站| 综合免费无码中文| 67194无码不卡| 亚洲色婷婷综合久久一区二区三区| 日韩美女啪啪一区| 理论久久婷婷网 8| 欧美少妇高潮视频| 日本激情免费大片| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 久干9操| 国产婷婷一区| 91亚洲欧洲| 91chinese在线| 不卡六六在线91| 人人摸人人添人人操| 国产熟妇一区二区| 美日韩男女操屄视频| 97WW精品| 久久久四区| 亚洲欧美精品一区天堂久久 | 精品人妻一区二区三区日产乱码| 天天综合网站| 天堂亚洲精品| 日本亚洲熟女视频| 午夜九九| 日韩性爱高清免费视频| 丰满熟女人妻一区二区三五十一路| av强奸乱轮| 最新精品久久蜜桃| 国产中文大片资源中文字幕| 99久久综合| 香蕉黄色一级视频| 久久大线蕉一区| 人人贴人人摸| 熟女网站最新| 日韩一级成人毛片免费观看| 久久99深爱久久99精品| 日本高清_区二区三区| 久久久久久裸体| 久久男女激情视频网站| 亚州黄站| 亚洲中文字幕噜噜噜久久久| 狠狠超| 女一区二区| WWW啪啪的com| 亚洲人久久久网| 国产一级做a爰大片免费久久| 9.1小视频| 久久99综合| 男人天堂网站| 欧美高潮在线| 操逼啊啊啊91| 91热热色| 日韩国产品视频中文字| 91人精品妻入口| 蜜臀一二三| 色综合婷婷| 蜜臀无码视频在线观看| 麻豆一区二区三区精品| 大香蕉一线视频| 蜜臀久久久99久久久久| 欧美亚洲影视| 手机看片1024你懂的国产| 诱惑网综合| 人妻人人澡人人爽人人| 中文字幕亚韩| 97天堂| 在线情色电影 91大 | 96久久久久久久| 一区 欧美 日韩 麻豆| HEYZO高无码国产精品227| 好吊色综合| 国产精品久久久999| 五月天婷婷小说| 九九精品无码专区免费| 五月天精品| 欧美性战999| 欧美综合区| A级在线视频| 日韩精品人妻中文字幕不卡乱码| 97爱免费插| 中国女人内射6XXXXX| 久草加勒比一区在线| 91强在线播放| 久久婷婷色综合一区二区三区| av强奸乱轮| 啊啊啊想要| 日日碰视频网| 91九色丨国产丨爆乳| 午夜精品视频777| 老熟女乱伦一区| 超碰久超碰久| 亚洲男人综合网| 禁止观看美女黄| 无遮挡h肉动漫在线观看| 国产午夜福利专区综合| 99热婷婷一区二区三| 噜噜噜亚洲精品| 大香蕉伊人网WWWn0n| 久久婷综合| 无码精品人妻一区二区三区妖精| 青娱乐国产剧情av一区| 日韩欧美麻豆| 国产18精品亚洲精品| 97在线欧洲| 免费夜夜爱黄色视频毛片| 另类 日韩 熟女| 成人26uuu| 加勒比海色香蕉婷婷| 熟妇女伦乱视频视频| 欧美变态激情网| 亚洲日本男人天堂网| 狠狠综合网| 日韩中文字幕视频在线观看| 岛国色情视频在线观看| yw尤物av无码点击进入麻豆| 日日骚一区二区三区| 亚洲文学偷乱拍啪啪啪啪 | 91丨国产丨白浆秘 洗澡动漫| 日韩综合97p| 色原狠狠天天天| 舔舔啊| 亚洲999综合| 亚州高清色综合| 最新中文字幕av| 日韩99神马视频片| 欧美无圣光在线| 江都AV在线| 97视频在线观看播放与子乱对白在线……| 午夜天堂啪啪| 操婷婷逼| www.色婷婷色综合| 久久性爱免费送| 国产精选三级在线观看| 秋霞曰韩R级| 911粉嫩人妻| 久久精品国产免费观看99| 人人操人人大香蕉| 天天天天天天天天天天干美女| 1769一区二区| 日本精品不卡一二三区| 日欧操屄视频| 伊人激情| 色综合美国| 日本免费一区二| 99国产天美| 国产丰满熟夫69mpp| 久久久久密臀视频| 国产后入清纯|