亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

企業(yè)微服務(wù)架構(gòu)演進(jìn)方案:從單體拆分到容器化落地的完整路徑

企業(yè)微服務(wù)架構(gòu)演進(jìn)方案:從單體拆分到容器化落地的完整路徑 簡介企業(yè)微服務(wù)技術(shù)架構(gòu)演進(jìn)方案提供了一套面向企業(yè)架構(gòu)師、技術(shù)負(fù)責(zé)人及DevOps團(tuán)隊(duì)的系統(tǒng)性演進(jìn)路徑分析重點(diǎn)拆解微服務(wù)落地牽扯的IT架構(gòu)、應(yīng)用架構(gòu)與組織架構(gòu)三方面調(diào)整。方案以三個(gè)典型階段為主線單體架構(gòu)群、組織服務(wù)化與SOA化/云化、組織DevOps化與微服務(wù)化/容器化對各階段的組織狀態(tài)、運(yùn)維模式、應(yīng)用架構(gòu)特點(diǎn)及觸發(fā)轉(zhuǎn)變的條件進(jìn)行了對比說明。在此基礎(chǔ)上文檔進(jìn)一步給出架構(gòu)SOA拆分回歸測試、中臺服務(wù)統(tǒng)一管理、關(guān)鍵服務(wù)調(diào)用安全、開放平臺API構(gòu)建、灰度發(fā)布、預(yù)發(fā)測試、性能壓測及熔斷限流降級等場景的實(shí)施思路可直接用于微服務(wù)演進(jìn)規(guī)劃與改造參考。資源為單個(gè)Word文檔壓縮包共1個(gè)docx文件約2.55MB已有113人瀏覽學(xué)習(xí)適合正在進(jìn)行微服務(wù)架構(gòu)選型或階段性升級的技術(shù)團(tuán)隊(duì)。1. 企業(yè)微服務(wù)技術(shù)架構(gòu)演進(jìn)方案先認(rèn)清這是工程問題不是技術(shù)問題接到一份《企業(yè)微服務(wù)技術(shù)架構(gòu)演進(jìn)方案》的評審邀請時(shí)我通常不會先翻架構(gòu)圖而是先問一句現(xiàn)在這套單體系統(tǒng)的瓶頸到底在哪。這份文檔要回答的不是“用不用微服務(wù)”而是“怎么拆、拆完怎么保證不翻車”。很多團(tuán)隊(duì)把演進(jìn)當(dāng)成一次轟轟烈烈的大重構(gòu)結(jié)果拆出來的服務(wù)比單體還慢排查問題比之前更痛苦。這份方案的真正價(jià)值是讓團(tuán)隊(duì)在拆分前想清楚邊界、在拆分后接好治理與容災(zāi)。適合誰讀被 Java 單體壓得喘不過氣的后端開發(fā)、需要向管理層匯報(bào)演進(jìn)計(jì)劃的技術(shù)負(fù)責(zé)人、以及準(zhǔn)備微服務(wù)面試題時(shí)想找真實(shí)落地場景的求職者。下面按我寫這類方案的順序把演進(jìn)怎么落地、參數(shù)怎么定、坑在哪里一一道來。2. 演進(jìn)前的現(xiàn)狀盤點(diǎn)單體為什么撐不住三個(gè)信號先確認(rèn)寫演進(jìn)方案的第一步不是畫目標(biāo)架構(gòu)圖而是把現(xiàn)狀量化。沒有壓測數(shù)據(jù)和瓶頸分析就直接拆服務(wù)等于給醫(yī)生一份空白病歷就讓對方開刀。先確認(rèn)三個(gè)信號再決定要不要拆。2.1 容量壓測與鏈路分析拆之前先量化瓶頸先壓測再談拆分。很多人憑直覺說“系統(tǒng)慢”但慢在應(yīng)用層、數(shù)據(jù)庫還是網(wǎng)絡(luò)不壓測是看不出來的。常見的做法是先用 wrk 這類輕量工具做一輪粗篩wrk -t4 -c200 -d60s --latency http://localhost:8080/order/list這個(gè)命令用 4 個(gè)線程、200 個(gè)并發(fā)連接壓 60 秒重點(diǎn)看兩個(gè)輸出Requests/sec 和 Latency Distribution。如果 QPS 在幾百左右就上不去了而 CPU 沒跑滿說明瓶頸大概率在數(shù)據(jù)庫或遠(yuǎn)程調(diào)用上而不是應(yīng)用本身。這時(shí)候要配合慢查詢?nèi)罩竞?Arthas 抓線程棧定位到具體是哪條 SQL 或哪個(gè)下游接口拖住了鏈路。壓測的目的不是測出一個(gè)好看的數(shù)字而是找出“單點(diǎn)”。我見過一個(gè)系統(tǒng)壓測時(shí) QPS 卡在 300翻日志發(fā)現(xiàn)是訂單狀態(tài)查詢走了全表掃描加個(gè)索引直接翻到 2000。像這種問題拆不拆微服務(wù)都不影響先按容量治理走就夠了。只有壓測確認(rèn)應(yīng)用層水平擴(kuò)展被進(jìn)程邊界擋住比如單機(jī)線程池打滿、內(nèi)存無法隔離、多團(tuán)隊(duì)部署互相踩踏才到了非拆不可的程度。2.2 演進(jìn)路線選型絞殺者模式還是大規(guī)模重構(gòu)確認(rèn)系統(tǒng)該拆之后下一個(gè)問題是用什么方式拆。這里有兩個(gè)主流路線幾乎決定了項(xiàng)目接下來的風(fēng)險(xiǎn)敞口。對比維度絞殺者模式Strangler Pattern大規(guī)模重構(gòu)Big Bang風(fēng)險(xiǎn)等級低逐步替換高一次性切換周期數(shù)月到數(shù)年按業(yè)務(wù)節(jié)奏推進(jìn)數(shù)月集中開發(fā)一次性上線團(tuán)隊(duì)要求少量架構(gòu)組 業(yè)務(wù)團(tuán)隊(duì)協(xié)作需要獨(dú)立平臺團(tuán)隊(duì)長期封閉開發(fā)回滾代價(jià)低按域名或路由切換高幾乎不可回滾適合場景存量單體系統(tǒng)業(yè)務(wù)仍在迭代系統(tǒng)規(guī)模小、調(diào)用鏈短或已停維護(hù)真實(shí)企業(yè)場景里我?guī)缀鯖]見過哪家敢對核心交易鏈路做 Big Bang。大部分演進(jìn)方案寫到最后都落回絞殺者模式保留單體新業(yè)務(wù)按微服務(wù)落地老功能通過網(wǎng)關(guān)逐步切流到新服務(wù)。這個(gè)模式還有個(gè)額外的好處團(tuán)隊(duì)不用等微服務(wù)全部建完才交付每兩周就能上線一塊管理層看得到進(jìn)度開發(fā)有成就感風(fēng)險(xiǎn)也被拆小了。網(wǎng)上不少公開的后端技術(shù)架構(gòu)演進(jìn)分享包括 GitHub 上能搜到的企業(yè)級微服務(wù)架構(gòu)倉庫走的基本都是同一條軌跡先治理、再拆分、再容器化。怎么看出來的看他們的服務(wù)目錄和網(wǎng)關(guān)路由老域名還掛著單體新接口已經(jīng)在獨(dú)立服務(wù)上走灰度了。這就是絞殺者模式的典型痕跡。2.3 服務(wù)拆分邊界DDD 限界上下文與組織架構(gòu)對齊拆分邊界定錯是演進(jìn)方案里最隱蔽的坑。按技術(shù)層拆是最常見的錯誤比如抽出 user-service、order-service、pay-service 這種按數(shù)據(jù)表歸屬拆的聽起來清晰實(shí)際產(chǎn)線一跑就亂。正確做法是面向業(yè)務(wù)能力拆用 DDD 的限界上下文找到哪些業(yè)務(wù)規(guī)則是強(qiáng)耦合的哪些是相對獨(dú)立的。舉個(gè)例子訂單創(chuàng)建時(shí)要扣庫存、鎖優(yōu)惠券、記賬這幾個(gè)動作如果在單體里是同一個(gè)事務(wù)拆開后就成了分布式事務(wù)代價(jià)很大。所以拆分單元不是“訂單表”和“庫存表”而是“交易過程”和“庫存管理”這兩個(gè)業(yè)務(wù)域。我的經(jīng)驗(yàn)是一個(gè)服務(wù)的粒度以“能不能被一個(gè) 5 人團(tuán)隊(duì)獨(dú)立維護(hù)、獨(dú)立發(fā)布、獨(dú)立擴(kuò)縮容”為準(zhǔn)而不是以表數(shù)量為準(zhǔn)。同時(shí)要注意服務(wù)邊界要和團(tuán)隊(duì)組織架構(gòu)對齊??低蓻Q定了如果你按訂單域拆出了服務(wù)但團(tuán)隊(duì)還是按前端后端分組聯(lián)調(diào)成本反而會翻倍。演進(jìn)方案里應(yīng)該畫兩個(gè)圖業(yè)務(wù)域劃分圖和組織分工圖二者疊加看是否吻合。不吻合的地方要么調(diào)服務(wù)邊界要么調(diào)組織結(jié)構(gòu)。這一步不做好后面每次發(fā)版都是扯皮。3. 微服務(wù)架構(gòu)選型Spring Cloud、Service Mesh 與注冊中心怎么定演進(jìn)方案里最容易被過度討論的就是技術(shù)選型。選型這事有一個(gè)討巧的辦法不要看哪個(gè)框架 2026 年最火要看哪個(gè)框架你團(tuán)隊(duì)能修 bug、能堅(jiān)持用三年。下面按應(yīng)用框架、注冊配置中心、網(wǎng)關(guān)三層來說取舍。3.1 技術(shù)棧選型按團(tuán)隊(duì)能力定框架不按熱度先把家族體系說清楚Spring Boot 是基礎(chǔ)開發(fā)框架Spring Cloud 是分布式能力套件Service Mesh 是又一個(gè)層級的治理方案。很多團(tuán)隊(duì)在“直接用 Service Mesh”和“Spring Cloud 夠不夠用”之間猶豫。方案優(yōu)勢劣勢適用情況Spring CloudJava 生態(tài)成熟文檔多招人容易落地快對 Rust / Go 服務(wù)治理弱侵入性強(qiáng)一點(diǎn)團(tuán)隊(duì)以 Java 為主業(yè)務(wù)迭代壓力大Dubbo 體系性能好服務(wù)治理功能豐富與 Spring Cloud 生態(tài)結(jié)合要額外適配內(nèi)部 RPC 調(diào)用為主吞吐要求高Go 微服務(wù)go-micro / Kratos 等占用資源低部署輕量生態(tài)碎片化業(yè)務(wù)團(tuán)隊(duì)跨語言維護(hù)成本高新業(yè)務(wù)團(tuán)隊(duì)是 Go 主力且運(yùn)維配套齊全Service MeshIstio / Linkerd治理能力下沉到 Sidecar語言無關(guān)基礎(chǔ)設(shè)施復(fù)雜度高排錯鏈路長多語言并存且已有較強(qiáng)云原生運(yùn)維能力我最常給的判斷是如果你團(tuán)隊(duì)以 Java 為主直接走 Spring Cloud 路線。因?yàn)檠葸M(jìn)方案不是從零做新項(xiàng)目而是把存量 Java 單體拆出來Spring Cloud 對 Spring Boot 應(yīng)用的侵入改造最小。那種“微服務(wù)架構(gòu)最新 2026 開源項(xiàng)目”看起來再熱鬧也要先回答一個(gè)問題這個(gè)框架的社區(qū)活躍度和版本穩(wěn)定性能不能支撐你的核心交易鏈路如果它每半年發(fā)一個(gè)大版本落在生產(chǎn)環(huán)境就是給運(yùn)維上強(qiáng)度。順帶一提若依微服務(wù) Plus 這類開源腳手架常被當(dāng)作快速起步基線優(yōu)點(diǎn)是省去搭權(quán)限和代碼生成的功夫缺點(diǎn)是模塊邊界和權(quán)限模型是寫死的跟你的業(yè)務(wù)域不一定對得上。拿來參考可以直接套用要掂量改造量。3.2 注冊中心與配置中心Nacos 集群部署與核心參數(shù)配置中心和注冊中心是三選一還是合一常見做法是直接用 Nacos 一起管掉理由是這一層省一個(gè)組件運(yùn)維就少背一個(gè)黑匣子。Nacos 集群部署時(shí)最需要注意的是 AP 和 CP 的取舍Nacos 作為注冊中心走 AP作為配置中心走 CP集群至少要三個(gè)節(jié)點(diǎn)形成 Raft 組。生產(chǎn)環(huán)境的 Nacos 配置有幾個(gè)關(guān)鍵參數(shù)直接用配置項(xiàng)說明# application.propertiesNacos 服務(wù)端 server.port8848 spring.datasource.platformmysql db.num1 db.url.0jdbc:mysql://127.0.0.1:3306/nacos?characterEncodingutf8connectTimeout1000socketTimeout3000 db.usernacos db.passwordnacos nacos.core.auth.plugin.nacos.token.secret.key你的隨機(jī)Base64密鑰 nacos.core.auth.enabledtrue這里把 Nacos 的配置存儲從內(nèi)嵌 Derb 切到 MySQL是生產(chǎn)必備。nacos.core.auth.plugin.nacos.token.secret.key這行是配置鑒權(quán)的核心很多團(tuán)隊(duì)圖省事不開鑒權(quán)結(jié)果任何能訪問 8848 端口的人都能改配置。密鑰要用隨機(jī)生成的 Base64 字符串長度不能低于 32 字節(jié)??蛻舳藗?cè)的參數(shù)同樣有講究spring: cloud: nacos: discovery: server-addr: nacos-0:8848,nacos-1:8848,nacos-2:8848 namespace: prod group: ORDER_GROUP config: server-addr: ${spring.cloud.nacos.discovery.server-addr} namespace: prod file-extension: yamlnamespace做環(huán)境隔離group做業(yè)務(wù)域隔離這兩個(gè)字段很容易被搞混。我的習(xí)慣是 namespace 按環(huán)境分dev / test / prodgroup 按業(yè)務(wù)域分訂單域、支付域、用戶域配置文件的命名用“服務(wù)名-環(huán)境.yaml”的規(guī)范。這樣設(shè)計(jì)之后微服務(wù)從本地聯(lián)調(diào)到生產(chǎn)環(huán)境只要能確定 namespace 和 group配置就不會串。3.3 網(wǎng)關(guān)層設(shè)計(jì)路由、鑒權(quán)、限流的配置邊界網(wǎng)關(guān)是微服務(wù)的流量入口也是整個(gè)架構(gòu)里最容易被塞業(yè)務(wù)邏輯的地方。演進(jìn)方案里對網(wǎng)關(guān)的要求只有一條只做路由、鑒權(quán)、限流、灰度切流不做任何業(yè)務(wù)編排。Spring Cloud Gateway 的最小配置長這樣spring: cloud: gateway: routes: - id: order-service uri: lb://order-service predicates: - Path/api/order/** filters: - StripPrefix1 - name: RequestRateLimiter args: redis-rate-limiter.replenishRate: 100 redis-rate-limiter.burstCapacity: 200 key-resolver: #{userKeyResolver}lb://前綴表示走注冊中心負(fù)載均衡StripPrefix1是把 /api/order 去掉后再轉(zhuǎn)發(fā)給下游。限流這里的兩個(gè)參數(shù)最容易調(diào)錯replenishRate是每秒補(bǔ)充的令牌數(shù)burstCapacity是桶容量。實(shí)際壓測時(shí)把 burstCapacity 設(shè)成 replenishRate 的 2 倍是起步值具體還要根據(jù)下游服務(wù)的承受能力來定不能拍腦袋寫個(gè) 1000 就上。網(wǎng)關(guān)還有一個(gè)隱蔽邊界是超時(shí)。很多人只給網(wǎng)關(guān)配一層全局超時(shí)下游數(shù)據(jù)庫慢查一拖網(wǎng)關(guān)線程全被占住。正確做法是劃分為讀操作和寫操作讀接口網(wǎng)關(guān)超時(shí) 2 到 3 秒寫接口看業(yè)務(wù)容忍度放寬到 5 秒但決不做全局統(tǒng)一超時(shí)。另外網(wǎng)關(guān)層不要把鑒權(quán)邏輯寫在過濾器里太重常見做法是網(wǎng)關(guān)只校驗(yàn) JWT 簽名和有效期細(xì)粒度權(quán)限放到各業(yè)務(wù)服務(wù)內(nèi)做。4. 基礎(chǔ)設(shè)施落地容器化、CI/CD 與可觀測性缺一不可服務(wù)拆完之后如果發(fā)布方式還是手工傳 jar 包那演進(jìn)方案就只完成了一半。微服務(wù)架構(gòu)落地必須同步建設(shè)三塊基礎(chǔ)設(shè)施鏡像標(biāo)準(zhǔn)化、流水線自動化、可觀測性。三者推進(jìn)順序和落地方案如下。4.1 Docker 鏡像規(guī)范基礎(chǔ)鏡像、分層緩存與標(biāo)簽策略Java 服務(wù)鏡像的常見問題是把整個(gè)構(gòu)建過程塞進(jìn)一個(gè)鏡像導(dǎo)致鏡像幾百 MB構(gòu)建五分鐘。多階段構(gòu)建是標(biāo)準(zhǔn)解法Dockerfile 寫出來大概是這樣的FROM maven:3.8-openjdk-11 AS build WORKDIR /app COPY pom.xml . RUN mvn dependency:go-offline -B COPY src ./src RUN mvn clean package -DskipTests FROM openjdk:11-jre-slim RUN groupadd -r app useradd -r -g app app COPY --frombuild /app/target/order-service.jar /app/order-service.jar EXPOSE 8080 USER app ENTRYPOINT [java, -XX:MaxRAMPercentage75, -jar, /app/order-service.jar]這段的關(guān)鍵在兩點(diǎn)第一COPY pom.xml .和mvn dependency:go-offline單獨(dú)成層這樣只要 pom 依賴不變后續(xù)構(gòu)建都能命中 docker layer 緩存構(gòu)建時(shí)間能從三分鐘降到二十秒。第二運(yùn)行階段用-XX:MaxRAMPercentage75而不是-Xmx2g這種固定值讓容器內(nèi)存限制變化時(shí) JVM 堆能自適應(yīng)避免 K8s 限制了內(nèi)存而 JVM 不知道的情況。基礎(chǔ)鏡像標(biāo)簽一定要釘死版本。用openjdk:11-jre-slim而不是latest因?yàn)?latest 今天構(gòu)建和明天構(gòu)建可能拿到不同鏡像上線一時(shí)爽排查火葬場。鏡像標(biāo)簽則建議用 git commit 短哈希保證每個(gè)鏡像對應(yīng)一份源碼回滾時(shí)能精確定位。4.2 CI/CD 流水線從提交代碼到灰度發(fā)布的最小配置流水線的最小閉環(huán)是代碼提交觸發(fā)編譯、跑單測、構(gòu)建鏡像、推鏡像倉庫、更新 K8s 部署。GitLab CI 的配置可以這樣寫stages: - build - test - package - deploy build-job: stage: build script: - mvn compile -q only: - branches test-job: stage: test script: - mvn test only: - branches package-job: stage: package script: - docker build -t ${REGISTRY}/${CI_PROJECT_NAME}:${CI_COMMIT_SHORT_SHA} . - docker push ${REGISTRY}/${CI_PROJECT_NAME}:${CI_COMMIT_SHORT_SHA} only: - main deploy-job: stage: deploy script: - kubectl set image deployment/order-service order-service${REGISTRY}/${CI_PROJECT_NAME}:${CI_COMMIT_SHORT_SHA} - kubectl rollout status deployment/order-service --timeout300s only: - main when: manualwhen: manual是部署階段的常用做法鏡像構(gòu)建完成后部署動作需要人點(diǎn)一下確認(rèn)避免每次合并主干都自動上線。對于演進(jìn)初期這層手動閘門能防止開發(fā)手滑把未驗(yàn)證的代碼推到生產(chǎn)。發(fā)布策略上K8s Deployment 的滾動更新參數(shù)值得單獨(dú)說spec: replicas: 3 strategy: type: RollingUpdate rollingUpdate: maxSurge: 1 maxUnavailable: 0maxSurge: 1表示先啟動一個(gè)新副本maxUnavailable: 0表示舊副本一個(gè)都不能少。這樣發(fā)布期間容量不會掉只是多占一份資源。追求極致的團(tuán)隊(duì)還可以接 Istio 做金絲雀發(fā)布按流量百分比逐步放量但這要求服務(wù)都接入 Service Mesh演進(jìn)初期可以先不搞滾動更新足夠用了。4.3 可觀測性建設(shè)日志、指標(biāo)、鏈路追蹤的落地順序我見過團(tuán)隊(duì)一上來就鋪全量鏈路追蹤結(jié)果業(yè)務(wù)服務(wù)只接了一半 SDKtraceId 斷鏈排查問題比單體還慢??捎^測性的正確落地順序是先結(jié)構(gòu)化日志再上指標(biāo)告警最后接鏈路追蹤。結(jié)構(gòu)化日志是第一步也是最容易被忽視的。服務(wù)日志必須統(tǒng)一輸出 JSON 格式包含 timestamp、traceId、serviceName、level、message 五個(gè)字段。舉一個(gè)簡單示例{timestamp:2025-06-18T10:23:11.223Z,traceId:a1b2c3d4e5f6,serviceName:order-service,level:WARN,message:庫存扣減重試第2次}日志只要變成這種結(jié)構(gòu)后續(xù)在 Kibana 里按 traceId 一搜整條調(diào)用鏈的日志就全串起來了。bilibili 后端技術(shù)架構(gòu)這類公開分享里反復(fù)強(qiáng)調(diào)的也是這個(gè)邏輯海量日志不可怕可怕的是沒法過濾的結(jié)構(gòu)化能力。指標(biāo)層面用 Prometheus Grafana 是事實(shí)標(biāo)準(zhǔn)每個(gè)服務(wù)暴露 /metrics 端點(diǎn)重點(diǎn)采集 QPS、P99 延遲、線程池活躍數(shù)、數(shù)據(jù)庫連接池用量。告警規(guī)則寧少勿多初期只配三個(gè)接口錯誤率突增、P99 超過 1 秒、連接池使用率超過 80%。鏈路追蹤放到最后接是因?yàn)樗蕾嚾罩竞椭笜?biāo)已經(jīng)穩(wěn)定。選擇 SkyWalking 還是 Micrometer Tracing取決于你技術(shù)棧是否統(tǒng)一。如果全是 Java Spring CloudSkyWalking 的 Java Agent 方式侵入最小改一行啟動參數(shù)就能接入。如果你要拿 IDEA 本地跑微服務(wù)聯(lián)調(diào)鏈路追蹤的配置往往是在本地起一個(gè) SkyWalking OAP 容器把 agent 指向本地端口——這一步會在聯(lián)調(diào)階段反復(fù)踩坑后面避坑章節(jié)會細(xì)說。5. 微服務(wù)演進(jìn)的避坑記錄五個(gè)讓項(xiàng)目返工的典型事故這套方案我在落地產(chǎn)線時(shí)見過太多反例下面五個(gè)坑基本覆蓋了“拆完比不拆還差”的大部分原因。每一條都是真實(shí)發(fā)生過的事故現(xiàn)象、原因、解決路徑一起說。5.1 數(shù)據(jù)庫連接池被打滿服務(wù)全掛現(xiàn)象服務(wù)拆分上線后第一周訂單服務(wù)頻繁報(bào)Connection is not available, request timed out緊接著支付服務(wù)和庫存服務(wù)相繼超時(shí)整個(gè)交易鏈路雪崩。原因拆分時(shí)每個(gè)服務(wù)都從單體的數(shù)據(jù)庫配置里復(fù)制了連接池參數(shù)單體時(shí)一個(gè)應(yīng)用占 100 個(gè)連接拆成 10 個(gè)服務(wù)后每個(gè)服務(wù)默認(rèn)連接池上限還是 100加起來對數(shù)據(jù)庫產(chǎn)生了 10 倍連接壓力。解決把每個(gè)服務(wù)的連接池上限按業(yè)務(wù)量級重新設(shè)置并加上最大等待時(shí)間spring: datasource: hikari: maximum-pool-size: 20 minimum-idle: 5 connection-timeout: 3000記住一個(gè)估算規(guī)則數(shù)據(jù)庫總連接預(yù)算除以服務(wù)實(shí)例數(shù)再預(yù)留 50% 余量。比如數(shù)據(jù)庫能扛 200 個(gè)連接5 個(gè)服務(wù)各 3 個(gè)實(shí)例單實(shí)例最大連接數(shù)就控制在 20 以內(nèi)。連接池不是越大越好大連接池在數(shù)據(jù)庫側(cè)會加劇鎖競爭吞吐反而下降。5.2 分布式事務(wù)選錯模式數(shù)據(jù)對不上賬現(xiàn)象下單接口偶爾出現(xiàn)訂單已創(chuàng)建但庫存沒扣的情況用戶重復(fù)下單對賬系統(tǒng)每天都能查出幾十筆不一致數(shù)據(jù)。原因團(tuán)隊(duì)從單體事務(wù)思維直接跳到微服務(wù)用了本地事務(wù)的寫法跨服務(wù)調(diào)用沒有引入分布式事務(wù)方案。更隱蔽的是有人選了 2PC 強(qiáng)一致方案結(jié)果在庫存服務(wù)高延遲時(shí)鎖全局資源整個(gè)下單鏈路的可用性掉到 99% 以下。解決分布式事務(wù)選型要看業(yè)務(wù)容忍度。交易鏈路中必須強(qiáng)一致的場景用 Seata 的 AT 模式配置如下seata: enabled: true application-id: order-service tx-service-group: order_pay_group service: vgroup-mapping: order_pay_group: default config: type: nacos nacos: server-addr: 127.0.0.1:8848 namespace: seataAT 模式的做法是業(yè)務(wù) SQL 執(zhí)行前記錄 before image執(zhí)行后記錄 after image事務(wù)提交時(shí)通過全局鎖校驗(yàn)數(shù)據(jù)是否被并發(fā)修改過。它的優(yōu)點(diǎn)是業(yè)務(wù)代碼侵入小適合效率優(yōu)先的場景。但注意它的限制AT 模式依賴全局鎖并發(fā)高的熱點(diǎn)數(shù)據(jù)上性能會明顯下降。庫存扣減這類高頻熱點(diǎn)應(yīng)該改成 TCC 模式把 Try 階段做成預(yù)扣、Confirm 階段做成確認(rèn)扣減、Cancel 階段做回補(bǔ)。方案文檔里要寫清楚哪些服務(wù)走 AT哪些走 TCC并有對應(yīng)的降級預(yù)案而不是一個(gè)方案打天下。5.3 網(wǎng)關(guān)超時(shí)配置不當(dāng)雪崩反而加重現(xiàn)象某天下游庫存服務(wù)發(fā)生慢查詢響應(yīng)時(shí)間從 50ms 漲到 5 秒。網(wǎng)關(guān)層線程池被占滿原本正常的訂單查詢接口也跟著超時(shí)整條鏈路一起掛。原因網(wǎng)關(guān)配置的是全局 30 秒超時(shí)下游慢的時(shí)候沒有及時(shí)熔斷請求全部堆積在網(wǎng)關(guān)線程池里。網(wǎng)關(guān)的超時(shí)時(shí)間設(shè)得比下游服務(wù)的實(shí)際處理能力還寬松等于給故障開了綠燈。解決把讀寫超時(shí)分開配置并配合熔斷。以 Spring Cloud Gateway 為例不能只調(diào)超時(shí)參數(shù)要接 Sentinel 或 Resilience4j 做熔斷降級resilience4j: circuitbreaker: instances: orderService: slidingWindowSize: 10 failureRateThreshold: 50 waitDurationInOpenState: 10s timeouts: instances: orderService: read: 2000ms write: 5000ms配合上網(wǎng)關(guān)讀接口超過 2 秒就快速失敗寫接口超過 5 秒也直接返回失敗由前端引導(dǎo)重試。熔斷器在失敗率超過 50% 時(shí)打開后續(xù)請求直接走降級邏輯不回源。寫完這段配置后一定要做故障演練否則參數(shù)到底合不合理上線前是看不出來的。5.4 鏈路追蹤只接了一半排查問題比單體還慢現(xiàn)象某接口報(bào)錯后日志里查 traceId 只能看到當(dāng)前服務(wù)這一段上游入口和下游調(diào)用的日志全斷掉。運(yùn)維為了找一個(gè)報(bào)錯還是要在各服務(wù)日志文件里人工 grep耗時(shí)從單體時(shí)代的十分鐘變成四十分鐘。原因鏈路追蹤 SDK 只覆蓋了新拆出來的服務(wù)老的服務(wù)沒接另外服務(wù)里有用線程池異步處理的部分子線程里 traceId 是空的。解決接入鏈路追蹤的驗(yàn)收標(biāo)準(zhǔn)是“入口請求打上的 traceId 能完整貫穿所有下游調(diào)用直到日志落盤”。異步線程池必須做 traceId 透傳核心代碼如下public class TraceTaskDecorator implements TaskDecorator { Override public Runnable decorate(Runnable runnable) { String traceId TraceContext.getTraceId(); return () - { try { TraceContext.setTraceId(traceId); runnable.run(); } finally { TraceContext.clear(); } }; } }在創(chuàng)建線程池時(shí)加上.setTaskDecorator(new TraceTaskDecorator())子線程就能繼承父線程的 traceId。這個(gè)細(xì)節(jié)不處理鏈路追蹤的效果直接打五折。聯(lián)調(diào)階段也建議按這個(gè)標(biāo)準(zhǔn)檢查本地 IDEA 起多個(gè)服務(wù)發(fā)一個(gè)請求看 traceId 是否貫穿所有服務(wù)沒有貫穿就是配置漏了。5.5 配置中心權(quán)限失控線上配置被開發(fā)誤改現(xiàn)象某天下午支付服務(wù)突然開始報(bào)簽名失敗排查了兩小時(shí)發(fā)現(xiàn)是開發(fā)在本地聯(lián)調(diào)時(shí)誤把生產(chǎn) Nacos 上的一個(gè)加密配置項(xiàng)改成了測試值。原因配置中心沒有做環(huán)境隔離和權(quán)限控制所有環(huán)境共用一個(gè) namespace任何能訪問 Nacos 控制臺的人都能修改生產(chǎn)配置。更麻煩的是配置變更沒有審批流改完立刻生效沒有回滾入口。解決在 Nacos 中強(qiáng)制按環(huán)境拆分 namespace并開啟配置的權(quán)限校驗(yàn)spring: cloud: nacos: config: namespace: prod username: config-admin password: ${NACOS_CONFIG_PWD}生產(chǎn) namespace 的讀寫權(quán)限只給運(yùn)維和架構(gòu)組業(yè)務(wù)開發(fā)對生產(chǎn)配置只讀。同時(shí)開啟 Nacos 的配置變更審計(jì)每次修改記錄操作人和變更內(nèi)容出問題能追溯。配置中心這一層寧可多花一天配權(quán)限也不要給線上留一個(gè)誰都能動的后門。6. 演進(jìn)方案的驗(yàn)證與進(jìn)階先用容量表和故障演練守住上線底線方案寫完不是終點(diǎn)驗(yàn)證才是。我習(xí)慣把驗(yàn)證分成三層容量評估、故障演練、節(jié)奏控制。這三件事在演進(jìn)過程中反復(fù)做每拆出一個(gè)服務(wù)就跑一遍形成標(biāo)準(zhǔn)動作。6.1 容量評估表給每個(gè)服務(wù)定內(nèi)存、QPS 和連接數(shù)預(yù)算拆出來的每個(gè)服務(wù)都要有一份容量評估表數(shù)據(jù)來自壓測和線上監(jiān)控而不是拍腦袋。格式可以固定成下面這樣服務(wù)名核心 QPS峰值 QPS單副本內(nèi)存上限D(zhuǎn)B 連接數(shù)預(yù)算副本數(shù)備注order-service80016002 GiB204峰值來自大促場景模擬pay-service50012002 GiB153上游是第三方渠道重試多user-service3008001 GiB82可加緩存壓峰值這張表有兩個(gè)用途。第一預(yù)算容量如果 order-service 峰值 QPS 是 1600單副本能扛 400那么副本數(shù)至少 4再加上 25% 的冗余配置 5 副本。第二發(fā)布時(shí)對照如果某次發(fā)版后監(jiān)控顯示單副本內(nèi)存超過預(yù)算的 80%說明出了問題要么代碼有泄漏要么容量評估不準(zhǔn)要及時(shí)修正方案。6.2 故障演練清單用三個(gè)場景檢驗(yàn)架構(gòu)韌性故障演練不是運(yùn)維團(tuán)隊(duì)單方面的事架構(gòu)演進(jìn)方案里必須包含。有三個(gè)場景最能檢驗(yàn)微服務(wù)架構(gòu)的真實(shí)水平演練場景操作方式預(yù)期結(jié)果失敗時(shí)的止血手段單實(shí)例宕機(jī)kubectl delete pod order-service-xxx30 秒內(nèi)新副本拉起請求成功率保持在 99.9% 以上手動擴(kuò)容副本數(shù)下游服務(wù)延遲用 Chaos Mesh 給 pay-service 注入 3 秒延遲網(wǎng)關(guān)讀接口 2 秒內(nèi)快速失敗返回不拖垮其他服務(wù)關(guān)閉該服務(wù)灰度流量配置中心不可用停止 Nacos 節(jié)點(diǎn)服務(wù)已加載的配置繼續(xù)生效日志有報(bào)警不影響當(dāng)前運(yùn)行恢復(fù) Nacos檢查配置變更演練的關(guān)鍵在于“在故障發(fā)生時(shí)就驗(yàn)證而不是等上線后再驗(yàn)證”。有些團(tuán)隊(duì)把容災(zāi)參數(shù)配好了但從來不敢演練結(jié)果線上真掛了發(fā)現(xiàn)配置的熔斷閾值跟實(shí)際流量模型完全對不上。每個(gè)月跑一次花半天時(shí)間能省掉未來幾十個(gè)小時(shí)的線上救火。6.3 演進(jìn)節(jié)奏控制每兩周一個(gè)服務(wù)不搞大爆炸最后是節(jié)奏。演進(jìn)方案落地的合理節(jié)奏是每兩周拆一個(gè)服務(wù)而不是一次性拆完再統(tǒng)一上線。拆的順序按業(yè)務(wù)變更頻率排變更最頻繁的模塊先拆因?yàn)樗钅軓莫?dú)立部署中獲益低頻模塊留在單體里不影響演進(jìn)效果。每個(gè)服務(wù)的拆分要遵循同樣的流程先加監(jiān)控埋點(diǎn)、再按網(wǎng)關(guān)切流、灰度觀察一周、最后切量。切量后發(fā)現(xiàn)問題回滾手段是改網(wǎng)關(guān)路由而不是改代碼重新上線?;叶绕陂g對照容量評估表里的預(yù)期值盯三個(gè)數(shù)字QPS、P99 延遲、錯誤率。只要這三個(gè)數(shù)字跟單體時(shí)代持平或更好才算這一個(gè)服務(wù)的演進(jìn)真正完成。我自己吃過的虧是過于迷信架構(gòu)圖畫得漂亮但忘了評估表里那個(gè)服務(wù)峰值 QPS 是從哪來的。后來養(yǎng)成習(xí)慣方案里每一個(gè)數(shù)字都標(biāo)注來源和統(tǒng)計(jì)口徑?jīng)]有數(shù)據(jù)支撐的架構(gòu)決策一律不寫進(jìn)演進(jìn)方案寧缺毋濫。這份方案文檔的價(jià)值不在于你畫了多完整的微服務(wù)架構(gòu)圖而在于每拆一個(gè)服務(wù)都有驗(yàn)證、有回滾、有容量依據(jù)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
一级二级在线观看| 91国产丝袜足交精品视频| 超碰日本97美女人妻人人玩人人爱 | 怡红院亚洲怡春院av| 天天视频黄| 大香樵伊人网| 超碰色97| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 热热色91| 亚洲丝袜二区| 91色欧美| 亚洲高清无码免费观看视频| 欧美一区二区三区成人性生活| 国产精品美女久久久久久网站| 中文字幕在线免费观看视频| com 首页 18岁 禁区 女优 免费 精选 同城| 国产精品亚洲天堂网址| 免费久久9999| 国产精品成人无码av无码免费| 麻豆福利视频导航| 国产精品久久天天干| 丁香五月AV| 日韩电影免费网站麻豆视频| 一个人免费HD91视频| 亚洲偷拍欧美激情| 亚洲 日韩 欧美 国产综合体| 亚洲做性| 久久夜嗨| 久操热线| av网站国产主播在线| 天天操天天射青青草| 精品999999| 大香蕉AV丝袜| 亚洲三区视频| 黑丝制服中文字幕| 1024亚洲中文字幕久在线看片你懂的 | 天堂国产AV| 偷拍精品一区二区三区| 91麻豆一二三区| 青娱乐国产精品| 亚欧洲一区二区视频| 国内三级自拍小视频在线观看| 嫩草 我啊~嗯~在线| 大香蕉久| 久久啊啊| 伊人久久久日韩一区| 无码精品一区二区三区潘金莲| 美女91av| 在线啊啊啊啊| 性爱边摸边日免费AV| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 综合色图亚洲欧美| 精品无码欧美三级| 大肉棒导航| 日韩乱中文| 国产精品91ai| 久久亚洲AV成人精品无码| 熟女中出视频| 婷婷五月天基地| 97爱亚洲| 中文字幕日韩人妻视频一区二区三区交换夫妻| 精品性爱一二三区| 91亚洲色图| 老熟妇综合| 久久久久久久久成人av解说| 97视频免费播放| 中日无幕一二三四区| 国产日韩精品suv| 综合97久久| 狠狠干,狠狠操| 尤物视频视频官网| 女人天堂网| 中文字幕老熟妇黄色视频| 你懂的在线观看区国产| 99久久免费看精品国产一区| 99啪啪| 亚洲AV无码成人精品久久| 啊啊啊啊啊在线| 超碰97最新人妻| 日韩一性一交一A片俄罗斯| 欧美人体性爱互联网第一页婷婷日本| 婷婷激情五月综合| 成人五月天色网| 中文字幕成人| 色官网色综合| 国产无码久久高清| 亚洲丝袜诱惑| 老鸭窝成人| 超碰国产情侣自拍网| 亚欧Av| se吧提供国产乱老熟视频胖女人| 蜜臀网 一区| 夜夜狠狠躁日日躁色视频| 久久精品色欧美aⅴ一区二区| 欧美高清无码免费视频高清版| 夫妻AV网站| 国产超碰在线一区| 91伊人大香蕉| 久久发布国产伦子伦精品| 91人妻Pr| 综合一区中亚洲国产成人综合精品 | 日韩影片中文字幕一区二区三区| 一区二区三区在线资源| 亚欧高清在线| 久草网站免费在线观看| 日本人人操人人操| 成人综合久久精品色婷婷| 97天天日| 玖玖综合网| 久久精品高清无码一区| 亚洲色图第一页| 骚熟女吞| 牛牛久久国产精品视频一二三| 99色综合| 婷婷五月天久久久| 91最新综合| 少妇国产不卡| 精产国品一区二三产品| 亚洲天堂女优在线| 91在线免费观看处女| 国产在线76页| 蜜臀人妻少妇久久在线观看| 中文在线久久字幕| 欧美亚洲成人在线一区二区三区| 自拍欧美| 天天综合麻豆视频| 夫妻AV网站| 黑人精品久久97| 九九国产| 中文字幕免费在线观看| 亚洲女优有码无码高清| 97这里有精品| 色欲三区| 操逼视频亚洲| 激情专区综合| 91黑丝在线播放| 开心激情站| 久久久人体| 久久久影院| 夜夜久久| 国产九九九九九九| 蜜臀久久99精品久久久久久酒店| 91露脸熟女专区| 无码人妻精品一区二区三区99不卡 | 亚洲精品一卡二卡三卡福利视频网站| 久久久内射良家| 啊啊啊啊,啊啊好多水 | 超碰碰97| 婷婷探花久久精品一区| 久久久久久加勒比| 都市久久精品激情亚洲| 亚洲色图亚洲无码强奸乱伦| 丁香六月激情综合| 亚av顶级裸体一区二区三区四区五区 | 亚洲麻豆精品二区三区| 久久久久无码| 91美女在线| 男啪女色黄无遮挡免费观看| 亚洲欧美综合区自拍另类 | 国产v亚洲v日韩v欧美v片另类| 国产无码久久高清| 免费av大片| 东北夫妻性偷拍| 欧美亚洲高清不卡| 97干在线视频| 日韩成人性爱电影在线播放| 四虎永久在线精品免费网址 | 亚洲av影音先锋| 亚洲一区二区三区AV无码| 久青草影院| 校园春色亚洲欧洲| 男人天堂欧美| a天堂视频| 又黑又大又粗| 日韩欧美久久婷婷网站| 五月丁香拍拍激情综合三级| 久久的网站啊啊啊啊啊| 青草一区二区| 亚洲最大AV网| 国产亚洲色婷婷99精品91| 成人小电影网站tex| 欧美日韩激情无码专区| 色月天AV导航| 欧美99999| 欧美强奸乱| 狼天天狼天天大香蕉| 超碰1997| 自拍视频一区在线观看| 久草精品国产蜜臀| 性高潮久久久| 在线综合色| 精品久久久久瑟瑟| 探花精品 一区二区| 殴美大黄片| 91爱做| 欧美色亚洲| 高清在线偷拍自拍视频| 亚洲图片欧美偷拍| 不卡啪啪视频| 69精品| 日本免费亚洲欧美| 超碰97综合网| 99精品久久久久久久婷婷蜜桃| 神马午夜久久久| 大象AV在线| 五月婷婷无码| 老熟乱一区二区三区四区| 欧美日韩国产高清在线一二三区 | 亚洲AV无码久久精品蜜桃小说| 91美女视频在线观看| 亚洲精品视频在线播放| 97亚洲色图| 青草视频在线看看看看看看看看看| 美女丝袜激情小说| 免费综合亚洲中文| 起碰97| 欧美色图天堂在线| 老司机福利青青草| 最新av在线| 久久男人精品| 天天操狠狠日夜夜干超大胆开放com大香蕉视频在线观看 | 粉嫩少妇自慰在线| 久草免费福利在线播放| 亚洲自拍青操视频| 日本久久精品| 91少妇人妻| 蜜臀少妇一区二区| 久久欲| 超碰1997| 色五月av| 狠狠色伊人亚洲综合网站色| 96精品一区| 九九无码视频| 亚洲另类天堂| 插入粉嫩少妇视频| 五月激情在线| 国产在线能看的你懂的| 成人精品视频| 日日夜夜干| 亚洲成人贴图| 大香蕉99热| 人妻精品一区二区在线| 葡萄牙性视频一二区| 嗯嗯嗯嗯啊啊啊好紧好大| 国产成久久综合片| 无码九九九九| 91蜜臀熟女| 天天操人人操狠狠插| 欧美激情亚洲情色| 欧美日韩夜夜| 99热99在线播放激情| 亚洲影视高清第一页| 99精品久久| 男女一进一出视频久久| 欧美淫乱视频| wwe 天天干.com| 懂色AV蜜臀无码精品APP | 成人网欧美风情| 国产人妖视频一区在线观看| 蜜臀99久久精品久久久久| 白丝jkav| 人妻精品综合中文字幕在线 | 国产黄色视频久久| 蜜臀99精品国产高清在线观看| 嗯啊啊啊轻点视频 | 国产在线激情| 在线小视频| 男人天堂.AB| 久久久精品成人国产| 欧美第二页| 日本精品一区二区三| 欧美成人都市人妻| 免费在线观看国内色片网站网址| 欧美精品久久96人妻无码| 久久9精品网站| 一区中文字幕二区日韩| www.色操逼| A 在线网址| 青娱乐国产剧情av一区| 国产嫩草精品A88AV| 嗯嗯啊好大| 日本不卡三级网在线播放| 亚洲第一在线视频| 日本视频在线观看污污污| 蜜桃av色偷偷av老熟女| 超碰天天操| 麻豆国产原创AV色哟哟| 成人五月香网在线| 综合色99| 欧美啪啪女女| 福利在线观看一区二区| 一本久道在线综合视频| 免费成人在线观看91| 亚洲熟女人妻中文字幕一区二区| 91亚洲狠狠色| 欧洲性人爱视频| 天天看特黄的免费网站| 天天夜夜久久| 神马久久久久久久久久| 青春草A| 黑丝91视频| www色婷婷| 丁香九月激情| 九色97| 国产亚洲在线观看| 开心五月婷婷激情| 熟女精品一区二区三区| 综合久草| 亚洲天堂日本| 日本加勒比无码专区一二三| 免费超碰97久久| 天天α片| 91国内外在线| 麻豆色99999| 操一区| 青青操视频在线| 久久狠狠色噜噜狠狠狠狠97| 大香蕉www.超碰| 久久6热精品99视频| 97视频在线免费播放| 欧美伦乱爱| 人人摸人人舔一区二区| 久久久青草青青国产亚洲免观精品高清完整版_97久久综合区小说区图片区,国精品 | 欧美1区二区三区公司| 中文字幕日韩电影人妻| 熟女乱伦A| 操逼逼中文字幕| 日韩精品 视频一区二区| 曰韩精品视频一区二区| 人人天天干干| 一区二区激情国产熟女| 国产一级久久久| 久久夜夜夜夜| 欧美综合网站999| 91老熟女| 久久夜黄色无码A级大片| 久久婷婷亚洲| 超碰97精品在线| 亚洲综合性感在线| 中文字幕丝袜| 国产午夜福利电影免费在线观看| 国产午夜无码片在线观看影视| 欧亚免费视频| 久久伊人在线五区| 欧美青青草视频| 日韩欧视频| 亚洲国产av中文字幕久久| 亚洲天堂男人| 日本色色视频网站| 99色在线| 精品无码人妻一区二区免费蜜桃| 9精品久久久久| 88xx成人精品视频| 亚洲AV无码乱码在线观看性色| 五月丁香| 在线情色电影 91大 | 中文字幕福利视频一区二区三区在线观看| 中文字幕丰满子伦无码专区在线视频最新 | 中文字幕av久久爽Av| 天天干天天中出av| 欧美 亚洲 第一页| 亚洲人妻中文高清| 91欧美长吊| 97ai亚洲| 人干人人人操人人摸| 91精品国产综合久久久蜜臀| 亚洲高清在线se| 最近二区三区视频大全| 老司机射| 欧美日韩天堂| 亚洲 欧美 日韩 国产一区二区| 伊人久久大香大香线蕉中文| 久久久99999久网站| 丰满人妻一区二区三区免费 | 91操熟女| www久久久| 国产天美传媒精品| 欧美中文字幕日韩在线| 欧美日韩99精品麻豆传媒| 伦理弟一页| 亚洲性网| 99.色网| 人妻第一页| 国产成人bd在线观看| 大香伊人在线一区| 日本日逼高清| 2000亚洲男人天堂| 26uuu成人影片| 精品久久久久瑟瑟| 国产主播福利| 91 国产丝袜在线放观看| 日韩有码中文字幕女同性恋| 大伊香蕉在线视频免费| 人妻丝袜肏逼| 在线中文字幕极品av| 亚洲色资源| 翔田千里Av在线| 九九久久久久久爱| 超碰午夜| 蜜桃臀 后入 一区 二区 三区 在线| 亚洲高清综合网| 综合久久婷婷| julia国产在线 | 欧美成va视频网站| 亚洲精品97久久中文字幕| 日韩视频啪啪| 欧美综合自拍亚洲综合图| 国产精品自拍欧美在线| 蜜臀AV一区二区三区| 人妻99p| 97久久久久久久久久| 日本亚洲熟女视频| 国产91丝袜在线播放蜜月| 玖玖爱免费观看视频| 亚欧美综合网。| 天天操夜夜操狠很操| 欧美色日本| 思思热在线cao| 91在线国产后入风骚翘臀美女素人| 一起草精品人妻| 精品十八在线观看| 2020视频1区2区3区| 凹凸精品熟女在线观看| 日日天天久久啊啊aaa| 亚洲欧洲日韩天堂av| 97精品97久久| 日本综合色图| 无码不卡亚洲成?人片| 97超碰天天| 免费一级黄色录像影片| K8久久久久| 久久天堂婷婷网| 2017av无码免费无线播| 98福利在线视频| 久久久久久欧美精品se一二三四| 97综合久久| 男人天堂综合| www.色操逼| 九七人妻在线| 日本日日色视频| 国产探花精品在线| 2017天天操| 97天天操天天干| 久久精品亚洲成a人天堂| 激情综合网亚洲| 久久精品人妻一区二区| 日日干日日| 91精品亚洲内射孕妇| 97天天在线| 欧美疯狂做爰xxxx| 国产乱伦性爱区| 欧美日韩人妻精品系列一区二区三区| 午夜福利区| 夜夜草网站| 免费观看网黄| 青草一区二区| 亚洲在钱| 开心六月色| 99热在线播放| 思思热在线视频免费| 高清无码91| baiduhicn.com。| 五月开心网| 3P乱轮视频| 夜夜骑夜夜操| 日日躁夜夜躁狠狠躁超爽| m欧洲一级午老| 女同亚洲欧美一二三区久久电影| 能直接看AV的网站| 五十路六十路素人熟女| 又大又大又大又粗爽高潮观看 | 国产日韩精品一区二区三区| 一级免费啪啪片| 欧美日产国产在线成人第一区| 亚洲国产97| 国产精品午夜精品| 久草男人天堂| 日韩久久超碰色| 操久久久久久| 九九综合久久| 国产大学生高潮在线播放| 播播亚洲小说亚洲| 欧美性巨大╳╳╳╳╳高跟鞋| 明星性猛交ⅹxxx乱大交| 亚洲图片小说欧洲| 亚洲骚逼少妇| 天天操妹子| 久久禁| 久久久久久久9最新免费视频观看| 狠插 制服 自拍| 曰韩欧美国产传媒麻豆第一区| 国产99 中文字幕日韩小视频| 欧美精品一区二区少妇免费A片| 亚洲欧洲日本精品中文a∨| 亚洲超碰97| 啊啊啊啊好爽好舒服一区二区易域| 久久久久久九九九九九九| 亚洲诱惑天堂 | 日韩中字av一区| 久久麻豆一区二区| 婷婷中文字幕| 小少妇| 九九玖玖精品| 加勒比综合九九99视频在线播放| 国产精品网站www| 久久国产99精品72福利 | 色官网在线| 最新国产精品久久精品| 丁香五月天啪啪| 日本欧美成人片AAAA| 口爆综合网| 天天插天天舔舔天天干| 中文字幕视频在线观看一区二区| 中文字幕乱碼在线| 亚洲少妇激情视频| 亚州春色| 婷婷人妻激情| 97视频在线播放| 国产丝袜美女在线一区| 综合久久六月久久婷婷| 欧美顶级黄片AAAAA在线免费看| 综合久久婷婷| 免費黃色視頻觀看一| 人妻中文字幕日韩电影| 91九色在线| 丝袜熟女2P| 99在线观看无大码| 欧美色爱综合| 国产精品美女视频诱惑| 免费观看国产小粉嫩喷水精品午| 欧美一级黄片免费播放| 欧亚综合一卡二卡中文字幕| 少妇人妻无码| 中文字幕二区| 日本操逼视频免费| 日韩欧美亚洲一区二区三区影院| 日本 欧美 亚中文字幕| 色五月天AV| 国产尤物在线三区| 操国产逼| 日本久久精品| 久久一二三四五六七八九区区| 国产成人啪一区二区| 国产老女人久久毛| 午夜福利免费福利视频| 91女网站| 91无码人妻| 日本乱人伦片中文三区| 精品人妻美妇91job| 人人色人人操在线| 精品一区二区三区四区女| 丁香7月婷婷| 国产在线观看一区二区三区| 天天操天天舔| 综合网欧| 亚洲色阁| 日韩乱插| 夜草欧美| 亚州综合在线| 日本综合久久| 在线五区| 91深夜夜| 嗯嗯啊啊亚欧精品| 婷婷久月| 噜噜噜无码AV一级一级久久影院| A男人的天堂| 亚洲精品一二牛牛| 91美女丝袜诱惑视频| 五十路成人在线视频二区三区| 国产亚洲色婷婷久久99精品91 - 百度| 亚洲熟女中文字幕在线| 国产精品视频在线播放 | 欧美中字不卡| 中国女人内射6XXXXX| 日韩三级网址| 欧美色图91| 色婷婷丁香| 天海翼久久| 国产精品人人爽人人做可爱福利| 丰满少妇人妻久久久久久| 欧美性高潮| 亚洲乱熟女一区二区三区大香蕉| 国产丁香精品露脸视频 | 亚洲免费成人精品电影| 亚洲情色91| 天天综合网在线观看| 丁香五月婷婷基地| 风间由美日韩欧美久久| 日本亚洲熟女视频| 香蕉精品二区二区| 中文字幕五区| 亚州色综合| 玖玖97综合| 97综合在线| 综合网欧美在线| 色臀av| 久妇网| 日本欧美中文字幕| 一级黄碟在线观看| 欧美日韩免费性爱| 97超碰超欧美。| 亚洲AV无码AV吞精久久久久 | 日本一本一区二区三区四区五区欧美日韩中文字幕 | 伊人991| 国产日韩区| 骚逼自拍99| 看黄片视频免费| AV男人天堂网| 久久久亚洲欧美综合| 狠狠爱夜夜干| 色色婷婷丁香| 亚洲av青草久久一区二区| 久久久久久久久久久久久久9999| 日韩强奸av| 亚洲综合图色在线| 亚乱色| 在线播放欧洲免费av| 开心五月天激情网| 色网站导航大全| 日本99一区二区| 丁香九月激情| 亚洲一区中文精品| 亚洲日韩乱码中文无码蜜桃臀网站| 人妻人人做人人澡人人爽欧美一区| 91黑丝操| 亚洲人精品久久久喷水| 影音先锋日本一区二区| 亚洲青青草| 亚洲综合精品国产一区| 亚洲天天综合| 青青三级视频| 大香蕉亚洲中文| 精品美女久久久久| 亚洲在线A| 男人的天堂.com| 在线观看AV片| 欧美日韩传媒| 欧美少妇色综合| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 伊蕉97蜜桃97狠狠综合干| 亚洲av强奸乱伦| 久久精品国产亚洲AV清纯| 欧美玖玖爱免费玖玖| 亚洲人妻一区二区三区| 91碰超| 四虎精品永久在线观看| 久久久久ab| 69精品人人人人| 宅男影院久久久,99| 欧美亚州综合网图片| 天天看综合网| 色色婷婷丁香| 天天搞在线综合网| 日韩一级欧美一级国产一级台湾| 无卡一区=区| 久草资源欧美在线视频| 久久人妻精品| 久久鲁干| 欧美亚洲一级在线观看| 久九九九九九九九热| 欧洲精品一二三在线| 亚洲另类综合欧美| 国产一级αv免费看片| 在线观看亚洲成人精品| 啊v在线观看视频| 天天天操天天天爱| m欧洲一级午老| 久久综合婷婷| 在线观看无码三级少妇| 少妇精品| 国产三级中文字幕粉嫩| 日韩欧美偷拍美女视频| 超碰 另类 欧美| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 久久精品人妻一区二区| 亚洲精品国产AV天美传媒| 日韩另类色图| 欧美成人黄网色网站| 国产极品美女高潮无套在线观看 | 婷婷五月天色网| 国产亚洲日本| 亚洲男人天堂2016| 无码久| 日韩99神马视频片| 91色综合激情| 日本不卡三级网在线播放| 欧美天天插| 亚洲色图激情小说| 天综合网| 五月天春色激情网| 亚洲AV资源| 熟妇女人妻呻吟久久AV| 九九九九88| 91亚洲不卡一区| 久无码| 这里是精品| 强上我不卡卡| 抽查国产福利主播| 精品超碰中文在线| 久久这里精品国产99丫e6| 啊啊啊好湿国产一二| 国产久久久9999| 黑丝少妇麻豆| 操B久久| 日韩精品人妻中文字有码在线| 久久久专区| 久久久久921| 久射吧| 欧美激情高清性猛交| 精品国产乱码久久久久久网站入口| 亚洲色交| 日本操逼视频免费| 日韩视频中文字幕| 青椒国产97在线熟女| 亚洲最大的综合性av| 无码少妇精品一区二区60岁老人| 日本天天色| 日本免费不卡二区| 欧美韩国你懂得在线| 九九九九九九九九九九九九九九九女| 日韩特一级久久| 94色色电影网| 亚洲成人黄色在线观看| 亚洲av影音先锋| 日韩成人电影AV| 久无码| 精品亚州18| 国产热av| 尤物网站91| 日韩欧美aⅴ综合网站发布| 色色色999| 啊啊啊好湿久久| 人妻激情在线视频| 久久久久99999| 被男人吃奶很爽的毛片| 欧美性爱伊人| 国内精品不卡无毒99999| 久久免费精品96| 久久中文字幕人妻熟av女蜜柚| www.av家庭乱伦| 成人 日本A片无码8888| 3571色综合一区二区二区| 欧亚第一综合网| 欧美线天码中字| 亚洲欧美第一页| 天天视频综合在线观看视频| 久久精品欧美一区蜜桃| 天天激色| 91香蕉国产尤物视频| 操逼操逼逼操操逼91 | 国内毛片无码一级毛片| 色九九九| 精品人妻久久久久一区二区三区| 久久av无码| 最新欧洲欧美日本激情网站| 91超碰碰在线| 97超碰人人模人人拍人人| 欧美顶级黄片AAAAA在线免费看| 91欧美美女日韩国产婷婷| 欲色综合| 高清成年美女黄网站免费大全 | 国产高清免费不卡av| 大屁股xxxxx| 中文字幕AV片| 日韩熟女无码| 狠狠久久亚洲欧美专区| 欧美日韩亚洲国产中文永久天天看| 成人免费性爱视视| 五月天综合| 国产三级中文字幕粉嫩| 黄色免费一级在线毛片| 男人的天堂2019AV| 大香蕉懂9| 国产精品岛国片在线观看| 欧亚第一综合网| 97欧美视频| 伊人久久88国产女| 欧美性少妇| 无码一区二区精品视频久久久春药| 高潮内射在线| 久久啊啊| av天堂影视中文在字幕在线中文 | Julia在线播放亚洲久久| 99日视频在线免费| 嗯啊抽插大香蕉网页| 青青草视频导航官网| 水多多映视AV| 欧美图片偷拍| 欧美同性恋 的搜索结果 - 91n| 精品久久久亚洲AV成人网站| 男人天堂网手机版婷婷| 亚洲精品影视老司机| 天天摸天天舔天天操| 国产久久成人| 亚洲欧美国产中文字幕| 欧美精品23| 欧美韩国你懂得在线| 精品人体无圣光凹凸| 日日噜噜夜夜久久亚洲一区二区| 国产99精品一区二区三区免费| 青青操少妇| 国产精品麻豆视频网站| 婷婷五月天无码| 男女激情黄色网址| rivers-china.com| 91精品久久久久久77777| 国产麻豆91欧美一区二区久久婷婷国产精品| 免费强奸av| 欧美综合亚洲| 67914亚洲精品| 精品人妻一区二区三区四区不卡在| 九一屌逼| 久久五十路熟女人妻| 亚洲综合一| 亚洲第一成人影院色播| 九九九九一区| 天天色悠悠激情| se吧提供91精品国产91久久久久久| 久久精品一区| 国产午夜激片Av毛片不卡| 噜噜噜亚洲精| 女色视频社区| 黄片免费视频2019| 大香蕉伊然在亚洲91| 91Chinese在线| 91P0RNY大屁股人妻| 动漫av中文| 国内毛片无码一级毛片| 黑人猛交| 欧美天堂亚洲电影院一区在线播放| 日韩成人精品视频自拍| 干b网| 日韩AV色图| 性开放中文AV高清无码免费看| 天天影视综合色| 99免费在线视频| 亚洲Av诱惑| 91美女在线视频| 婷色五月| 美国精品国产精品| 97久操| 2019AV天堂| 操逼逼中文字幕| 一起草在线视频| 嗯嗯啊啊的视频| 日韩女优中文字幕| 在线观看综合精品亚洲| 国产精品 视频| 日韩欧美蜜桃精品久久中文字幕久久| 色婷婷综合久久久久中文一区二区| 综合影视国产无码| 日韩性爱长视频免费| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 超碰天天久久79| 日本午夜久久电影| 操人人| 裸模AV女优| 亚洲色阁| 国产综合网站在线播放 | 熟女少妇一区二区三区| 国产美女口爆吞精视频| 91大学精品激情戏| 久久激情视频| 国产呦精品一区二区三区下载| 久久、1234| 成人精品无码| 久久九九一区二区三区成人| 成人国产二区三区在线,男女精品。| 亚洲无吗在线视频| 亚洲一区亚洲天堂| 日韩色欲久久一二三四区| 欧美亚州综合图片| 国产精品人妻熟女aⅴ| 国产极品久久久| 欧美日韩电影成人在线| 啊啊啊啊啊在线视频| 以及麻豆国产入口在线观看免费| 黄污污污污| 超碰美女97| 美女黄色一级A视频| 日本久久女同性恋视频| 熟女丰满人妻一区| 国产久久免费精品视频| 欧美日韩天堂| 丁香五月婷婷啪啪| 91无码西班牙视频在线| www.91欧美| 精品一区二区成人动漫| 丁香色狠狠色综合久久小说| 操死我了嗯嗯嗯| 大屁股xxxxx| 五月丁香黄色网| 男人的天堂日韩| 在线观看AV不卡| 国产成人自拍视频视频| 亚洲AV永久无码精品成人调教| 久久久久久久久久久97| 人人艹亚洲| 午夜九九| 亚洲吊色| 婷婷五月色| 手机在线播放国产福利| 人妻少妇精品无码专区二区密桃| 成人日韩中文字幕| 色狠狠 - 百度| 电家庭影院午夜69久久夜色精品国产69乱 | 91成人18| 熟女熟妇一区二区三区视频| 亚洲无限观看| 2025亚洲男人天堂| 久久久国产三级黄色片| 亚洲熟女精品| 丰满人妻一区二区三区四区| 中国黄色特级精品一区二区三区片| 九九热AV| 一区二区三区视频在线观看免费| 一区操逼| 亚洲精品国产熟女| 国产精品成久久久久午夜午夜| 亚洲一区二区AV| 色香综合天天影视综合 | 热久久国产精品视频大陆精品| 午夜精品久久久久久久99蜜桃一| 91成人高清在线观看| 在线毛片片免费观看| 操国产高清| 亚洲AV成人精品网站在AV| 亚洲h片在线免费观看| 亚洲无线码欧洲精品区别| 中日韩一区二区三区欧美| AV乱伦专区| 久热一区二区| 欧美亚洲自拍另类人妻| 中文字幕人妻资源在线| 国产精品亚洲一级av第二区| 亚洲国产奇米影视久久| 亚洲成?V人片在线观看福利| 色婷婷基地| 中文字幕在线高清男人的天堂| 丁香六月婷婷| 蜜臀少妇一区二区| 你草精品在线视频| 中文字幕精品亚洲熟女| 搡老女人老熟女91老熟女综合网| 日韩av无码网站| 欧美精品成人在线播放| 人人扣人人操| 天天影视色香色欲| 亚洲熟女一区| 大香蕉九九| 午夜性| 精品少妇高潮久久| 亚洲 日本 国产 综合| A V视频日本| 夜夜爽33333| 欧美天堂第二区| 精品国产Av无码久久久伦古装| 三级网色| 国产久久一区二区三区野外在线| 成人a大片在线观看| 欧美亚洲激情小说| 久久精品六区| 亚洲黄色视频在线观看视频| 97精品综合久久| 久久综合久色欧美综合狠狠 | 青娱乐福利99| 屌逼传媒| 久久东京热久久| 日韩少妇一区二区三区| 人妻酒店出差被中出免费在线播放| 国产免费一区| 日韩成人精品视频自拍| 日本久久综合| 淫荡熟女乱伦网| 久久同城AV| 成年女人黄网站| 日日AV加勒比| 欧美亚洲国产91在线| 一区二区三区网站日日骚| 97国产人人| 亚洲国产综合久久久性感熟妇| 91综合中文字幕| 久精品无码av一区二免费国产在线观看| 中文字幕日韩人妻视频一区二区三区交换夫妻| 国产97在线播放| 九九黄色网| 骚女天天综合网| 国产原创精品| 国产精品麻豆成人av| 青青草色插素人| 熟女人妇一区二区三区| 国产尤物在线三区| 人妻天天爽夜夜爽精品2| 情趣丝袜无码操逼视频| 色网综合网| 久热91| 欧美日韩*字幕一区| 一区,二区,三区视频| 97摸视频| 97碰碰色| 伊人991| 欧美激情总合网| 国产人妖的免费的视频| 黑人精品久久97| 首页亚洲国产高跟丝袜诱惑视频| 91大神精品长腿在线观看网站| 农村妇女精品一区二区| 六月丁香久久| 豆花视频操逼网址| 久草看看看| 91美女视频在线| 亚洲春色激情小说| 国产 丝袜 欧美中文 另类| A级片日韩欧美国产欧美视频精选观看| 91欧美综合在线| 欧美刺激色黄片免费看| 激情抓乳插进去啪啪啪日韩| 91色亚洲| 日韩天天综合| 91精品人妻啪啪间| 日本91白丝| 免费强奸av| 粉嫩粉嫩一区性色AV片| 狠狠爱夜夜| 玖玖爱视频网站| 日韩精品人妻中文字有码在线| 高树玛利亚无码流出| 五月天婷婷影院| 99只有精品| 色情五月丁香| 中文字幕精品一区二区精品| 色噜噜人妻丝袜a∨先锋影| 国产精品制服丝袜清纯唯美| 另类图片天天影视| 亚洲另类天堂| 91久久久亚洲| 九九九九9999| 97久久精品| 成人影院永久免费观看网址| 懂色中文一区二区三区| 一二三四视频中文字幕在线看| 人人玩人人添人人澡免费| 性色AV蜜色av色欲av| 日韩性爱视频在线免费观看 | 园内精品自拍视频在线播放| 国产三级多多影院2022国产AA一级毛片无码 | 天堂九九九九九九九九九| 日本免费一区二| 91视频成人福利网站在线一区| 诱惑人妻欧美一区在线播放| 大干人妻| 综合网欧美| 亚洲成a人片在线观看中文!!!| 亚洲A曰本VA欧美VA视频| 国产强奸超碰AV| 五月天激情小说网| 第45页一区二区| 天天碰久久入| 午夜男女爽爽大片免费观看| 日本99一区二区| 少妇淫妇久久久久久久| 啊啊啊爽爽| 一级啊性爱在线视频| 欧美男女午夜啪啪| 日韩Va亚洲va欧美Ⅴa久久| 国产呦精品一区二区三区下载| 女人天堂AV五区在线| 精品人妻一区二区蜜桃视频| 超碰色美女| 国产一区二区精品久久99| 人妻熟女午夜精品在线| 久久视频,这里只有精品| 日本αv| 啊视频在线| 色综合久久夜色精品国产天堂| 在线视频97| 中出91| 91色欧美| 日本Xx性爱| 天天综合网~91综合网| 国产又粗又大硬免费色网视频| 婷婷99狠狠| 97国产|免费| av凤凰久久久| 九九九九九九免费视频| 亚洲一本色道中文无码aV天美| 亚洲www91| www.99中文字幕| 青青国产在线拍揄自揄拍| 亚洲图片色图欧美另类| 国产白领连续中出在线播放| 精品999999| 欧洲免费一区二| CCYY草草影院地址入口| 91新在线欧美| 日语五十路和六十路亚洲国产精品| 人人喜人人妻| 一级性爱视频免费在线| 超碰99热中文字幕| 97操| 歐美性天天| 国产日韩欧美三级片| 国产精品播放| 色爽——AV| 国产超碰国产97| 嗯啊抽插大香蕉网页| 亚洲人久久久久日| 嗯嗯啊啊好大好爽| 九九热九九热| 免费黄色A片| 热思思免费视频| 日日干夜夜欢| 久久久久国产亚洲一区欧美色图日韩 | 国产v亚洲v日韩v欧美v片另类| 图色综合网| 日本在线视频导航| 日韩无码一级黄色av片| 国产精品国产| 精品一区96| 91Chinese在线| 欧美日韩色综合网| 欧美宗合网| 很很很很操| 人人澡人人爽人人精品| 人人操人人摸人人看人人干| 黄久久| 啊啊啊啊啊啊啊啊啊啊在线观看| 青青草视频久久| 男男H黄动漫啪啪无遮挡网站| 婷婷av在线中文字幕| 女人与公拘交酡2020视频| 欧美日本成人一区二区| 97在线看| 精品一级毛片在线观看| 七月婷婷综合| 人人操,人人液| 天天看精品动漫视频一区| 精品高清av中文字幕| 尹人免费观看视频在线| 国产美女口爆吞精视频| 中文字幕日韩电影人妻| 做爱A级亚欧| a级理论午夜日本| 六月丁香五月婷婷| 91九色精品熟女内射| 99在线精品视频| 久久综合精品一区二区三区| 日欧毛片久久| 亚欧美色图| 91色综合| 久久精品国产亚洲AV无码做| 小情侣高清国产在线视频| 日韩另类色图| 天天碰操中国年青熟妇| 国内一区二区三区| 三上悠亚在线毛片91| 精品人体无圣光凹凸| 久久xx| 亚洲男人天堂2013| 精品人妻一区二区三区视频在线|