亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Java應用Dockerfile編寫指南:從鏡像構建到生產級配置優(yōu)化

Java應用Dockerfile編寫指南:從鏡像構建到生產級配置優(yōu)化 如果你的工作里經常和 Java 服務打交道那 Dockerfile 幾乎是繞不開的一關。這玩意兒看著簡單不就是把 JAR 包塞進鏡像里跑起來嗎可真到自己寫的時候你會發(fā)現(xiàn)里頭全是講究基礎鏡像挑哪個、JVM 參數(shù)怎么傳、時區(qū)怎么處理、鏡像怎么越打越小、啟動腳本寫不好容器一重啟就掛……每一個細節(jié)都能讓人折騰半天。這篇文章我就把自己反復踩坑、反復優(yōu)化后沉淀下來的 Dockerfile 編寫思路和打包流程完整梳理一遍。從最基礎的鏡像構建講起到多階段構建、JVM 適配、健康檢查、日志收集、常見問題排查一路說到可以直接拿來用的生產級配置。內容適合剛接觸 Docker 的 Java 開發(fā)者也適合那些已經在用 Docker 但想優(yōu)化鏡像體積和穩(wěn)定性的團隊。1. 先從整體想清楚Java 應用鏡像到底要解決哪些問題寫 Dockerfile 之前我建議你先別急著打開編輯器?;◣追昼娤肭宄粋€問題我到底想讓這個鏡像做到什么程度很多人第一次寫 Dockerfile 就是“能跑就行”把 JAR 包 COPY 進去ENTRYPOINT 寫個java -jar就完事了。這種鏡像在本地跑 demo 一點問題沒有可一旦上了生產環(huán)境問題就一件接一件冒出來。1.1 一個 Java 鏡像的“及格線”和“優(yōu)秀線”我自己的經驗是Java 鏡像可以分成三個層次第一層能跑。JAR 包放進去java -jar能啟動端口能通。這是大多數(shù)教程停留在的地方。第二層能穩(wěn)定跑。解決了時區(qū)問題、JVM 內存識別問題、優(yōu)雅停機問題、日志持久化問題。容器重啟不會莫名其妙掛掉內存不會被宿主機器殺進程日志不會丟。第三層能高效跑。鏡像體積小、構建速度快、安全漏洞少、可觀測性好包含完整的健康檢查、監(jiān)控指標暴露、非 root 用戶運行等。這篇文章的目標就是帶你走到第三層。每一層需要做的事情不同所用的 Dockerfile 寫法也完全不同。后文的配置基本是按第二層和第三層的標準來組織的你可以在理解之后按需裁剪。1.2 使用 Docker 跑 Java 服務和傳統(tǒng)部署到底差在哪在寫 Dockerfile 之前得先理解 Java 程序放在容器里和放在虛擬機/物理機上有什么區(qū)別。核心差異其實就兩個差異一是運行環(huán)境的隔離粒度。傳統(tǒng)部署里Java 進程直接跑在操作系統(tǒng)上它能看到完整的 CPU、內存、磁盤信息。容器里則不同Java 進程跑在 CGroup 限制的環(huán)境中如果 JVM 不能正確感知到 CGroup 的限額就會出現(xiàn)一種很頭疼的情況JVM 啟動時按宿主機內存來分配堆內存結果容器內存限制只有 512MBJVM 實際可能申請 2GB 堆一運行起來就被內核 OOM Killer 干掉。差異二是進程的生命周期管理。容器編排平臺比如 K8s是靠探針來管理容器生命周期的容器里只能跑一個主進程。這意味著你的 Java 應用需要正確處理 SIGTERM 信號做到優(yōu)雅停機。傳統(tǒng)部署里你可能從不關心進程退出信號但在容器里這就是必須面對的事。這兩個差異直接決定了一個好的 Java Dockerfile 應該長什么樣不是簡單“把 JAR 放進去”而是要把 JVM 和容器環(huán)境之間的適配工作做完整。2. 從零編寫 Dockerfile單階段構建先把地基打牢學習階段先從最直觀的單階段 Dockerfile 入手。雖然它構建出來的鏡像很大但它能幫你理解最基本的工作原理后面再逐步優(yōu)化。2.1 第一個可運行的 Dockerfile 長什么樣假設你有一個 Spring Boot 項目構建產物是app.jar在target/目錄下。最原始的 Dockerfile 大概是這樣的FROM openjdk:8-jdk-alpine MAINTAINER yourname COPY target/app.jar /app.jar ENTRYPOINT [java, -jar, /app.jar]這段配置就能跑但問題也是肉眼可見的。openjdk:8-jdk-alpine鏡像里包含完整 JDK不僅有運行環(huán)境還有編譯器、調試器這些運行時用不到的東西最終鏡像體積動輒兩三百兆。另外它默認時區(qū)是 UTC中國用戶跑起來日志時間差 8 個小時。再有就是沒有暴露端口沒有配置 JVM 參數(shù)沒有健康檢查機制。2.2 關鍵指令逐一拆解不要只照著抄要把 Dockerfile 寫明白幾個核心指令的語義必須掌握扎實。FROM 指令是每一層的基礎。選擇基礎鏡像時要想清楚你是要 JDK 還是 JRE。運行時只需要 JRE體積能小很多。編譯時才需要 JDK這一點正是后面多階段構建的核心邏輯。COPY 和 ADD 的區(qū)別值得認真理解。COPY 只做本地文件到鏡像的拷貝ADD 則在拷貝之外額外支持從 URL 下載和解壓 tar 包。這種額外的能力帶來了兩個問題一是行為不容易預測二是鏡像層會變大。所以官方推薦能用 COPY 就別用 ADD。ENTRYPOINT 和 CMD 的區(qū)別是面試??鸵彩菍嶋H寫 Dockerfile 最容易搞混的地方。簡單說ENTRYPOINT 定義的是容器啟動后執(zhí)行的程序docker run 后面的參數(shù)會作為參數(shù)傳給 ENTRYPOINTCMD 則提供默認參數(shù)可以被 docker run 傳入的命令覆蓋。一個常見套路是ENTRYPOINT 用 exec 形式寫腳本腳本里做環(huán)境變量預處理最后用exec啟動 Java 進程這樣能保證信號正確傳遞。2.3 給 JVM 設置內存參數(shù)的正確姿勢容器里跑 JavaJVM 參數(shù)必須顯式聲明。我見過不少人直接在 Dockerfile 里寫死-Xmx512m其實更好的做法是借助環(huán)境變量動態(tài)配置。在 Dockerfile 里做一個默認值運行時再覆蓋ENV JAVA_OPTS-XX:MaxRAMPercentage75.0 -XX:InitialRAMPercentage50.0 ENTRYPOINT [sh, -c, java $JAVA_OPTS -jar /app.jar]用-XX:MaxRAMPercentage75.0而不是-Xmx指定固定值好處在于容器內存調大調小時 JVM 會自動跟隨。比如容器限制 2GBJVM 堆就約 1.5GB改成 1GBJVM 堆就約 768MB不用改任何配置重新發(fā)布。如果你非要用固定值也強烈建議通過環(huán)境變量而非 Dockerfile 寫死ENV JAVA_OPTS-Xmx512m -Xms256m然后運行時這樣覆蓋docker run -e JAVA_OPTS-Xmx1g ...這種做法在需要臨時調優(yōu)時特別實用不用重新構建鏡像改個環(huán)境變量就能重啟驗證。3. 鏡像瘦身的關鍵手段多階段構建單階段構建最大的問題是把編譯和運行環(huán)境混在一起。你想想編譯一個 Java 項目需要 Maven、JDK、全部依賴下載但運行時真的只需要 JRE 和一個 JAR 包。把兩者分開就是多階段構建的核心思路。3.1 多階段構建的結構與原理多階段構建允許一個 Dockerfile 里出現(xiàn)多個 FROM。每段 FROM 是一個獨立的構建階段前面的階段可以擁有完整的開發(fā)工具鏈最后那個階段只保留運行所需的最小環(huán)境。中間階段的文件可以通過 COPY --from 指令拷貝到最終鏡像。比如這樣# 第一階段編譯 FROM maven:3.8-openjdk-11 AS builder WORKDIR /build COPY pom.xml . RUN mvn dependency:go-offline COPY src/ ./src/ RUN mvn clean package -DskipTests # 第二階段運行 FROM openjdk:11-jre-slim WORKDIR /app COPY --frombuilder /build/target/app.jar ./app.jar EXPOSE 8080第一階段用 Maven 鏡像完成代碼編譯和打包第二階段只把 JAR 文件拷過去運行時鏡像里完全沒有 Maven 和 JDK 源碼相關的無用文件。單階段鏡像可能 400MB多階段構建往往能壓到 200MB 以下。3.2 利用構建緩存加速打包很多人寫多階段 Dockerfile 碰到一個問題每次改一行 Java 代碼Maven 都要重新下載全部依賴構建慢到懷疑人生。其實這是沒有正確利用層緩存導致的。Docker 構建時每一行指令如果前后沒有變化就會復用本地緩存。依賴下載邏輯和源碼打包邏輯如果寫在同一行那源碼一變依賴也得重新下。正確做法是把兩件事分離COPY pom.xml . RUN mvn dependency:go-offline COPY src/ ./src/ RUN mvn clean package -DskipTests第一行的COPY pom.xml .只拷貝 POM 文件然后單獨執(zhí)行依賴下載。只要 POM 不變這一層就不會失效后面三層直接復用緩存。我實測過項目幾百個依賴有緩存的情況下構建只要十幾秒沒緩存要拉好幾分鐘。這里有個小細節(jié)mvn dependency:go-offline并不是所有插件都能覆蓋有的插件在后續(xù)打包階段還會在線下載。穩(wěn)妥起見可以加一個-Dmaven.repo.local指定本地倉庫路徑或者使用mvn package后直接保留~/.m2目錄作為緩存掛載。生產環(huán)境如果用 CI 平臺比如某公司的流水線也可以設置 Docker BuildKit 的 cache mountRUN --mounttypecache,target/root/.m2 mvn clean package -DskipTests這種方式比單獨分層更高效因為它不把依賴打進鏡像層而是直接復用宿主機的緩存目錄速度更快。3.3 選擇基礎鏡像的思路Java 相關的基礎鏡像市面上主要見這幾類openjdk:8-jdk-alpine基于 Alpine Linux體積小但 Alpine 使用的 musl libc 在某些極端情況下會有兼容問題比如一些原生庫。openjdk:11-jre-slim基于 Debian Slim體積適中兼容性比 Alpine 好。eclipse-temurin提供了 OpenJDK 的多種構建版本社區(qū)活躍也是目前很多新項目的首選。amazoncorretto某云廠商維護的 OpenJDK 發(fā)行版長期支持性能調優(yōu)到位。自定義基礎鏡像公司內部統(tǒng)一維護基礎 JDK 鏡像預置了證書、時區(qū)、監(jiān)控 agent 等適合規(guī)?;瘓F隊。我的建議是追求最小體積可用 Alpine追求兼容性和穩(wěn)定性用 Slim 系列。JDK 版本建議跟本地開發(fā)環(huán)境保持一致或者略高于生產要求的版本避免本地編譯出來的 class 在運行時因版本過低而報UnsupportedClassVersionError。4. Java 應用容器化適配JVM 參數(shù)、時區(qū)、健康檢查這一部分是最容易被忽略、但影響最大的環(huán)節(jié)。很多人鏡像能跑但運行一段時間就出各種奇奇怪怪的問題多數(shù)都出在這幾個點上。4.1 JVM 與 CGroup 內存限制Java 8 及以前版本默認不會自動識別 CGroup 限制JVM 按宿主機的內存來設置堆大小一超過容器內存限制就會被內核殺進程。這個問題在高版本 JDK 中已有改善但低版本依然存在。JVM 參數(shù)里推薦使用百分比配置參數(shù)含義-XX:InitialRAMPercentage50.0啟動時堆初始大小占容器內存的百分比-XX:MaxRAMPercentage75.0最大堆大小占容器內存的百分比-XX:MinRAMPercentage50.0小內存機器下的最小堆占比為什么不直接寫-Xmx因為-Xmx是絕對值。容器內存從 2GB 擴容到 4GBJVM 堆不會跟著變。雖然 Kubernetes 可以重啟容器生效但每次配置變更都要走一次發(fā)布流程遠不如百分比靈活。還有一點值得注意堆內存不是 JVM 的全部內存。JVM 還包含元空間、線程棧、直接內存、JIT 編譯器、GC 相關結構等。即使設了MaxRAMPercentage75.0實際進程占用也可能超過容器限制所以這個比例不宜設得太高。我習慣用 75% 作為大值但如果你有較多堆外內存使用比如 Netty 的 direct buffer建議下調到 50%-60%。4.2 時區(qū)問題為什么你看到的日志時間總差 8 小時Java 默認時區(qū)跟隨系統(tǒng)。很多基礎鏡像的默認時區(qū)是 UTC這在部署到國內服務器時非常折磨人應用日志時間全是 UTC和運維平臺、監(jiān)控告警、數(shù)據(jù)庫記錄的時間對不上。最穩(wěn)妥的辦法是在 Dockerfile 里直接設置系統(tǒng)時區(qū)ENV TZAsia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime echo $TZ /etc/timezoneAlpine 鏡像需要先安裝 tzdata 才能設置時區(qū)RUN apk add --no-cache tzdata \ cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \ echo Asia/Shanghai /etc/timezone構建時寫好時區(qū)運行時容器內 Java 進程的TimeZone.getDefault()就會正確返回東八區(qū)。也可以在啟動時通過-Duser.timezoneAsia/Shanghai強制指定 JVM 時區(qū)這個方法不依賴系統(tǒng)時區(qū)設置在調試時特別有效。4.3 容器健康檢查別等流量打到壞實例上才發(fā)現(xiàn)Kubernetes 提供了 liveness 和 readiness 探針但在沒有 K8s 的環(huán)境里比如 docker-compose 或裸 DockerDocker 自身的 HEALTHCHECK 指令也能提供類似能力。Spring Boot 自帶 Actuator 模塊暴露了/actuator/health端點這是最現(xiàn)成的健康檢查依據(jù)。Dockerfile 里可以這樣寫HEALTHCHECK --interval30s --timeout5s --start-period60s --retries3 \ CMD wget -q -O - http://localhost:8080/actuator/health || exit 1各參數(shù)的含義--interval30s每 30 秒檢查一次。--timeout5s單次檢查超過 5 秒視為失敗。--start-period60s容器啟動后 60 秒內不檢查給應用足夠的時間完成啟動。--retries3連續(xù) 3 次失敗后容器被標記為 unhealthy。注意 Alpine 鏡像里沒有 wget要改用 BusyBox 自帶的 wget 命令或者安裝 curl。Slim 系鏡像則要看是否預置了相關工具。HEALTHCHECK --interval30s --timeout5s --start-period60s --retries3 \ CMD curl -fs http://localhost:8080/actuator/health || exit 1如果走了網關鏈路健康檢查端點務必要繞過登錄鑒權否則探針返回 401容器永遠不健康。這類問題排查起來很隱蔽我踩過一次最后看容器日志才發(fā)現(xiàn)是鑒權攔截了 actuator 路徑。4.4 優(yōu)雅停機與信號處理Java 應用收到 SIGTERM 信號時會觸發(fā) Shutdown Hook但這個行為依賴兩個前提信號是 SIGTERM 而不是 SIGKILL且 JVM 進程是容器主進程。如果用ENTRYPOINT [java, -jar, /app.jar]這種方式啟動Java 本身就是 PID 1信號能被正確接收。但如果用了sh -c java -jar app.jar這種寫法sh 是 PID 1Java 是子進程信號到了 sh 這兒可能不會轉發(fā)給 Java導致 JVM 收不到停機信號無法觸發(fā)優(yōu)雅停機。正確寫法是使用execENTRYPOINT [sh, -c, exec java $JAVA_OPTS -jar /app.jar]同理如果寫啟動腳本腳本里一定要以exec形式啟動 Java。這個細節(jié)我之前栽過跟頭Spring Boot 的優(yōu)雅停機已經配置好了但容器 kill 時應用還是直接退出根本沒走 Shutdown Hook最后排查到根因就是啟動腳本少了exec。Spring Boot 還支持優(yōu)雅停機配置在application.yml里加上server: shutdown: graceful spring: lifecycle: timeout-per-shutdown-phase: 20s這樣應用收到停機信號后會等待正在處理的請求完成或超時后再退出不會直接掐斷連接。5. 讓鏡像更實用日志處理、安全加固與運維友好鏡像能跑、能穩(wěn)定跑之后就該考慮讓它“更好用”了。這個階段做的事情雖然不直接影響功能但對日常運維和故障排查幫助極大。5.1 日志處理別讓容器日志撐爆磁盤容器里 Java 應用寫日志的方式直接決定了磁盤的使用情況。如果不做任何處理應用的日志默認寫到容器可寫層一旦容器被刪除日志全部丟失如果應用的日志框架配置成按文件輸出不加以歸檔清理長時間運行會占滿磁盤。容器化場景下最推薦的方式日志走 stdout/stderr交給 Docker 的日志驅動統(tǒng)一收集。Spring Boot 默認就是輸出到 stdout 的所以基本不用改什么。Docker 默認的日志驅動是 json-file會保留所有日志在本地。需要配置輪轉限制在 docker-compose 或 daemon.json 里設置logging: driver: json-file options: max-size: 100m max-file: 3max-size設置單個日志文件的最大大小超過則輪轉max-file設置保留的日志文件數(shù)。有了這兩個配置日志永遠不會無限增長撐爆磁盤。如果應用必須寫日志文件那就要掛載卷持久化并在應用層面配置好 logback/log4j2 的滾動策略。日志文件和 stdout 雙寫排查問題時確實方便但日志量大了對性能有影響自己要權衡。5.2 非 root 用戶運行容器默認情況容器內以 root 身份運行 Java 進程。這是一個安全風險萬一應用被攻破攻擊者拿到的是 root 權限宿主機如果掛載了目錄風險更大。在 Docker 官方的最佳實踐里明確建議容器運行非 root 用戶。具體做法是RUN groupadd -r app useradd -r -g app app USER app或者用鏡像里自帶的低權限用戶比如很多發(fā)行版自帶nobody。我個人習慣創(chuàng)建專門的應用用戶這樣日志目錄、配置目錄的權限控制更清晰。Spring Boot 3 的 Fat Jar 在只讀文件系統(tǒng)中也能運行因為它把內部 JAR 解壓到了臨時目錄這也是它適合容器化的一個原因。非 root 用戶需要注意臨時目錄的寫權限必要時掛載指定臨時目錄并設置-Djava.io.tmpdir/tmp為該用戶可寫。5.3 鏡像元信息與暴露端口Dockerfile 中 LABEL 可以為鏡像添加元信息比如版本、文檔地址、維護者信息。這在鏡像多了之后尤其有用一看標簽就知道這個鏡像是誰打的、什么版本、對應什么服務。LABEL org.opencontainers.image.title訂單服務 LABEL org.opencontainers.image.version1.0.0 LABEL org.opencontainers.image.sourcehttps://example.com/order-serviceEXPOSE 指令本身不發(fā)布端口它只是聲明容器內服務監(jiān)聽哪些端口作為鏡像使用者查看端口的文檔依據(jù)。實際端口映射還是靠 docker run 的-p或 compose 里的 ports 配置。但寫清楚 EXPOSE 是良好習慣別人拿到鏡像能快速知道該映射什么端口。5.4 鏡像體積再優(yōu)化JRE 精簡與層合并多階段構建已經把鏡身體積降了很多但如果你的服務很多、存儲和帶寬成本敏感還有幾個手段可以再壓縮。手段一使用 JRE 而不是完整 JDK。openjdk:11-jre-slim比openjdk:11-jdk-slim小很多。多階段構建中的構建階段用 JDK運行階段用 JRE 即可。注意某些需要動態(tài)編譯或工具鏈支持的框架比如 Java Agent、Groovy 動態(tài)編譯可能依賴 JDK 的某些類這種情況只能繼續(xù)用 JDK 鏡像要自己做驗證。手段二合并 RUN 指令減少層數(shù)。每一條 RUN 指令都會生成一個新的鏡像層層數(shù)多了會浪費空間。把一系列操作合成一條 RUN 并清理臨時文件RUN apt-get update \ apt-get install -y --no-install-recommends curl \ rm -rf /var/lib/apt/lists/*注意 Docker 鏡像層的機制層與層之間是疊加關系刪除某個文件只是在上一層做一個 whiteout 標記底層文件可能依然占用空間。所以在同一個 RUN 里安裝再刪除是最有效的例如RUN apt-get update apt-get install -y curl \ curl -o app.jar https://... \ apt-get purge -y curl \ apt-get autoremove -y \ rm -rf /var/lib/apt/lists/*手段三使用更小的基礎鏡像。Alpine 的鏡像體積優(yōu)勢非常明顯但 musl libc 偶爾帶來兼容性問題。使用前最好在本地完整跑一遍應用的測試用例確認沒有隱性問題。5.5 給 JVM 開啟監(jiān)控與診斷能力這部分是關于可觀測性的建議。容器環(huán)境里看不到 jstack、jmap 的圖形界面調試問題全靠命令和監(jiān)控數(shù)據(jù)。生產環(huán)境建議至少做兩件事第一通過 JMX 暴露 JVM 指標。注意 JMX 遠程連接不建議直接暴露公網可以配合容器網絡或者在 K8s 里通過 Sidecar 方式抓取指標。ENV JAVA_TOOL_OPTIONS-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port9090 -Dcom.sun.management.jmxremote.rmi.port9090 -Dcom.sun.management.jmxremote.authenticatefalse -Dcom.sun.management.jmxremote.sslfalse第二應用側暴露監(jiān)控端點。Spring Boot Actuator 的/actuator/prometheus配合 Prometheus 抓取能把 JVM 內存、GC、線程數(shù)等指標全部接入監(jiān)控體系比 JMX 更便捷。這個端點也需要注意鑒權防止敏感信息泄露。如果應用發(fā)生 OutOfMemoryError在 Dockerfile 里配置參數(shù)讓 JVM 在 OOM 時自動 dump 堆ENV JAVA_OPTS-XX:HeapDumpOnOutOfMemoryError -XX:HeapDumpPath/heap-dumps/然后給容器掛載一個卷存放 dump 文件出問題時就能拿到完整的堆現(xiàn)場進行離線分析。這個參數(shù)我強烈建議保留代價幾乎為零但在關鍵時刻能救整個團隊于水火。6. 一個完整的生產級 Dockerfile 模板前面講了那么多原理和注意事項是時候給出一個可以直接復用的完整模板了。以 Spring Boot 2.7.x JDK 11 為例。6.1 全量模板與逐行解讀# 語法版本建議顯式聲明防止未來默認語法變化 # syntaxdocker/dockerfile:1.4 # 第一階段編譯打包 FROM maven:3.8-openjdk-11 AS builder WORKDIR /build # 先拷貝 pom.xml利用 Docker 緩存加速依賴下載 COPY pom.xml . RUN --mounttypecache,target/root/.m2 mvn dependency:go-offline # 再拷貝源代碼并打包 COPY src/ ./src/ RUN --mounttypecache,target/root/.m2 mvn clean package -DskipTests # 第二階段最小運行環(huán)境 FROM openjdk:11-jre-slim # 創(chuàng)建應用用戶避免 root 運行 RUN groupadd -r app useradd -r -g app app # 設置時區(qū) RUN ln -snf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime \ echo Asia/Shanghai /etc/timezone WORKDIR /app # 從構建階段拷貝 JAR 包 COPY --frombuilder /build/target/app.jar ./app.jar # 如果還需要其他文件比如配置文件、證書、字體等 # COPY --frombuilder /build/target/classes/*.yml ./config/ # 暴露端口 EXPOSE 8080 # 健康檢查 HEALTHCHECK --interval30s --timeout5s --start-period60s --retries3 \ CMD curl -fs http://localhost:8080/actuator/health || exit 1 # JVM 參數(shù)通過環(huán)境變量注入默認按容器內存百分比分配 ENV JAVA_OPTS-XX:MaxRAMPercentage75.0 -XX:InitialRAMPercentage40.0 -XX:UseContainerSupport -XX:HeapDumpOnOutOfMemoryError -XX:HeapDumpPath/heap-dumps/ # 切換用戶 USER app # 啟動命令注意 exec 環(huán)境變量展開 ENTRYPOINT [sh, -c, exec java $JAVA_OPTS -jar /app.jar]這個模板里我把注釋寫得很細你實際使用時把app.jar替換成你的打包產物名稱端口改成自己的服務端口健康檢查路徑根據(jù)項目實際情況調整即可。6.2 不同基線版本的適配要點JDK 8 場景基礎鏡像建議openjdk:8-jre-alpine或加入-XX:UseCGroupMemoryLimitForHeap參數(shù)JDK 8u191 可用讓 JVM 感知 CGroup 限制。再老一些的 8u131 前版本只能手動指定-Xmx。JDK 8 移到eclipse-temurin:8-jre也是可行方案維護更活躍。JDK 11 場景openjdk:11-jre-slim或eclipse-temurin:11-jre均可。JDK 11 默認啟用容器感知但建議顯式添加-XX:UseContainerSupport以保持行為明確。JDK 17 場景可以使用eclipse-temurin:17-jre或更小的17-jre-alpine。JDK 17 是當前很多新項目的選擇啟動性能、GC 表現(xiàn)、容器適配都比之前版本好不少。Spring Boot Fat Jar vs 解壓 JarFat Jar 的java -jar方式用起來簡單但啟動時要把 JAR 里的所有內嵌包解壓到臨時目錄速度稍慢。如果對啟動時間敏感可以在構建階段先解壓RUN cd /build/target java -Djarmodelayertools -jar app.jar extract COPY --frombuilder /build/target/app/ /app/Spring Boot 官方文檔里把這種鏡像稱為分層鏡像Layered Jar它的另一個好處是每一層可以獨立利用 Docker 緩存依賴層不變的話鏡像構建能省不少時間。6.3 實戰(zhàn)構建與運行驗證Dockerfile 寫完后構建鏡像和運行容器驗證的基本流程如下# 構建鏡像注意最后的上下文路徑 docker build -t order-service:1.0.0 . # 運行容器映射端口、設置內存限制、掛載日志目錄 docker run -d --name order-service \ -p 8080:8080 \ -m 1024m \ -e JAVA_OPTS-XX:MaxRAMPercentage75.0 \ -v /data/logs:/logs \ order-service:1.0.0進入容器里驗證進程和環(huán)境docker exec -it order-service /bin/bash ps -ef java -version cat /etc/timezone jcmd pid VM.flagsjcmd是 JDK 自帶的診斷工具比jstack、jmap更全面。容器里如果只有 JRE 而沒 JDK部分診斷工具會缺失。生產環(huán)境鏡像可以考慮加入較小的 JDK 構建或者通過獨立的方式連接 JMX 獲取指標。7. 常見問題與排查技巧實錄這一節(jié)專門用來記錄那些你會反復遇到、且網上資料分散的坑。每一個都是我用真金白銀的線上事故換來的經驗看到就是賺到。7.1 鏡像構建階段的問題問題 1Maven 依賴反復下載構建極慢現(xiàn)象每次構建都重新拉幾萬個小文件幾分鐘起步。排查發(fā)現(xiàn) pom.xml 和源碼分開后仍然慢查看構建緩存發(fā)現(xiàn) COPY src/ 這一步基礎鏡像已變化導致依賴緩存失效。解決辦法是上--mounttypecache,target/root/.m2對 Maven 依賴做宿主機級緩存實測幾百個依賴的項目全量構建從 8 分鐘降到 40 秒。問題 2本地能打包Docker 里打包卻失敗常見原因有三構建上下文里把 target/ 或 .git 目錄也傳進去了體積大且可能包含敏感文件網絡不通導致依賴無法下載容器里 Maven 版本和本地不一致導致某些插件行為不同。建議在項目根目錄寫一個.dockerignoretarget/ .git/ .gitignore *.iml .idea/這個文件不僅加速構建上下文傳輸也避免本地編譯產物污染構建環(huán)境。問題 3docker build 時 COPY 找不到文件排查思路確認文件在構建上下文中不是在 .dockerignore 里被排除確認路徑是相對于 Dockerfile 所在目錄的而不是相對于系統(tǒng)根目錄。如果用了多階段構建確認 source 階段的路徑拼寫是否正確。最有效的調試方式是在對應階段臨時加一行RUN ls -la看目錄結構。7.2 容器運行階段的問題問題 4容器啟動了但馬上退出看不到任何日志先用docker logs container查看輸出。如果是Error: Unable to access jarfile多半是 COPY 路徑不對。如果日志里沒有內容檢查是不是啟動腳本里用了后臺啟動方式比如nohup ... Docker 要求前臺進程占據(jù)主進程后臺方式會導致容器立即退出。問題 5應用莫名被 kill 掉exit code 為 137137 表示容器被 SIGKILL通常是內存超限。檢查方法docker inspect container看OomKilled字段是否為 truedocker stats看內存趨勢。解決辦法調整容器內存上限下調堆比例降低線程數(shù)或者給 JVM 加上-XX:ExitOnOutOfMemoryError讓問題明確暴露而不是被直接殺進程。問題 6容器啟動很慢卡在某個階段很久大概率是 JVM 啟動時熵不足-Djava.security.egdfile:/dev/./urandom能加快 SecureRandom 初始化。我在容器化部署的時候固定會把這個參數(shù)加進 JAVA_OPTS實測啟動時間可以明顯縮短。問題 7時區(qū)不對日志時間差 8 小時解決方案在前面已經講過了Dockerfile 里設置 TZ 環(huán)境變量或者/etc/localtime軟鏈。還有一種更隱蔽的情況宿主機的 /etc/localtime 是 UTC容器掛載了宿主機時區(qū)文件也會繼承錯誤時區(qū)。所以設置時區(qū)時盡量在容器內獨立設置而不要依賴宿主機。問題 8健康檢查總是不通過關鍵排查鏈確認健康端點路徑正確確認端口暴露正確確認容器內能訪問 localhost 端口有些應用監(jiān)聽在 0.0.0.0 沒問題但監(jiān)聽在 127.0.0.1 可能導致容器外訪問不到確認沒有鑒權攔截。最后用docker inspect的Health字段查看檢查日志比盲猜快得多。7.3 安全與穩(wěn)定性檢查清單這部分是給要上生產環(huán)境的團隊的清單我每發(fā)布一個 Java 服務鏡像都會過一遍檢查項達標標準運行用戶非 root 用戶運行基礎鏡像來源使用可信鏡像倉庫固定版本 tag時區(qū)明確設置為應用所在時區(qū)JVM 內存配置 CGroup 感知或百分比參數(shù)優(yōu)雅停機啟動命令使用 exec 形式應用配置 graceful健康檢查有 HEALTHCHECK 或者 K8s 探針配合日志收集stdout 日志驅動輪轉或掛載卷持久化敏感信息無密碼、密鑰等寫入鏡像層文件權限掛載目錄正確設置屬主和權限構建緩存上下文精簡依賴層可復用7.4 優(yōu)化鏡像體積的實測收益用一個中等規(guī)模的 Spring Boot 項目做對照結果很直觀方案鏡像體積啟動時間單階段 JDK 鏡像約 460MB約 8 秒多階段 JRE約 220MB約 7 秒多階段 分層 JAR Alpine約 150MB約 5 秒體積從 460MB 降到 150MB傳輸和部署成本的下降非常明顯。啟動時間的差距主要來自 Fat Jar 的解壓邏輯Spring Boot 3 和分層技術的組合還能進一步優(yōu)化。8. 更進一步面向 K8s 環(huán)境的鏡像設計思路如果你的服務最終是部署在 Kubernetes 集群里的那 Dockerfile 的寫法和裸 Docker 環(huán)境會有一些差異這里單獨講幾個關鍵點。8.1 探針策略與健康檢查的取舍K8s 環(huán)境里可以使用 livenessProbe 和 readinessProbe它們和 Docker HEALTHCHECK 的作用不同readinessProbe決定流量是否進入 Pod失敗時會從 Service 的 Endpoint 中摘除。livenessProbe決定容器是否需要重啟失敗時會殺掉容器重新拉起。兩者不能混為一談。readinessProbe 應該用業(yè)務相關的就緒指標比如數(shù)據(jù)庫連接池初始化完成、緩存預熱完成livenessProbe 則用最基礎的 JVM 存活判斷比如/actuator/health。在 K8s 里一般不需要再寫 Docker HEALTHCHECK否則兩個機制疊加可能產生非預期行為比如容器狀態(tài) unhealthy 影響排查問題的直觀性。Spring Boot Actuator 的/actuator/health會匯總所有健康指標DB、Redis、磁盤等如果某個下游依賴不可用這個端點就返回 DOWN導致 readinessProbe 把 Pod 摘掉。有時候服務本身還能處理流量比如緩存失效但能降級卻被探針判定為不健康這就需要自定義健康指標分組用單獨的端點做探針判定。8.2 鏡像 tag 策略生產環(huán)境不要使用latest作為部署 tag這是所有容器化實踐文檔里反復強調的一點。鏡像 tag 應該與版本號對應推薦形如order-service:1.2.3或者帶構建號的order-service:1.2.3-b12。在 CI/CD 流水線里用 Git commit 的短 SHA 作為 tag 也是一種常見做法優(yōu)點是能精確對到代碼版本。多環(huán)境部署時我習慣構建一次、到處運行同一個鏡像 tag 部署到測試、預發(fā)、生產避免環(huán)境差異導致行為不一致。如果不同環(huán)境需要不同的配置通過環(huán)境變量或配置中心注入而不是重新構建鏡像。8.3 Init 容器與前置依賴處理Java 服務經常有前置依賴比如數(shù)據(jù)庫、配置中心、注冊中心。如果這些依賴還沒就緒應用啟動會報錯退出。K8s 下可以用 Init 容器做依賴等待initContainers: - name: wait-for-db image: busybox:1.36 command: - sh - -c - |- until nc -z db-service 5432; do echo waiting for db... sleep 2 done但要注意這個方案等待的是 TCP 端口連通不保證數(shù)據(jù)庫真的完成了初始化。如果應用自身具備重連機制其實不用 Init 容器把等待邏輯放在應用啟動階段更健壯。Spring Boot 的spring.datasource.hikari.connection-timeout和initialization-fail-timeout可以配成超時重試這就夠了。8.4 ConfigMap 與 Secret 注入配置容器的配置注入推薦用 K8s 的 ConfigMap 和 Secret 掛載到容器內而不是把配置文件寫進鏡像。這樣鏡像本身是可復用的配置差異由編排層管理。apiVersion: v1 kind: ConfigMap metadata: name: order-service-config data: application.yml: | server: port: 8080 spring: profiles: active: prod --- apiVersion: apps/v1 kind: Deployment metadata: name: order-service spec: template: spec: containers: - name: order-service image: order-service:1.2.3 volumeMounts: - name: config mountPath: /app/config應用啟動時自動加載/app/config/application.ymlSpring Boot 默認會掃描/config目錄直接和本地開發(fā)保持一致的加載規(guī)則。9. 回看一遍幾個讓我少走彎路的經驗也許文章太長你已經忘了細節(jié)最后再拎幾個我覺得最值得記住的經驗。第一個是容器里跑 Java內存參數(shù)永遠要比你以為的更嚴格。不管你是不是在云上不管你設置了多大的容器內存只要沒有正確配置 JVM 的容器感知參數(shù)總有一個深夜會讓你從睡夢中被叫醒。第二個是啟動命令一定要用 exec 形式。那個sh -c里漏掉的exec就是容器優(yōu)雅停機失效的直接原因。寫 Dockerfile 的時候ENTRYPOINT永遠考慮用 exec 形式需要環(huán)境變量展開時再用sh -c exec ...。第三個是鏡像越小不只是省磁盤更是省每次發(fā)布的時間。多階段構建帶來的好處不僅是體積還有構建速度和可維護性。把編譯和運行環(huán)境分離思路簡單收益巨大。第四個是時區(qū)這個問題應該在 Dockerfile 里解決而不是在應用代碼里寫死。應用代碼里加TimeZone.setDefault()屬于打補丁治標不治本。容器里設置好系統(tǒng)時區(qū)應用不做任何時區(qū)特殊處理行為才統(tǒng)一。最后再分享一個小技巧調試 Dockerfile 時用docker build --progressplain可以看到每一層執(zhí)行的完整輸出比默認的交互式進度視圖好用得多。遇到構建失敗直接定位到失敗的那一行配合臨時加 RUN 命令查看環(huán)境狀態(tài)排查效率能翻倍。這些經驗是我斷斷續(xù)續(xù)踩了大半年坑才攢起來的。前面講的那些模板和參數(shù)建議你拿到真實項目里試試多跑幾個環(huán)境驗證一下。等你自己把整套流程跑順了再來回看這篇文章相信會有更深的理解。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美72网页| 午夜理论片在线观看免费| 青青草成人视频在线观看二区| 日本亚洲熟女视频| 黄片免费视频2019| 99re视频这里只有精品| 舔舔啊| 精品一区二区3区| 操逼1区| 夜夜草天天| 综合亚洲网| 国产久久一区二区| 日本狠狠干| 亚洲中文字幕熟女| 国产深喉视频一区二区| 国产日韩怡红院| #NAME?| 欧美国产视频| 亚洲美女30b| 蜜色网色哟哟| 高树玛利亚无码流出| 98色网| 日韩精品一区二区三区色欲| 亚洲 国产 精品一区| 中文字幕日韩专区精品系列| 高清在线不卡一区二区 视频| 国产亚洲色停停久久99精品91| 亚洲影视综合网| 超碰在线一区二区| 色婷婷一区二区三区久久午夜成人不| 91综合色| 麻豆亚洲AV成人无码久久精品| 国产一| 综合av影片| 久久婷婷一区二| 日本狠狠干| A久久| 国产剧情一区在线观看| 欧美亚洲激情小说| 99综合自拍| 性色乱AV一区二区| aaa淫乱视频| 91l欧美在线| 麻豆一区二区三区精品| 亚洲熟女一区| 欧美日韩亚洲少妇寂寞影院正在播放 | 天天上日日上日韩精品| 无码二级三级| 日本乱人伦片中文三区| 日va操| 亚洲综合中文字幕有码| 91麻豆天美国产欧美| 亚洲AV无码天美传媒一区| 东北黄色电影| 亚洲性综合| 日本中文字幕不卡视频| 操逼无毒无码免费视频| 我要色综合网站| 亚洲欧洲激情卡通另类文学四射小说网站 | 1人人看人人摸人人操| www.高清无码诱惑一区.com| 91精品无码久久久久久久| 992视频一区| 亚洲综合97| 伊人久久综合精品欧美| 五月天激情四射| 麻豆区99999| 国产久久视频| 97在线/亚洲| 亚洲黄片免费在线播放| 亚洲高清无码在线桃色| 日本不卡码黄色| 啊啊啊在线看| 午夜一区二区三区国产| 欧美精品成人亚洲| 蜜桃传媒视频第一区入口在线看| 国产9 9在线 | 亚洲| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 尤物黄色在线观看网站| 神马久久久久久| 日韩av不卡在线观看| 一本道综合色图| 91在线视频免费中出| 欧美在线 亚洲| 欧美人与动性人交a| 自拍大香蕉乱插| 婷婷激情一区二区三区俺也去| 草草网站影院白丝内射| 亚洲 欧美 制服 另类 自拍| 狠狠色色| 一本大道综合伊人精品热热| 少妇特黄一区二区三区| 激情黄色片在线观看| 国产精品免费久久久久久久久久| 亚洲免费人妻在| 九一综合精品视品av| 综合网欧美| 欧美亚州手机在线| 一区二区三区四区理论片| 六月丁香网| 超碰91在线| 丁香六月啪啪| 一级AV性爱| 夜夜骑天天燥| 久久综合婷婷| 一区二区三区美女超清| 特级毛片特黄久久免费看 | 婷婷色中文字幕| 天天噜| 97伊人超碰| 无码天天操| 快播久久人人aV| 91五月天| 青青草在线视频播放器| 伊人大香蕉在线| 97精品熟女少妇一区| 亚洲97网站| 后入美女国产| 亚洲偷拍自拍在线视频| 日韩免费三级黄片电影| 人妻久久| 中文字幕天天天天天| 久久久久亚洲熟妇熟女| 美国人人操人人操| 啊啊啊啊啊在线观看网址 | 色综合加勒比| 大香蕉色欲AV| 日韩少妇无吗| 国产亚洲99久久精品熟| 国产肏屁眼视频| 婷婷综合网站| 岛国网址国产| 亚洲欧美综合网| 99re95| 333kkkk·亚洲com久久| 中文字幕日韩专区精品系列| 亚洲天堂男人网| 黄色十八禁| 嗯阿好爽好紧| 在线 制服丝袜中出 人妻| 天天日夜干| 国产青一二三| 久久久久久久人妻| 欧美一级美片在线观看免费| 五十路三区在线| 97欧美色| 夜夜做夜夜爽精品视频| 人人操人人射人人干| 蜜臀久久99精品久久久久久久久| 一区二区三区 日韩欧美| 大香蕉亚洲中文| 性色一线| 天天操狠狠日夜夜干超碰撸com视频在线观看 | 天天综合站| 亚洲色91| 屁股久久久久久久久| www.99色| 草伊人高潮喷水超碰| 欧成人在线| 毛片视频白嫩| 家庭乱伦性爱av| 91 综合 色| 九九久久九九久久| 1024日韩| 婷婷五月av| 国产精品不卡一区二区三区| 视频在线观看一二三区| 国产无码精品无码| 91无码人妻| 九九aV| 超碰 欧美| 欧洲乱码视频| 亚洲性爱无码乱伦av| 日本最新免费韩国1区2区视频播放| 亚洲欧美视| 很黄很污的免费网站| 精品夜夜澡人妻无码| 中文字幕第9页萱萱影音先锋| 大色综合| 亚洲欧美日韩免费电影| WWW黄片COM| 国产丝袜欧美在线视频| 人人干人人搞人人摸| 大香蕉久操| 欧美做爰无码A片视频| 亚洲熟妇自偷自拍另欧美| 九九无码久久精品视频| 偷拍综合亚洲| jazzjazz国产精品麻豆| 日本一级二级三级网站| 天天综合~91入口| 久草草一二三四区久久| 大香久久| 强奸乱伦大香蕉网| 国产成人无码久久精品| 久草视频制服诱惑| 熟女熟妇一区二区三四区| 国产品精品自在在线午夜免费 | 9久在线视频只有精品| 91精品婷婷国产综合久久| 欧美精品一二三| 91免费看一区二区三区| 国模精品娜娜一二三区| 九热大香蕉| 狠狠爱夜夜| 久热精品在线| 小日子操bb在线看| 久久伊人大香蕉| 91久久18禁| 国产精品网址| 精品国产肉丝袜在线拍国语| 成人综合视频久久| 亚洲中文字幕熟女| 五月综合激情| 日韩精品一区,二区 九九...老司机| 欧美色性情| 老熟女乱子伦中文字幕一区二区| 欧洲免费一区二| 超碰美女97| 懂色AV蜜臀无码精品APP | 骚女高跟AV在线| 啊啊啊啊好多水| 国产懂色精品国产av| 天天享受天天看| 欧美国产婷婷久久| 日本三级黄页| 亚洲成人ab| 五月婷婷激情综合| 在线视频资源| 999久久久精品国产| 青青五月天| 欧美一级做a爰片免费视频| 亚洲一本色码中文字幕| 亚洲国产奇米影视久久| 成人在线午夜视频一区| 欧美十八禁网站| 亚州熟妇精品| 久久精品国产亚洲AV片多多| 综合色久欲| 丁香五月激情综合国产| 人妻丝袜二区| 夜夜操91744565| 欧洲性爱无码区| 激情欧美日韩女同久久| 肏逼福利网站| 新视频sss国产| 亚洲97久久精品亚洲| 亚洲素人综合| 人妻天天夜夜爽一区二区| 亚洲国产成人精品女人久久久| 殴美大黄片| 99re欧美| 国产不卡中文字幕免费avi| 一区操逼日比视频| 亚洲无码日韩电影| 无码人妻丰满熟妇奶水区毛片| 国产亚洲日韩欧| 大香蕉青青9| 婷婷色播婷婷| 岛国小电影| 欧美色图99| 特级大荫道BBwBBwBBW| 亚洲国产综合视频| 熟妇亚洲一区二区三区| 亚洲激情在线一区二区| 亚洲精品一二牛牛| 亚洲同性aV综合| 久久嫩草国产成人一区| 国产色精品午夜大片| 国产suv精品一区| 久九九九九九九热| 99色婷婷| 乱伦av麻豆| 无码外流操逼视频| 嗯嗯啊好大| 久久免费精彩视频| 约操熟妇| 婷婷在线视频在线观看| 亚州性色| 97资源站国产精品| 91路www| 欧美成人9797| 五月天啪啪| 国产精品久久久久亚洲av | 91殴美| 婷婷性网| 日韩高潮一区| 欧美日韩啪啪电影| 老熟女91视频| 亚洲综合在线91| 好色综合| 欧美性暴力猛交| 蜜桃臀久久| 亚洲精品1区| 97网址97| 无码免费精品高清| 成人av影院在线观看| 无码精品久久久久久亚洲| 97频视在线| 熟妇高潮一区二区免费视频| 男人的天堂2018东京热啪啪啪| 九九性爱网| 久久精品性| 国产精品4p在线观看| 日本不卡一区二区| 国产免费黄色一级大片| AV天堂国产| 精品国产一区二区三区在线播出| 影音先锋每日最新资源在线观看| 日韩强奸av| 日韩免费簧片| 乱伦一区二区三区‘| 国产日韩区| 日韩免费看在线黄色片| 激情网色| 人人色人人操在线| 91亚·色| 60秒免费小视频| 成人片视频| 超碰97导航| 超碰在线在公开超碰在线在公开| 97在线视频免费看| 国产色图乱伦| 美国一区二区三区视频| 天天操天天舔| 大鸡吧尹人在线| 草伊人高潮喷水超碰| 久操九九九九九九九九九九九九九九九九九九九九九九九九九九九九 | 精品久久久久黄少妇| 青青草十区九区爱夜| 国产精品天干天干综合网麻豆| 老鸭窝日丰县女人| 五十路熟女人妻一区二区在线观看 | 男人天堂2019亚洲| 嗯嗯啊好大| 丝袜视频网国产90| 中文字幕天堂在线| 国产 三级自拍| 91亚州欧美| 中文字幕AV片| 麻豆美女丝袜人妻中文| 亚洲免费在线探花| 香蕉在线一区二区三区| 亭亭在线资源| 91东北熟女| 乱伦AVxx| 日本99一区二区| 女生看匆91网站| 日本黄大片在线观看视频| 欧美瑟综合| 人妻少妇精品视频一区二区三区| 国产精品久久久亚洲第一牛牛_在线观看| 淫淫综合网| 98超碰日本| 午夜男女爽爽爽影院视频| 色欧美天天| 91亚洲黑人| 久久人爽| 人妻丝袜美腿中文字幕| 91欧美美女日韩国产婷婷| 国产AV天美| 欧美玖玖爱免费玖玖| 国产精品一区二区亚洲人成毛片| 日日摸日日碰| 97干在线视频| 国产中文精品一区二区在线观看| 亚洲日韩美女中文字幕乱| 丝袜狠狠草尤物 91| 国产欧美日韩精品中文| 超碰97伊人| 尻女朋友一夜| 精品一级毛片在线观看| 亚洲网站一区二区在线| 欧美综合第一| 91精品人妻一区二区三区蜜桃| 激情综合五月婷婷| 亚洲欧美综合网站| 青草av在线| 精品人妻一区二区蜜桃视频| 久久111| 91欧美经典| 中日韩免费看男女操逼大全| 久操不卡视频| 18啪啪手机免费性爱| 久久九九国产精品| 色色热| 在线视频免费观看午夜| 91色综合| 婷婷五月天补不补| 精品国产一区探花在线观看| 亚洲人91| 欧美少妇熟女| 91小视频| 天堂无码| 白嫩91在线亚洲| 精品久久久av| 92午夜免费福利视频| 99999久久精| 少妇一区二区三区在线观看| 殴美在线AⅤ| 综合97| 91nbbbbbb| 国产欧美伊人| 亚洲一二三四区在线免费看视频| 久9综合在线| 奇米狠999| 99re黄| 天堂在线一区二区| 精品久久視頻在线| 国产一级特黄大片处女| 久久亚码| 91女网站| 婷婷性爱| 懂色AV蜜臀无码精品APP| 少妇天堂网络| 99re在线观看| 亚洲无码成人精品| 91爱看| 久久精品店| 欧州91高潮| 国产精品91ai| 日韩草久视频| 日韩精品在线观看网站| 黑人在线91| 日本熟妇人妻中出视频| 51国产午夜精品视频| 不卡日本一区二区| 色综合20p| 亚洲激情 欧美色图| 欧美AB在线| 亚洲国产精品无码AV久久| 97青青操视频| 国产三级多多影院2022国产AA一级毛片无码| 亚洲在线观看| 亚洲AV色图一区| 国产亚洲精品玖玖玖在线观看| 91九九九馒头| 99激情视频| 一区二区三区精品久久| 午夜啪啪片| 97色伦97色伦国产欧美| 亚洲欧美第一页| 日本幼女18+| 久久9精品网站| 男人的天堂日本东京热| 成人A片男人的天堂| 人人乐大香蕉| 天天干,天天日| 色婷亚洲五月在线观看| 日韩黄色一区二区三区| 狠狠色狠狠色狠狠五月| 日韩欧美成人综合在线| 中文字幕久热视频在线| 人人操我人人干| 看免费一级在线播放毛片| 久久精品一区二区一8| 屁股久久久久久| 色香综合| 91综合熟女| 亚洲天天操| 玖玖久久久| 十八禁黄色| 中文字幕视频二区| 97亚洲精品超碰| 婷婷精品国产欧美精品亚洲人人爽| 久久久免费懂色| 综合网亚| 超碰综合色| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 97视频在线看| 久久国产AⅤ| 日本成a人v网站在线观看| 婷婷伊人五月| ji熟女.com| 国产拍偷精品网站| 一区二区精品日韩欧美在线观看| WWW啪啪的com| 国产亚洲精品第一最新| 亚洲精品中文字幕一区在线视频| 熟女字幕| 九九热精品在线| 久久久久久亚洲精品不卡人乳 | 九九探花视频在线观看| 无码伊人久久大杳蕉中文无码| 国产精品无码AV网站| 人人透人人操| 国产少妇与亚洲av| 日本999精品视频| 亚av顶级裸体一区二区三区四区五区| 久久久成人精品| 亚洲素人综合| 91天天综合网| 日欧操屄| 亚洲欧美日韩综合在线尤物| 大香交伊人网| 激情文学欧美| 97伊人超碰| 夜夜爽夜夜高潮夜夜爽| 香伊人在线| 免费黄色A片| 超碰97起碰| 欧美国产视频| 啊啊啊慢点| 乱性AV| 蜜乳AV一区二区三区四| 偷拍欧美激情| 免费99精品国产自在在线| 青青操国产夫妻| 久久成人国产精品| 九九亚洲视频| 东京热精品97综合网| 久久久天美| 九九九精品| 精品中文字幕第一页| 色五月综合网| 一区二区不卡| 91白嫩| 久久欲| 无套内射性感少妇视频| 欧美亚综合色图| 精品二区三四区五电影 | 激情婷婷黑人91| 国产无马在线| 国产精品久久伊人| 中文字幕av久久爽Av| 蜜桃臀AV在线| 国产精品久久aV| 欧美一区二区三区日韩| 99啪啪| 色淫网站优优视频| 精品亚洲国产成人av网站| 亚洲熟妇自偷自拍另欧美| 鸥美极品| 69XX一中文字幕人妻91| 女人喷水视频在线观看| 亚洲狼狼干综合1| 深爱伊人影院| 国产av波波国产精品| 亚洲欧美激情另类色图| julia ann久久| 免费家庭乱伦视频| 欧美精品999| 欧美91在线+|+欧美| 男人的天堂2018| 99热这里只有精品地址| 97bbn| 亚洲无码电影久久久| 精品少妇一区二区三区在线视频| 久操在97| wwwxxx日本爽| 91在线视频免费中出| 午夜欧美精品久久久| 免费作爱一级视频| 加勒比综合九九99视频在线播放| 性综合网| 丝袜美腿诱惑亚洲欧美视频在线观看| yazhouzaixian| 久久久久久亚洲Av无码| 蜜臀在线免费观看在线免费观看| 国产强奸乱伦第1页| 不卡一区二区日本视频| 啊操爽品善一区二区三区| 精品高潮| 超碰久久性爱| 久久超碰天天| 人人操人人大香蕉| 色眯眯av| 免费一级黄色录像影片| 丰满搜索结果 -第18页- 久久高清无码 | 黑人猛交| 中文字幕一区 二区三四五 区日 日骚 | 操淫穴亚洲五月丁香| 欧美福利视频啊啊啊啊| 丰满少妇一区二区三区四区观看| 日本加勒比无码专区| 色情五月综合婷婷| 清纯唯美综合亚洲| 久久亚洲精品成人av| 欧美色九九九| 操国产逼| 欧美亚洲第1页| 日本黄大片在线观看视频| 人妻天天操天天爽视频免费| 亚洲色性| 色色色热| 97精品一区| 日本中文字幕在线电影| 欧美—性—交—色| 欧美色五月| 精品人妻丰满熟妇一区二区三| 操操碰| 九九视频黄色片| 午夜人妻精品综合在线| 亚洲色久| 鸥美中出| 欧美大香蕉卡久久| 久久精品国产亚洲AV片多多| 视频在线观看一二三区| 老熟乱一区二区三区四区| 免费啪啪啪网站18岁| 91美女视频。| 婷婷中文网| AV天堂因数| 91在线页| 欧美日韩大香蕉| 淫骚熟女一区二区三区| 亚洲中文日韩欧美大香蕉视频| 丝袜美女诱惑 91 视频| 在线无码操| 一本色道久久综合亚洲二区三区| 亚洲综合婷婷| 亚洲丝袜综合| 日韩av三四区| 日韩欧美成人综合在线| AV男人天堂网| 激情文学网伊人| 欧美欧美啪啪视频| 亚洲欧洲久久天堂| 激情久久av一区av二区av| 婷婷10月天青娱乐| 天美国产三级传媒| 眼镜人妻101.com| 1204av韩国| 在线观看国产黄色| 亚洲开心网| 亚洲蜜臀懂色| 欧美劲爆视频一区二区| 亚洲 在线| 色眯眯射| 欧美成va视频网站| 在线视频亚洲无码| 超碰久久网| 婷婷尹人大香蕉免费| 国内毛片国产欧美拍| 久久是精品| 东京热激情视频一二三区| 一级做a爰片久久毛片图片| 婷婷五月天色网| 久久久久久大| 自拍偷拍 日韩无码| 天天cao在线| 欧美成人色| 丁香婷婷大香蕉| 国产精品爱欲| 国产一线二线三线av| 91新在线欧美| 色色色热| 国产精品呦一区二区三区| 综合久久2017| 激情小说亚洲视频| 中文伊人大香蕉视频| 国产欧美岛国精品一区| 欧美激情激情xxxx欧美专区| 亚洲亚洲亚洲天堂天堂| 91人妻丝袜无码| 亚洲第一成人影院色播| 一级性爱视频免费在线| 清纯唯美亚洲另类| 亚洲熟妇丝袜在线观看| 日本亚洲熟女视频| 无码直播久久久| 欧美丝袜91| 熟女网站最新| 亚洲。日韩。欧美| 蜜乳AV色欲AVAV无码| 人妻无一区二区三区| 精品人妻一区二区三区免费视频| 啊啊啊快操我视频| 情色AV电影| 黄片直播三级黄片两女一男| 欧美一二三级精品在线| 久久啊啊| 蜜桃午夜视频一区二区 | 九九九成人| 91在线色| 激情四射婷婷四五月天| 综合天天。| 乱论91| 无码视频一区二区| 人人天天欧洲| 亚洲色欲天天人妻无码系列专区| 91伊人久| 欧美激情另类一区二区| 婷婷九月国产| 国产成自自拍在线观看| 91精品电影18| 91丨九色丨国产打屁股| 一级黄色牲爱A级片| 97资源视频| 国产综合色精品在线观看| 日本在线999| 免看60秒涩涩视频| 欧美日本久久精品一区| 蜜桃视频精品一区二区| 国产免费永久精品无码| 国产精品婬乱一级毛片彝族| av网站免费线看| 白丝av| 97AV在线观看| 中国黄色特级精品一区二区三区片| 第四色色综合91| 国产久久一区二区午夜| 六月婷婷综合| 久久婷五月天| AAA久久| 妺妺跟我一起洗澡没忍住| 国产三级中文有码在线视频| 一起草日韩| 97在线观看播放视频| 先锋影音av先锋一区| 日韩福利综合一区| 被窝影院午夜看片无码| 五月天婷婷在线看| 丰满美女一级毛片在线播放| 超碰97人人cao| 亚洲欧美日韩制服另类| 国产精品白丝在线播放| 天天上日日上日韩精品| 午夜a成v人电影| 无码137片内射在线影院| 欧美岛国精品在线观看| 久久久久国色αv免费观看| 中文字幕免费在线观看| 激情四射五月天| 亚洲国产丝袜在线观看| 日日橹狠狠爱欧美超碰| 中文字幕人妻色偷偷久久皮| 歐美性天天| 亚洲污污网站| 欧美熟女丝袜| 搡老熟女国产1000部| 9久9久9久9久视频网站| 精品在线78| 亚洲另类色综合网站| 欧美伊人电影| 啊啊啊啊啊啊啊啊在线观看| 久久九色| 国内一区二区免费| 无遮挡男女激烈动态图| 久久黄片国产一区二区| 亚洲国产精品无码AV在线| 在线强奷到舒服的无码视频| 人妻少妇av在线观看| 男人天堂2019亚洲| 干B视频伊人网| 欧美性爱一区二区三区四区| 青操影院| 久湿久久| 成人青青草原伊人| 久久在肏| 国产无码精品成人| 欧美十八禁导航成人| 青青草天天亲夜夜操网| 麻豆精品久久久久久久| 久久精品免视看国产成人﹣蜜臀av一区. 久久精品免视看国产成人,蜜臀av一区 | 久久九七| 伊人久久亚洲色欲综合网站 | 欧美日韩另类激情图片| 亚洲人成网站7777| 丰满人妻无码一区二区三区| 香蕉欧美| 日本1区2区不卡视频| 永久电影三级在线观看| 欧美色图亚洲色| 欧洲亚洲人妻无码高清久久三区四区| 加勒比海成人视频网| 欧美偷偷网| 国色天香av| 国产二区三区粉嫩在线| 色噜噜人妻av中文字幕| 国产1024在线播放| 99精品久久久久久久婷婷| 国产小u女在线观看| 亚洲图片欧美日韩| 精品无码人妻一区二区免费蜜桃| 精品人妻久久久久一区二区三区| 久久久久亚洲Av无码专区老牛影视 | 久久男人网| 亚洲和欧美裸体美女双飞视频| 欧美 亚洲 另类 综合| 成人情色综合网| 四虎国产精品永久在线囯在线| 最近2019中文字幕国语免费版| 五月天激情婷婷| 和协影院中文字幕三区| 久久久偷拍| 国产精品网址| 碰碰在线视频| 天综合网欧美| 综合色区偷拍| 午夜一区二区三区国产| 色丁香五月婷婷| 欧美中文狠| 成人情色综合网| av在线播放国产一区| 我爱大香蕉| 殴美日韩m| 九t超碰| 日本三级网页| JULIA人妻风俗店中出电影| 91精品国| 中文字幕国产在线天堂| 婷婷在线精品| 欧美国产操逼| 69av一区二区三区| 亚洲av夫妻操穴网| 欧美78| 午夜性生活av免费在线看| 国产精品免费视频不卡| 韩国三级三级BD在线| 青草地一本线一区二区三区| 性色av蜜臀av色欲aV| 老熟女区| 97香蕉网| 99热精品免费| 日本熟妇自慰性高潮一区二区三区| 亚洲AV成人无码一二三久久| 婷婷操逼| 国产天天噜一噜久久久| 交换娇妻呻吟声不停中文字幕| 久久久999日本大片| 精品人妻久久久久一区二区三区| 伊人网综合在线视频| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 成人欧美一区二区三区黑人一| 日本三级韩国三级美三级91| av爱爱爱| 人人操天天爽| 七月婷婷综合| 欧美成人9797| 久久久四区| 国产成人精品日本视频| 青青欧洲黑| 久久av无码| 日日干夜夜干| 男人天堂新在线| 精品人人插人人操| 新精精品久久精品| 色欲av一区二区三区蜜芽| 九九十八精品| 伊人国产成人av网站| 欧美亚洲国内自拍| 一区二区三| 亚洲天堂,男人| 男人天堂2030| 中文字幕黑人大片| 亚洲在线91| 青青草日韩无码| 国产日韩怡红院| 五月激情影院| 日本不卡在线二区三区| 免费在线观看AV无码网站| 亚洲图片欧美另类综合免费视频大大香| 精品亚洲国产成人精品| 久久久久久少妇| 成人网站 免费观看| 无码人妻系列少妇| 东亚亚洲无码高清| 国产精品另类一区大香蕉| 国产一区二区久久| 欧美v日韩欧亚洲电影天堂色诱,国产传媒| 1区2区3区视频| 日韩精品影视| 日本三级A片网站com| 熟妇高潮二区三区| 色精品极品| 久久久成人国产精品无码| 日本孕妇一区二区视频操逼免费看| 亚洲欧美色综合| 青娱乐 青青青操 日逼| 中文字幕高清20页视频| A级片一区| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 亚洲欧美成人在线| 97综合国产| 久久免费看高潮毛片韩国| 久久美女国产| 97色操| 亚洲 图片 综合91| 国产对白刺激视频| 蜜桃传媒视频第一区入口在线看| 亚洲少妇喷视频看| 国产亚洲精品久久久久小| 97精品在线| 久久99久久99久久99人受| 探花精品 一区二区| 欧美韩国你懂得在线| 韩国一级做A片免费的| 99无码| 国产亚洲色婷婷99精品91| 干婷婷综合网| 91精品国产91久久青草 | 天天综合网日韩7799| yazhououmeizongya| 日韩丝袜人妻AV| 国产福利在线视频网站| 男人的天堂va在线| 性性久久| 能看的av| 久操网址| 午夜精品久久久| 日日日色色色色色| 美女啊啊啊啊啊啊啊| 乱伦日本色图AⅤ| 在线视频97| 91精品操美女| 75大香蕉| 伊人91| 污污汅18禁网站在线永久免费观看 | 亚洲无码一二三区| 日本一道在线播放高清| 青青久久久| 内射黑人| 99无码精品| av在线免费一区二区| 欧美91精品国产自产| 欧亚韩国999| 男人天堂久久日韩| 深爱五月天| 日韩成人精品视频自拍| 最新无码国产| 成人无码欧美一级A片狼牙直播| 91久久堂| 国产suv精品一区二区四| 人看人人摸人人操| 国产精品成人久久一区二区三区| 风韵犹存大大大大香蕉| 久久精品视频一区三区小泽玛利亚| 久久精品欧美一区蜜桃| 国产强奸超碰AV| 青青青国产手线观看视频2| 1024精品在线| 国外91| 日韩成人午夜精品久久高潮| 日本色婷婷| 亚洲中文字母在线播放| 中文字幕一区二区三区字幕| 欧美精品97| 免费男人的天堂| 99精品丰满人妻| 97爱欧美| 麻豆天美电影一区二区| 免费视频a级毛片免费视频| 久久黄色视频一区二区三区 | 乱伦强奸区日韩| 校园春色AV天堂| 国偷自 一区二区| 97自拍一区| 四虎 精品 WWW| 无码色| 欧美成va视频网站| 把腿张开老子CAO烂你| 国产一级高跟丝袜| 黄色视频高清无码网站| 亚州综| 97ai亚洲| 国产熟女自拍| 亚洲drav色图| 蜜桃色院一区久久| 99热精品国产| 中文字幕少妇色| 国产精品久久久视频| 色性欧美| 亚州精人品大香蕉| 99精彩视频| 国产精品成人在线| 女人高潮抽搐喷水视频网站| 亚洲最新a在线观看| 一起草日韩| 岛国视频一二三区| 精品久久久久久无码| 一区二区三区免费视频入口| 一区二区乱码福利| 久久狠狠色噜噜狠狠狠狠97| 超碰色综合| 日韩无码极品| 久久精品一区二区一8| 永久电影三级在线观看| 日韩特级毛片免费观看全集| 少妇一级无码精品| 国产精品久久久无码aV去| 欧美真人抽搐一进一出gif| 狠狠久久手机视频精品| 日韩黄片影院| 90后后入| 五月婷婷色色| 久久国产热视频97电影| 91 丝袜在线观看| 欧美日韩香蕉| 欧美,日韩,中文,另类| A片 AV一级在线播放观看免费| 破处bbq| 女人高潮大叫一级毛片| 亚洲精品97| 久久久麻豆精品| 国产精品无码av| 欧美熟女操屄| av资源在线播放天堂| 91九色在线| 色噜噜综合在线| 欧洲乱码一区二区| 97超碰亚洲| 台湾佬中文娱乐网久久久久久久久久com | 思思99热| 日韩情色视频| 日韩ab网 | 麻豆色约约| 国产精品网址| 日本精品中文字幕视频| 日韩亚洲精品一区二区| 亚洲精品精品一区二区| 色婷婷丁香五月| 一区麻豆 高清中文字幕| 东北女人操比视频| 色偷偷2020免费视频播放| 性色A∨91| 美女视频尤物网在线看| 最近2019中文字幕国语免费版| 久久激情视频| 国产性感骚丝袜在线| 欧美成人色| 精品人成视频在线观看| 91日韩网站| 国产色图乱伦| 欧美特黄视频网站| 99天天超碰| 大香交伊人网| 日韩欧美午夜一区二区| 精品无人区麻豆乱码1区2区图片| 超碰99热中文字幕| 五月丁香婷婷色| 国产亚洲精品农村妇女 | 中文字幕视频二区| 亚洲高潮影院| 欧美熟女丝袜| 亚洲情色 欧美| 国产精品白丝在线播放| 欧亚性爱啪啪| 日韩素人无码一区二区三区三州| 91综合无码| 好爽免费视频| 男人的天堂视频精品乱在线| 久久久久久久强迫| 国产偷拍自拍在线视频| 亚洲欧洲小说图片视频| 91女优在线观看| 亚洲欧美首页| 温婉少妇玩3p| 色五月婷婷五月天| 亚洲情色在线| 天天综合网~91综合网| 麻豆成人影音在线| 国产精品婬乱一级毛片彝族| 日韩精品.久久精品.AV女优.天美传媒| 欧美久久婷婷| 久久五月份| 亚洲中文日韩精品| 亚洲精品国产熟女久久久久久| 色播五月丁香| 亚洲第91页| 抽插亚洲无码| 思思热久久成人| 台欧久久精品视频| 人妻人人澡人人爽人人| 久久久青青草| 日本不卡高清视频| 天天摸天天插天天日| 丝袜高跟澳门91视频| 欧美人与动性人交a| 国产高潮AA片免费看| 熟女一区二区| 大香蕉草草| 欧美性爱三区二区| 综合亚洲情色| 蜜臀网 一区| 欧美日韩日产免费网站看| 久久久久精| 中文字幕欧美精品亚洲日韩蜜臀| 国产福利视频精品视频| 五月丁香啪| 欧美日韩亚洲国产中文永久天天看| 三男一女不戴套的A片| 五月婷婷无码| 色五月激情AV在线| 国产一区二区三区免费视频在性观看 | 综合网少妇| 欧美极品性爱天天射| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 日逼97| 凸凹视频在线观看| 欧美 日韩 婷婷 五月| 蜜臀一区二区三区在线| 日本操逼视频导航| 国产精品91ai| 美女裸体无遮挡永久免费观看网站| 超碰99在线| 97超级色碰碰| 欧美十八禁导航成人| 久9久9精品| 久久精品人人做人人看| 91麻豆天美国产欧美日| 午夜传煤十二区精品| 午夜国产成人福利视频| 成人在线永久| 欧美的性爱网站免费| 亚洲aw毛茸茸在线| 少妇综合| 免费视频无码| 久久在肏| 五月婷婷六月天| 在线看污网站| 亚洲最大AV网| 国产自产22区| 一级久久性爱视频| 狠狠色狠狠色狠狠五月| 五月激情综合网| 蜜臀AV一区二区三区| 97视频免费在线观看| 嗯啊不要在线| 神马麻豆福利院| 人人操人人搞人人草| 欲色综合| 夜夜影视四色| 欧美少妇色综合| 欧美性爱第一区| 精品一二三区四视频| 天天综合网日韩7799| 欧美视频激情久久久久久| 成人麻豆av电影网站| 综合欧美日韩在线| 欧美日韩在线国产在线| 日韩视频小说在线观看| 美女尤物人人操| 是还免费视频1727我| 亚洲精品日日夜夜52| 欧美一级做a爰片免费视频| 中文字幕av片| 亚洲精品视频在线播放| 青青草依人大香蕉| 99这里只有精品| 午夜毛片亚洲精品片国产久久久| 爱爱动态120秒| 上特色A在线| 日韩精品高清资源在线| 国产精品永久免费10000| 欧美韩国你懂得在线 | 十八禁啪啪视频| 嗯嗯啊啊操死我| 国产精品一区二区久久精品| 97一区二压| 黄色区免费观看中文字幕| 骚日日av| 久久久久免费少妇| 人妻另类 专区 欧美 制服| 大香蕉伊人一区在线观看| 黄视频免费| 欧美第一页| 婷婷99狠狠躁天天躁| 成年人黄色| 樱花草社区www中国|