戰(zhàn)：Java版本、war包、插件源與調(diào)優(yōu))
把Jenkins跑在CentOS 7上這件事聽起來就三步裝Java、跑war包、打開網(wǎng)頁(yè)。但真做起來十個(gè)人里會(huì)有八個(gè)卡在初始化插件那一步剩下兩個(gè)多半栽在Java版本或者服務(wù)起不來的問題上。我最近又在一批存量CentOS 7機(jī)器上重新部署了一遍把整個(gè)流程、踩過的坑和部署完之后的調(diào)優(yōu)項(xiàng)都捋了一遍。這篇文章不是給你念官方文檔而是把我實(shí)際執(zhí)行的步驟、每一步為什么要這么做、以及出問題時(shí)的排查思路完整寫出來。如果你正打算在一臺(tái)CentOS 7上從零搭Jenkins照著走就行。1. 部署前先解決兩個(gè)環(huán)境問題Java版本和系統(tǒng)基礎(chǔ)項(xiàng)1.1 新版Jenkins對(duì)Java版本的要求別拿默認(rèn)JDK直接干CentOS 7自帶的yum源里默認(rèn)的Java是OpenJDK 1.8而新版Jenkins LTS已經(jīng)要求Java 11甚至Java 17。如果你圖省事直接yum install java-1.8.0-openjdk然后去跑最新版Jenkins war包大概率會(huì)看到類似“Unsupported Java version”的提示或者服務(wù)起來之后一堆插件加載異常。這里我按實(shí)際使用場(chǎng)景給出兩個(gè)穩(wěn)妥組合組合Java版本Jenkins版本適用場(chǎng)景組合AOpenJDK 17最新穩(wěn)定LTS當(dāng)前推薦新部署、生產(chǎn)環(huán)境、想長(zhǎng)期維護(hù)組合BOpenJDK 11較老的LTS版本如2.361.x存量機(jī)器有Java版本約束、只想快速跑通我建議直接用組合A。OpenJDK 17在CentOS 7上完全能跑性能比8和11都好。CentOS 7的yum源里沒有OpenJDK 17所以需要手動(dòng)下載JDK壓縮包解壓安裝。這個(gè)操作并不復(fù)雜# 創(chuàng)建Java安裝目錄 sudo mkdir -p /opt/java # 從你信任的開源鏡像站下載OpenJDK 17的Linux x64壓縮包 # 文件名格式一般是 OpenJDK17U-jdk_x64_linux_hotspot_17.0.12_7.tar.gz sudo tar -zxvf OpenJDK17U-jdk_x64_linux_hotspot_17.0.12_7.tar.gz -C /opt/java/ # 解壓后目錄名帶版本號(hào)做一個(gè)軟鏈方便后續(xù)配置 sudo ln -s /opt/java/jdk-17.0.127 /opt/java/jdk-17 # 寫入環(huán)境變量 sudo tee /etc/profile.d/jenkins-java.sh /dev/null EOF export JAVA_HOME/opt/java/jdk-17 export PATH$PATH:$JAVA_HOME/bin EOF # 讓環(huán)境變量立即生效 source /etc/profile.d/jenkins-java.sh # 驗(yàn)證 java -version這里有一個(gè)容易忽略的細(xì)節(jié)解壓出來的目錄名通常帶加號(hào)比如jdk-17.0.127而符號(hào)在systemd服務(wù)文件里如果直接寫路徑會(huì)出問題。所以我做了軟鏈/opt/java/jdk-17后續(xù)所有配置都引用這個(gè)干凈路徑這是實(shí)戰(zhàn)中少走彎路的關(guān)鍵一步。1.2 防火墻、SELinux和時(shí)鐘不處理后面全是玄學(xué)Java版本搞定之后緊接著就要看系統(tǒng)基礎(chǔ)狀態(tài)。很多人在部署完Jenkins之后發(fā)現(xiàn)頁(yè)面打不開、寫文件失敗、構(gòu)建日志時(shí)間差8小時(shí)這些其實(shí)都不是Jenkins的問題而是系統(tǒng)環(huán)境沒弄干凈。防火墻方面如果你在內(nèi)網(wǎng)測(cè)試環(huán)境最簡(jiǎn)單的做法是關(guān)閉firewalld并禁用開機(jī)自啟sudo systemctl stop firewalld sudo systemctl disable firewalld如果你的服務(wù)器需要保留防火墻那就只放行Jenkins端口sudo firewall-cmd --permanent --add-port8080/tcp sudo firewall-cmd --reloadSELinux是另一個(gè)坑。用war包方式部署在自定義目錄/opt/jenkins時(shí)SELinux的默認(rèn)策略可能會(huì)阻止Jenkins寫文件。對(duì)絕大多數(shù)中小團(tuán)隊(duì)來說內(nèi)網(wǎng)服務(wù)器直接放寬容許狀態(tài)是更務(wù)實(shí)的選擇sudo setenforce 0 sudo sed -i s/^SELINUXenforcing/SELINUXpermissive/ /etc/selinux/config不建議直接改成disabled因?yàn)楦腟ELinux配置文件為disabled之后下次重啟SELinux策略會(huì)被重新初始化反而可能帶來其他意外。設(shè)成permissive已經(jīng)足夠讓Jenkins正常工作。時(shí)鐘同步很容易被忽略但Jenkins構(gòu)建日志、定時(shí)任務(wù)全部依賴系統(tǒng)時(shí)間。順手裝上chrony并啟動(dòng)sudo yum install -y chrony sudo systemctl enable --now chronyd sudo chronyc makestep這三件事做完后面部署的過程會(huì)順暢很多大部分“莫名其妙的報(bào)錯(cuò)”都是從這里先排除掉的。2. 安裝方式我為什么推薦war包加systemd管理2.1 官方rpm倉(cāng)庫(kù)安裝與war包部署怎么選CentOS 7上的Jenkins安裝一般有兩種主流方式官方rpm倉(cāng)庫(kù)安裝、war包手動(dòng)部署。很多教程默認(rèn)讓你用rpm倉(cāng)庫(kù)命令確實(shí)短但實(shí)際用起來有幾個(gè)隱患。官方rpm倉(cāng)庫(kù)的地址維護(hù)在Jenkins官網(wǎng)GPG key地址會(huì)不定期更新如果你照搬幾個(gè)月前的教程經(jīng)常遇到key下載失敗或者repo文件過期。rpm方式對(duì)目錄結(jié)構(gòu)也做了固定封裝/var/lib/jenkins、/etc/sysconfig/jenkins這些路徑全定死了對(duì)新手友好但可定制性差一些。war包部署的邏輯更簡(jiǎn)單Jenkins本質(zhì)上是一個(gè)Java Web應(yīng)用官方提供一個(gè)可獨(dú)立運(yùn)行的war包里面內(nèi)置了Web服務(wù)器直接用java -jar就能跑起來。這種方式的好處有三個(gè)版本完全自己控制想用哪個(gè)LTS版本自己下載不受yum倉(cāng)庫(kù)更新節(jié)奏影響目錄結(jié)構(gòu)自定義升級(jí)就替換war包回滾也方便用systemd管理后開機(jī)自啟、崩潰重啟、日志采集都和系統(tǒng)原生服務(wù)保持一致我個(gè)人的建議是如果只是臨時(shí)體驗(yàn)rpm方式也行但如果要長(zhǎng)期維護(hù)、還要寫進(jìn)自動(dòng)化部署腳本里war包加systemd的方式更靠譜。2.2 war包部署完整步驟和systemd服務(wù)文件先創(chuàng)建Jenkins運(yùn)行所需的目錄和專用用戶sudo mkdir -p /opt/jenkins sudo mkdir -p /var/lib/jenkins sudo mkdir -p /var/log/jenkins sudo useradd -r -s /sbin/nologin jenkins sudo chown -R jenkins:jenkins /opt/jenkins sudo chown -R jenkins:jenkins /var/lib/jenkins sudo chown -R jenkins:jenkins /var/log/jenkins這里專門創(chuàng)建一個(gè)名叫jenkins的系統(tǒng)用戶目的是讓Jenkins進(jìn)程以普通用戶權(quán)限運(yùn)行避免一旦Jenkins被攻破就直接拿到root權(quán)限。然后下載war包并放到/opt/jenkins目錄下cd /opt/jenkins sudo wget https://get.jenkins.io/war-stable/latest/jenkins.war這個(gè)官方下載地址在部分網(wǎng)絡(luò)環(huán)境下可能比較慢如果慢到無(wú)法接受就找一個(gè)國(guó)內(nèi)開源鏡像站在鏡像站的jenkins目錄下找war-stable子目錄即可。鏡像站和官方保持同步用起來沒有區(qū)別。接著創(chuàng)建systemd服務(wù)文件sudo tee /etc/systemd/system/jenkins.service /dev/null EOF [Unit] DescriptionJenkins Automation Server Afternetwork-online.target Wantsnetwork-online.target [Service] Typesimple Userjenkins Groupjenkins WorkingDirectory/var/lib/jenkins EnvironmentJAVA_HOME/opt/java/jdk-17 EnvironmentJENKINS_HOME/var/lib/jenkins EnvironmentJENKINS_WAR/opt/jenkins/jenkins.war ExecStart/opt/java/jdk-17/bin/java -Xms1024m -Xmx2048m -Duser.timezoneAsia/Shanghai -jar /opt/jenkins/jenkins.war --httpPort8080 Restarton-failure RestartSec30s [Install] WantedBymulti-user.target EOF這個(gè)服務(wù)文件里有幾個(gè)細(xì)節(jié)值得解釋。WorkingDirectory設(shè)置了工作目錄Jenkins在初始化時(shí)會(huì)往當(dāng)前目錄寫入一些臨時(shí)文件如果這個(gè)目錄沒有寫權(quán)限啟動(dòng)會(huì)失敗。EnvironmentJENKINS_HOME/var/lib/jenkins明確了Jenkins的數(shù)據(jù)目錄這個(gè)目錄之后保存所有任務(wù)配置、插件、構(gòu)建記錄是全部家當(dāng)。內(nèi)存參數(shù)-Xms1024m -Xmx2048m是我在2核4G機(jī)器上的常用配置。如果機(jī)器內(nèi)存只有2G建議改成-Xms512m -Xmx1024m別貪大。時(shí)區(qū)參數(shù)-Duser.timezoneAsia/Shanghai寫在JVM參數(shù)里避免構(gòu)建日志和任務(wù)時(shí)間全部顯示成UTC時(shí)間。2.3 驗(yàn)證服務(wù)狀態(tài)和日志服務(wù)文件寫好之后執(zhí)行sudo systemctl daemon-reload sudo systemctl enable --now jenkins查看狀態(tài)sudo systemctl status jenkins -l正常情況下能看到進(jìn)程是active (running)并且監(jiān)聽在8080端口。再用curl驗(yàn)證一下curl -I http://localhost:8080如果返回HTTP/1.1 302說明服務(wù)已經(jīng)正常響應(yīng)它只是在等待你訪問初始化頁(yè)面。如果服務(wù)啟動(dòng)失敗第一時(shí)間看日志journalctl -u jenkins -f日志里會(huì)明確告訴你失敗原因最常見的是/var/lib/jenkins目錄屬主不對(duì)或者Java路徑不對(duì)。排查思路就是先看屬主再看Java路徑最后看端口占用。3. 首次初始化最容易被卡住的插件安裝環(huán)節(jié)3.1 首次解鎖密碼在哪看服務(wù)正常啟動(dòng)后瀏覽器訪問http://服務(wù)器IP:8080第一次進(jìn)入會(huì)看到“解鎖Jenkins”頁(yè)面。解鎖密碼在服務(wù)端保存查看方式sudo cat /var/lib/jenkins/secrets/initialAdminPassword把這一串密碼復(fù)制粘貼到網(wǎng)頁(yè)輸入框就能進(jìn)入下一步。3.2 插件初始化轉(zhuǎn)圈問題把更新源換成鏡像站進(jìn)入初始化向?qū)Ш笙到y(tǒng)會(huì)推薦安裝一組默認(rèn)插件點(diǎn)擊“安裝建議的插件”。很多人的噩夢(mèng)從這里開始頁(yè)面卡在“安裝中”幾個(gè)小時(shí)都不動(dòng)彈進(jìn)度條紋絲不動(dòng)。這個(gè)問題的根因是Jenkins初始化時(shí)要從它官方更新中心下載插件元數(shù)據(jù)和插件本身而官方更新服務(wù)器在你所處的網(wǎng)絡(luò)環(huán)境下訪問極不穩(wěn)定經(jīng)常連接超時(shí)頁(yè)面就卡住了。解決辦法不是傻等而是提前把更新中心地址換成國(guó)內(nèi)鏡像站。這里有一個(gè)關(guān)鍵認(rèn)知鏡像站只是鏡像了Jenkins的update-center.json元數(shù)據(jù)文件但該文件內(nèi)部記錄的每個(gè)插件的下載URL仍然指向官方地址。如果只改更新中心URL你會(huì)發(fā)現(xiàn)元數(shù)據(jù)能讀取了但安裝插件時(shí)依舊超時(shí)。所以正確姿勢(shì)是把update-center.json下載到本地把內(nèi)部所有插件下載地址批量替換成鏡像站地址再讓Jenkins讀取這個(gè)本地文件。我在實(shí)踐中的完整步驟如下。先下載鏡像站的update-center.json保存到/var/lib/jenkins下cd /var/lib/jenkins sudo -u jenkins curl -fsSL --compressed -o update-center.json https://你的鏡像站域名/jenkins/updates/update-center.json--compressed參數(shù)很重要因?yàn)樵摻涌诜祷氐氖莋zip壓縮內(nèi)容如果不加這個(gè)參數(shù)下載到本地的是一個(gè)壓縮過的文件后面sed替換會(huì)直接失敗。然后替換文件內(nèi)的插件下載地址前綴sudo -u jenkins sed -i s#https://updates.jenkins.io/download#https://你的鏡像站域名/jenkins#g /var/lib/jenkins/update-center.json接著修改Jenkins的更新中心配置文件sudo -u jenkins cat /var/lib/jenkins/hudson.model.UpdateCenter.xml EOF ?xml version1.0 encodingUTF-8? sites site iddefault/id urlfile:///var/lib/jenkins/update-center.json/url /site /sites EOFhudson.model.UpdateCenter.xml這個(gè)文件是Jenkins讀取更新中心配置的地方默認(rèn)指向官方URL。改成file://協(xié)議指向本地文件后插件元數(shù)據(jù)和下載地址全部走本地速度會(huì)明顯改善。改完重啟服務(wù)sudo systemctl restart jenkins再回到瀏覽器刷新頁(yè)面重新進(jìn)入向?qū)Т藭r(shí)安裝插件的速度通常是本地網(wǎng)絡(luò)中拉取鏡像站的速度幾十個(gè)插件基本幾分鐘內(nèi)裝完。3.3 跳過安裝之后如何再補(bǔ)插件如果你的初始化頁(yè)面已經(jīng)卡死先關(guān)掉頁(yè)面重啟Jenkins服務(wù)然后重新訪問初始化頁(yè)面時(shí)不選“安裝建議的插件”直接選擇“選擇要安裝的插件列表”但不要勾選任何插件直接提交。這樣就能繞過下載環(huán)節(jié)進(jìn)入創(chuàng)建管理員頁(yè)面。創(chuàng)建完管理員之后進(jìn)入“系統(tǒng)管理Manage Jenkins”下的“插件管理Plugins”在“高級(jí)”標(biāo)簽頁(yè)里同樣可以修改更新站點(diǎn)配置。把Update Site改成file:///var/lib/jenkins/update-center.json保存后回到“可選插件”頁(yè)面就能正常搜索和安裝插件了。生產(chǎn)環(huán)境中以下幾個(gè)插件建議必裝插件名作用說明localization-zh-cnJenkins中文語(yǔ)言包界面漢化團(tuán)隊(duì)協(xié)作時(shí)降低使用門檻gitGit源碼管理Jenkins能拉取Git倉(cāng)庫(kù)代碼的基礎(chǔ)插件pipeline-stage-view流水線階段視圖可視化查看流水線各階段執(zhí)行情況docker-workflowDocker構(gòu)建支持使用Docker容器作為構(gòu)建節(jié)點(diǎn)時(shí)必需role-based-authorization-strategy基于角色的權(quán)限管理多人共用時(shí)區(qū)分不同權(quán)限4. 部署完立刻要做的四件事內(nèi)存、時(shí)區(qū)、反代和權(quán)限4.1 調(diào)整JVM內(nèi)存和時(shí)區(qū)避免構(gòu)建到一半OOMJenkins安裝完成并不代表結(jié)束默認(rèn)配置跑幾個(gè)任務(wù)之后就會(huì)暴露問題。首先就是內(nèi)存設(shè)置。Jenkins的war包自帶的默認(rèn)JVM參數(shù)比較保守一旦同時(shí)構(gòu)建多個(gè)Job經(jīng)常出現(xiàn)OutOfMemoryError表現(xiàn)為某次構(gòu)建卡死或是服務(wù)無(wú)響應(yīng)。我在systemd服務(wù)文件里已經(jīng)寫入了-Xms1024m -Xmx2048m如果你安裝時(shí)用的不是上面的服務(wù)文件就需要打開服務(wù)文件檢查確認(rèn)。另外日志里經(jīng)常出現(xiàn)java.lang.OutOfMemoryError: Metaspace說明JVM元空間也需要調(diào)大可以在JVM參數(shù)里追加-XX:MaxMetaspaceSize512m。時(shí)區(qū)問題也要反復(fù)確認(rèn)。即使系統(tǒng)時(shí)區(qū)是Asia/ShanghaiJenkins默認(rèn)的JVM時(shí)區(qū)也可能是UTC結(jié)果就是構(gòu)建歷史顯示時(shí)間和實(shí)際時(shí)間差8個(gè)小時(shí)。最佳做法是在啟動(dòng)參數(shù)里寫死時(shí)區(qū)也就是服務(wù)文件里的-Duser.timezoneAsia/Shanghai。在JVM參數(shù)里寫死比在系統(tǒng)設(shè)置里改要可靠得多。4.2 用Nginx做反向代理順便解決URL和CSRF問題如果Jenkins所在的機(jī)器有對(duì)外域名或者你想通過標(biāo)準(zhǔn)80端口訪問就很有必要用Nginx做一層反向代理。CentOS 7上安裝Nginxsudo yum install -y nginx然后寫一個(gè)Jenkins專用的server配置server { listen 80; server_name jenkins.你的域名.com; client_max_body_size 100m; location / { proxy_pass http://127.0.0.1:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_read_timeout 300s; } }寫完配置后啟動(dòng)服務(wù)sudo systemctl enable --now nginx sudo nginx -t sudo systemctl reload nginx反代配置完成后還有一個(gè)容易被忽略的步驟登錄Jenkins進(jìn)入“系統(tǒng)管理 系統(tǒng)配置”把“Jenkins URL”從http://localhost:8080/改成http://jenkins.你的域名.com/。這個(gè)URL如果不改Jenkins在發(fā)送構(gòu)建通知、Webhook回調(diào)時(shí)會(huì)使用錯(cuò)誤的地址導(dǎo)致Git倉(cāng)庫(kù)推送后觸發(fā)構(gòu)建失敗。4.3 端口和權(quán)限默認(rèn)配置不能直接上線war包部署的Jenkins默認(rèn)監(jiān)聽0.0.0.0:8080也就是說如果這臺(tái)服務(wù)器有公網(wǎng)IP任何人都能直接訪問你的Jenkins頁(yè)面。默認(rèn)管理員密碼是初始化時(shí)你自己設(shè)置的但如果密碼太弱風(fēng)險(xiǎn)極大。我對(duì)所有生產(chǎn)環(huán)境的建議是不要讓Jenkins直接暴露在公網(wǎng)。最穩(wěn)妥的做法是讓Jenkins只監(jiān)聽內(nèi)網(wǎng)或本機(jī)sudo sed -i s/--httpPort8080/--httpPort8080 --httpListenAddress127.0.0.1/ /etc/systemd/system/jenkins.service sudo systemctl daemon-reload sudo systemctl restart jenkins然后通過Nginx反向代理對(duì)外提供服務(wù)。這樣外網(wǎng)只能訪問Nginx的80端口而Nginx需要配置訪問控制。如果連Nginx都不想暴露就在云安全組里只放行特定IP訪問80端口。權(quán)限管理上如果只是單人或小團(tuán)隊(duì)使用默認(rèn)的“登錄用戶可以做任何事”可以接受。但人多之后就需要安裝role-based-authorization-strategy插件按角色分配“系統(tǒng)管理員”“普通開發(fā)者”“只讀用戶”等權(quán)限避免有人誤刪Job或者修改全局配置。5. 運(yùn)行期間踩過的坑四類故障排查實(shí)錄5.1 缺字體庫(kù)導(dǎo)致的構(gòu)建報(bào)錯(cuò)Jenkins在構(gòu)建過程中如果涉及生成HTML報(bào)告、圖片驗(yàn)證、PDF輸出等功能可能會(huì)拋出一個(gè)異常java.lang.UnsatisfiedLinkError: /usr/lib64/libfontconfig.so.1: cannot open shared object file: No such file or directory這個(gè)報(bào)錯(cuò)的直觀意思是找不到字體庫(kù)文件。CentOS 7最小化安裝經(jīng)常不帶字體相關(guān)依賴而Jenkins構(gòu)建過程中某些Java繪圖操作需要調(diào)用系統(tǒng)的字體庫(kù)。解決辦法很簡(jiǎn)單sudo yum install -y fontconfig dejavu-sans-fonts裝完之后重啟Jenkins這個(gè)報(bào)錯(cuò)就不會(huì)再出現(xiàn)。這個(gè)問題在Docker容器內(nèi)跑Jenkins時(shí)同樣常見基礎(chǔ)鏡像選擇時(shí)要注意選帶字體庫(kù)的鏡像。5.2 端口沖突和Home目錄屬主問題有一次我部署完Jenkins后執(zhí)行systemctl start jenkins提示失敗systemctl status jenkins -l顯示Error: Failed to start Jenkins查看journalctl -u jenkins -f發(fā)現(xiàn)日志末尾有java.net.BindException: Address already in use。用ss -lntp查了一下果然8080端口被另一個(gè)進(jìn)程占用。這種問題的處理最簡(jiǎn)單要么殺掉占用進(jìn)程要么換掉Jenkins端口。換端口只需要修改service文件里的--httpPort8080為--httpPort9090然后重啟服務(wù)。更隱蔽的一個(gè)坑是目錄屬主問題。Jenkins服務(wù)以jenkins用戶運(yùn)行但如果你在root下執(zhí)行過java -jar jenkins.war它會(huì)在當(dāng)前用戶目錄下生成.jenkins文件夾。之后再用systemd方式啟動(dòng)由于JENKINS_HOME權(quán)限不對(duì)或者目錄指向不一致會(huì)出現(xiàn)無(wú)法寫入配置文件的報(bào)錯(cuò)。我的排查習(xí)慣是啟動(dòng)失敗后先執(zhí)行l(wèi)s -ld /var/lib/jenkins stat -c %U:%G /var/lib/jenkins如果屬主不是jenkins:jenkins直接用chown -R jenkins:jenkins /var/lib/jenkins修正。這類問題在教程中往往一筆帶過實(shí)際排障時(shí)卻占了半壁江山。5.3 構(gòu)建節(jié)點(diǎn)找不到j(luò)ava命令Jenkins在上游機(jī)器上跑得好好的但到一個(gè)新配置的構(gòu)建節(jié)點(diǎn)上執(zhí)行Pipeline或者自由風(fēng)格任務(wù)時(shí)報(bào)錯(cuò)/usr/bin/env: ‘java’: No such file or directory這個(gè)問題不是Jenkins配置問題而是構(gòu)建節(jié)點(diǎn)的PATH環(huán)境變量里沒有Java。Jenkins執(zhí)行構(gòu)建時(shí)通過ssh等方式連上節(jié)點(diǎn)調(diào)用env命令初始化環(huán)境如果你的Java是安裝在/opt/java/jdk-17并且只在/etc/profile.d/jenkins-java.sh里寫了環(huán)境變量但Jenkins的登錄shell不一定加載這個(gè)文件。保險(xiǎn)做法是到“系統(tǒng)管理 全局工具配置”里在JDK安裝部分手動(dòng)指定Java路徑取消“自動(dòng)安裝”選項(xiàng)明確填上/opt/java/jdk-17。這樣Jenkins在調(diào)用Maven或Java編譯時(shí)會(huì)自己拼好完整路徑不再依賴節(jié)點(diǎn)shell的PATH環(huán)境變量。5.4 CentOS 7 EOL之后yum源失效CentOS 7生命周期結(jié)束后不少默認(rèn)yum源里的軟件包已經(jīng)遷移或下架。如果你在新機(jī)器上執(zhí)行yum install時(shí)提示404或者找不到路徑需要把系統(tǒng)yum源切換到存檔源或者遷移到繼續(xù)維護(hù)的社區(qū)源。我處理這類問題時(shí)會(huì)把/etc/yum.repos.d/下的repo文件里的mirror.centos.org換成存檔源地址。這個(gè)操作要在部署Jenkins之前做否則可能連fontconfig都裝不上。另外還要明白一點(diǎn)CentOS 7本身已停止維護(hù)如果這臺(tái)機(jī)器要長(zhǎng)期對(duì)外提供服務(wù)后續(xù)系統(tǒng)安全更新會(huì)缺失這屬于運(yùn)維層面的長(zhǎng)期風(fēng)險(xiǎn)建議盡早規(guī)劃遷移到更新的操作系統(tǒng)版本。6. 這幾次部署下來我額外會(huì)寫進(jìn)運(yùn)維清單的事部署環(huán)境不同遇到的問題會(huì)略有差異但有幾件事我每次都會(huì)固定寫進(jìn)自己的運(yùn)維清單里。第一是備份/var/lib/jenkins這個(gè)目錄是整個(gè)Jenkins的全部家當(dāng)Job配置、構(gòu)建記錄、插件配置全在里面。我用一個(gè)簡(jiǎn)單的cron任務(wù)每天打包備份到另一臺(tái)機(jī)器上恢復(fù)的時(shí)候直接把備份解壓回去再重啟服務(wù)整個(gè)過程不超過五分鐘。第二是升級(jí)節(jié)奏。Jenkins LTS版本大概每三個(gè)月發(fā)布一次但不要一有新版本就立刻升級(jí)。我會(huì)先在測(cè)試機(jī)上替換war包確認(rèn)插件兼容性沒有問題之后再升級(jí)生產(chǎn)環(huán)境。升級(jí)之前務(wù)必先備份/var/lib/jenkins因?yàn)椴寮?jí)失敗時(shí)至少能退回去。第三是安全基線檢查。每隔一段時(shí)間檢查一下Jenkins已安裝插件的安全公告尤其是暴露在公網(wǎng)上的實(shí)例。插件長(zhǎng)期不更新是Jenkins安全事件的最大來源比Jenkins主版本更新更緊急。具體的做法是定期去插件管理頁(yè)面看更新提示有安全修復(fù)版本就及時(shí)升級(jí)升級(jí)完立刻跑一遍核心構(gòu)建任務(wù)做回歸驗(yàn)證。如果你也準(zhǔn)備在CentOS 7上部署Jenkins希望這篇記錄能幫你少走點(diǎn)彎路。環(huán)境問題提前處理好插件下載源提前換好部署完把內(nèi)存、時(shí)區(qū)、反代和安全權(quán)限收拾利索這臺(tái)Jenkins跑個(gè)一兩年基本不用再折騰。 CentOS 7部署Jenkins完整實(shí)戰(zhàn)：Java版本、war包、插件源與調(diào)優(yōu)
把Jenkins跑在CentOS 7上這件事聽起來就三步裝Java、跑war包、打開網(wǎng)頁(yè)。但真做起來十個(gè)人里會(huì)有八個(gè)卡在初始化插件那一步剩下兩個(gè)多半栽在Java版本或者服務(wù)起不來的問題上。我最近又在一批存量CentOS 7機(jī)器上重新部署了一遍把整個(gè)流程、踩過的坑和部署完之后的調(diào)優(yōu)項(xiàng)都捋了一遍。這篇文章不是給你念官方文檔而是把我實(shí)際執(zhí)行的步驟、每一步為什么要這么做、以及出問題時(shí)的排查思路完整寫出來。如果你正打算在一臺(tái)CentOS 7上從零搭Jenkins照著走就行。1. 部署前先解決兩個(gè)環(huán)境問題Java版本和系統(tǒng)基礎(chǔ)項(xiàng)1.1 新版Jenkins對(duì)Java版本的要求別拿默認(rèn)JDK直接干CentOS 7自帶的yum源里默認(rèn)的Java是OpenJDK 1.8而新版Jenkins LTS已經(jīng)要求Java 11甚至Java 17。如果你圖省事直接yum install java-1.8.0-openjdk然后去跑最新版Jenkins war包大概率會(huì)看到類似“Unsupported Java version”的提示或者服務(wù)起來之后一堆插件加載異常。這里我按實(shí)際使用場(chǎng)景給出兩個(gè)穩(wěn)妥組合組合Java版本Jenkins版本適用場(chǎng)景組合AOpenJDK 17最新穩(wěn)定LTS當(dāng)前推薦新部署、生產(chǎn)環(huán)境、想長(zhǎng)期維護(hù)組合BOpenJDK 11較老的LTS版本如2.361.x存量機(jī)器有Java版本約束、只想快速跑通我建議直接用組合A。OpenJDK 17在CentOS 7上完全能跑性能比8和11都好。CentOS 7的yum源里沒有OpenJDK 17所以需要手動(dòng)下載JDK壓縮包解壓安裝。這個(gè)操作并不復(fù)雜# 創(chuàng)建Java安裝目錄 sudo mkdir -p /opt/java # 從你信任的開源鏡像站下載OpenJDK 17的Linux x64壓縮包 # 文件名格式一般是 OpenJDK17U-jdk_x64_linux_hotspot_17.0.12_7.tar.gz sudo tar -zxvf OpenJDK17U-jdk_x64_linux_hotspot_17.0.12_7.tar.gz -C /opt/java/ # 解壓后目錄名帶版本號(hào)做一個(gè)軟鏈方便后續(xù)配置 sudo ln -s /opt/java/jdk-17.0.127 /opt/java/jdk-17 # 寫入環(huán)境變量 sudo tee /etc/profile.d/jenkins-java.sh /dev/null EOF export JAVA_HOME/opt/java/jdk-17 export PATH$PATH:$JAVA_HOME/bin EOF # 讓環(huán)境變量立即生效 source /etc/profile.d/jenkins-java.sh # 驗(yàn)證 java -version這里有一個(gè)容易忽略的細(xì)節(jié)解壓出來的目錄名通常帶加號(hào)比如jdk-17.0.127而符號(hào)在systemd服務(wù)文件里如果直接寫路徑會(huì)出問題。所以我做了軟鏈/opt/java/jdk-17后續(xù)所有配置都引用這個(gè)干凈路徑這是實(shí)戰(zhàn)中少走彎路的關(guān)鍵一步。1.2 防火墻、SELinux和時(shí)鐘不處理后面全是玄學(xué)Java版本搞定之后緊接著就要看系統(tǒng)基礎(chǔ)狀態(tài)。很多人在部署完Jenkins之后發(fā)現(xiàn)頁(yè)面打不開、寫文件失敗、構(gòu)建日志時(shí)間差8小時(shí)這些其實(shí)都不是Jenkins的問題而是系統(tǒng)環(huán)境沒弄干凈。防火墻方面如果你在內(nèi)網(wǎng)測(cè)試環(huán)境最簡(jiǎn)單的做法是關(guān)閉firewalld并禁用開機(jī)自啟sudo systemctl stop firewalld sudo systemctl disable firewalld如果你的服務(wù)器需要保留防火墻那就只放行Jenkins端口sudo firewall-cmd --permanent --add-port8080/tcp sudo firewall-cmd --reloadSELinux是另一個(gè)坑。用war包方式部署在自定義目錄/opt/jenkins時(shí)SELinux的默認(rèn)策略可能會(huì)阻止Jenkins寫文件。對(duì)絕大多數(shù)中小團(tuán)隊(duì)來說內(nèi)網(wǎng)服務(wù)器直接放寬容許狀態(tài)是更務(wù)實(shí)的選擇sudo setenforce 0 sudo sed -i s/^SELINUXenforcing/SELINUXpermissive/ /etc/selinux/config不建議直接改成disabled因?yàn)楦腟ELinux配置文件為disabled之后下次重啟SELinux策略會(huì)被重新初始化反而可能帶來其他意外。設(shè)成permissive已經(jīng)足夠讓Jenkins正常工作。時(shí)鐘同步很容易被忽略但Jenkins構(gòu)建日志、定時(shí)任務(wù)全部依賴系統(tǒng)時(shí)間。順手裝上chrony并啟動(dòng)sudo yum install -y chrony sudo systemctl enable --now chronyd sudo chronyc makestep這三件事做完后面部署的過程會(huì)順暢很多大部分“莫名其妙的報(bào)錯(cuò)”都是從這里先排除掉的。2. 安裝方式我為什么推薦war包加systemd管理2.1 官方rpm倉(cāng)庫(kù)安裝與war包部署怎么選CentOS 7上的Jenkins安裝一般有兩種主流方式官方rpm倉(cāng)庫(kù)安裝、war包手動(dòng)部署。很多教程默認(rèn)讓你用rpm倉(cāng)庫(kù)命令確實(shí)短但實(shí)際用起來有幾個(gè)隱患。官方rpm倉(cāng)庫(kù)的地址維護(hù)在Jenkins官網(wǎng)GPG key地址會(huì)不定期更新如果你照搬幾個(gè)月前的教程經(jīng)常遇到key下載失敗或者repo文件過期。rpm方式對(duì)目錄結(jié)構(gòu)也做了固定封裝/var/lib/jenkins、/etc/sysconfig/jenkins這些路徑全定死了對(duì)新手友好但可定制性差一些。war包部署的邏輯更簡(jiǎn)單Jenkins本質(zhì)上是一個(gè)Java Web應(yīng)用官方提供一個(gè)可獨(dú)立運(yùn)行的war包里面內(nèi)置了Web服務(wù)器直接用java -jar就能跑起來。這種方式的好處有三個(gè)版本完全自己控制想用哪個(gè)LTS版本自己下載不受yum倉(cāng)庫(kù)更新節(jié)奏影響目錄結(jié)構(gòu)自定義升級(jí)就替換war包回滾也方便用systemd管理后開機(jī)自啟、崩潰重啟、日志采集都和系統(tǒng)原生服務(wù)保持一致我個(gè)人的建議是如果只是臨時(shí)體驗(yàn)rpm方式也行但如果要長(zhǎng)期維護(hù)、還要寫進(jìn)自動(dòng)化部署腳本里war包加systemd的方式更靠譜。2.2 war包部署完整步驟和systemd服務(wù)文件先創(chuàng)建Jenkins運(yùn)行所需的目錄和專用用戶sudo mkdir -p /opt/jenkins sudo mkdir -p /var/lib/jenkins sudo mkdir -p /var/log/jenkins sudo useradd -r -s /sbin/nologin jenkins sudo chown -R jenkins:jenkins /opt/jenkins sudo chown -R jenkins:jenkins /var/lib/jenkins sudo chown -R jenkins:jenkins /var/log/jenkins這里專門創(chuàng)建一個(gè)名叫jenkins的系統(tǒng)用戶目的是讓Jenkins進(jìn)程以普通用戶權(quán)限運(yùn)行避免一旦Jenkins被攻破就直接拿到root權(quán)限。然后下載war包并放到/opt/jenkins目錄下cd /opt/jenkins sudo wget https://get.jenkins.io/war-stable/latest/jenkins.war這個(gè)官方下載地址在部分網(wǎng)絡(luò)環(huán)境下可能比較慢如果慢到無(wú)法接受就找一個(gè)國(guó)內(nèi)開源鏡像站在鏡像站的jenkins目錄下找war-stable子目錄即可。鏡像站和官方保持同步用起來沒有區(qū)別。接著創(chuàng)建systemd服務(wù)文件sudo tee /etc/systemd/system/jenkins.service /dev/null EOF [Unit] DescriptionJenkins Automation Server Afternetwork-online.target Wantsnetwork-online.target [Service] Typesimple Userjenkins Groupjenkins WorkingDirectory/var/lib/jenkins EnvironmentJAVA_HOME/opt/java/jdk-17 EnvironmentJENKINS_HOME/var/lib/jenkins EnvironmentJENKINS_WAR/opt/jenkins/jenkins.war ExecStart/opt/java/jdk-17/bin/java -Xms1024m -Xmx2048m -Duser.timezoneAsia/Shanghai -jar /opt/jenkins/jenkins.war --httpPort8080 Restarton-failure RestartSec30s [Install] WantedBymulti-user.target EOF這個(gè)服務(wù)文件里有幾個(gè)細(xì)節(jié)值得解釋。WorkingDirectory設(shè)置了工作目錄Jenkins在初始化時(shí)會(huì)往當(dāng)前目錄寫入一些臨時(shí)文件如果這個(gè)目錄沒有寫權(quán)限啟動(dòng)會(huì)失敗。EnvironmentJENKINS_HOME/var/lib/jenkins明確了Jenkins的數(shù)據(jù)目錄這個(gè)目錄之后保存所有任務(wù)配置、插件、構(gòu)建記錄是全部家當(dāng)。內(nèi)存參數(shù)-Xms1024m -Xmx2048m是我在2核4G機(jī)器上的常用配置。如果機(jī)器內(nèi)存只有2G建議改成-Xms512m -Xmx1024m別貪大。時(shí)區(qū)參數(shù)-Duser.timezoneAsia/Shanghai寫在JVM參數(shù)里避免構(gòu)建日志和任務(wù)時(shí)間全部顯示成UTC時(shí)間。2.3 驗(yàn)證服務(wù)狀態(tài)和日志服務(wù)文件寫好之后執(zhí)行sudo systemctl daemon-reload sudo systemctl enable --now jenkins查看狀態(tài)sudo systemctl status jenkins -l正常情況下能看到進(jìn)程是active (running)并且監(jiān)聽在8080端口。再用curl驗(yàn)證一下curl -I http://localhost:8080如果返回HTTP/1.1 302說明服務(wù)已經(jīng)正常響應(yīng)它只是在等待你訪問初始化頁(yè)面。如果服務(wù)啟動(dòng)失敗第一時(shí)間看日志journalctl -u jenkins -f日志里會(huì)明確告訴你失敗原因最常見的是/var/lib/jenkins目錄屬主不對(duì)或者Java路徑不對(duì)。排查思路就是先看屬主再看Java路徑最后看端口占用。3. 首次初始化最容易被卡住的插件安裝環(huán)節(jié)3.1 首次解鎖密碼在哪看服務(wù)正常啟動(dòng)后瀏覽器訪問http://服務(wù)器IP:8080第一次進(jìn)入會(huì)看到“解鎖Jenkins”頁(yè)面。解鎖密碼在服務(wù)端保存查看方式sudo cat /var/lib/jenkins/secrets/initialAdminPassword把這一串密碼復(fù)制粘貼到網(wǎng)頁(yè)輸入框就能進(jìn)入下一步。3.2 插件初始化轉(zhuǎn)圈問題把更新源換成鏡像站進(jìn)入初始化向?qū)Ш笙到y(tǒng)會(huì)推薦安裝一組默認(rèn)插件點(diǎn)擊“安裝建議的插件”。很多人的噩夢(mèng)從這里開始頁(yè)面卡在“安裝中”幾個(gè)小時(shí)都不動(dòng)彈進(jìn)度條紋絲不動(dòng)。這個(gè)問題的根因是Jenkins初始化時(shí)要從它官方更新中心下載插件元數(shù)據(jù)和插件本身而官方更新服務(wù)器在你所處的網(wǎng)絡(luò)環(huán)境下訪問極不穩(wěn)定經(jīng)常連接超時(shí)頁(yè)面就卡住了。解決辦法不是傻等而是提前把更新中心地址換成國(guó)內(nèi)鏡像站。這里有一個(gè)關(guān)鍵認(rèn)知鏡像站只是鏡像了Jenkins的update-center.json元數(shù)據(jù)文件但該文件內(nèi)部記錄的每個(gè)插件的下載URL仍然指向官方地址。如果只改更新中心URL你會(huì)發(fā)現(xiàn)元數(shù)據(jù)能讀取了但安裝插件時(shí)依舊超時(shí)。所以正確姿勢(shì)是把update-center.json下載到本地把內(nèi)部所有插件下載地址批量替換成鏡像站地址再讓Jenkins讀取這個(gè)本地文件。我在實(shí)踐中的完整步驟如下。先下載鏡像站的update-center.json保存到/var/lib/jenkins下cd /var/lib/jenkins sudo -u jenkins curl -fsSL --compressed -o update-center.json https://你的鏡像站域名/jenkins/updates/update-center.json--compressed參數(shù)很重要因?yàn)樵摻涌诜祷氐氖莋zip壓縮內(nèi)容如果不加這個(gè)參數(shù)下載到本地的是一個(gè)壓縮過的文件后面sed替換會(huì)直接失敗。然后替換文件內(nèi)的插件下載地址前綴sudo -u jenkins sed -i s#https://updates.jenkins.io/download#https://你的鏡像站域名/jenkins#g /var/lib/jenkins/update-center.json接著修改Jenkins的更新中心配置文件sudo -u jenkins cat /var/lib/jenkins/hudson.model.UpdateCenter.xml EOF ?xml version1.0 encodingUTF-8? sites site iddefault/id urlfile:///var/lib/jenkins/update-center.json/url /site /sites EOFhudson.model.UpdateCenter.xml這個(gè)文件是Jenkins讀取更新中心配置的地方默認(rèn)指向官方URL。改成file://協(xié)議指向本地文件后插件元數(shù)據(jù)和下載地址全部走本地速度會(huì)明顯改善。改完重啟服務(wù)sudo systemctl restart jenkins再回到瀏覽器刷新頁(yè)面重新進(jìn)入向?qū)Т藭r(shí)安裝插件的速度通常是本地網(wǎng)絡(luò)中拉取鏡像站的速度幾十個(gè)插件基本幾分鐘內(nèi)裝完。3.3 跳過安裝之后如何再補(bǔ)插件如果你的初始化頁(yè)面已經(jīng)卡死先關(guān)掉頁(yè)面重啟Jenkins服務(wù)然后重新訪問初始化頁(yè)面時(shí)不選“安裝建議的插件”直接選擇“選擇要安裝的插件列表”但不要勾選任何插件直接提交。這樣就能繞過下載環(huán)節(jié)進(jìn)入創(chuàng)建管理員頁(yè)面。創(chuàng)建完管理員之后進(jìn)入“系統(tǒng)管理Manage Jenkins”下的“插件管理Plugins”在“高級(jí)”標(biāo)簽頁(yè)里同樣可以修改更新站點(diǎn)配置。把Update Site改成file:///var/lib/jenkins/update-center.json保存后回到“可選插件”頁(yè)面就能正常搜索和安裝插件了。生產(chǎn)環(huán)境中以下幾個(gè)插件建議必裝插件名作用說明localization-zh-cnJenkins中文語(yǔ)言包界面漢化團(tuán)隊(duì)協(xié)作時(shí)降低使用門檻gitGit源碼管理Jenkins能拉取Git倉(cāng)庫(kù)代碼的基礎(chǔ)插件pipeline-stage-view流水線階段視圖可視化查看流水線各階段執(zhí)行情況docker-workflowDocker構(gòu)建支持使用Docker容器作為構(gòu)建節(jié)點(diǎn)時(shí)必需role-based-authorization-strategy基于角色的權(quán)限管理多人共用時(shí)區(qū)分不同權(quán)限4. 部署完立刻要做的四件事內(nèi)存、時(shí)區(qū)、反代和權(quán)限4.1 調(diào)整JVM內(nèi)存和時(shí)區(qū)避免構(gòu)建到一半OOMJenkins安裝完成并不代表結(jié)束默認(rèn)配置跑幾個(gè)任務(wù)之后就會(huì)暴露問題。首先就是內(nèi)存設(shè)置。Jenkins的war包自帶的默認(rèn)JVM參數(shù)比較保守一旦同時(shí)構(gòu)建多個(gè)Job經(jīng)常出現(xiàn)OutOfMemoryError表現(xiàn)為某次構(gòu)建卡死或是服務(wù)無(wú)響應(yīng)。我在systemd服務(wù)文件里已經(jīng)寫入了-Xms1024m -Xmx2048m如果你安裝時(shí)用的不是上面的服務(wù)文件就需要打開服務(wù)文件檢查確認(rèn)。另外日志里經(jīng)常出現(xiàn)java.lang.OutOfMemoryError: Metaspace說明JVM元空間也需要調(diào)大可以在JVM參數(shù)里追加-XX:MaxMetaspaceSize512m。時(shí)區(qū)問題也要反復(fù)確認(rèn)。即使系統(tǒng)時(shí)區(qū)是Asia/ShanghaiJenkins默認(rèn)的JVM時(shí)區(qū)也可能是UTC結(jié)果就是構(gòu)建歷史顯示時(shí)間和實(shí)際時(shí)間差8個(gè)小時(shí)。最佳做法是在啟動(dòng)參數(shù)里寫死時(shí)區(qū)也就是服務(wù)文件里的-Duser.timezoneAsia/Shanghai。在JVM參數(shù)里寫死比在系統(tǒng)設(shè)置里改要可靠得多。4.2 用Nginx做反向代理順便解決URL和CSRF問題如果Jenkins所在的機(jī)器有對(duì)外域名或者你想通過標(biāo)準(zhǔn)80端口訪問就很有必要用Nginx做一層反向代理。CentOS 7上安裝Nginxsudo yum install -y nginx然后寫一個(gè)Jenkins專用的server配置server { listen 80; server_name jenkins.你的域名.com; client_max_body_size 100m; location / { proxy_pass http://127.0.0.1:8080; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; proxy_read_timeout 300s; } }寫完配置后啟動(dòng)服務(wù)sudo systemctl enable --now nginx sudo nginx -t sudo systemctl reload nginx反代配置完成后還有一個(gè)容易被忽略的步驟登錄Jenkins進(jìn)入“系統(tǒng)管理 系統(tǒng)配置”把“Jenkins URL”從http://localhost:8080/改成http://jenkins.你的域名.com/。這個(gè)URL如果不改Jenkins在發(fā)送構(gòu)建通知、Webhook回調(diào)時(shí)會(huì)使用錯(cuò)誤的地址導(dǎo)致Git倉(cāng)庫(kù)推送后觸發(fā)構(gòu)建失敗。4.3 端口和權(quán)限默認(rèn)配置不能直接上線war包部署的Jenkins默認(rèn)監(jiān)聽0.0.0.0:8080也就是說如果這臺(tái)服務(wù)器有公網(wǎng)IP任何人都能直接訪問你的Jenkins頁(yè)面。默認(rèn)管理員密碼是初始化時(shí)你自己設(shè)置的但如果密碼太弱風(fēng)險(xiǎn)極大。我對(duì)所有生產(chǎn)環(huán)境的建議是不要讓Jenkins直接暴露在公網(wǎng)。最穩(wěn)妥的做法是讓Jenkins只監(jiān)聽內(nèi)網(wǎng)或本機(jī)sudo sed -i s/--httpPort8080/--httpPort8080 --httpListenAddress127.0.0.1/ /etc/systemd/system/jenkins.service sudo systemctl daemon-reload sudo systemctl restart jenkins然后通過Nginx反向代理對(duì)外提供服務(wù)。這樣外網(wǎng)只能訪問Nginx的80端口而Nginx需要配置訪問控制。如果連Nginx都不想暴露就在云安全組里只放行特定IP訪問80端口。權(quán)限管理上如果只是單人或小團(tuán)隊(duì)使用默認(rèn)的“登錄用戶可以做任何事”可以接受。但人多之后就需要安裝role-based-authorization-strategy插件按角色分配“系統(tǒng)管理員”“普通開發(fā)者”“只讀用戶”等權(quán)限避免有人誤刪Job或者修改全局配置。5. 運(yùn)行期間踩過的坑四類故障排查實(shí)錄5.1 缺字體庫(kù)導(dǎo)致的構(gòu)建報(bào)錯(cuò)Jenkins在構(gòu)建過程中如果涉及生成HTML報(bào)告、圖片驗(yàn)證、PDF輸出等功能可能會(huì)拋出一個(gè)異常java.lang.UnsatisfiedLinkError: /usr/lib64/libfontconfig.so.1: cannot open shared object file: No such file or directory這個(gè)報(bào)錯(cuò)的直觀意思是找不到字體庫(kù)文件。CentOS 7最小化安裝經(jīng)常不帶字體相關(guān)依賴而Jenkins構(gòu)建過程中某些Java繪圖操作需要調(diào)用系統(tǒng)的字體庫(kù)。解決辦法很簡(jiǎn)單sudo yum install -y fontconfig dejavu-sans-fonts裝完之后重啟Jenkins這個(gè)報(bào)錯(cuò)就不會(huì)再出現(xiàn)。這個(gè)問題在Docker容器內(nèi)跑Jenkins時(shí)同樣常見基礎(chǔ)鏡像選擇時(shí)要注意選帶字體庫(kù)的鏡像。5.2 端口沖突和Home目錄屬主問題有一次我部署完Jenkins后執(zhí)行systemctl start jenkins提示失敗systemctl status jenkins -l顯示Error: Failed to start Jenkins查看journalctl -u jenkins -f發(fā)現(xiàn)日志末尾有java.net.BindException: Address already in use。用ss -lntp查了一下果然8080端口被另一個(gè)進(jìn)程占用。這種問題的處理最簡(jiǎn)單要么殺掉占用進(jìn)程要么換掉Jenkins端口。換端口只需要修改service文件里的--httpPort8080為--httpPort9090然后重啟服務(wù)。更隱蔽的一個(gè)坑是目錄屬主問題。Jenkins服務(wù)以jenkins用戶運(yùn)行但如果你在root下執(zhí)行過java -jar jenkins.war它會(huì)在當(dāng)前用戶目錄下生成.jenkins文件夾。之后再用systemd方式啟動(dòng)由于JENKINS_HOME權(quán)限不對(duì)或者目錄指向不一致會(huì)出現(xiàn)無(wú)法寫入配置文件的報(bào)錯(cuò)。我的排查習(xí)慣是啟動(dòng)失敗后先執(zhí)行l(wèi)s -ld /var/lib/jenkins stat -c %U:%G /var/lib/jenkins如果屬主不是jenkins:jenkins直接用chown -R jenkins:jenkins /var/lib/jenkins修正。這類問題在教程中往往一筆帶過實(shí)際排障時(shí)卻占了半壁江山。5.3 構(gòu)建節(jié)點(diǎn)找不到j(luò)ava命令Jenkins在上游機(jī)器上跑得好好的但到一個(gè)新配置的構(gòu)建節(jié)點(diǎn)上執(zhí)行Pipeline或者自由風(fēng)格任務(wù)時(shí)報(bào)錯(cuò)/usr/bin/env: ‘java’: No such file or directory這個(gè)問題不是Jenkins配置問題而是構(gòu)建節(jié)點(diǎn)的PATH環(huán)境變量里沒有Java。Jenkins執(zhí)行構(gòu)建時(shí)通過ssh等方式連上節(jié)點(diǎn)調(diào)用env命令初始化環(huán)境如果你的Java是安裝在/opt/java/jdk-17并且只在/etc/profile.d/jenkins-java.sh里寫了環(huán)境變量但Jenkins的登錄shell不一定加載這個(gè)文件。保險(xiǎn)做法是到“系統(tǒng)管理 全局工具配置”里在JDK安裝部分手動(dòng)指定Java路徑取消“自動(dòng)安裝”選項(xiàng)明確填上/opt/java/jdk-17。這樣Jenkins在調(diào)用Maven或Java編譯時(shí)會(huì)自己拼好完整路徑不再依賴節(jié)點(diǎn)shell的PATH環(huán)境變量。5.4 CentOS 7 EOL之后yum源失效CentOS 7生命周期結(jié)束后不少默認(rèn)yum源里的軟件包已經(jīng)遷移或下架。如果你在新機(jī)器上執(zhí)行yum install時(shí)提示404或者找不到路徑需要把系統(tǒng)yum源切換到存檔源或者遷移到繼續(xù)維護(hù)的社區(qū)源。我處理這類問題時(shí)會(huì)把/etc/yum.repos.d/下的repo文件里的mirror.centos.org換成存檔源地址。這個(gè)操作要在部署Jenkins之前做否則可能連fontconfig都裝不上。另外還要明白一點(diǎn)CentOS 7本身已停止維護(hù)如果這臺(tái)機(jī)器要長(zhǎng)期對(duì)外提供服務(wù)后續(xù)系統(tǒng)安全更新會(huì)缺失這屬于運(yùn)維層面的長(zhǎng)期風(fēng)險(xiǎn)建議盡早規(guī)劃遷移到更新的操作系統(tǒng)版本。6. 這幾次部署下來我額外會(huì)寫進(jìn)運(yùn)維清單的事部署環(huán)境不同遇到的問題會(huì)略有差異但有幾件事我每次都會(huì)固定寫進(jìn)自己的運(yùn)維清單里。第一是備份/var/lib/jenkins這個(gè)目錄是整個(gè)Jenkins的全部家當(dāng)Job配置、構(gòu)建記錄、插件配置全在里面。我用一個(gè)簡(jiǎn)單的cron任務(wù)每天打包備份到另一臺(tái)機(jī)器上恢復(fù)的時(shí)候直接把備份解壓回去再重啟服務(wù)整個(gè)過程不超過五分鐘。第二是升級(jí)節(jié)奏。Jenkins LTS版本大概每三個(gè)月發(fā)布一次但不要一有新版本就立刻升級(jí)。我會(huì)先在測(cè)試機(jī)上替換war包確認(rèn)插件兼容性沒有問題之后再升級(jí)生產(chǎn)環(huán)境。升級(jí)之前務(wù)必先備份/var/lib/jenkins因?yàn)椴寮?jí)失敗時(shí)至少能退回去。第三是安全基線檢查。每隔一段時(shí)間檢查一下Jenkins已安裝插件的安全公告尤其是暴露在公網(wǎng)上的實(shí)例。插件長(zhǎng)期不更新是Jenkins安全事件的最大來源比Jenkins主版本更新更緊急。具體的做法是定期去插件管理頁(yè)面看更新提示有安全修復(fù)版本就及時(shí)升級(jí)升級(jí)完立刻跑一遍核心構(gòu)建任務(wù)做回歸驗(yàn)證。如果你也準(zhǔn)備在CentOS 7上部署Jenkins希望這篇記錄能幫你少走點(diǎn)彎路。環(huán)境問題提前處理好插件下載源提前換好部署完把內(nèi)存、時(shí)區(qū)、反代和安全權(quán)限收拾利索這臺(tái)Jenkins跑個(gè)一兩年基本不用再折騰。