1. 為什么要自己搭一個 Docker Registry很多剛接觸 Docker 的朋友覺得鏡像嘛直接 pull 下來用就是了干嘛還要費(fèi)勁自己搭一個倉庫這個想法在最開始沒問題但等你真正跑起來幾個服務(wù)、開始往生產(chǎn)環(huán)境部署的時候很快就會遇到幾個繞不開的痛點(diǎn)。第一個痛點(diǎn)就是速度。我早期在某公司做內(nèi)部平臺的時候團(tuán)隊五六個人大家都從公網(wǎng)拉鏡像。高峰期一個稍微大點(diǎn)的鏡像比如帶了一堆依賴的 Python 運(yùn)行時拉一次十分鐘起步還經(jīng)常超時中斷。后來我統(tǒng)計了一下一天下來光等鏡像的時間就夠?qū)懲暌粋€小需求了。自己搭一個內(nèi)網(wǎng) Registry相當(dāng)于在本地做了一個鏡像緩存第一次從公網(wǎng)拉一次之后所有人都是從內(nèi)網(wǎng)秒開。這個體感差異用過的都知道有多爽。第二個痛點(diǎn)是鏡像的可見性和管理。你們公司有沒有這種經(jīng)歷——某個同事在本地 build 了一個鏡像傳到某個公共平臺別人根本不知道有沒有更新也沒法確認(rèn)這個鏡像是誰打的、里面裝了什么。自己搭 Registry 之后所有鏡像都集中在一個地方配合標(biāo)簽規(guī)范和清理策略整個團(tuán)隊的鏡像資產(chǎn)一目了然。第三個痛點(diǎn)是合規(guī)和隔離。很多公司內(nèi)部網(wǎng)絡(luò)是隔離的生產(chǎn)環(huán)境根本不能訪問外網(wǎng)需要有一個完全內(nèi)網(wǎng)閉環(huán)的鏡像分發(fā)通道。這種場景下自建 Registry 幾乎是唯一解。那為什么選 Docker Registry 而不是其他方案比如 Harbor、Sonatype Nexus答案是看你處在什么階段。如果你是一個三五人的小團(tuán)隊或者還在個人項目階段Docker Registry 就是那個性能最輕、部署最快、資源占用最少的方案。Harbor 功能確實全但它自帶數(shù)據(jù)庫、UI 門戶、RBAC 權(quán)限部署和維護(hù)成本都不低。Nexus 本身是個制品倉庫也能存鏡像但配置偏復(fù)雜對 Docker 的協(xié)議支持也沒有原生 Registry 那么純粹。我自己實踐下來階段一用 Docker Registry 跑通內(nèi)網(wǎng)鏡像分發(fā)階段二如果團(tuán)隊規(guī)模大了、權(quán)限要求細(xì)了再平滑遷移到 Harbor。這個過渡路徑很順因為 Docker Registry 的數(shù)據(jù)格式是標(biāo)準(zhǔn)的 OCI 分發(fā)規(guī)范Harbor 可以直接接管已有的鏡像存儲。先從小東西開始永遠(yuǎn)比一上來就上重型方案穩(wěn)妥。這篇文章我就把 Docker Registry 從安裝、運(yùn)行、配置到日常維護(hù)的整套流程捋一遍。里面有我踩過的坑也有能直接抄走的配置。你照著做最快十幾分鐘就能跑起來一個可用的內(nèi)網(wǎng)鏡像倉庫。2. 安裝前需要想清楚的三件事在敲那行docker run之前我建議你先停下來想三件事不然之后返工的幾率很大。2.1 存儲目錄怎么規(guī)劃Docker Registry 默認(rèn)的存儲路徑在容器里的/var/lib/registry但容器本身就是個隨時可能銷毀的實體數(shù)據(jù)不能放在容器可寫層里必須掛載到宿主機(jī)持久化目錄。宿主機(jī)目錄的選擇有幾個講究。第一所在分區(qū)剩余空間要足夠大鏡像倉庫會隨時間膨脹建議至少預(yù)留 50GB 起步。第二如果你的宿主機(jī)有數(shù)據(jù)盤、系統(tǒng)盤之分一定要把鏡像目錄放在數(shù)據(jù)盤上別擠在系統(tǒng)盤里否則系統(tǒng)盤滿了會連帶影響整機(jī)運(yùn)行。第三如果條件允許直接把目錄放在 SSD 上鏡像多了之后SSD 和機(jī)械盤在 push/pull 速度上的差距會非常明顯。我在生產(chǎn)環(huán)境用的是/data/registry這個路徑單獨(dú)掛了一塊數(shù)據(jù)盤。測試環(huán)境就直接用/opt/registry沒那么多講究但路徑規(guī)劃的思路是一樣的。2.2 認(rèn)證方式怎么選Docker Registry 本身默認(rèn)是完全開放的只要端口暴露出去誰都能往里推鏡像。這在純內(nèi)網(wǎng)、完全可信的環(huán)境里也許能接受但只要你的網(wǎng)絡(luò)稍微信任邊界模糊一點(diǎn)就必須加認(rèn)證。認(rèn)證方案主要有兩種一種是htpasswd 基礎(chǔ)認(rèn)證這是 Registry 官方支持最簡單、最直接的方式。用戶名密碼通過htpasswd工具生成存在一個文件里。適合小團(tuán)隊內(nèi)部使用配置成本很低幾分鐘就能搞定。另一種是Token 認(rèn)證屬于更高級的方案比如對接公司現(xiàn)有的 LDAP 或 SSO 系統(tǒng)每次請求都去認(rèn)證服務(wù)器換取臨時 token。功能強(qiáng)大但配置復(fù)雜度高一般團(tuán)隊剛起步?jīng)]必要上這個。我的建議是無論你現(xiàn)在覺得環(huán)境多安全都把 htpasswd 認(rèn)證加上。原因很簡單Docker Registry 一旦暴露在網(wǎng)絡(luò)上又不設(shè)防別人可以直接把惡意鏡像推給你你拉取的時候就可能中招。加一層密碼認(rèn)證就是加了一層非常必要的保險。2.3 單機(jī)還是分布式Docker Registry 的部署形態(tài)有兩種常見路徑單機(jī)模式就是直接在宿主機(jī)上跑一個容器數(shù)據(jù)目錄掛本地磁盤適合部署量不大、單點(diǎn)故障可接受的場景。大多數(shù)團(tuán)隊起步階段都是這個形態(tài)。分布式模式則是把存儲后端切到對象存儲或者云存儲比如 S3、阿里云 OSS或者把數(shù)據(jù)放在共享文件系統(tǒng)上配合多個 Registry 實例做負(fù)載均衡。這個方案是為了高可用和大規(guī)模分發(fā)準(zhǔn)備的。我見過不少團(tuán)隊一上來就想搞分布式結(jié)果運(yùn)維成本比鏡像分發(fā)本身還高。我的建議是先跑單機(jī)等真的出現(xiàn)容量瓶頸或者單點(diǎn)故障導(dǎo)致的不可接受停擺再去動架構(gòu)。3. Docker Registry 安裝與啟動全流程環(huán)境假設(shè)你有一臺 Linux 服務(wù)器裝好了 Docker接下來我會把從拉取鏡像到啟動容器的每一步都過一遍。3.1 拉取鏡像并準(zhǔn)備配置目錄Docker Registry 的官方鏡像名是registry。這里有個大家都忽略的細(xì)節(jié)一定要指定具體的版本標(biāo)簽不要用latest。docker pull registry:2.8.3為什么要單獨(dú)拿出來說因為 Registry 在過去有過幾次比較大的版本變動latest標(biāo)簽跟著更新如果你哪次重新拉取或者重新部署拉到的鏡像和之前的差異可能會讓你莫名其妙。指定版本號比如2.8.3可以保證每次部署的行為完全一致。接下來創(chuàng)建配置目錄和認(rèn)證文件目錄mkdir -p /data/registry mkdir -p /etc/docker/registry配置目錄放config.yml認(rèn)證目錄放htpasswd文件。3.2 用 htpasswd 生成認(rèn)證文件如果你之前從沒生成過 htpasswd 文件可以先安裝工具# Debian/Ubuntu apt-get install -y apache2-utils # CentOS/RHEL yum install -y httpd-tools然后生成認(rèn)證文件比如創(chuàng)建一個用戶叫dockeruserhtpasswd -Bc /etc/docker/registry/htpasswd dockeruser這里有個關(guān)鍵點(diǎn)-B參數(shù)一定要加。-B表示使用 bcrypt 算法加密密碼Registry 在認(rèn)證時默認(rèn)要求 bcrypt。如果你不加-B用了默認(rèn)的 MD5 算法后面 Registry 會直接報認(rèn)證失敗這是我踩過的第一個坑。如果后續(xù)要添加新用戶注意去掉-c參數(shù)否則會整個文件覆蓋htpasswd -B /etc/docker/registry/htpasswd anotheruser3.3 編寫 config.yml 配置文件Registry 的配置通過config.yml控制。這個文件如果不存在Registry 會用內(nèi)置默認(rèn)配置啟動。如果存在就以你提供的配置為準(zhǔn)。下面是一份適合小團(tuán)隊起步的配置文件我逐行解釋關(guān)鍵項version: 0.1 log: level: info fields: service: registry storage: filesystem: rootdirectory: /var/lib/registry delete: enabled: true http: addr: :5000 headers: X-Content-Type-Options: [nosniff] auth: htpasswd: realm: basic-realm path: /auth/htpasswd health: storagedriver: enabled: true interval: 10s threshold: 3storage.filesystem.rootdirectory容器內(nèi)存儲路徑要和容器啟動時掛載的目錄對應(yīng)。storage.delete.enabled允許刪除鏡像。默認(rèn)是 false所以如果你選在 Web UI 上看不到刪除按鈕就檢查一下這里。http.addr監(jiān)聽端口。我用的是 5000Docker Registry 的默認(rèn)端口。auth.htpasswd.path認(rèn)證文件在容器內(nèi)的路徑。注意我配的是/auth/htpasswd不是宿主機(jī)路徑因為容器訪問不到宿主機(jī)目錄這里要用容器內(nèi)的掛載點(diǎn)。health.storagedriver健康檢查。這個比較重要Registry 會定期檢查存儲后端是否正常有問題會在日志里報警方便早期發(fā)現(xiàn)磁盤故障。3.4 啟動容器并做端口映射配置文件就緒之后啟動命令如下docker run -d \ --name registry \ --restartalways \ -p 5000:5000 \ -v /data/registry:/var/lib/registry \ -v /etc/docker/registry/config.yml:/etc/docker/registry/config.yml \ -v /etc/docker/registry/htpasswd:/auth/htpasswd \ registry:2.8.3逐個參數(shù)說明--restartalways容器掛了自動重啟。Registry 這種基礎(chǔ)設(shè)施不能宕機(jī)了不去管它。-v /data/registry:/var/lib/registry把宿主機(jī)存儲目錄掛載到容器內(nèi)存儲目錄。-v /etc/docker/registry/config.yml:/etc/docker/registry/config.yml把配置文件掛載進(jìn)去。-v /etc/docker/registry/htpasswd:/auth/htpasswd把認(rèn)證文件掛載進(jìn)去。注意這里宿主機(jī)目錄和容器內(nèi)路徑可以不一樣容器內(nèi)路徑要和 config.yml 里寫的一致。啟動完之后檢查一下狀態(tài)docker ps | grep registry docker logs registry --tail 50如果日志里沒有報錯說明 Registry 已經(jīng)在跑了。3.5 本機(jī)自測 registry 是否可用先用 curl 簡單驗證一下服務(wù)有沒有起來curl -u dockeruser:你的密碼 http://localhost:5000/v2/如果返回{}說明 Registry 正常響應(yīng)。如果提示 401說明認(rèn)證生效了你的用戶名密碼有問題。然后做一次完整的 push/pull 驗證。先把一個現(xiàn)有鏡像打上 registry 的標(biāo)簽docker tag nginx:latest localhost:5000/nginx:latest然后登錄docker login localhost:5000輸入用戶名密碼提示Login Succeeded后推送鏡像docker push localhost:5000/nginx:latest推送完成后在另一臺機(jī)器上或者本機(jī)先把鏡像刪了拉取docker pull localhost:5000/nginx:latest如果一切順利說明你手里已經(jīng)有一個能用、帶認(rèn)證的內(nèi)網(wǎng)鏡像倉庫了。4. 讓其他機(jī)器能用上你的 RegistryRegistry 跑起來了問題也就來了——其他機(jī)器的 Docker 客戶端連不上。這個環(huán)節(jié)是新手遇到問題最多的我把幾種典型場景和排查方式都列出來。4.1 確認(rèn)是否是 https/http 的問題Docker 客戶端默認(rèn)情況下只信任 HTTPS 的 Registry。除非你直接訪問localhost否則走 HTTP 會被 Docker 直接拒絕?？聪?Docker 客戶端報錯如果出現(xiàn)類似Error response from daemon: Get http://registry.example.com:5000/v2/: http: server gave HTTP response to HTTPS client說明客戶端認(rèn)為你是 HTTPS但服務(wù)端實際是 HTTP。解決辦法是讓 Docker 客戶端把該地址視為 insecure registry。修改客戶端的/etc/docker/daemon.json{ insecure-registries: [ registry.example.com:5000 ] }如果還有其他配置項把insecure-registries合并進(jìn)去然后重啟 Dockersystemctl restart docker注意重啟 Docker 會把你所有正在運(yùn)行的容器停下來生產(chǎn)環(huán)境操作前要評估一下影響。4.2 跨機(jī)器的地址替換很多人在本機(jī)測試沒問題跨機(jī)器就拉取失敗核心原因就是用了localhost這個地址。其他機(jī)器上的 Docker 解析不了你機(jī)器上的localhost它只會去找自己本機(jī)。正確做法是打標(biāo)簽的時候直接用能被對方訪問到的地址比如你的服務(wù)器 IP 或者內(nèi)網(wǎng)域名docker tag nginx:latest 192.168.1.100:5000/nginx:latest docker push 192.168.1.100:5000/nginx:latest內(nèi)部團(tuán)隊使用我強(qiáng)烈建議申請一個內(nèi)網(wǎng)域名比如registry.internal這樣然后在每臺機(jī)器的/etc/hosts里配上解析。用 IP 當(dāng)然也能跑但域名有明顯的好處后面遷移服務(wù)器、換 IP 的時候不用去每臺機(jī)器改配置只要把 DNS 或 hosts 指到新地址就行。4.3 防火墻和端口連通性排查你在服務(wù)器本地怎么測試都通換臺機(jī)器就提示 connection refused十有八九是防火墻把 5000 端口擋了。確認(rèn)端口監(jiān)聽狀態(tài)ss -lntp | grep 5000確認(rèn)防火墻規(guī)則以 firewalld 為例firewall-cmd --permanent --add-port5000/tcp firewall-cmd --reload如果用的是云服務(wù)器還要去安全組里放行 5000 端口的入方向規(guī)則。這一步很多人忘因為本地網(wǎng)絡(luò)沒有這道關(guān)卡上云就卡住了。4.4 給 Registry 配上 HTTPS 的簡便做法既然 Docker 客戶端默認(rèn)只信任 HTTPS那最徹底的辦法就是直接給 Registry 配上 HTTPS。這樣所有機(jī)器都無需設(shè)置 insecure-registry安全性和易用性同時滿足。最方便的方案是讓 Registry 直接用宿主機(jī)上已有的證書。假設(shè)你已經(jīng)有了證書文件domain.crt和domain.key把它們放到宿主機(jī)目錄比如mkdir -p /etc/docker/registry/certs cp domain.crt /etc/docker/registry/certs/ cp domain.key /etc/docker/registry/certs/然后修改 config.yml把 http 段換成 https 配置http: addr: :5000 tls: certificate: /certs/domain.crt key: /certs/domain.key重新啟動容器時多掛載一個證書目錄docker run -d \ --name registry \ --restartalways \ -p 5000:5000 \ -v /data/registry:/var/lib/registry \ -v /etc/docker/registry/config.yml:/etc/docker/registry/config.yml \ -v /etc/docker/registry/htpasswd:/auth/htpasswd \ -v /etc/docker/registry/certs:/certs \ registry:2.8.3配置了 HTTPS 之后所有客戶端機(jī)器哪怕不在 insecure-registries 列表里也能正常登錄和推送鏡像。這是我在實際環(huán)境中最推薦的做法因為不用每臺機(jī)器單獨(dú)改 Docker 配置一勞永逸。5. 鏡像倉庫的日常運(yùn)維與管理倉庫跑起來只是開始日常運(yùn)維才是重頭戲。這一節(jié)我把鏡像的推拉、刪除、清理、備份等操作都過一遍全是我自己實踐驗證過的。5.1 鏡像推送和拉取的正確姿勢推送鏡像時標(biāo)簽的格式會決定鏡像的去向。標(biāo)準(zhǔn)格式是倉庫地址/命名空間/鏡像名:標(biāo)簽。舉個例子我要把本地 Dockerfile 構(gòu)建出來的應(yīng)用鏡像推到內(nèi)網(wǎng)倉庫docker build -t 192.168.1.100:5000/myapp/backend:v1.0 . docker push 192.168.1.100:5000/myapp/backend:v1.0這里myapp/backend是命名空間加鏡像名v1.0是版本標(biāo)簽。推送完Registry 上就有了這個鏡像。拉取的時候docker pull 192.168.1.100:5000/myapp/backend:v1.0拉取下來之后如果你想把鏡像名變成更簡潔的本地名再打一次標(biāo)簽docker tag 192.168.1.100:5000/myapp/backend:v1.0 backend:v1.0這樣可以避免本地鏡像名帶一長串前綴看著清爽運(yùn)行容器時也不用寫那么長。5.2 鏡像版本標(biāo)簽的規(guī)范建議鏡像標(biāo)簽如果不做規(guī)范時間一長倉庫里就全是latest、v1、final這種毫無辨識度的名字。我這里的團(tuán)隊約定了一套規(guī)則主版本號.次版本號.修訂號-環(huán)境標(biāo)識比如v1.2.0-prod生產(chǎn)環(huán)境發(fā)布的版本v1.2.0-test測試環(huán)境驗證的版本v1.2.0-dev開發(fā)環(huán)境最新構(gòu)建同時約定latest標(biāo)簽只能由 CI/CD 流水線在每次發(fā)布成功后自動更新不允許任何人手動往latest上亂推。這樣大家看到latest就知道是當(dāng)前最新的穩(wěn)定構(gòu)建而不是某個人本地隨手打出來的包。5.3 刪除鏡像的正確方法Registry 的 HTTP API 本身就是支持刪除鏡像的但有前提條件配置文件里要開啟storage.delete.enabled: true。刪除鏡像有一個先后順序問題必須先刪除 manifest再刪除相應(yīng)的 blob不然磁盤空間不會釋放。先用 API 查看倉庫里的鏡像列表curl -u dockeruser:密碼 https://registry.example.com:5000/v2/_catalog返回類似{repositories:[myapp/backend,myapp/frontend]}查看某個鏡像的所有標(biāo)簽curl -u dockeruser:密碼 https://registry.example.com:5000/v2/myapp/backend/tags/list再獲取指定標(biāo)簽的 digest也就是鏡像的唯一摘要curl -u dockeruser:密碼 -H Accept: application/vnd.docker.distribution.manifest.v2json \ https://registry.example.com:5000/v2/myapp/backend/manifests/v1.2.0-prod在響應(yīng)頭里找Docker-Content-Digest返回的十六進(jìn)制字符串就是 digest。然后調(diào)用刪除接口curl -u dockeruser:密碼 -X DELETE \ https://registry.example.com:5000/v2/myapp/backend/manifests/digest值刪除之后還需要定期執(zhí)行 GC 才能真正釋放磁盤空間。GC 操作需要跑到容器內(nèi)部執(zhí)行docker exec registry registry garbage-collect /etc/docker/registry/config.yml執(zhí)行完 GC之前刪掉鏡像殘留的存儲層會被清除磁盤空間才會真正釋放出來。5.4 用腳本定期清理老舊鏡像人工清理一兩次可以長期這么干誰都受不了。我寫了一個簡單的清理腳本放在服務(wù)器上配合 crontab 定期跑。腳本思路是列出每個鏡像的所有標(biāo)簽根據(jù)標(biāo)簽里的版本號排序把規(guī)定保留數(shù)量之外的鏡像全部刪除最后執(zhí)行 GC。#!/bin/bash REGISTRYhttps://registry.example.com:5000 USERdockeruser PASS密碼 KEEP_VERSION_COUNT5 # 獲取所有倉庫 REPOS$(curl -s -u $USER:$PASS $REGISTRY/v2/_catalog | python3 -c import sys,json; print(\n.join(json.load(sys.stdin)[repositories]))) for repo in $REPOS; do # 獲取所有標(biāo)簽 TAGS$(curl -s -u $USER:$PASS $REGISTRY/v2/$repo/tags/list | python3 -c import sys,json; print(\n.join(json.load(sys.stdin)[tags]))) # 這里按版本號排序保留最新的 KEEP_VERSION_COUNT 個 STALE_TAGS$(echo $TAGS | sort -V | head -n -$KEEP_VERSION_COUNT) for tag in $STALE_TAGS; do # 獲取 digest DIGEST$(curl -s -u $USER:$PASS -H Accept: application/vnd.docker.distribution.manifest.v2json \ $REGISTRY/v2/$repo/manifests/$tag -D - | grep -i Docker-Content-Digest | awk {print $2} | tr -d \r) # 刪除 manifest curl -s -u $USER:$PASS -X DELETE $REGISTRY/v2/$repo/manifests/$DIGEST done done # 執(zhí)行 GC 釋放空間 docker exec registry registry garbage-collect /etc/docker/registry/config.yml腳本里用到了sort -V這是按版本號自然排序v1.9會排在v1.10前面不是簡單按字典序。然后在 crontab 里配一下0 3 * * 6 /opt/scripts/cleanup_registry.sh /var/log/registry_cleanup.log 21每周六凌晨三點(diǎn)跑一次。注意 GC 執(zhí)行時Registry 會短暫停頓所以安排在業(yè)務(wù)低峰期比較穩(wěn)妥。5.5 數(shù)據(jù)備份與恢復(fù)鏡像倉庫里的數(shù)據(jù)本質(zhì)上都是文件備份思路就是把存儲目錄整個打包。最常用的命令tar -czf registry_backup_$(date %Y%m%d).tar.gz -C /data registry恢復(fù)的時候把壓縮包解壓回/data目錄然后重新啟動容器即可。因為配置文件和鏡像數(shù)據(jù)是分開掛載的恢復(fù)時先確認(rèn) config.yml 和 htpasswd 還在再確認(rèn)數(shù)據(jù)目錄解壓完整。如果數(shù)據(jù)量特別大比如幾百 GB用 tar 打包會很慢可以考慮用 rsync 增量同步到備份服務(wù)器rsync -avz --delete /data/registry/ backup-server:/data/registry/不管用哪種方式定期備份真的很重要。我見過有人不備份結(jié)果磁盤壞了鏡像全沒重建容器還得重新 build 每一個鏡像痛苦程度誰經(jīng)歷誰知道。6. 常見問題與排查技巧實錄這一節(jié)我把自己在運(yùn)維過程中遇到比較多的和團(tuán)隊里其他同事問我的問題匯總一下直接給你解決辦法。6.1 鏡像推不上去提示認(rèn)證失敗現(xiàn)象docker push時提示unauthorized: authentication required。排查步驟確認(rèn)你有沒有執(zhí)行docker login并且登錄的是正確的倉庫地址很多人登錄了一個地址推送的目標(biāo)地址又是另外一個。確認(rèn)用戶名密碼是否輸對htpasswd 是 bcrypt 加密的話輸錯密碼肯定登錄不了。確認(rèn) config.yml 里auth.htpasswd.path是否指向容器內(nèi)正確的文件路徑路徑寫錯 Registry 根本讀不到認(rèn)證文件。確認(rèn)容器啟動時是否把 htpasswd 文件正確掛載進(jìn)去了。可以進(jìn)入容器手動檢查文件是否存在docker exec -it registry ls -l /auth/htpasswd6.2 拉取鏡像時提示 dial tcp connection refused現(xiàn)象docker pull時提示dial tcp 192.168.1.100:5000: connect: connection refused。排查步驟用telnet 192.168.1.100 5000在客戶端機(jī)器上測一下端口通不通。如果不通說明中間的網(wǎng)絡(luò)鏈路有問題。確認(rèn) Registry 容器在服務(wù)器上是否正常運(yùn)行docker ps | grep registry。確認(rèn)防火墻和安全組有沒有放行 5000 端口我上面已經(jīng)講過。如果服務(wù)器上還有別的程序占用了 5000 端口Registry 啟動會失敗用ss -lntp | grep 5000可以確認(rèn)。6.3 拉取鏡像時提示 server gave HTTP response to HTTPS client現(xiàn)象報錯信息里包含http: server gave HTTP response to HTTPS client。原因Docker 客戶端默認(rèn)用 HTTPS 去連你的倉庫但你的倉庫跑的是純 HTTP。解決辦法兩個方向要么給 Registry 配上 HTTPS 證書要么在客戶端 daemon.json 里添加insecure-registries配置。我推薦前者一勞永逸后面不用每臺機(jī)器都改。6.4 磁盤空間被鏡像文件占滿現(xiàn)象服務(wù)器磁盤告警發(fā)現(xiàn)/data/registry目錄特別大。解決思路用docker exec registry registry garbage-collect執(zhí)行一次 GC把已刪除鏡像的殘留數(shù)據(jù)清掉。如果 GC 之后空間還是不夠就得從清理策略入手設(shè)置保留版本數(shù)自動清理老舊鏡像。從根上解決就是給 Registry 換更大的數(shù)據(jù)盤或者遷移到對象存儲。6.5 認(rèn)證文件生成后 Registry 無法啟動現(xiàn)象啟動容器后日志里出現(xiàn)authtoken: htpasswd: invalid hashing algorithm for user dockeruser原因生成 htpasswd 的時候沒有用-B參數(shù)默認(rèn)生成的 MD5 格式 Registry 不認(rèn)。解決辦法重新用htpasswd -B生成文件覆蓋掉原來的。6.6 鏡像列表接口返回 401現(xiàn)象curl訪問/v2/_catalog拿到 401。原因認(rèn)證生效了但你沒帶用戶名密碼。解決辦法curl 加-u參數(shù)即可curl -u dockeruser:密碼 https://registry.example.com:5000/v2/_catalog6.7 刪除鏡像后磁盤空間沒有釋放現(xiàn)象通過 API 把鏡像刪了但du -sh /data/registry看磁盤占用沒有變小。原因刪除操作只是標(biāo)記了 manifest 為不可用實際的數(shù)據(jù)層文件要等 GC 才會清理。解決辦法執(zhí)行g(shù)arbage-collect命令。這算是 Registry 設(shè)計的一個特性不是 bug理解了就不會慌。7. 進(jìn)階方向從 Docker Registry 向更高階方案演進(jìn)如果你把上面的內(nèi)容全部實踐了一遍你的內(nèi)網(wǎng)鏡像分發(fā)體系已經(jīng)能支撐一個幾十人的團(tuán)隊日常用了。再往后走有幾個方向可以根據(jù)實際情況考慮。第一個方向是給 Registry 加 UI。Docker Registry 原生沒有界面查看鏡像只能靠命令行 API。需要可視化的時候可以部署一個輕量的 UI 項目比如 Docker Registry Frontend 或者類似的第三方前端直接以容器方式跑起來讓它跟 Registry 走同一個網(wǎng)絡(luò)配置一下就能看到鏡像列表、標(biāo)簽和大小也能找到刪除等操作入口。對于不愛敲命令的同事來說這個 UI 還是有用的。第二個方向是權(quán)限模型升級。Docker Registry 的 htpasswd 認(rèn)證是全局的所有人都用同一份憑據(jù)沒法做精細(xì)的隔離。你們團(tuán)隊如果發(fā)展成多個項目組A 組的鏡像不想讓 B 組看到就需要上 Harbor 這種帶 RBAC 權(quán)限控制的方案了。Harbor 可以創(chuàng)建多個項目每個項目單獨(dú)設(shè)置訪問權(quán)限還能跟 LDAP 打通統(tǒng)一賬號體系不用每人都維護(hù)獨(dú)立的 htpasswd 賬號。第三個方向是 CI/CD 集成。自建 Registry 最大的價值就是和持續(xù)集成流水線無縫配合。每次代碼合并流水線自動構(gòu)建鏡像并推送到 Registry部署環(huán)境直接從 Registry 拉取指定版本整個過程不需要人工介入。這個流程一旦跑順交付效率會有質(zhì)的提升。但不管你最后演進(jìn)到什么方案前期從 Docker Registry 起步學(xué)到的這些存儲結(jié)構(gòu)、認(rèn)證原理、GC 機(jī)制、鏡像生命周期管理都是通用且不會浪費(fèi)的。8. 最后補(bǔ)充幾個容易被忽略的細(xì)節(jié)有幾個很小但容易坑人的細(xì)節(jié)單獨(dú)再說一下。第一是 Registry 日志。默認(rèn)日志級別是 info如果你覺得日志太吵可以在 config.yml 里把log.level改成warn只輸出警告和錯誤。排查問題時再臨時改回 debug問題解決后記得改回來。第二是健康檢查接口。Registry 在/v2/路徑返回{}就代表服務(wù)正常。如果你有監(jiān)控系統(tǒng)可以把這個接口做成監(jiān)控項定時檢測倉庫是否存活。第三是端口沖突。5000 端口是 Registry 默認(rèn)端口但有些環(huán)境里這個端口已經(jīng)被其他服務(wù)占了。如果沖突把 config.yml 里http.addr改成別的端口同時調(diào)整啟動命令里的端口映射。改的時候兩個地方要一致不然配置不生效。第四是鏡像命名空間。鏡像倉庫支持命名空間的層級結(jié)構(gòu)比如auth/api-gateway和order/service可以放在同一個倉庫里用命名空間區(qū)分業(yè)務(wù)模塊。這個不額外配置直接推送帶命名空間的鏡像標(biāo)簽即可但建議提前規(guī)劃命名規(guī)范免得后面亂。Docker Registry 本身并不復(fù)雜說白了一個容器加一份配置文件就能跑起來。但真正跑好它讓團(tuán)隊所有人用得順手、數(shù)據(jù)安全可靠是要在細(xì)節(jié)里下功夫的。這篇文章里的每一段基本都能對應(yīng)到我實際運(yùn)維中遇到過的場景你照著一路實踐下來很快也能積累起自己的一套打法。