亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Puppet Master與Foreman、smart-proxy三件套實(shí)戰(zhàn):部署、運(yùn)維與高頻排障

Puppet Master與Foreman、smart-proxy三件套實(shí)戰(zhàn):部署、運(yùn)維與高頻排障 簡(jiǎn)介這份 Puppet 管理模塊面向配置管理與 DevOps 工程師用于安裝和管理 Puppet Master、The Foreman 與 smart-proxy并支持一體機(jī)aio、目錄服務(wù)catalog和 CA 服務(wù)ca三種 Master 角色可按需單獨(dú)部署目錄或證書節(jié)點(diǎn)。與常見(jiàn)基于 yum 包和系統(tǒng) Ruby 的同類方案不同它使用 RVM、git 倉(cāng)庫(kù)與 gem 管理整套軟件棧模塊化程度更高升級(jí)和 Ruby 安全補(bǔ)丁維護(hù)也更可控。壓縮包為 zip 格式共 60 個(gè)文件、約 64KB主要包括 Puppet 清單.pp、ERB 模板.erb、Ruby 腳本.rb和 YAML 配置前兩類分別用于聲明資源狀態(tài)與生成服務(wù)配置適合直接改造成自己的部署基線。目錄按 foreman、smartproxy、puppet 等角色組織附帶 spec 測(cè)試、Rakefile 與 Gemfile可串聯(lián)自動(dòng)化測(cè)試和依賴管理已有 133 人學(xué)習(xí)下載適合希望擺脫系統(tǒng) Ruby 限制、對(duì) Puppet 棧做精細(xì)化版本控制的團(tuán)隊(duì)參考。1. puppet_stack 這個(gè)名字為什么把三件套放在一起才有意義puppet_stack 把 Puppet Master、The Foreman 和 smart-proxy 三個(gè)詞綁在同一個(gè)標(biāo)題里很多人第一反應(yīng)是“裝一個(gè) Master 就夠了”。真到生產(chǎn)環(huán)境里批量加節(jié)點(diǎn)、區(qū)分開(kāi)發(fā)與生產(chǎn)環(huán)境、處理證書續(xù)期時(shí)你會(huì)發(fā)現(xiàn)光有一個(gè)會(huì)編譯目錄的 Master 遠(yuǎn)遠(yuǎn)不夠。這套棧真正提供的是一條完整鏈路配置能發(fā)出去、證書有人簽、節(jié)點(diǎn)有人管、基礎(chǔ)設(shè)施操作有統(tǒng)一出口。下面從組件職責(zé)講到安裝命令再落到日常維護(hù)和幾個(gè)高頻事故適合手上已經(jīng)有三五十臺(tái)到上千臺(tái) Linux 主機(jī)、正在為配置管理工具本身發(fā)愁的從業(yè)者。2. 職責(zé)邊界Puppet Master、The Foreman、smart-proxy 各自在管什么2.1 Puppet Master 負(fù)責(zé)配置編譯但不是管理入口Puppet Master有些部署方式下叫 Puppet Server是整個(gè)棧里唯一真正編譯目錄、給 Agent 下發(fā)的角色。它不面向運(yùn)維人員提供操作界面也不負(fù)責(zé)審批本質(zhì)上是一個(gè)后端服務(wù)。Agent 按約定時(shí)間來(lái)找它請(qǐng)求 catalogMaster 編譯后返回Agent 在本地執(zhí)行并回傳報(bào)表。這個(gè)模型的好處是冪等壞處是運(yùn)維對(duì)“誰(shuí)來(lái)了、誰(shuí)還沒(méi)來(lái)、證書是否有效”沒(méi)有任何直觀感受。Master 端口固定是 8140日志一般在 /var/log/puppetlabs/puppetserver/ 下。針對(duì) Master 的資源我的建議是單獨(dú)準(zhǔn)備一臺(tái)機(jī)器內(nèi)存視節(jié)點(diǎn)規(guī)模決定。節(jié)點(diǎn)數(shù)到幾百臺(tái)之后編譯線程數(shù)和 JVM 堆需要按比例調(diào)。我一般會(huì)把 puppetserver 的-Xmx和-Xms設(shè)成同一個(gè)值避免運(yùn)行中反復(fù)調(diào)整堆大小帶來(lái)額外停頓。節(jié)點(diǎn)的請(qǐng)求頻率也要控制默認(rèn) 30 分鐘一個(gè)周期是常見(jiàn)配置不要為了“實(shí)時(shí)生效”把所有 Agent 的runinterval調(diào)成 1 分鐘那會(huì)把 Master 編譯隊(duì)列直接打滿。2.2 The Foreman把主機(jī)生命周期和證書審批收口到網(wǎng)頁(yè)The Foreman 不是一個(gè)來(lái)和 Puppet 搶活的配置引擎它是管理控制面。Foreman 提供主機(jī)登記、主機(jī)組歸類、組織與位置劃分、用戶權(quán)限、以及最關(guān)鍵的報(bào)表查看。所謂“組織與位置”你可以理解成頂層隔離同一個(gè) Foreman 里可以同時(shí)放多個(gè)客戶或機(jī)房主機(jī)按組織歸屬主機(jī)組按位置歸屬互不串?dāng)?shù)據(jù)。還有一個(gè)能力在大量使用后會(huì)非常剛需它和 Puppet 的 CA 集成讓證書審批可以在頁(yè)面上點(diǎn)擊完成不用在每個(gè) Master 上都保留一批命令行活。幾十臺(tái)實(shí)驗(yàn)機(jī)的情況不裝 Foreman 也能活著。節(jié)點(diǎn)一旦過(guò)百或者需要分環(huán)境、分團(tuán)隊(duì)讓非核心運(yùn)維也能自助看報(bào)表和觸發(fā)任務(wù)Foreman 的價(jià)值就非常明顯。它的 Web 服務(wù)走 443 端口和 Master 的 8140 分開(kāi)API 也走同一套 HTTPS日常自動(dòng)化腳本都可以直接對(duì)接。它解決的其實(shí)是一個(gè)很原始的問(wèn)題配置管理原本的入口近乎為零而 Foreman 把入口補(bǔ)上了。2.3 smart-proxy 是 Foreman 的“手”不是網(wǎng)絡(luò)出口這個(gè)組件是標(biāo)題里最容易被誤解的部分。smart-proxy 是 Foreman 的一組擴(kuò)展服務(wù)用來(lái)操作 DNS、DHCP、TFTP 等基礎(chǔ)設(shè)施同時(shí)承擔(dān)證書簽發(fā)的 relay 功能。比如在 Foreman 頁(yè)面上給新主機(jī)分配網(wǎng)段并讓它從 TFTP 啟動(dòng)這些動(dòng)作最終通過(guò) smart-proxy 在對(duì)應(yīng)服務(wù)器上真實(shí)執(zhí)行。它的 API 端口通常是 8443和 Foreman 的 443、Master 的 8140 并立。官方默認(rèn)的安裝器會(huì)按模塊把證書、DHCP、DNS、TFTP 拆開(kāi)。實(shí)操中我建議先只開(kāi)證書模塊跑通后續(xù)真需要 DHCP/DNS 聯(lián)動(dòng)再逐個(gè)模塊打開(kāi)。很多人的頁(yè)面一片紅就是因?yàn)槟J(rèn)把全部模塊啟用但底層服務(wù)根本沒(méi)有或權(quán)限不合報(bào)警滾成一片反而掩蓋了真問(wèn)題。還要注意smart-proxy 可以直接和 Foreman 裝在同一臺(tái)機(jī)器上也可以放在某個(gè)目標(biāo)網(wǎng)段的服務(wù)器上關(guān)鍵是它必須能被 Foreman 用可信的證書或 token 訪問(wèn)。2.4 選型考量單獨(dú) Master 與完整 puppet_stack 的邊界能力單獨(dú) Puppet Master完整 puppet_stack配置下發(fā)有有證書簽發(fā)入口命令行Foreman 頁(yè)面 API主機(jī)與主機(jī)組管理沒(méi)有有報(bào)表與歷史檢索沒(méi)有有多環(huán)境切換的操作入口手動(dòng)改目錄主機(jī)組映射DHCP/DNS/TFTP 聯(lián)動(dòng)做不到smart-proxy 對(duì)應(yīng)模塊由此可以得出一個(gè)比較簡(jiǎn)單的判斷只有幾臺(tái)實(shí)驗(yàn)機(jī)、不區(qū)分環(huán)境單獨(dú) Master 更快生產(chǎn)環(huán)境里“證書到期”“環(huán)境切換”“新節(jié)點(diǎn)上線”這三件事會(huì)反復(fù)出現(xiàn)靠命令行處理每一次都做不干凈累積成本會(huì)隨時(shí)間上升。還建議不要在同一個(gè)組織里混用兩套方案否則 Master 上手工操作的證書記錄和 Foreman 的管理記錄會(huì)脫節(jié)后面排查會(huì)懷疑人生。2.5 組件之間的信任關(guān)系決定了很多坑的根源Puppet Agent 找 Master 要目錄時(shí)采用的是 Puppet 自己的 CA 體系證書在 Agent 首次運(yùn)行后生成必須經(jīng)過(guò) Master 或 Foreman 簽名才有效。Foreman 和 Master 之間的通信用的是同一臺(tái)機(jī)器上安裝器自動(dòng)生成的本地證書靠配置里的 SSL 參數(shù)互相校驗(yàn)Foreman 訪問(wèn) smart-proxy 時(shí)則依賴代理側(cè)預(yù)先注冊(cè)的證書或 token。這三層信任鏈互相獨(dú)立又彼此糾纏是后續(xù)絕大多數(shù)證書類報(bào)錯(cuò)的根源。實(shí)際排查時(shí)腳本里遇到的“connection reset”“certificate verify failed”“http 401”都不是同一個(gè)層面的問(wèn)題需要先判斷是 Agent 與 Master 的 CA 信任斷了還是 Foreman 訪問(wèn) smart-proxy 的憑證失效。這一步判斷錯(cuò)了后面所有處理都是白做。3. 空服務(wù)器上跑通 puppet_stack安裝步驟與第一個(gè) Agent 上線3.1 環(huán)境準(zhǔn)備主機(jī)名、DNS、時(shí)間約束安裝前我會(huì)先處理三個(gè)基礎(chǔ)項(xiàng)這三項(xiàng)不做好后面證書大概率出問(wèn)題。第一是主機(jī)名必須固定為完整 FQDN 格式最好把 IP 也寫進(jìn) /etc/hosts第二是每臺(tái)機(jī)器都要啟用時(shí)間同步第三是放行 8140、443、8443 三個(gè)端口。# 設(shè)置 FQDN 主機(jī)名改為你規(guī)劃的正式名稱 hostnamectl set-hostname master01.example.internal echo 192.0.2.10 master01.example.internal /etc/hosts # 啟用時(shí)間同步證書簽發(fā)強(qiáng)依賴時(shí)鐘偏差不能太大 systemctl enable --now chronyd chronyc tracking | head -5 # 放行核心端口按實(shí)際使用的防火墻管理方式調(diào)整 firewall-cmd --permanent --add-port{8140/tcp,443/tcp,8443/tcp} firewall-cmd --reload主機(jī)名寫在 hosts 里是保底方案避免內(nèi)網(wǎng) DNS 解析不可用時(shí) Agent 找不到 Master。時(shí)間同步常被忽略但證書有效期判斷和請(qǐng)求時(shí)間戳都建立在對(duì)時(shí)之上偏差超過(guò)幾分鐘就會(huì)看到各種難以理解的握手失敗。3.2 添加軟件源并安裝 foreman-installer安裝這套棧的入口不是分別裝三個(gè)包而是裝 foreman-installer由它在最后統(tǒng)一生成配置并拉起服務(wù)。先確認(rèn)當(dāng)前發(fā)行版支持哪種軟件源方式再用包管理器安裝安裝器本體。# 先安裝擴(kuò)展包部分依賴組件在擴(kuò)展源里 sudo dnf install -y epel-release # 添加對(duì)應(yīng)發(fā)行版的 foreman 軟件源并刷新緩存 sudo dnf install -y foreman-release sudo dnf update -y這里要強(qiáng)調(diào)的是官方安裝器只負(fù)責(zé)把 Foreman、Puppet Master、smart-proxy 組合起來(lái)它不負(fù)責(zé)替你決定哪些模塊要開(kāi)。如果你在前面沒(méi)有想清楚證書、DHCP、DNS 哪些要啟用安裝后大概率要往回改配置那時(shí)候每一步都牽一發(fā)動(dòng)全身。3.3 執(zhí)行安裝器最小化參數(shù)先跑通首次安裝一定要做最小化。把組織、位置定了再顯式關(guān)閉用不到的基礎(chǔ)設(shè)施模塊。sudo foreman-installer \ --foreman-initial-organization myorg \ --foreman-initial-location myloc \ --puppet-server true \ --foreman-proxy-puppet true \ --foreman-proxy-register-in-foreman true \ --enable-foreman-proxy-plugin-dhcp false \ --enable-foreman-proxy-plugin-dns false \ --enable-foreman-proxy-plugin-tftp falseorganization 和 location 是 Foreman 的頂層隔離維度后面可以在頁(yè)面里繼續(xù)建但初始值最好一次寫對(duì)。puppet-server true 讓本機(jī)把 Master 一起拉起來(lái)三個(gè) plugin 全 false是因?yàn)檫@一階段目標(biāo)是證明鏈路能走通。安裝過(guò)程通常要幾分鐘到十幾分鐘結(jié)束時(shí)會(huì)打印默認(rèn) admin 密碼和訪問(wèn)地址先保存好再關(guān)窗口。提示安裝完成后不要立刻重啟機(jī)器等證書全部生成、服務(wù)先跑一遍正常了再做重啟驗(yàn)證。3.4 首次登錄與健康檢查安裝器結(jié)束后第一步是先看服務(wù)狀態(tài)而不是急著打開(kāi)頁(yè)面。# 分別查看三個(gè)核心服務(wù)的狀態(tài) systemctl status httpd --no-pager -l systemctl status puppetserver --no-pager -l systemctl status foreman-proxy --no-pager -l # 確認(rèn)三個(gè)端口都在監(jiān)聽(tīng) ss -lntp | grep -E :(8140|8443|443)\b如果 8140 沒(méi)出現(xiàn)說(shuō)明 puppetserver 沒(méi)有正常起來(lái)大概率是 JVM 內(nèi)存參數(shù)或主機(jī)名解析問(wèn)題。8443 缺失則去查 foreman-proxy 的日志最直觀的判斷方式就是這三個(gè)端口必須同時(shí)存在。頁(yè)面訪問(wèn)用 https://master01.example.internal/首次登錄時(shí)用安裝器打印的 admin 賬號(hào)密碼系統(tǒng)會(huì)要求改掉初始密碼這一步在自動(dòng)化腳本里經(jīng)常被落下導(dǎo)致后面所有 API 調(diào)用一直返回 401 認(rèn)證失敗。3.5 接入第一個(gè) Agent從證書請(qǐng)求到完成首次運(yùn)行Agent 端的接入套路是從安裝 puppet-agent 包開(kāi)始先配好 server 地址再觸發(fā)一次預(yù)演。# 在目標(biāo)節(jié)點(diǎn)上安裝并指向 Master sudo dnf install -y puppet-agent sudo vim /etc/puppetlabs/puppet/puppet.conf # [main] # server master01.example.internal # 第一次運(yùn)行用預(yù)演模式目的是觸發(fā)證書請(qǐng)求 sudo /opt/puppetlabs/bin/puppet agent -t --noop第一次運(yùn)行大概率會(huì)卡在“等待證書簽發(fā)”的狀態(tài)這很正常因?yàn)榉?wù)端還沒(méi)有放行。此時(shí)回到 Master 端查看待簽列表并完成簽發(fā)# 查看待簽名證書確認(rèn)識(shí)別出真實(shí)節(jié)點(diǎn) /opt/puppetlabs/bin/puppet cert list # 確認(rèn)無(wú)誤后簽發(fā)對(duì)應(yīng)名稱的證書 /opt/puppetlabs/bin/puppet cert sign agent01.example.internal簽發(fā)完成后再次執(zhí)行puppet agent -t應(yīng)該就能拿到 catalog 并按目錄完成預(yù)演。這里的 agent 名稱默認(rèn)取自節(jié)點(diǎn)主機(jī)名所以主機(jī)名在安裝前就固化下來(lái)非常關(guān)鍵臨時(shí)換過(guò)名的節(jié)點(diǎn)證書簽發(fā)后往往出現(xiàn)名稱不匹配只能清掉重簽。4. 日常管理證書、環(huán)境、主機(jī)組和 smart-proxy 健康檢查4.1 用一組命令管理 Agent 證書的完整生命周期證書是這個(gè)棧里最不能靠感覺(jué)處理的資產(chǎn)。日常無(wú)非四類操作查看、簽發(fā)、撤銷、清理重簽我習(xí)慣全部用命令行兜底雖然 Foreman 頁(yè)面也能做但腳本和自查時(shí)命令行更快。# 查看所有證書帶 --all 才會(huì)同時(shí)顯示已簽發(fā)和待簽發(fā) /opt/puppetlabs/bin/puppet cert list --all # 撤銷并移除某節(jié)點(diǎn)的證書記錄 /opt/puppetlabs/bin/puppet cert clean agent01.example.internal # 重新簽發(fā)節(jié)點(diǎn)端必須先清空舊證書 /opt/puppetlabs/bin/puppet cert sign agent01.example.internalcert clean刪除的是服務(wù)端記錄節(jié)點(diǎn)端還握著舊證書和私鑰如果不去清節(jié)點(diǎn)端 SSLDir下一次請(qǐng)求會(huì)報(bào)出各種驗(yàn)證失敗。常見(jiàn)做法是登錄節(jié)點(diǎn)后刪除 /etc/puppetlabs/puppet/ssl 整個(gè)目錄再重新跑puppet agent -t生成新請(qǐng)求。較新版本也可以直接用puppet ssl bootstrap重置但舊路徑同樣可行優(yōu)先用目錄清理法最穩(wěn)。4.2 Foreman 里的主機(jī)組和環(huán)境劃分Foreman 的管理基本單元是主機(jī)組。常見(jiàn)做法是建一個(gè) base 主機(jī)組放通用配置再在它下面派生 dev、staging、production 子組把 Puppet environment 映射到各子組。這樣新增節(jié)點(diǎn)時(shí)只要選對(duì)主機(jī)組環(huán)境歸屬就自動(dòng)正確不需要在 Agent 端手動(dòng)改配置文件。# 用 API 建主機(jī)時(shí)指定主機(jī)組和環(huán)境示例結(jié)構(gòu) curl -k -u admin:password \ -H Content-Type: application/json \ -d {host:{name:app01,hostgroup_id:9,environment_id:3}} \ https://master01.example.internal/api/hosts在頁(yè)面操作時(shí)主機(jī)組和環(huán)境都是下拉選項(xiàng)。要注意 Agent 端 /etc/puppetlabs/puppet/puppet.conf 里的 environment 必須和主機(jī)組一致否則會(huì)陷入“我明明改了環(huán)境節(jié)點(diǎn)跑完還是舊配置”的困惑。API 里的環(huán)境字段實(shí)際上對(duì)應(yīng) environment id這個(gè) id 可以在頁(yè)面或 API 里查。4.3 分清 puppetserver、foreman、foreman-proxy 三類日志服務(wù)日志路徑常見(jiàn)問(wèn)題puppetserver/var/log/puppetlabs/puppetserver/編譯報(bào)錯(cuò)、CA 異常foreman/var/log/foreman/production.log頁(yè)面報(bào)錯(cuò)、API 401foreman-proxy/var/log/foreman-proxy/proxy.log證書 relay、DHCP/DNS 操作失敗遇到 Agent 報(bào)錯(cuò)時(shí)先看 Agent 端日志再往 Master 側(cè)看這個(gè)順序不能反。大多數(shù)時(shí)候服務(wù)端其實(shí)是正常的問(wèn)題出在證書或環(huán)境名不匹配。快速確認(rèn) smart-proxy 狀態(tài)可以用# 輸出各模塊啟用狀態(tài)和監(jiān)聽(tīng)情況比頁(yè)面上的紅色警告更快定位 sudo foreman-proxy status這套棧的三段日志里foreman-proxy 的日志最容易被忽略。它的報(bào)錯(cuò)大多會(huì)有明確的 timeout 或 connection refused先看它能迅速把問(wèn)題邊界從“Foreman 壞了”縮小到“某個(gè)模塊沒(méi)起來(lái)”。4.4 用 runinterval 控制 Agent 的請(qǐng)求節(jié)奏Agent 默認(rèn)每 30 分鐘連接一次 Master我在生產(chǎn)上不會(huì)把這個(gè)值調(diào)得太小。瞬時(shí)大量節(jié)點(diǎn)同時(shí)來(lái)請(qǐng)求Master 的編譯線程會(huì)被占滿表現(xiàn)是頁(yè)面正常但節(jié)點(diǎn)全部超時(shí)。# Agent 端配置示例 [agent] runinterval 1800 splay true splaylimit 300runinterval 單位是秒1800 就是半小時(shí)。splay 讓各節(jié)點(diǎn)在區(qū)間內(nèi)隨機(jī)分散啟動(dòng)避免所有機(jī)器在同一秒發(fā)起請(qǐng)求splaylimit 限制隨機(jī)范圍的上限。不要圖省事在高峰期大批量手動(dòng)觸發(fā)puppet agent -t一定要分批次比如拆成每批五十臺(tái)間隔幾分鐘。Foreman 頁(yè)面的遠(yuǎn)程執(zhí)行功能在設(shè)計(jì)上是按主機(jī)組或主機(jī)列表分發(fā)的適合定向操作不適合全量刷。5. 上線后最常見(jiàn)的五個(gè)坑現(xiàn)象、原因、排查順序5.1 證書過(guò)期后 Agent 重簽不生效現(xiàn)象Agent 報(bào)證書過(guò)期運(yùn)維在 Master 端執(zhí)行 clean 后重新 sign節(jié)點(diǎn)仍然報(bào)無(wú)法連接。原因服務(wù)端記錄刪了但節(jié)點(diǎn)端 SSLDir 里還是舊證書和舊私鑰。節(jié)點(diǎn)再次請(qǐng)求時(shí)拿著舊身份Master 按新簽發(fā)的記錄校驗(yàn)不通過(guò)。處理先清理節(jié)點(diǎn)端舊證書再觸發(fā)新請(qǐng)求。# 節(jié)點(diǎn)端先清順序不能反 rm -rf /etc/puppetlabs/puppet/ssl /opt/puppetlabs/bin/puppet agent -t執(zhí)行完再回 Master 端 sign 一次。順序是關(guān)鍵先節(jié)點(diǎn)端清理、再服務(wù)端清理、最后重簽。反過(guò)來(lái)操作時(shí)表面上每次都能“簽成功”但節(jié)點(diǎn)一直用舊身份連接問(wèn)題會(huì)反復(fù)出現(xiàn)。5.2 頁(yè)面一片紅smart-proxy 模塊全開(kāi)但服務(wù)沒(méi)起來(lái)現(xiàn)象Foreman 頁(yè)面里 Smart Proxies 列表大面積紅色只有證書模塊正常。原因安裝時(shí)沒(méi)有顯式關(guān)閉用不到的模塊默認(rèn)把 DHCP、DNS、TFTP 相關(guān)模塊全部啟用了但對(duì)應(yīng)服務(wù)或權(quán)限并未準(zhǔn)備。處理編輯 /etc/foreman-proxy/settings.d/ 下對(duì)應(yīng)模塊的配置文件把 enabled 改為 false再重啟 foreman-proxy。用不到的模塊一定要關(guān)干凈半關(guān)閉狀態(tài)會(huì)讓頁(yè)面持續(xù)報(bào)警反而掩蓋證書模塊之外的真實(shí)故障。5.3 改了 Foreman 里的環(huán)境節(jié)點(diǎn)卻不動(dòng)現(xiàn)象在頁(yè)面把節(jié)點(diǎn)從 dev 主機(jī)組切到 prod 主機(jī)組Agent 跑完后節(jié)點(diǎn)配置還是 dev 的。原因environment 最終以 Agent 配置文件里的 environment 字段為準(zhǔn)主機(jī)組只是管理側(cè)標(biāo)注并不會(huì)自動(dòng)改寫 Agent 端的配置。處理在節(jié)點(diǎn)上打開(kāi) /etc/puppetlabs/puppet/puppet.conf把 environment 改成和主機(jī)組一致改完再驗(yàn)證 /etc/puppetlabs/code/environments/ 下是否存在對(duì)應(yīng)名稱的目錄。目錄不存在時(shí) Master 會(huì)退回 production 環(huán)境這也是環(huán)境切換無(wú)效的另一半原因。5.4 報(bào)表不更新但 Agent run 是成功的現(xiàn)象節(jié)點(diǎn)配置生效Agent 運(yùn)行也報(bào) Completed但 Foreman 的 Reports 頁(yè)面已經(jīng)幾天沒(méi)新數(shù)據(jù)。原因報(bào)表上報(bào)鏈路上出了問(wèn)題。常見(jiàn)是 Master 的 report 配置仍指向 localhost沒(méi)有指向 Foreman或者 report 功能被關(guān)掉了。處理# 在 Master 上檢查 report 與上報(bào)地址 /opt/puppetlabs/bin/puppet config print report report_server如果 report 不是 true或者 report_server 是 localhost、空值就修改 puppet.conf 的 [master] 段把 report 打開(kāi)并指向 Foreman 的 FQDN然后重啟 puppetserver。報(bào)表功能恢復(fù)后歷史數(shù)據(jù)一般會(huì)陸續(xù)補(bǔ)回不用手工干預(yù)。5.5 服務(wù)重啟順序有講究現(xiàn)象維護(hù)或升級(jí)后Agent 全部連接失敗Foreman 頁(yè)面也登錄不上但逐個(gè)查看服務(wù)狀態(tài)又是正常。原因三個(gè)服務(wù)之間互相依賴啟動(dòng)順序錯(cuò)了會(huì)陷入證書與注冊(cè)狀態(tài)互相等不到的局面。最常見(jiàn)的是把 Web 服務(wù)放在最前導(dǎo)致 Foreman 啟動(dòng)時(shí)以錯(cuò)誤的憑證去訪問(wèn) smart-proxy。處理按我這個(gè)順序重啟一次。systemctl restart foreman-proxy systemctl restart puppetserver systemctl restart httpd先讓 smart-proxy 的證書通道就緒再拉起 Master最后讓 Foreman 通過(guò) Web 端口對(duì)外服務(wù)。這是我在某內(nèi)部管理項(xiàng)目里連續(xù)踩了兩次跟頭才固定的順序之后每次維護(hù)都按它執(zhí)行沒(méi)有再出現(xiàn)過(guò)“服務(wù)全正常但整體癱瘓”的怪狀態(tài)。6. 進(jìn)階一步把環(huán)境劃分和代碼入庫(kù)做成常規(guī)流程6.1 環(huán)境目錄與主機(jī)組靜態(tài)映射多環(huán)境的基礎(chǔ)是目錄不是配置文件。我在 Master 上維護(hù) /etc/puppetlabs/code/environments/ 下的 dev、staging、production 三個(gè)目錄每個(gè)目錄里都有獨(dú)立的 manifests/site.pp 和 hieradataForeman 的主機(jī)組名與它們一一對(duì)應(yīng)。新增節(jié)點(diǎn)的動(dòng)作就收斂為兩步在 Foreman 建主機(jī)、選主機(jī)組。第一次 run 會(huì)自動(dòng)進(jìn)入對(duì)應(yīng)環(huán)境人工干預(yù)點(diǎn)只?!敖ńM、選組”兩個(gè)地方。6.2 發(fā)布前先做三層檢查改代碼不能直接丟進(jìn)生產(chǎn)目錄。我一般先做語(yǔ)法校驗(yàn)再做預(yù)演最后才同步。cd /etc/puppetlabs/code/environments/staging /opt/puppetlabs/bin/puppet parser validate manifests/site.pp /opt/puppetlabs/bin/puppet apply --noop manifests/site.pp --modulepath modulesparser validate 負(fù)責(zé)語(yǔ)法層預(yù)演模式會(huì)列出將要變更的資源??搭A(yù)演結(jié)果時(shí)如果只有一兩個(gè)操作說(shuō)明改動(dòng)可控如果顯示要?jiǎng)訋资踔辽习偬幬募仨毣氐酱a里找原因。版本控制工具可以按團(tuán)隊(duì)習(xí)慣選關(guān)鍵是生產(chǎn)目錄不能被直接手改。我曾因?yàn)樨潏D省事把 dev 目錄的代碼直接軟鏈到 production第二天所有生產(chǎn)節(jié)點(diǎn)都跑上了未驗(yàn)證配置。從那以后我堅(jiān)持目錄分離和預(yù)演并希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产黄a三级三级三级av在线看| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 色原狠狠天天天| 欧美性夜| 中文字幕日本久久| 校园春色美腿丝袜| 91色情黑丝搞鸡在线观看一区二区三区三州| 亚洲精品1区| 9丨久久九九九| 91人妻Pr| 久久视频,这里只有精品| 91综合色噜噜| 欧美后进式| 在线情色电影 91大| 亚洲国产成人7777| 草b在线| 粉嫩av一区二区三区天美传媒| 久久精品国产亚洲AV高清演员表| 亚州综合电影| 日本性爱视频一级| 久久色一区二区| 日韩国产精品人妻无码久久久| 亚洲欧美日韩综合在线尤物| 日本一卡二区在线| 天美av在线观看| 天天干夜夜鈤| 亚洲综合五月天| 怡春院久久| 伊人99热| 亚洲a色| 欧美日不卡| 亚洲熟妇A V黑人| 色色色五月婷婷| 蜜臀99久久国产| 99色在线观看| 久久精品熟妇丰满人妻99| 一区二区三区在线资源| 97亚洲精品| 久操视频免费在线观看| 伊人亚洲综合| av天堂电影网| 97人人射| 久久 精品| 激情四射五月天| 麻豆a'v电影| 欧美日本国产日韩激情视频| 欧美精品系列| 精品无码一区二区| 国产亚洲精品A在线观看下载| 成人日韩中文字幕| 日韩激情小说一区二区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 亚洲中文电影| 立川理惠加勒比无码| 99精品九九九九九九| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴| 另类图片综合| 俞拍自拍| 五月天丁香| 欧美亚洲情色| 91精品国产91久久久久久久久久久久| 99蜜桃臀久久久欧美精品网站| 国产日韩在线播放| 操屄日韩| 大香蕉日韩| 精品网站9999| 激情专区综合| 五月天黄色激情视频| 九九久久久| 蜜桃久久久久久久久久久久| 亚洲国产第一页综合视频| 中字幕人妻一区二区三区| 日本免费二区三区| 91性感网站| 欧美国产日韩清纯唯美| 日韩精品黄片免费观看| 国产无吗在线播放| 超碰97护士| 色香伊人| 亚洲精品蜜桃久久久久久久| 人妻精品综合中文字幕在线| 日本中文字幕在线视频| 久久久久人妻二区精品叶可怜| 91bbbbbb| 亚洲,欧美,综合网| 97视频新免费| 美女黄码视频午夜| 成人熟女区| 欧美亚洲丝袜人妻制服99| 欧美一级国产一级| 精品美女久久久久| 日韩熟女三十乱伦| 97色亚洲| 黄页av| 啊啊啊久久久视频| 日日橹狠狠爱欧美超碰| 一区二区久久天天干狠狠| 超碰91在线| 欧美大香蕉同搞| 91精品无码久久久久久久| 国产免费小视频| 欧美国产操逼| 亚洲系列欧美| 一摸二插三插| 热热色色综合| 久久亚洲天堂| 粉嫩久久久极品| 久久超碰大香蕉| 亚洲第一页欧美| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 日韩欧美~中文字| 日日夜夜噜| 99999精品成人| 亚欧精品久久久久久久久久久| 亚洲精品一二牛牛| 日韩精品中文字幕人妻| 国产1024在线播放| 日韩av在线精品观看| 欧美激情综合网| 天天亚洲| 日韩成人私密一级精品av| 91在线视频国产网站| 9久热这里只有精品| 久久久女人| 亚洲天堂少妇| 天躁夜夜躁2021| 九九热av| 上特色A在线| 久久久久9999| 亚洲图片欧洲图片aⅴ| 黄在线| 久久肏大逼| 日韩av乱伦| 婷婷伊人网| 99热9| 欧美亚性天堂| 国产精品久久久久绯色| 内射卯月麻衣| 老熟女综合网| 久久中出| 欧美性爱91| 国产亚洲精品玖玖玖在线观看| 国产树林里野战在线看| 99久热| 无码99| 91在线美女| 夜夜嗷嗷一区二区| 亚洲影视高清第一页| 日比av无码| 91免费看一区二区三区 | 欧美操逼熟女| 久久激情五月| 神马久久69| WWW美腿丝袜香蕉中文| julia国产在线| 91亚洲人| 日小BB小视频| 啪啪91| 香蕉一区二区三区在线视频| 综合天天。| 亚洲成成熟女人综合一区二区| 男人在线天堂| 欧美性爱1080p| 欧美精品第3页| 天美精品一区二区三区四区在线观看| 综合大香蕉美。| 国产97亚洲| 99老司机精品视频在线观看| 狠狠色综合网| 婷婷色网| 欧美激情精品| 人人操人人摸人人看人人干| 日本免费一区二| 嫩草 我啊~嗯~在线| 私人尤物在线精品不卡| 丁香婷婷色五月| 狠狠图片青青草| 91M一社| 综合影院永久入口国产| 十八禁啪啦拍视频无遮挡| 99re这里只有精品3| 97国产中文| 沈阳熟女高潮对白视频| 日本 欧美 国产一区| 有码色中文字幕在线观看| 色噜噜人妻av中文字幕| 九九综合久久中文字幕| 岛国AV一区二区电影| 亚洲天天精品| 色翁荡息又大又硬又粗又爽| 蜜臀久久99精品久久久老,,| 国产suv精品一区二六| 色色色日本| www五月| 欧美亚洲宗合色性图| 曰韩中文人妻视频| 婷婷丁香六月天| 欧美日韩另类字幕中文| 麻豆综合一区av| av中文在线| 欧天美中出| 日本黄色天堂| 国产综合网站在线播放| 人人摸人人干| 九九九久久久| 婷婷在线视频| 日日不卡av| 亚洲AV无码国产成人| 天美一二三在线观看Av| 超碰99re| 夜夜嗨AV一区天天| 中文字幕在线免费观看| 久久五月综合| 精品人妻一区二区三区鲁大师| 黄网色一区二区三区四区精品| 9999亚洲电影| www.大香| 941超碰| 欧美探花网| 日韩精品高清资源在线| 日本性感人妻91| 99热97| 网友自拍第1页| 综合欧美日本三级| 在线观看啊啊啊啊啊| 国产成人无码网站在线视频| 肉丝无码中文高清| 在线观看色视频| 好屌色综合| 大香蕉免费3| 台湾佬中文娱乐自偷自拍| 精品九九| 蜜伊人色综合97| av亚欧| 国产九九久久久精品| 屁股久久久久久| 天天天天干| 欧美激情区| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 性色av一区二区| 国产又黄又爽又刺激久久久久久| 好屌色综合| 人人看欧美性爱| 久久久男人的天堂| 插欧洲美女欧美精品| 日韩在线观看AV| 无遮挡h肉动漫在线观看| 久久久啊啊啊| AV天堂丝袜| 自拍偷拍第26| 九九九精品色乱九九九| 亚洲av乱伦色图网站| 欧中美三级一区二区三区| 思思热在线观看| 国产9区| 中出789在线视频| 特级毛片特黄久久免费看 | 白嫩91在线亚洲| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | av天天在线观看| 日韩日本欧美在线观看| 中日韩久久久免费看| 99精品网| 欧美一区二区三区四区综合| 熟人人妻少妇精品久久| a男人的天堂| 欧美精品成人在线播放| 97久久超碰日韩精品| 99热超碰| 成人三一级一片aaa| 麻豆色99999| 蜜色网色哟哟| 国产又大又硬又长又粗| 插入逼91| 日本亚欧爱爱| 欧美欲色| 大香网伊人久久综合| 精品九九| 亚州黄站| 欧美91精彩| 成人aⅴ一区二区三区| 97一区二区三区视频| 亚洲国产欧美中文永久| 一起草三级AV电影在线观看| 加勒比综合a∨| 91狠| 日韩AC| 不卡中文字幕aⅴ在线| 夜夜免费视频| 麻豆AV96熟妇人妻| 国产玖玖| HEYZO高无码国产精品227| 天久久久噜噜噜久久国产精品爽爽| 色老汉色| 国产视频三区四区| 婷婷丁香六月| 户外裸露刺激视频第一区| 午夜性生活av免费在线看| 久久精品人妻一区二区三区| 啊啊啊啊啊啊啊好爽不要| 国产67194| 国产黄色影片在线观看| 国产 日韩,欧美 自拍| 亚洲欧美视| 精品然女一区二区| 国产人伦精品一区二区三区| 亚洲无套久久嗯嗯| 免費黃色視頻觀看一| 久久精品欧美一区二区三区不卡| 青青草国产欧美非洲黑人| 熟妇高潮二区三区| 亚洲综合 欧美| 一区二区三区日韩欧美| 久热69九色熟妇97| 中文字幕 一区二区 亚洲无码| 激情五月天视频| 亚洲av综合色| 台湾成人无码AV| 色吧 综合| 日本不卡五区| 老熟女乱伦片| 国产又粗又大硬免费色网视频| 78精品在线| 在线小视频| 97爱b| 超碰性爱97| 青青草自拍视频在线播放| 色久综合| 六月婷婷综合| 一区二区三区男女操逼黄色小电影| 亚洲宅男天堂| 黄污污污污| 99精品在线观看| 亚洲色诱惑| 伊人久久艹| 亚洲成人免费在线| 狼人综合婷婷激情四射 | 久久日本熟女精品一区| 热久日综合| 大香蕉99热| 国产一区麻豆免费观看| 伊人991| 97操在线| 97伊人| 亚洲高清欧美总合| 777超碰| 亚洲全色网| 国产毛片片精品天天看视频| 精品人妻免费观看| 免费久久一级毛片大黄| 五月婷婷六月丁香网址| 激情看片网站| 久久国产99精品72福利| 人妻大相焦在线| 粉嫩AV输入| 亚洲高清男人天堂| 91久久婷婷| 男啪女色黄无遮挡免费观看| 无码精品久久| 人人摸人人摸人人干| 亚洲操逼无码| 免费观看有码高清视频| 久久超碰、| 干B| 国产丝袜一区二区三区| 男人天堂2019| 午夜人人操| 午夜福利av电影在线| 国产1769在线| 久久国产精品,久久国产| 白 大 人妻 区 在线| 日本高清熟女久久一区| 青青草五月天| 夜夜高潮夜夜爽国产伦精品| 欧美天天综合网| 免费av在线播放二区| 精品人妻av在线播放| 97最新在线播放视频| 亚洲综合97中文网| 北条麻妃性愛视频| 少妇精品| 中文字幕精品一区欧美| 大香蕉综合| 欧美综合第一| 嗯嗯嗯啊啊在线观看| 97爱| 欧洲一级性爱视频在线观看| 精精夜夜| 蜜臀在线网站| 亚洲?V无码专区在线电影| 男男H黄动漫啪啪无遮挡网站| 天天爽爽爽爽| 国产人妻精品一区二区三区秋霞| 天天综合中文字幕 91| 免费少妇一区二区| 91一区二区| 亚洲视频二区| 91综合色| 色综合色| 日韩黄色小说| 久久欲| 亚洲天堂中文字幕无码男同| 内射卯月麻衣| 国产一级舔足在线观看| 日本污ww视频网站| 免费看污网址| 囯产精品久久久久久久久久梁医生| 极品尤物女神在线观看| 60秒试看最爽10分钟网站| 四虎av在线| 岛国大片在线观看网站入口| 成年男人的天堂| 亚洲黄色| 亚洲第一在线视频| 亚洲自拍一区夜夜操| 综合第一页| a级理论午夜日本| 久久久久久久久久黄色网 | 97av在线观看| 成片免费观看视频大全| 天天日美女的B| 激情综合网激情综合| 大香蕉综合| 99re在线视频国产| 美女视频尤物网在线看| 亚洲欧美天堂在线| 欧美双插| 五月丁香色婷婷| 天天天做天天天爱天天天爽| 少妇人妻太紧太深av| 日欧美色| A 天堂| 9久综合网| 超碰人妻97| 狠狠色婷婷7777久| 少妇高潮九九九九九九九| 无套内射人妻在线播放| 国产成人主播| 九九综合久久中文字幕| 玖玖爱一区在线| 91大神精品长腿在线观看网站| 欧美熟爽综合| 国产白丝精品在线观看| 人妻夜夜爽天天爽麻豆三区网站 | 狠狠操狠狠爱| 一区二区影视| 欧美日不卡| 欧美天天综合| 真实高潮91| 中文区中文字幕免费看| 日韩精品一区二区高清 | 亚洲影视高清第一页| www.av在线视频| 91老熟女老女人国产老太| 亚洲无码成人精品| 91nbbbbbb| 91社操逼| 青青青草原| 久久久激情| 丝袜足交视频| 久久久9品一区二区三区| 一起草三级AV电影在线观看| 日han少妇无码| 亚洲国产一区二区入口| 欧美在线|亚洲| 亚洲国产成人高清在线| 久久人| 久久9亚洲| ,成人免费啪啪视频| 亚州综合AⅤ| AV污污污污| 91痴汉| 伊人影院中文字幕| 小日子操bb在线看| 超碰 国产熟女精品一区| av久日| 蜜臀99久久精品| 99久热| 亚洲欧美一区二区网址| 日韩天天本| 久久老子无码午夜伦不卡| 超碰色图| av麻豆啪啪| 日韩人妻一区二区精品| 97精品久久| 熟女一区二区三区| 超碰av人人人| 亚洲无码免费看| 国产人妻久久精品一区二区三区| 午夜呻吟欧美| 国产亚洲色婷婷久久99精品91葵花宝典| 97国产|免费| 嗯嗯嗯啊啊啊操的我好爽| 国产91乱伦| 香蕉综合网| 精品亚洲俞拍视频一区| 九九Av| 熟女这里只有精品6| 亚洲男人天堂视频| 操操操操操操| 色婷婷丁香五月| 精品国产91内射久久| 青青青草原| 自拍盗摄一区| 久操操| 欧美日韩日产免费网站看| 久久久久女教师免费一区| 亚州色图狠狠干| 99九九精品| 三级激情网站| AAAA级日本片免费视频| 91九色丰满高潮| 91嫩草欧美| 99爱视频| 久久99午夜精品一区人妻| 日韩啊V| 中国熟妇| 天天爽入口| 久久久18禁| 一区二区三区精品黑丝白丝酒店对鸡| 欧美顶级黄色大片免费| 日本乱人伦片中文三区| 色妇综合网| 天天性射网| 久久一本大香蕉 | 天天网综合| 久久久免费视频18| 国产亚洲精品美女| 第45页一区二区| 欧美综合站| 99自拍视频在线观看| 操高情无码| 色婷婷六月丁香七月婷婷| 久热伊人| 日韩欧美麻豆| 无码人妻毛片丰满熟妇精品区| 99热导航| 91丝袜激情在线| 日本免费一区二| 污啪啪啪视频| 午夜天堂精品久久久久91| 亚洲色图欧美视频| 欧美性爱视频免费一区一A | 久久草视频污视频| 无码视频一区二区| 日本999精品视频| 蜜桃臀 后入 一区 二区 三区 在线| www久久久| 97久久超碰| 欧美综合区| 国模精品娜娜一二三区| av片在线观看免费播放| 日本一级性爱| 国产精品成人无码av| 亚洲一本大道中文字幕无码在线| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 人人性爱视频免费| 亚洲伊人成综合成人网| 成年无码动漫av片无尽在线 | 黑人黄片在线免费观看| 福利在线黄片| 伊人久久大香大香线蕉中文| 熟女视频久久| 激情综合五| 日韩人妻大香蕉| 天天欧美色| 九九热男人天堂| 91人人爽人人爽| 性色乱AV一区二区| 成人综合网 欧美| 国产青视频| 91天美传媒在线观看| 亚洲成人妻日韩在线| 日日噜噜夜夜久久亚洲一区二区| 久久久一区二区| 骚货 中文字幕 av| 欧美啪啪天堂| 一区二区三区四区久久视1| 日本蜜桃| 欧美在线|亚洲| 欧美色91| 牛牛AV人人夜夜澡人人爽| 操人人| 能在线播放的国产三级| www黄片免费看com| 91碰碰| 性欧美天天| 亚洲成人妻日韩在线| 亚欧美色图| 天天cao在线| 精品国产乱码| 色综合尤物| 麻豆天美国美国产| 日韩欧美中文字| 久久大香蕉97| 欧美日韩在线视频网站| 不卡一区二区日本视频| 久久98| 亚洲AV乱码专区国产噜噜亚洲 | 大香蕉综合网| av网站在线观看了| 99无码视频| 大香蕉伊人网WWWn0n| 香蕉免费一区二区三区不读| 色欲久久99国产精品久久久久久| 99久国产精品午夜性色福利| 俺去俺来也在线www| 97中文天堂| 超碰69| 久久青青草在线视频| 天天谢天天干| 后入美女国产| 国产精品3| 天天摸,夜夜摸| 天天在线91| 超碰97COm中文| 99re公开精品免费视频| 欧美综合骚| 久久久性爱| 国产精品视频播放| 涩涩五月天| 国产熟女| 97免费在线观看| 九九久久一区二区伦理| 精品视频久久久久九九九九9999 | 综合久久中文字幕综合日韩精品| 超碰在线974| 91无码人妻精品一区二区三区蜜桃| 成人国产视频在线观看| 在线看免费无码AV天堂的| 男人的天堂激情| 亚洲图片 欧美电影| 色综合久久av| 大香蕉伊人亚洲| 五月天婷婷社区| 亚洲国产欧美另类自拍| 久久精品视频久久久| 国产熟码AV| se01国产在线视频| 亚洲天堂另类美腿| 超碰97国产欧美| 欧美人妻久久精品二区三区| 欧美日韩电影一区二区| 欧美日韩在线小说 | 69久久| 秋霞久久亚洲精品成人| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 日日黄色三级网站| 欧美组图日韩亚洲中文字幕| 久色网| 91美女高潮| 国产精品嫩草影院免费| 97精品久久久久久久| 日本操逼无码| 日韩人体偷拍| 久久久久久久性爱| 国产99热| 极品一区二区三区免费| 日本综合色图| 久久乐| 亚洲图片小说欧洲| 亚洲超碰在线| 国语精品av| 亚洲欧美精品福利在线| 羞答答AV中文字| 在线看片国产精品每日更新| 国产精品丝袜久久亚洲不卡| 日韩综合无码色欲vv| 欧美熟妇人体| 亚洲国产精品无码AV久久久| 欧美图片色综合| 我要去看2个日本美女.com曹逼| 色妺妺在线视频| 青青草毛片| 国模限制级电影| 黑人猛交| 91视频观看网站| 日韩三级在线观看网站| 欧美少妇第一页| 国产精品久久久久久亚洲色欲| 亚洲美女精品| 日本一区二区三区免费观看| 97日视频| 双插性欧美一二三区| 亚州高清av| 国产一级αv免费看片| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 色色色色电影网| 久久久久熟女| 久久久久久亚洲精品中文字幕人妻| 欧美色狠| 欧美白嫩女HD| 无码精品蜜桃一区二区三区ww| 国产精品色约约| 亚洲国产激情国产av| 夜夜欧美| 亚洲AV资源| 久操com| 白嫩白嫩的午夜九久久久久久久久久久久成人剧场 | 亚洲色图国产另类| 91快色色色色色| 国语精品av| 中文字幕 一区二区 亚洲无码| 美日韩男女操屄视频| 97视频www| 爱做久久久久久| 人妻久久一区二区三区 | 992这里有精品| 中文操逼字幕| 久久久男人的天堂| 午夜丁香婷婷| 亚洲另类欧美精品| 亚洲欧美综合网站| 天堂蜜桃无码视频一区二区| 国产久久免费精品视频| 人妻熟女一区二区| 资源在线观一 二| 国产精品福利视频播放| 久久久久幕乱码| 91蜜臀在线久久久久| 在线免费观看日韩一区| 大香蕉视频啪啪啪啪| 亚洲丝袜B诱惑| 国产无码一二三区| 久96热在线观看视频| 丰满人妻一区二区中文| 亚洲图片欧美91N| 97人人操人人摸| 国产精品96久久久久久| 一本久久精品中文字| 99这里有精品视频| 欧美性爱日韩性爱| 91操熟女| 精品无码一区二区三区| 亚洲人妻熟妇三十三区| 九九激情网| 免费公开人人操| 五月丁香激情四射| 哑洲在线| 国精综合一二三区影视| 麻豆人妻精品一区二区| 韩国黄片aaaa| A 天堂| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 欧美国产欧美在线观看| 91伊人| 久久99久久99精品天美传媒棢·纸:. | www.91逼逼.com| 欧美色图 色综合图| 亚洲欧美日韩中文久久自慰| 男人的天堂成人的社区| 激情av| 老司机老司机午夜影院| 亚洲国产精品V?在线播放| 72av视频| 国产少妇内射| 精品人妻一区二区三区视频| 东京太热久久久| 97香蕉碰碰人妻国产欧美| 噜噜噜在线视频| 亚洲欧洲av影音| 97亚洲精品超碰| 夜夜嗨一区二区三区三州加勒比 | 高清在线偷拍自拍视频| 先锋色眉乱伦资源| 一区二区三区免费视频入口| 伊人骚琪琪亚洲天堂网站| 蜜桃网熟妇| 久久久91福利姬| 人人爽人人精品乱人伦AV| 亚洲 图片 欧美 色图| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 欧洲综合视频| 午夜精品一区二区三区三上悠亚| 国产精选三级在线观看| 思思性爱| 午夜爽爽爽在线观看永久入口姬片| 日本精品中文字幕视频| 人人操人人色网| 亚洲精品99999| 国产精品不卡少妇白| 偷拍欧美亚洲| 亚洲熟妇白浆无码AV| 超碰碰小说97| 国产熟女自拍| 疯操AV| 五十路熟女在线不卡观看一区二区| 亚洲无限观看| 亚州色图片在线色| 日韩淫色网| 亚洲影视第一页| 999久久芭蕾| 精品人妻一区二区蜜桃视频| 久久精品国产97欧美精品亚洲| 亚欧美色图| 欧亚 另类 久| 无套后入双马尾| 精品国产乱子伦一区二区三区,精品一 | 久午视频| 天天插网| 亚洲国产一级黄色视频| 亚洲欧洲日本精品中文a∨| 秋霞一级鲁丝片A片| 亚洲黄片免费在线播放| 午夜视频好爽啊| 亚洲 一区二区 自拍| 欧美性爱伊人| 色婷婷电影网| 天天插天天舔舔天天干| 动漫片子网站3黄| 天美精品一区二区三区四区在线观看| 亚洲国产精品久久久男人的天堂| 亚洲综合贴图91 | 小视频国产| 夜色AV无码手机在线影院| 91精品大奶人妻| 黑丝少妇在线观看| 亚洲欧美九九九| 我中文字幕6区| 97操碰| 国产美女高潮| 亚洲国产91精品一区二区久久| 岛国毛片手机在线观看| 天堂8在线新版官网| 最新欧美色网| 九九拍拍精品视频在线播放| 欧美最大综合网| 粉嫩av一区二区三区天美传媒 | 欧美人人操人人插| 在线综合色| 嗯嗯啊在线视频| 另类av天堂| 中文字幕av片| 男啪女色黄无遮挡免费观看| 黄页网站免费高清在线观看| 五月丁香啪啪网| 亚洲少妇诱惑| 精品欧美日韩在线观看| 啪啪自拍九九综合| 翔田千里AⅤHD无码| 丁香六月东京热| 亚洲αv一区二区三区| 亚洲九九夜夜| 青青草视频导航官网| AV在线播放网址| 日韩中文字墓| 久久久成人国产精品无码| 91青视频| 97在线观看免费| 人人模人人看| 动漫爆乳3D奶水一区在线观看| 久久99国产综合精品女同| 97免费视频在线观看视频| 丁香九月婷婷| 最新啪啪视频| 国产精品乱码久久久久久久久久久久| 夜夜爽夜夜摸夜夜操免费视频| 中国一级αV| 日本精品第一视频在'| 91麻豆天美传媒HD| 亚洲小说视频| 午夜爽爽爽在线观看永久入口姬片| 婷婷日韩一区二区三区中文字幕在线| 欧美天天综合站| 九九九久久久| · —级AA伦aa坐爱午夜极速ⅴA一区天天噪天天噪天天噪 | 伊人在线大香蕉二。| 久久精品国产亚洲5555| 亚洲色欲天天人妻无码系列专区| 天天看人人操屄犊摸阴| 91高潮| 午夜精品久久久久久久99蜜桃一| 好吊色一区| 91综合网站| 精品性爱无码在线播放| 裸体1区| 操国产逼| 猛交交| 国产人妻久久精品一区二区三区| 国产精品999zyz| 女同性恋一区二区三区精品视频| 99国产女人| 深夜激情无码| 内射卯月麻衣| 国产中文字幕在线点播| 1024亚洲中文字幕久在线看片你懂的 | 大香蕉久久| WWW美腿丝袜香蕉中文| 99久久精品无码一区二区毛片免费| 男人的天堂网免费| 欧美亚洲系列| 欧美黄色片AAAAA| 97天天插| 亚洲啪啪视频一区二区| 东北女人| 欧美日韩啪啪电影| 日韩一级二级在线| 少妇久久| 欧洲综合视频| 中文久久| 精品四五区| 欧美色宗合| 日韩亚洲美女一区久久| 欧美性性性| 亚洲综合五月天| 这里只有精品97| 亚洲激情AV| 超碰97人妻自拍| www.激情| 男人的天堂视频精品乱在线| 无码自拍SM| 九九九成人| AV九九| 亚洲天堂2020| 乱人伦 国语对白:视频直接看| 国产精品乱码久久久| 91操碰| 久操免费观看| 日本熟妇熟色97一本在线观看| 啊啊嗯嗯好爽| 精品国产网站| 亚洲AV秘无码一区..| 91骚妇| 黄色在线网站| 日韩不卡一二三四| 黄网色一区二区三区四区精品| 色97综合中文字幕| 久久性视频| sewuyueav| 好淫网一二三视区| 国产91亚洲精品一区二区三区| 大香蕉99热| 超碰在线香蕉| 97国产精选| 五月天激情网图片| 在线视频 亚洲精品| 黑人天8A∨高清网站| 高清国产性猛交xxxx乱大交| 狠狠躁日日躁夜夜躁A| 九九综合久久| 国语少妇精| 色九月综合| 少妇3P性爱自拍| 啊啊啊 在线| 麻豆精品久久久久久久| 性爱综合一区二区| 欧美熟女逼久久久久久| 九九色热| 国产精品又黄又猛又粗| 久日91在线| 亚洲第一在线视频| 呦呦一区| 亚洲欧美一区二区不卡视频播放 | 亚洲凸凹超碰成人| 欧美婷婷五月天| 百度百度日本操逼| 加勒比AV天堂| 丁香五月激情综合| 久久午夜鲁丝片| 91熟女视频网| 亚洲另类久操网| 欧美日韩香蕉| 麻豆天美传媒毛片| 激情视频一二三| 五月色综合| 人人操我人人干| 怡红院久久老司机| 中文字幕乱碼在线| 一级久久性爱视频| 亚洲自拍偷拍视频在线| 亚洲男人天堂2| 泰国AV在线观看| 中文字幕成人理论在线| 亚洲欧美天堂| 亚洲文学偷乱拍啪啪啪啪| 欧美后进式| 日韩欧美中文| 欧美天天| 人妻另类| www.AV有限公司一区| 九九热免费视频| 老熟妇一区二区三区…| 久久69| 日韩专区久久久| 尤物av网站| 开心五月婷婷激情| 日日夜夜精品| 超碰免费人妻在线| 久久9精品网站| 91新在线欧美| 六月丁香五月婷婷| 成人美女av| 欧美爱三级日韩久久| 一区二区视频在看| x97av| 中文字幕乱碼在线| 久久麻豆一区二区| 蜜乳AV一区二区三区四| 日韩免费三级黄片电影| 一二三区精品视频| 日本 情色 1区2区3区| 97免费视频网| 九九精品美女高溯喷水 | 亚洲人妻一区二区三区| 日本一区二区成人在线| 熟妇xxxxx性春色| 国产传媒av天美传媒在线| 日韩欧美三级| 蜜桃精品一区二区三区久在线| 亚洲综合性感在线| 久久国产99精品72福利| 亚洲人妻AV| 黄片www.| 国产三级多多影院2022国产AA一级毛片无码| 日韩欧美性吧婷婷乱伦大香蕉| 91中出视频| 色九九九九九九| 亚洲图片在线| 日日夜夜模| 美腿丝袜高跟网免费视频免费视频| 韩国一区二区精品亚洲| 91操人| 色爱综合网| 这里都是精品在线观看| 91丨熟女丨丰满熟女| 日韩乱中文 | 欧美在线大香蕉| 欧美日韩淫加| 久草视频制服诱惑| 久久熟女人| 1024亚洲中文字幕久在线看片你懂的 | 亚洲αv一区二区三区| 黄色片,com| 超碰无码加勒比| 十八禁视频一区二区| 黑人精品XXX一区一二区| 99婷婷一区二区| 肉动漫无遮挡h在线观看| 久久伊人最新网址视频| 亚洲加勒比久久日本道| 日本精品五区| 97日韩欧美| 日韩无码极品| 东北少妇高潮zzzz| 夜夜草天天| 午夜无遮挡男女啪啪视频| 欧美gv在线观看| 操www| 国产精品嫩草影院免费| 国产精品欧美日韩久久| 国产美女mm131爽爽爽爽| 久久无码电影| 欧美日韩99| 色九九九九久| 久久9久9久99久9久9| 色九九九| 久久日本熟女精品一区| 风骚少妇视频中文字幕| 99re6在线视频精品免费完整版安卓版| 啊啊啊啊啊好舒服视频| 97久久久久久久久久| 欧美日韩欧美| 国产传媒日韩欧美| 亚洲欧洲av影音| 一级黄色视频网| 爆操无码| 日本一本一区二区三区四区五区欧美日韩中文字幕| 天天日夜夜| 蜜桃传媒一区二区亚洲| 99热精品国产| 久久9精品网站| 东京热综合久久一区二区 | 国产精品一区二区亚洲人成毛片| 久久男人精品| 欧美 亚洲 偷拍自拍| 欧美综合站| 欧美激情一区二区| 精品欧美日韩在线观看| 亚洲 欧美综合| 国产91亚洲精品一区二区三区| 欧美日本中字另类在线| 国产欧美日韩在线不卡第一页| 丝袜美腿诱惑亚洲欧美视频在线观看| 日本免费不卡二区| 成人在线午夜视频一区| 91国产丝袜白虎| 国产区日韩区在线观看| 久久av成人无码免费| 丁香婷婷色五月| 91亚州欧美| 91视频女生| 看日韩黄片| 久久香蕉综合一本到3atv| 夜夜一区二区| 加勒比海成人视频网| 久草看看看| 国产操逼视频在线观看| 高清国产av无码| 久久久久久久久久久人妻| 欧美日韩人妻少妇 一区二区三区| 91爱剪切久久| 懂色av色欲av蜜臀av| 99色| 亚洲天堂日本| 欧美综合网在线| 亚洲天堂人妻熟妇视频| 亚码激情| 蜜桃精品一区二区三区久在线| 欧美色图20p| 亚洲成人美女无吗| 大香蕉 222| 日日干日日摸| 国产一级特黄大片处女| 91无码中出人妻视频| 久久婷婷亚洲欧| 丝袜美腿亚洲| 人妻99p| www.高清无码诱惑一区.com | 欧美性生活免费网| 99re9在线| 日韩丨制服丨中文|在线| 亚洲熟妇一,二,三期| 图片区小说区| 丁香婷婷激情五月天无毒不卡| 一二三区视频在线观看| 日韩在线一区高清在线| 麻豆天美久久91| 97国产精选| 18禁美女裸体无遮挡啪啪| 97青青操视频| 奶水 人妻 哺乳 在线| 操逼无码一区| 天天夜夜久久| 91性色| 思思热在线视频精品| 激情情色五月天| 久久亚州精品成人Av无| 天天摸天天插天天日| 日本幼女18+| 国内毛片国产专区二| 久久久久久久久久黄色网| 精品九九九九九| 六月天婷婷| 夜夜嗨一区| 亞洲久久直播| 欧美激情色婷婷花野真衣一区二区 | 在线视频 亚洲精品| 九九热精品| 97亚洲自在精品在线观看| 伊人网综合在线视频| 啊灬快c我灬啊灬用力灬啊灬-国产精品性做久久久久久-成人AV | 免费在线视频97| 免费的黄片wwwwww| 久久免费看高潮毛片韩国| 国产精选三级在线观看| 91丝袜在线视频| 一级人妻性爱视频| 白丝1区2区3区| 日本精品五区| 亚洲男人天堂2019|