亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

vCenter創(chuàng)建虛擬機(jī)全流程:從模板部署到資源分配與故障排查

vCenter創(chuàng)建虛擬機(jī)全流程:從模板部署到資源分配與故障排查 簡(jiǎn)介面向虛擬化運(yùn)維人員或 VMware 初學(xué)者這份 docx 文檔系統(tǒng)梳理了 vCenter 創(chuàng)建虛擬機(jī)的完整流程重點(diǎn)解決通過內(nèi)容庫(kù)管理 ISO 鏡像并快速部署 CentOS 7 虛擬機(jī)的問題。文檔先介紹如何在 vCenter 中創(chuàng)建 ISO 內(nèi)容庫(kù)并配置與 ESXi 一致的存儲(chǔ)位置再說明從已有內(nèi)容庫(kù)克隆 ISO 鏡像到目標(biāo)庫(kù)的操作要點(diǎn)最后分步講解新建虛擬機(jī)時(shí)如何選擇 ESXi 主機(jī)、設(shè)置兼容性與客戶機(jī)操作系統(tǒng)類型并在 CD/DVD 設(shè)備中掛載克隆好的 ISO 鏡像。文字步驟配合關(guān)鍵截圖直觀易用。資源包為單份 Word 文檔docx大小 2.05MB結(jié)構(gòu)清晰適合直接閱讀、打印或作為實(shí)驗(yàn)練習(xí)參考。目前已有 349 人學(xué)習(xí)下載。對(duì)正在搭建 vCenter 實(shí)驗(yàn)環(huán)境或需要規(guī)范化批量部署虛擬機(jī)的運(yùn)維人員這是一份簡(jiǎn)明實(shí)用的操作手冊(cè)有助于減少因步驟遺漏導(dǎo)致的部署失敗提升虛擬機(jī)交付效率。1. 在 vCenter 里創(chuàng)建虛擬機(jī)從模板部署到資源分配的完整落地流程很多人拿到一份 vCenter 創(chuàng)建虛擬機(jī)的操作文檔第一反應(yīng)是「這有什么好寫的下一步下一步就完了」。但真正在生產(chǎn)環(huán)境里動(dòng)過手的人都知道vCenter 建虛機(jī)這件事坑全藏在細(xì)節(jié)里存儲(chǔ)策略選錯(cuò)導(dǎo)致虛擬機(jī)無法遷移、網(wǎng)卡類型不匹配導(dǎo)致千兆業(yè)務(wù)只有百兆速度、模板克隆后 Linux 機(jī)器網(wǎng)卡起不來、資源池超賣導(dǎo)致宿主機(jī) CPU 就緒時(shí)間飆升。這些不是玄學(xué)是每一步選擇背后的原理沒吃透。這份實(shí)操文檔的價(jià)值不在「如何點(diǎn)完向?qū)А苟凇该恳徊綖槭裁催@么選、參數(shù)怎么定、哪些默認(rèn)值要改」。它適合剛接手虛擬化平臺(tái)的新人照著走一遍流程也適合被虛擬機(jī)性能問題折騰過的運(yùn)維用來對(duì)照檢查自己的分配習(xí)慣。2. 創(chuàng)建前的規(guī)劃命名規(guī)范、計(jì)算資源與存儲(chǔ)策略的三維選型2.1 命名規(guī)范與資源位置規(guī)劃在 vCenter 里創(chuàng)建虛擬機(jī)第一個(gè)決定不是點(diǎn)「新建虛擬機(jī)」按鈕而是想清楚這臺(tái)機(jī)器放在哪、叫什么名字。很多初學(xué)的人隨手把虛擬機(jī)建在數(shù)據(jù)中心根節(jié)點(diǎn)下集群、資源池、文件夾全是亂的等到虛擬機(jī)數(shù)量過百運(yùn)維排查問題全靠猜。合理的做法是先看目標(biāo)集群里有沒有建立文件夾和資源池的層級(jí)規(guī)劃。我一般會(huì)建議按「業(yè)務(wù)線 - 環(huán)境 - 應(yīng)用」三級(jí)來組織文件夾例如「訂單系統(tǒng)」文件夾下再分「生產(chǎn)」和「測(cè)試」兩個(gè)子文件夾虛擬機(jī)命名則采用「業(yè)務(wù)代碼-環(huán)境-角色-序號(hào)」的格式比如order-prod-web-01。這樣的命名方式在 vCenter 的搜索框里一搜就能定位配合標(biāo)簽功能還能做進(jìn)一步的維度管理。資源池的規(guī)劃又是一個(gè)常見盲區(qū)。很多人以為資源池是拿來分 CPU 內(nèi)存用的其實(shí)更關(guān)鍵的作用是「預(yù)留和限制」的控制點(diǎn)。生產(chǎn)環(huán)境的虛擬機(jī)建議直接放在集群根節(jié)點(diǎn)下讓 DRS 自動(dòng)調(diào)度測(cè)試環(huán)境的虛擬機(jī)可以放進(jìn)一個(gè)帶 CPU 限額的資源池防止壓測(cè)時(shí)把宿主機(jī)資源吃光影響生產(chǎn)業(yè)務(wù)。這個(gè)決策直接影響后續(xù)虛擬機(jī)性能必須在創(chuàng)建前就定下來。2.2 存儲(chǔ)策略選擇Thick 還是 Thin這是個(gè)性能問題存儲(chǔ)配置是新建虛擬機(jī)向?qū)Ю镒钊菀住改J(rèn)到底」的一步但恰恰是這一步?jīng)Q定了虛擬機(jī)后續(xù)的性能基調(diào)和運(yùn)維復(fù)雜度。虛擬機(jī)磁盤格式有厚置備延遲置零、厚置備快速置零和精簡(jiǎn)置備三種很多人只知道「精簡(jiǎn)省空間」卻不清楚它在生產(chǎn)環(huán)境里的性能代價(jià)和存儲(chǔ)水位風(fēng)險(xiǎn)。厚置備快速置零在創(chuàng)建時(shí)就分配好全部空間并清零讀寫性能最穩(wěn)定適合數(shù)據(jù)庫(kù)等高 IO 應(yīng)用。厚置備延遲置零同樣預(yù)先分配空間但不清零首次寫入時(shí)性能會(huì)打折。精簡(jiǎn)置備按實(shí)際使用量增長(zhǎng)創(chuàng)建速度快適合桌面虛擬化和測(cè)試環(huán)境但最怕存儲(chǔ)池空間規(guī)劃失控——虛擬機(jī)刪了文件但未回收空間存儲(chǔ)水位持續(xù)上漲最后整池爆滿。具體怎么選我通常會(huì)看存儲(chǔ)設(shè)備的類型和業(yè)務(wù)對(duì)延遲的敏感性。全閃存陣列上跑核心業(yè)務(wù)選厚置備快速置零普通 SAS 盤上的開發(fā)測(cè)試虛擬機(jī)選精簡(jiǎn)置備。如果底層是超融合架構(gòu)還要額外關(guān)注存儲(chǔ)策略里是否啟用了去重和壓縮這些功能會(huì)改變空間計(jì)算的邏輯。2.3 網(wǎng)絡(luò)與計(jì)算資源參數(shù)CPU 預(yù)留、內(nèi)存預(yù)留和網(wǎng)卡類型新建虛擬機(jī)向?qū)Ю?CPU 和內(nèi)存的配置看似簡(jiǎn)單但「給幾核幾 G」的定義方式有很多大學(xué)問。vCenter 里 CPU 配置涉及插槽數(shù)、每個(gè)插槽的內(nèi)核數(shù)、CPU 預(yù)留、CPU 限制和份額。插槽數(shù)和內(nèi)核數(shù)的設(shè)置直接關(guān)系到虛擬機(jī)內(nèi)部操作系統(tǒng)的許可證授權(quán)比如某些數(shù)據(jù)庫(kù)按物理 CPU 插槽計(jì)費(fèi)你就需要把內(nèi)核盡量集中到少量插槽上。內(nèi)存配置方面預(yù)留是一個(gè)容易被忽略的選項(xiàng)。虛擬機(jī)內(nèi)存預(yù)留意味著宿主機(jī)必須保留等量的物理內(nèi)存給這臺(tái)虛擬機(jī)禁止回收和超賣。對(duì)于 SQL Server、Oracle 這類對(duì)內(nèi)存延遲敏感的應(yīng)用我習(xí)慣開啟全部?jī)?nèi)存預(yù)留對(duì)于普通的 Web 服務(wù)器則關(guān)閉預(yù)留讓 ESXi 的內(nèi)存回收機(jī)制發(fā)揮作用提高宿主機(jī)密度。網(wǎng)卡類型的選擇也藏著性能坑。新版 vCenter 創(chuàng)建 Linux 虛擬機(jī)默認(rèn)推薦 VMXNET3但有些老舊操作系統(tǒng)鏡像沒有集成對(duì)應(yīng)驅(qū)動(dòng)啟動(dòng)后網(wǎng)卡無法識(shí)別。此時(shí)需要改用 E1000E 兼容模式或者準(zhǔn)備驅(qū)動(dòng)軟盤在系統(tǒng)安裝時(shí)加載。這個(gè)細(xì)節(jié)不處理好克隆出來的虛擬機(jī)必現(xiàn)網(wǎng)絡(luò)不通的問題。3. 通過模板部署虛擬機(jī)的完整流程自定義規(guī)范與克隆參數(shù)調(diào)優(yōu)3.1 從模板部署的標(biāo)準(zhǔn)操作路徑模板部署是生產(chǎn)環(huán)境批量創(chuàng)建虛擬機(jī)的主流方式比從頭安裝操作系統(tǒng)快得多也更容易保證系統(tǒng)配置的一致性。在 vCenter 里從模板部署虛擬機(jī)有兩種方式基于 vCenter 的克隆部署和基于內(nèi)容庫(kù)的部署。前者適合同集群內(nèi)的快速?gòu)?fù)制后者適合跨 vCenter 甚至跨站點(diǎn)的標(biāo)準(zhǔn)化分發(fā)。基于 vCenter 的克隆流程大致如下在虛擬機(jī)模板上右鍵選擇「從此模板新建虛擬機(jī)」輸入虛擬機(jī)名稱并選擇存放位置數(shù)據(jù)中心或文件夾選擇計(jì)算資源集群、主機(jī)或資源池選擇存儲(chǔ)位置和存儲(chǔ)策略選擇是否勾選「自定義此虛擬機(jī)的操作系統(tǒng)」并配置客戶機(jī)操作系統(tǒng)自定義規(guī)范設(shè)置操作系統(tǒng)信息主機(jī)名、IP、DNS、域等完成部署并啟動(dòng)虛擬機(jī)這里最關(guān)鍵的一步是第 5 項(xiàng)「客戶機(jī)操作系統(tǒng)自定義規(guī)范」。如果跳過這一步克隆出來的虛擬機(jī)主機(jī)名和 IP 都跟模板一模一樣多臺(tái)機(jī)器同時(shí)上線就會(huì)發(fā)生 IP 沖突和主機(jī)名重復(fù)。自定義規(guī)范需要提前在 vCenter 的「策略和配置文件」里創(chuàng)建好按照 Windows 和 Linux 分開配置。3.2 自定義規(guī)范的核心參數(shù)配置Linux 和 Windows 的自定義規(guī)范參數(shù)差異很大。Windows 需要配置產(chǎn)品密鑰、管理員密碼、時(shí)區(qū)、工作組或域、網(wǎng)絡(luò)設(shè)置其中 Sysprep 的版本必須跟模板里的 Windows 版本嚴(yán)格匹配——Windows Server 2016 模板對(duì)應(yīng) Sysprep 2016 版本版本不匹配會(huì)直接導(dǎo)致自定義失敗。Linux 的自定義規(guī)范相對(duì)簡(jiǎn)單但同樣有版本匹配問題。vCenter 里的 Linux 自定義是通過 guest customization 工具執(zhí)行的不同版本的 Linux 對(duì)應(yīng)不同的工具版本。我踩過最典型的一個(gè)坑模板是 CentOS 7自定義規(guī)范里選了 RHEL 7 的選項(xiàng)結(jié)果克隆后 /etc/hostname 沒改IP 倒是配上了但主機(jī)名還是模板里的名字監(jiān)控系統(tǒng)里全是重名告警。網(wǎng)絡(luò)配置部分的參數(shù)決定了虛擬機(jī)能否按預(yù)期接入網(wǎng)絡(luò)。靜態(tài) IP 模式下需要填對(duì)子網(wǎng)掩碼、網(wǎng)關(guān)和 DNSDHCP 模式下啥都不用填但得確認(rèn)目標(biāo)網(wǎng)絡(luò)里有 DHCP 服務(wù)。如果虛擬機(jī)要同時(shí)配置多個(gè)網(wǎng)卡自定義規(guī)范里要按順序指定每個(gè)網(wǎng)卡的 IP順序搞錯(cuò)會(huì)導(dǎo)致業(yè)務(wù) IP 配到了管理網(wǎng)卡上。3.3 克隆后的初始化檢查清單克隆部署完成后第一件事不是直接接入業(yè)務(wù)而是做一輪初始化檢查。我習(xí)慣按下面的清單走一遍確認(rèn)主機(jī)名是否按照自定義規(guī)范正確修改確認(rèn)所有網(wǎng)卡的 IP、網(wǎng)關(guān)、DNS 是否符合規(guī)劃?rùn)z查/etc/hosts或 Windows 的 hosts 文件里是否殘留模板的解析記錄檢查 SSH 主機(jī)密鑰是否已重新生成Linux 場(chǎng)景檢查 Windows 的 SID 是否已通過 Sysprep 重新生成確認(rèn)虛擬機(jī)時(shí)間同步是否正常NTP 服務(wù)是否隨系統(tǒng)啟動(dòng)這些檢查看著瑣碎但每一條都對(duì)應(yīng)著生產(chǎn)環(huán)境里真實(shí)發(fā)生過的故障。比如 SSH 主機(jī)密鑰不重新生成多臺(tái)克隆機(jī)指紋一樣運(yùn)維平臺(tái)做主機(jī)信任時(shí)會(huì)直接報(bào)沖突。4. 空白虛擬機(jī)創(chuàng)建與手動(dòng)安裝系統(tǒng)ISO 掛載和引導(dǎo)參數(shù)設(shè)置4.1 創(chuàng)建空白虛擬機(jī)并掛載 ISO 鏡像不是所有場(chǎng)景都能用模板部署。有時(shí)候需要從零開始安裝一套全新的操作系統(tǒng)版本或者模板里沒有你需要的系統(tǒng)類型這時(shí)候就要走「新建空白虛擬機(jī) 手動(dòng)掛載 ISO 安裝」的路線。這個(gè)流程雖然步驟更多但對(duì)系統(tǒng)的掌控力最強(qiáng)。在 vCenter 里新建空白虛擬機(jī)時(shí)「客戶機(jī)操作系統(tǒng)」的選擇需要跟實(shí)際要安裝的系統(tǒng)一致。這個(gè)選擇不僅影響虛擬機(jī)名稱后綴還會(huì)影響虛擬硬件的兼容性配置——選錯(cuò)系統(tǒng)類型后續(xù)安裝完系統(tǒng)后虛擬機(jī)的硬件版本可能不被識(shí)別。比如要裝 Windows Server 2022客戶機(jī)操作系統(tǒng)類型需要選到對(duì)應(yīng)的版本這樣虛擬硬件才會(huì)默認(rèn)啟用必要的虛擬化特性。ISO 鏡像的掛載有兩種方式一是通過數(shù)據(jù)存儲(chǔ)瀏覽上傳 ISO 到存儲(chǔ)上再掛載到虛擬光驅(qū)二是通過內(nèi)容庫(kù)管理 ISO在虛擬機(jī)設(shè)置里直接選擇內(nèi)容庫(kù)中的 ISO 文件。第二種方式更規(guī)范適合團(tuán)隊(duì)協(xié)作場(chǎng)景ISO 文件不用每人傳一份到存儲(chǔ)。掛載 ISO 后虛擬機(jī)的引導(dǎo)順序也很關(guān)鍵。默認(rèn)情況下虛擬機(jī)從硬盤引導(dǎo)如果硬盤上沒有引導(dǎo)記錄會(huì)直接報(bào)沒有可引導(dǎo)設(shè)備。需要在虛擬機(jī)設(shè)置的「引導(dǎo)選項(xiàng)」里調(diào)整引導(dǎo)順序把 CD/DVD 光驅(qū)放在硬盤之前或者臨時(shí)勾選「強(qiáng)制進(jìn)入 BIOS 設(shè)置界面」手動(dòng)選擇一次性引導(dǎo)設(shè)備。我用一個(gè) bash 式的操作習(xí)慣做參考創(chuàng)建虛擬機(jī)時(shí)就把光驅(qū)設(shè)為第一個(gè)引導(dǎo)設(shè)備裝完系統(tǒng)后再把硬盤調(diào)回第一位避免后續(xù)重啟時(shí)從 ISO 反復(fù)引導(dǎo)。4.2 安裝過程中的 VMware Tools 安裝與驅(qū)動(dòng)驗(yàn)證手動(dòng)安裝系統(tǒng)的過程跟物理機(jī)基本一樣但有一個(gè)額外且必須做的事安裝 VMware Tools新版叫 open-vm-tools。VMware Tools 不僅提供鼠標(biāo)無縫切換、剪貼板共享這些體驗(yàn)類功能更重要的是它包含了虛擬機(jī)與 ESXi 交互所需的驅(qū)動(dòng)和服務(wù)比如內(nèi)存氣球驅(qū)動(dòng)、網(wǎng)絡(luò)驅(qū)動(dòng)優(yōu)化、時(shí)間同步模塊。沒裝 VMware Tools 的虛擬機(jī)會(huì)在 vCenter 里顯示一個(gè)黃色感嘆號(hào)并且無法正常執(zhí)行 shutdown 和 reboot 操作。Windows 系統(tǒng)的 VMware Tools 安裝很簡(jiǎn)單掛載后運(yùn)行 setup 即可。Linux 系統(tǒng)則建議用系統(tǒng)自帶的 open-vm-tools 包通過包管理器安裝# 以 CentOS/RHEL 系為例 sudo yum install -y open-vm-tools # 以 Ubuntu/Debian 系為例 sudo apt-get install -y open-vm-tools # 安裝完成后啟動(dòng)并設(shè)置開機(jī)自啟 sudo systemctl enable --now vmtoolsd這里有個(gè)安裝源的問題如果操作系統(tǒng) ISO 是精簡(jiǎn)版的可能默認(rèn)軟件源里沒有 open-vm-tools需要用原版安裝源或提前準(zhǔn)備好的離線包。open-vm-tools 裝完后vmware-toolbox-cmd命令可以查看虛擬機(jī)的資源狀態(tài)和宿主機(jī)信息這是驗(yàn)證虛擬化環(huán)境是否正常的一個(gè)直接手段。驅(qū)動(dòng)的驗(yàn)證同樣不能忽略。Windows 系統(tǒng)裝完 VMware Tools 后打開設(shè)備管理器確認(rèn)所有設(shè)備沒有黃色感嘆號(hào)Linux 系統(tǒng)通過ethtool -i eth0查看網(wǎng)卡驅(qū)動(dòng)類型確認(rèn)是 vmxnet3 而不是 e1000——如果是 e1000說明網(wǎng)卡類型選得不對(duì)需要關(guān)機(jī)后改成 vmxnet3 再開機(jī)驗(yàn)證。4.3 引導(dǎo)參數(shù)設(shè)置的常見誤區(qū)手動(dòng)安裝系統(tǒng)時(shí)引導(dǎo)參數(shù)設(shè)置有一些經(jīng)常翻車的地方。Linux 安裝時(shí)如果設(shè)置了錯(cuò)誤的inst.stage2參數(shù)指向不存在的安裝源安裝程序會(huì)卡在啟動(dòng)界面找不到安裝介質(zhì)。Windows 安裝時(shí)如果 UEFI 引導(dǎo)和 BIOS 引導(dǎo)模式選錯(cuò)裝出來的系統(tǒng)無法直接引導(dǎo)或者反過來在設(shè)置為 UEFI 的虛擬機(jī)上裝了傳統(tǒng) BIOS 模式系統(tǒng)開機(jī)直接黑屏。還有一個(gè)容易忽略的是虛擬機(jī)的固件類型。vCenter 里創(chuàng)建虛擬機(jī)時(shí)可以選擇 BIOS 或 UEFI 固件這個(gè)選擇在創(chuàng)建后不能隨意更改。UEFI 模式下 Windows 虛擬機(jī)需要磁盤上存在 EFI 系統(tǒng)分區(qū)BIOS 模式下則需要 MBR 引導(dǎo)。模板克隆時(shí)如果模板用了 UEFI克隆出來的虛擬機(jī)也必須保持 UEFI混合使用會(huì)導(dǎo)致啟動(dòng)失敗。這個(gè)約束在新手期幾乎必然踩一次。5. 虛擬機(jī)資源限制配置預(yù)留、份額、限制的實(shí)際調(diào)優(yōu)參數(shù)5.1 份額與預(yù)留的計(jì)算邏輯虛擬機(jī)的性能問題很多不是宿主機(jī)硬件不夠而是資源分配策略不合理。vCenter 的資源管理有三個(gè)核心杠桿份額Shares、預(yù)留Reservation和限制Limit。理解這三個(gè)參數(shù)的關(guān)系是調(diào)優(yōu)虛擬機(jī)性能的基礎(chǔ)。份額是「相對(duì)權(quán)重」而非「絕對(duì)能力」。當(dāng)多臺(tái)虛擬機(jī)爭(zhēng)搶同一宿主機(jī)的 CPU 資源時(shí)份額比例決定了誰能搶到更多。默認(rèn)份額是「正?!沟燃?jí)每顆 vCPU 的權(quán)重為 1000。如果你有兩臺(tái)虛擬機(jī)一臺(tái)份額設(shè)為高一臺(tái)設(shè)為低當(dāng)宿主機(jī) CPU 資源緊張時(shí)高份額的虛擬機(jī)可以獲得更多 CPU 時(shí)間片。但注意只要宿主機(jī)資源沒到瓶頸份額對(duì)單臺(tái)虛擬機(jī)的性能沒有任何影響。預(yù)留則是「最低保障」設(shè)定后宿主機(jī)必須為這臺(tái)虛擬機(jī)保留對(duì)應(yīng)的 CPU 或內(nèi)存資源。預(yù)留可以在 CPU 或內(nèi)存層面獨(dú)立設(shè)置比如 CPU 預(yù)留 4GHz 意味著宿主機(jī)必須保證 4GHz 的 CPU 計(jì)算能力給這臺(tái)虛擬機(jī)。預(yù)留值設(shè)得過高會(huì)降低宿主機(jī)的整體可調(diào)度容量導(dǎo)致能容納的虛擬機(jī)數(shù)量變少。限制參數(shù)正好相反它給虛擬機(jī)的資源使用設(shè)置一個(gè)硬頂。生產(chǎn)環(huán)境里一般不會(huì)主動(dòng)給核心業(yè)務(wù)虛擬機(jī)設(shè)置 CPU 限制但對(duì)于測(cè)試環(huán)境或者多租戶共享的集群限制往往是防止資源被單個(gè)租戶耗盡的唯一手段。合理的做法是核心業(yè)務(wù)設(shè)預(yù)留 默認(rèn)份額測(cè)試業(yè)務(wù)設(shè)限額 低份額。5.2 內(nèi)存預(yù)留與 NUMA 架構(gòu)的影響內(nèi)存預(yù)留對(duì)性能的影響比很多人想象中更大。虛擬機(jī)的內(nèi)存預(yù)留有三個(gè)檔位不預(yù)留、部分預(yù)留、全部預(yù)留。ESXi 的內(nèi)存回收機(jī)制包括透明頁共享、內(nèi)存壓縮和交換這些機(jī)制會(huì)在物理內(nèi)存不足時(shí)將虛擬機(jī)內(nèi)存頁回收或換出到存儲(chǔ)設(shè)備上的交換文件。如果虛擬機(jī)啟用了全部?jī)?nèi)存預(yù)留ESXi 不會(huì)回收它的任何內(nèi)存頁內(nèi)存訪問延遲最好但宿主機(jī)能跑的虛擬機(jī)密度會(huì)顯著下降。NUMA 架構(gòu)是另一個(gè)需要考慮的因素?,F(xiàn)代 x86 服務(wù)器都是多路 CPU每個(gè) CPU 對(duì)應(yīng)一組本地內(nèi)存訪問本地內(nèi)存和遠(yuǎn)端內(nèi)存的延遲不同。VMware 的 NUMA 調(diào)度器默認(rèn)會(huì)嘗試把虛擬機(jī)及其內(nèi)存放在同一個(gè) NUMA 節(jié)點(diǎn)上但前提是虛擬機(jī)的 vCPU 數(shù)量和內(nèi)存大小不超過單節(jié)點(diǎn)的物理資源。創(chuàng)建超大虛擬機(jī)時(shí)vCPU 超過單 NUMA 節(jié)點(diǎn)核數(shù)內(nèi)存跨越兩個(gè)節(jié)點(diǎn)導(dǎo)致訪問遠(yuǎn)端內(nèi)存的概率上升性能可能下降 10% 到 20%。要規(guī)避 NUMA 問題創(chuàng)建虛擬機(jī)時(shí)優(yōu)先選擇「每個(gè)插槽的內(nèi)核數(shù)」等于物理機(jī)單 NUMA 節(jié)點(diǎn)核數(shù)的配置。比如宿主機(jī)是 2 路 32 核每路 32 核是一個(gè) NUMA 節(jié)點(diǎn)那么給虛擬機(jī)配 64 核時(shí)最好設(shè)置為 2 個(gè)插槽 × 32 核而不是 1 個(gè)插槽 × 64 核。這個(gè)細(xì)節(jié)在 vCenter 的資源分配界面可以直接控制。5.3 資源分配的實(shí)戰(zhàn)參數(shù)參考不同業(yè)務(wù)類型的虛擬機(jī)資源分配參數(shù)差異很大我在下面的表里給出常用的參考值。這些值不是硬性標(biāo)準(zhǔn)但可以作為一個(gè)合理的起點(diǎn)再根據(jù)監(jiān)控?cái)?shù)據(jù)逐步調(diào)整業(yè)務(wù)類型CPU 預(yù)留CPU 份額CPU 限制內(nèi)存預(yù)留內(nèi)存份額典型配置核心數(shù)據(jù)庫(kù)全部高無全部高16 vCPU / 64GB業(yè)務(wù)應(yīng)用服務(wù)無正常無部分(50%)正常8 vCPU / 16GBWeb 前端集群無低8 vCPU無低4 vCPU / 8GB批處理任務(wù)無低16 vCPU無正常8 vCPU / 32GB測(cè)試環(huán)境無正常24 vCPU無正常8 vCPU / 16GB這個(gè)表的選取邏輯是核心數(shù)據(jù)庫(kù)對(duì)延遲最敏感預(yù)留拉滿保證性能下限Web 前端集群可以橫向擴(kuò)容單機(jī)設(shè)限避免故障時(shí)拖垮宿主機(jī)批處理任務(wù)對(duì)時(shí)間不敏感但吃 CPU份額可以降低讓其他業(yè)務(wù)優(yōu)先測(cè)試環(huán)境限制放寬但跟生產(chǎn)物理隔離。資源分配后一定要通過 vCenter 的性能圖表驗(yàn)證效果。查看 CPU 就緒時(shí)間、內(nèi)存交換率、磁盤延遲這幾個(gè)關(guān)鍵指標(biāo)如果就緒時(shí)間持續(xù)高于 5%說明 CPU 超賣嚴(yán)重需要調(diào)高份額或遷移部分虛擬機(jī)到其他宿主機(jī)如果內(nèi)存交換率高說明物理內(nèi)存不足開啟內(nèi)存預(yù)留或增加宿主機(jī)內(nèi)存是僅有的兩個(gè)出路。6. 虛擬機(jī)創(chuàng)建常見問題排查五個(gè)高頻故障的處理記錄6.1 故障一模板克隆后網(wǎng)絡(luò)不通IP 未按自定義規(guī)范配置現(xiàn)象從模板克隆一臺(tái) Linux 虛擬機(jī)啟動(dòng)后訪問不到在 vCenter 控制臺(tái)里看到網(wǎng)卡顯示了 IP但實(shí)際 ping 不通網(wǎng)關(guān)。原因自定義規(guī)范里的網(wǎng)絡(luò)配置只改了網(wǎng)卡的 IP 地址沒有重新啟動(dòng) NetworkManager 服務(wù)或者模板里的網(wǎng)卡設(shè)備名與自定義規(guī)范指定的網(wǎng)卡名不一致。常見于 CentOS 7 使用/etc/sysconfig/network-scripts/ifcfg-eth0文件而實(shí)際網(wǎng)卡名為 ens192 的場(chǎng)景。解決先到 vCenter 控制臺(tái)用ip addr確認(rèn)網(wǎng)卡實(shí)際名稱和 IP 配置手動(dòng)修正網(wǎng)卡配置文件后重啟網(wǎng)絡(luò)服務(wù)如果自定義規(guī)范配置時(shí)勾選了「使用 DHCP」檢查網(wǎng)絡(luò)內(nèi) DHCP 服務(wù)是否可用如果模板克隆后反復(fù)出現(xiàn)這個(gè)情況建議在模板里預(yù)先做一次克隆前的網(wǎng)絡(luò)清理刪除網(wǎng)卡配置文件中的 UUID 和設(shè)備綁定信息讓克隆后的機(jī)器重新生成配置。6.2 故障二Windows 虛擬機(jī)克隆后提示「嘗試運(yùn)行 Sysprep 時(shí)出錯(cuò)」現(xiàn)象從 Windows 模板克隆自定義規(guī)范走到最后一步時(shí)報(bào)錯(cuò)提示 Sysprep 運(yùn)行失敗克隆出來的虛擬機(jī)沒有被正確自定義。原因vCenter 的 Windows 自定義通過 Sysprep 工具完成而 Sysprep 的版本必須與虛擬機(jī)內(nèi)的 Windows 版本嚴(yán)格對(duì)應(yīng)。常見的原因是模板里是 Windows Server 2019但 vCenter 自定義規(guī)范里選擇了 Windows Server 2016 的 Sysprep 選項(xiàng)或者模板系統(tǒng)已經(jīng)運(yùn)行過 Sysprep 導(dǎo)致狀態(tài)文件殘留。解決先在 vCenter 的「策略和配置文件」中檢查自定義規(guī)范對(duì)應(yīng)的 Sysprep 版本并對(duì)照模板中 Windows 的版本如果模板內(nèi)殘留C:\Windows\Panther\unattend.xml或Sysprep\Sysprep.xml文件建議先手動(dòng)清理再重新封裝模板封裝模板的正確流程是在 Windows 內(nèi)以管理員權(quán)限運(yùn)行C:\Windows\System32\Sysprep\sysprep.exe選擇「進(jìn)入系統(tǒng)全新體驗(yàn) (OOBE)」勾選「通用」關(guān)機(jī)后再轉(zhuǎn)為模板。6.3 故障三虛擬機(jī)開機(jī)黑屏控制臺(tái)無輸出現(xiàn)象從 ISO 手動(dòng)安裝系統(tǒng)時(shí)虛擬機(jī)開機(jī)后電源狀態(tài)是運(yùn)行中但控制臺(tái)黑屏或者卡在某一畫面不動(dòng)。原因ISO 鏡像引導(dǎo)模式與虛擬機(jī)固件不匹配例如 UEFI 固件加載傳統(tǒng) BIOS 引導(dǎo)的 ISO也可能是虛擬機(jī)配置了多個(gè)顯示器但控制臺(tái)選中了錯(cuò)誤的一個(gè)還有可能是 ISO 鏡像文件損壞或者存儲(chǔ)上的 ISO 文件被上傳時(shí)截?cái)?。解決先確認(rèn)虛擬機(jī)固件類型在虛擬機(jī)設(shè)置里查看「引導(dǎo)選項(xiàng)」是否為 UEFI如果固件是 UEFI確認(rèn) ISO 支持 UEFI 引導(dǎo)Windows 原生支持Linux 需要 iso 鏡像里包含 EFI 引導(dǎo)文件排除固件問題后在控制臺(tái)窗口的「切換顯示器」菜單里切換顯示輸出最后用存儲(chǔ)的數(shù)據(jù)校驗(yàn)功能驗(yàn)證 ISO 文件大小與源文件是否一致。6.4 故障四虛擬機(jī)可遷移狀態(tài)異常vMotion 報(bào)錯(cuò)現(xiàn)象將虛擬機(jī)執(zhí)行熱遷移時(shí)提示「虛擬機(jī)兼容性檢查失敗」或「目標(biāo)主機(jī)無法訪問虛擬機(jī)網(wǎng)絡(luò)」。原因虛擬機(jī)所在的存儲(chǔ)策略與目標(biāo)主機(jī)不兼容或者虛擬機(jī)使用了不可遷移的虛擬設(shè)備比如 PCI 直通設(shè)備、RDM 裸設(shè)備映射網(wǎng)絡(luò)方面源主機(jī)和目標(biāo)主機(jī)不在同一個(gè)二層網(wǎng)絡(luò)虛擬機(jī)端口組不匹配。解決在虛擬機(jī)設(shè)置里確認(rèn)是否存在直通設(shè)備或 RDM 設(shè)備如果有需要先停掉虛擬機(jī)再遷移檢查源集群和目標(biāo)集群的存儲(chǔ)策略是否一致跨集群遷移時(shí)需要目標(biāo)集群有相同的存儲(chǔ)策略定義網(wǎng)絡(luò)方面推薦使用分布式交換機(jī)VDS并保證目標(biāo)主機(jī)上有相同的端口組配置。6.5 故障五虛擬機(jī)性能極差卡頓明顯現(xiàn)象虛擬機(jī)剛創(chuàng)建完跑起來很流暢運(yùn)行一兩天后明顯變卡打開應(yīng)用要等很久。原因宿主機(jī)資源超賣嚴(yán)重CPU 就緒時(shí)間過高或者存儲(chǔ) IO 達(dá)到瓶頸磁盤延遲增大還有可能是虛擬機(jī)的快照殘留過大快照層數(shù)據(jù)堆積導(dǎo)致磁盤性能下降。解決打開 vCenter 的性能監(jiān)控切換到「高級(jí)」視圖查看 CPU 就緒時(shí)間、內(nèi)存交換率、磁盤平均延遲三個(gè)指標(biāo)如果 CPU 就緒時(shí)間普遍高于 10%需要考慮遷移部分虛擬機(jī)到其他宿主機(jī)或者調(diào)整份額如果磁盤延遲高于 20ms檢查存儲(chǔ)陣列的負(fù)載和存儲(chǔ)策略如果是快照問題刪除所有舊快照并執(zhí)行一次 storage vMotion 重新落盤。7. 驗(yàn)證虛擬機(jī)創(chuàng)建結(jié)果的完整自查清單從配置確認(rèn)到連通性測(cè)試虛擬機(jī)創(chuàng)建完成后設(shè)定完整的驗(yàn)證閉環(huán)能避免多數(shù)線上事故。我的習(xí)慣是把驗(yàn)證分為三層虛擬化層、操作系統(tǒng)層和應(yīng)用層。虛擬化層驗(yàn)證主要是檢查 vCenter 里的虛擬機(jī)配置與申請(qǐng)單是否一致。打開虛擬機(jī)編輯設(shè)置逐一核對(duì) CPU 核數(shù)、內(nèi)存大小、磁盤容量、網(wǎng)卡數(shù)量和端口組。這里有個(gè)細(xì)節(jié)磁盤容量和內(nèi)存大小在虛擬機(jī)運(yùn)行期間可以熱添加但熱添加的效果需要客戶機(jī)操作系統(tǒng)支持Windows Server 2012 以上和較新的 Linux 內(nèi)核都支持在線識(shí)別但確認(rèn)最終生效最穩(wěn)妥的方式是看客戶機(jī)操作系統(tǒng)內(nèi)的實(shí)際資源而不是只看 vCenter 顯示配置。操作系統(tǒng)層驗(yàn)證的常用手段是進(jìn)到系統(tǒng)內(nèi)部查看。Linux 用lscpu、free -h、df -h和ip addr分別確認(rèn) CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)配置是否與規(guī)劃一致Windows 用「系統(tǒng)信息」和「設(shè)備管理器」確認(rèn)特別留意網(wǎng)卡是否識(shí)別為 VMXNET3 以及磁盤是否顯示為 VMware Virtual disk。應(yīng)用層驗(yàn)證取決于虛擬機(jī)承載的業(yè)務(wù)。如果是 Web 服務(wù)用 curl 或?yàn)g覽器訪問本地端口確認(rèn)服務(wù)可用如果是數(shù)據(jù)庫(kù)用客戶端連接測(cè)試并執(zhí)行一條查詢語句如果是消息隊(duì)列確認(rèn)消費(fèi)者連接數(shù)達(dá)到預(yù)期。這一步是最終驗(yàn)收的依據(jù)不能省。還有一個(gè)被很多人忽略的驗(yàn)證項(xiàng)是虛擬機(jī)的時(shí)間同步。虛擬機(jī)的操作系統(tǒng)時(shí)鐘漂移是一個(gè)長(zhǎng)期問題模板或克隆機(jī)器如果 NTP 服務(wù)沒配好時(shí)間偏差會(huì)持續(xù)累積。Linux 虛擬機(jī)建議在/etc/chrony.conf或/etc/ntp.conf中配置 NTP 服務(wù)器并確認(rèn)服務(wù)開機(jī)自啟Windows 虛擬機(jī)建議保留 VMware Tools 的時(shí)間同步設(shè)置并額外配置外部 NTP 源# 以 Chrony 為例編輯 /etc/chrony.conf # 添加公司內(nèi)部的 NTP 服務(wù)器地址示例 server ntp.internal.example.com iburst # 重啟 chronyd 并確認(rèn)同步狀態(tài) sudo systemctl restart chronyd sudo chronyc sources -v這個(gè)操作看起來簡(jiǎn)單但實(shí)際生產(chǎn)里 NTP 沒同步導(dǎo)致認(rèn)證失敗、日志時(shí)間異常的案例太多了。服務(wù)端和客戶端時(shí)間偏差超過五分鐘Kerberos 認(rèn)證直接失效數(shù)據(jù)庫(kù)主從復(fù)制也可能因?yàn)闀r(shí)間戳錯(cuò)亂報(bào)主鍵沖突。從那以后每次創(chuàng)建完虛擬機(jī)我都強(qiáng)制走一遍時(shí)間同步驗(yàn)證流程同時(shí)檢查系統(tǒng)日志里是否有驅(qū)動(dòng)加載失敗的記錄。這份習(xí)慣幫我提前發(fā)現(xiàn)了不少克隆機(jī)器的遺留問題節(jié)省了大量排查時(shí)間希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
中文字暮97| 自拍偷拍国产欧美日韩韩| 亚洲精品啪视频| 免费视频观看60秒| 欧美视频激情久久久久久| 欧美日韩性爱视屏免费看了| 欧美999| 日韩精品熟妇| 长长久久88视频| 囯戸精品高潮呻吟旡码| 久久有码视频| 人妻人妻天天碰| 天天做日日爱夜夜爽| 久草久日| 啊啊啊啊啊啊啊在线| 亚洲天堂99| 99久国产精品午夜性色福利| 成人毛片免费| av爱爱爱| 神马久久久久久伦理片| 啊啊啊啊啊好多水| 五月婷婷青青草娱乐伊人| 亚洲伊人久久精品狠狠在线| 亚洲免费看片| 在线观看黄色电话| 欧美人人曰人人操人人射射| 97超碰影音| 亭亭丁香激情| 色婷婷狠狠| 亚洲AV噜噜狠狠网址蜜桃动漫| 99re98| 超碰是碰在线观看| 综合自拍| 99re视频在线播放青草| 国产一区二区在线播放量| 精品人妻一区春色| 少妇99| 91网站18在线| 中文97国产| 久久嫩草国产成人一区| 99啪| 青青草十区九区爱夜| 亚洲91极品| 狠狠爱综合网| 熟女人妻av在线资源,黄色的资源 粉嫩国产精品久久粉嫩 | 韩国成人精品久久久免费看| 国产免费黄色一级大片| 热99这里有精品综合久久 | 国产无码久久高清| 色逼综合| 98人妻精品一区二区色欲| 天天久久| 日本成人在线不卡一区二区三区| 97精品一区| 午夜福利在线合集| 人人摸人人舔一区二区| 亚欧洲日韩国产精品| 超碰97久久国| 四虎884| 久操电影网| 国产精品97超碰| 日韩欧美天天爽爽爽天天爽爽| 熟女天天干| 99精品无码| 99热精品在线播放| 欧美曰韩国产精品| 欧洲一区二区三区四区在线观看| 91熟女视频网| 丰满人妻一区二区三区四区| 久久婷婷电影网| 20cm女自慰在线日韩欧美| 久久神马| 日韩中文字幕国产| 在线视频日韩欧美国产| 97免费视频网| av草草在线电影| 中文字幕国产| a男人的天堂久久一级A毛片| 午夜久久无码1000合集| 久久天天性久久伊人| 调教熟妇 久久久久久| 一区二区激情国产熟女 | 精品少妇一区二区三区| 久久久久久久| 久思思热视频在线观看| 亚洲天堂区| 色爱欲亚洲| 国产久久久久影院老熟女| 人妻91少妇| 眼镜人妻101.com| 操逼网站视频漫画国产| 旡码电影特区| 大香蕉2017| 老熟妇乱轮| 香蕉人人操tv| 日本中文字幕高跟| 久久伊人影院| 青青操综合网| 在线观看A啊啊啊| 日日嗷| 九七毛片九九毛片| 26uuu最新| 日韩卡一卡二卡三在线| 久久久久久中文字幕中文字幕最新| 日韩三级久久久| 亚洲无限观看| 婷婷色综合欧美日韩| 无码WWW免费视频网站| 丁香六月激情综合| 少妇熟女视频一二三区| 日本操逼aaaaa| 色婷婷五月综合激情中文字幕| www色色com| 九区国产| 亚洲成人久久一区二区| 日日天天久久啊啊aaa| 久久久久久九九九九九| 青娱乐日韩无码| 97超碰久久色| 美国黄片aaa| 狠狠操天天干| 超碰九7免费| 久久精品店| 97bbn| 欧美岛国精品在线观看| 淫淫总合网| 91成人无码| 国产精品午夜高潮呻吟久久av| 国产久久一区二区三区野外在线| 热思思免费视频| 999久久久精品国产| 啊啊啊男女| 一块操欧美| 久久9精品网站| 欧美顶级黄片AAAAA在线免费看| 麻豆国产第一| 91亚洲影视| 91色夜| 豆花视频操逼网址| 日本99一区二区| 91狠狠| 免费观看的av| 久久久久久久| 91蜜臀熟女| 好爽视频在线观看视频 | 夜夜夜久久| 亚洲天堂男人天堂网| 综合久久婷婷| 国产一区二区三区免费视频在性观看| 天天干天天日天天射黄色片| 亚洲天堂7777| 亚洲欧洲无码一区夜| 天堂俺去俺来也www久久婷婷| 日韩AV一区二区三区三州三州| 福利视频香蕉免费一区二区在线| 99只有精品| 欧美刺激色黄片免费看| 欧美亚洲天天| 97干com| 你懂的在线观看区国产| 鸥美极品| 久久男人的天堂国产| 91天天综合| 青青草十区九区爱夜| 性久久久| 亚洲脚交| 香蕉一区二区三区在线视频| 国产女人与拘做受视频免费| 国产精品午夜福利| 日本久久精品| 国产av波波国产精品| 精品久久大胆人体| 色欲久久99精品久久| 青娱乐大香蕉| 艹精品| 一本大道综合伊人精品热热| 男人天堂婷婷五月天校园春色| 亚洲av综合伊人久久| 中文字幕版| 五月天激情四射| 亚洲久草AV色图| 91精品国产高清久久久久久,亚洲成人 | 99夜夜操| 伦在线97| 大香蕉手机在线视频| 天天色天天干天天爱| 国产精品色约约| 婷婷日韩一区二区三区中文字幕在线| 亚洲日韩成人性爱视频| 激情五月天中文字幕色| 无码操逼天堂| 天天射,天天操,天天爽-国内精品一区二区三区-成人AV | 在线性黄高清免费视频| 中文AV制服乱伦| 四虎在线播放| 97中文字幕色| 蜜臀操逼黄色视频操的好爽| 曰韩精品视频一区二区| 日本一级婬片试看三分钟| 91亚洲欧美| 精品国产一区二区三区四区在线看| 激情综合色| 青青草天天亲夜夜操网| 久久精9| 熟妇人妻一二三区免费| 婷婷伊人一区| 人人爽夜夜操| 亚洲无码?第一页| 中文字幕超碰CAO| 92性色国产午夜福利在线661| 中日韩一区二区三区欧美| 懂色Av| 91中出在线| 动漫区日韩区欧美区| 亚洲图片欧美91N| 欧美自拍偷拍免费观看| 国产小黄片在线免费观看 | 久久女同性恋一二区| 欧美日韩国产传媒在线精品| 色综合久久久久| 黄色性爱网网| 女人午夜视频777| xxx0国产在线播放| 无码国产精品96久久久久孕妇| 精品美女少妇一区二区| 亚洲色人阁| 亚洲色宗合| 清纯唯美激情| 欧美天天弄| 国产97免费视频| 天天色,天天干,天天干| 久久久久久久九九九九九九| 黄片视频,下载| 欧美探花网| 国产日韩精品无码去免费专区国产| 久久AV无码AV| 亚洲天堂人妻熟妇视频| 操碰97| 亚洲最大的黄色电影网站。| 91老熟女老女人国产老太| 熟女在线视频| 人妻激情在线视频| 青青草亚洲一区| 日日骚 av| 97超碰久| 男人精品区| 日韩欧美大片免费高清啪啪| 亚欧性爱无码| 久久久九97| 久久国产三区| 涩涩涩综合| PMv在线观看| 日韩性爱1级片视频| 国产热RE99久久6国产精品首| 全免费a敌肛交毛片免费| 97视频新免费| A片A5445444| 久久精品国产97欧美精品亚洲 | 国产二区三区免费视频| 97视频620| 91精品国产综合久久久蜜臀酒店| 日本三级中国三级99人妇网站| 91九色蝌蚪在线观看| 国产成人无码久久精品| 丝袜美腿丝袜| 免费一级毛片在线视频观看| 国产一区二区成人av在线播放| 国产精品九九九| 亚洲第一免费视频| 亚洲Av诱惑| 禁十八久久| 久久超碰大香蕉| 超碰97资源中文字幕| 欧美性暴力猛交| 亚洲久草AV色图| 色五月婷婷色| 久久久久久九九九| 五月天人妻综合| 中文字幕丝袜美腿| 亚洲乱妇p22| 影音先锋日本乱伦| 91亚洲人电影| 日本操逼aaaaa| 少妇3P性爱自拍| 精品日韩人妻精品一二三区| 久久综合九九| 少妇特黄一区二区三区| a片在线播放| 影音先锋国产精品| 97bbn| 精品无码久久久久久久久果冻糖心| 性久久| 日本天堂网| 日日骚一区二区三区| 18禁中文字幕| 亚洲天堂美臀在线| 亚洲无码精品AV久久久| www四虎| 欧洲站一级二级三级h| 国产精品原创巨作?v网站| 丁香五月社区| 久久粉色| 天天操天天插| 激情人妻另类| 久久久久性熟视频| 97资源站久久| 国产精品视频麻豆入口| 宅男午夜在线视频| 国产精品99999| 五月婷丁香| 日本精品久久久久久久| 韩国成人精品久久久免费看| 福利在线视频一区二区| 九九热久久99精品re| 色爱综合网欧美| 韩国一级做a久久久久| 91日韩在线| 偷拍片久久| 亚洲天堂人妻熟妇视频| 少妇69中文| 精品久久久久久无码| 天天弄欧美| 国产亚洲色停停久久99精品91| 天美国产三级传媒| 男人天堂网站| 男人的天堂VA在线| 午夜福利精品| 婷婷五月天激情四射| 精品久久視頻在线| 乱伦强奸区日韩| 久久欧美1卡2卡3| 国产精品分类在线观看| 最新精品久久蜜桃 | 亚洲阿v天堂在线| 精品久久99| 欧美日韩啪啪电影| 高清不卡 中文 人妻| 熟女人妇一区二区三区| 青青操在线亚洲视频观看欧美在线| 91精品久久久| 午夜操一视频一区| 黑丝91视频| 老熟女搡BBBB搡BBBB视频| 大香蕉99热| 乳欲人妻办公室奶水| 99这里都是精品| 久碰视频| 人人弄人人摸| 日本操逼视频在线| 欧美第一页| 2010男人的天堂| 国内毛片热久久思思热| 一区二区无码视频| 330Dv国产女人终合视频极品人与兽| 操逼国产免费| 最新日本中文字幕| 欧美中文狠| 日日夜夜干| 成人乱人伦一区二区| 97国产天堂岛| 日韩欧美女优电影| 91在线视频免费播放| 欧美丝袜中文字幕07在线| 狠狠图片青青草| 日本天天色| 午夜爽爽爽在线观看永久入口姬片| 亚洲精品国产拍免费91在线| 今日头条成人一区二区三区四虎精品| 激情五月婷婷综合| 亚洲无码视频免费在线观看网址!| 少妇人妻激情四射| 午夜成人福利影视| 极品五月天噜噜| 天天日天天干天天操| 四虎影视国产精品| 97超碰中文| 日本精品88888888| 欧美在线官网| 久久激情亚洲精品无码?V| 国产无码精品无码| 九久久精| 久超碰这里只有精品| 五月天久久婷婷亚洲| 99色色| 一级久久久久久久久久久| 偷拍 亚洲 欧美| 色欧美在线| 久久骚| 美性中文综合网| 九九色色| 蜜桃久久综合视频| 99丝袜福利在线播放| 中文字幕在线免费观看视频| 伊人激情五月天一区二区| 成人天天爽| 亚洲吊色| 九九九九一级| 超碰免费欧美7| 色综合加勒比四四季| 国产精品天美传媒| 青青11操操操操操操操操| 日本99热| 91AV老熟女视频| 3028国产精品| 精品久久无码午夜福利| 三级日韩一区二区三区| 天天干天天舔| 日本久久女同性恋视频| 性爱综合一区二区| 亚洲精品国产日韩无码AV永久免| 26uuu性| 无码日韩人妻av一| 亚洲欧美经典一区二区| 日本特黄f c2| 欧美老妇女内射网址| 啊啊啊啊嗯嗯嗯用力好爽| 9 9精品一区二区三区| 95人妻爽爽人人做人人澡| 素人播放一区| 久久的网站啊啊啊啊啊| 五十路人妻在线| 国偷自 一区| 成人三级片一区二区三区视频| 日比av无码| 国产视频第二页| 亚洲精品黑丝| 97欧美综合| 先锋影音av先锋一区| 美国一区二区三区视频| 国产无马av| www.91色综合| 色综合20p| 亚洲欧洲第二视频在线观看色图| av影院十区| 久久精品国产精品一区| 久久精品国产Aⅴ| 五月婷亚洲精品天堂| 99久久精品无码一区二区毛片免费| 人人艹亚洲| 九九黄色网| 乱老熟女一区二区三区| 久热网| 国产精选视频| 日本熟妇人妻中出视频| 91女网站| 亚洲好色人妻| 日本十八禁免费看污网站| 色操逼网| 俺去久久| 日韩专区久久久| 综合网91| 性色av婷婷久久一区二区点复制| 超碰午夜在线| 91精品人妻一区二区三区蜜臀| 久久久久久亚洲Av无码| 91欧美高清| 国产精品3| 又大又大又大又粗爽高潮观看| 欧美一级久久久久久久大片动画| 看日韩美女二区三区免费操逼视频| 欧亚日韩三区| 亚洲中字幕日本一区二区三区| 高清在线偷拍自拍视频| 精吧天堂| 一起草在线视频| 熟妇操花| 欧美体内射精| 国产中文大片资源中文字幕 | 国产女人9999| 国产精品无码成人精品| 亚洲不卡AV在线| 久久久免费高清中文视频| 人人操肉肉| 99re9这里只有精品| 91丝袜美女视频| 国产高清成人传媒影视| 青草影院内射高潮| 丁香婷婷五月| 国产自产91区13区| 亚洲图片欧美| 免费在线观看国内色片网站网址| 动漫av中文| 久久日本熟妇熟色一区| 久久久久久久极品香蕉视频| 欧美伦乱| 可以免费观看的AV| 欧美天天综合网版| 日韩免费人妻色情网站| www.acm成人黄色毛片| 脫衣舞一区二区三区| 极品粉嫩少妇视频| 丰满人妻av一区二区三区| 欧亚日韩综合精品国产| 伊人五月天婷婷| 95精品在线| 中文字幕人妻色偷偷久久皮| 六十路日本| 欧美在线|亚洲| 国产成人网| 成人九九| 国产黄a三级三级三级av在线看| 日韩精品 欧美激情| 人人干黄色| 日本男人插女人的逼黄色| 国产大陆天天艹| 一区二区 电影 亚洲| 人妻久久一区二区三区| 江都AV在线| jazzjazz国产精品麻豆| 日韩丝袜高跟制服在线观看| 国产激情av女片自拍| 97这里有精品| 啊啊啊啊啊好大好舒服想要| 插穴性爱视频在线观看| 高颜值美女口爆高潮浪叫| 欧美拳交在线播放| 乱操乱伦AV| 蜜臀av中字字幕网站| 国产日韩手机视频在线| 9精品久久久久| 97精彩视频网站| 国内偷自视频区视频综合| 欧美97视频| 欧美丰满熟妇XXXX性ppX人交| 不卡在线观看视频| caopeng97| www.av在线视频| 婷婷10月天青娱乐| 青青青青草av在线观看| 色五月婷婷色| 亚洲天天做日日做天天谢日日| 本道在线| 亚洲精品欧美专业| 99热最新网址| 日韩无码黄色片| 神马久久午夜| 人人操人人精品影片| 无码一区二区三区四区五区六区七区八区九区十区视频 | 亚洲婷婷丁香在线| 超碰538| 五月大香蕉| 久思思热视频在线观看| 亚州性色| 久9爱经典视频| 人妻密肉在线观看| 加勒比大香蕉视频在线| 亚洲av综合色区无码一| 日韩在线地址一| 一二三区视频在线观看| 久久久久久久久国产| 国产一区二区三区精品观看啪| 精品无码欧美三级| 91性片| 茄子社区国产精品| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | 97资源站国产精品| 欧美91久久久久| 超碰性爱97| 国产11页| 久久天天性久久伊人| 操一区| 国产精品亚洲一区二区三区四区| 大黄片做爱的大的| 性在久久久久久| 秋霞免费无码视频日韩A片| 亚洲资源站| 欧美91网| 美女骚尻视频| 蜜臀久久精品久久久久视频| 欧日韩在线观看| 午夜啊啊啊| 久操综合在线| 精品区9| 丁香五月天啪啪| www狠狠| 五月婷婷五月天| 69人妻精品一区二区绯色| 深爱五月婷婷| 中文字幕啊啊啊在线观看视频| 日本特黄f c2| 六月丁香婷| 一个国产在线综合网站| 久区视频| 欧美碰碰综合色| 97超级欧美| 天天舔天天日天天射| 骚女高跟AV在线| 精彩久久中文| 无码人妻毛片丰满熟妇精品区| 国产诱惑| 78m啪啪啪| 五月天伊人网| 性色AV蜜色av色欲av| 日语五十路和六十路亚洲国产精品| 肏逼视频日本| 欧美成人A天堂片在线观看| 综合久久久久久久久91| 欧美精品99久久久**| 久久精品午夜国产亚洲AV无码| 蜜桃久久一区二区| 日韩av免费一级电影| 四虎国产精品永久在线囯在线| 国产乱伦视频污| 国产女人极品高潮毛片| 日韩中文字幕视频在线观看| 亚洲欧美大| 青青草精品| 久久久91福利姬| 精品无人区麻豆乱码1区2区图片| 天天综合网日韩| juliaann欧美丝袜办公室| 国产女人视频三四五区| 亚洲av国产av综合av卡| 久草大| 欧美天天谢综合网| 欧美色97| 国产一区二区三区免费视频在性观看| AV九九| 午夜福利区| 91操熟女视频 | 秋霞男人网| 久久香蕉国产线看观看亚洲女人 | 亚洲熟女乱熟乱熟妇综合网二区| 91精品国| av在线播放国产一区| 亚洲黄网在哪免费看| 久久久噜噜噜久久久| 尤物视频偷拍免费| 97视频网站| 狠狠色婷婷7777久| 天美传媒Av在线| 日韩超碰97| AAAAAAAAA黄片| 午夜天天碰综合视频| 亚州综合色图| 欧美情色亚洲| 亚洲强奸乱伦影视网| 美女淫穴| 欧美黄页| 麻豆久久视频在线地址| 后入日本1234| 亚洲国产尤物yw在线观看| 97天天摸天天碰| 蜜臀久久99精品久久久久久酒店| 亚洲少妇综合在线播放| 天天日日日射| 天天干人人看综合| 亚洲天堂中文字幕无码男同| 一二区在线观看视频| 国产操操日韩三级黄| 国产精品电影| 人妻少妇无码| 欧美亚洲素人制服精品| 五月婷婷五月天| 亚洲人久久久网| 日本丝袜人妻内射| 思思热在线| 怡春院久久| 国产18精品亚洲精品| 丁香五月天婷婷姐| 亚州综合色| 国产精品无码论坛| 美国三级日本三级久久99| 97超碰久久| 免费观看欧美日韩操逼视频| 超碰碰97资源站| 婷婷丁香六月| 日本一级真人黄色性爱视频| 97舔舔| 一区在线精品中文字幕| 亚洲精品97在线| 欧美亚洲天堂| 熟女中出视频| 日韩免费看在线黄色片| 热热色色综合| 秋霞视频一区二区 | 国产精品4p在线观看| 欧美 日韩 国产传媒| 人人 操人人 操人人| 九九热精彩视频| 久久亚洲不卡一区二区三区 | 在线观看岛国有码| 加勒比无码毛片| 丰满人妻一区二区三区| 东京热天堂网| 中出后入| 五月开心网| 搡老女人911熟妇老熟女| 91碰超| 97少妇人妻中文字幕久久| 搡老女人老妇女AAA一VU麻豆 | 亚洲欧美日韩国产丝袜自拍中文| www超碰| 无码一区免费在线不卡| 欧美天天综合站| 天美传媒一二三区永久网站| 蜜乳视频网站| 欧美色道啊| 99超级碰免费视频| 伊人精品久久网站| 加勒比aⅴ| 欧美狠狠操| 自慰白浆在线观看| 亚洲av性爱电影| 伦理日韩国产久久| 九九玖玖精品| 国产精品视频精品一二| 人妻少妇久久中文字幕一区二区 麻豆 | 91蜜臀在线久久久久| 在线一道啪| 狠狠爱大香蕉| 欧美性综合| 婷婷久草一区二区三区| 思思热在线cao| 黄页av| 舔人妻中文免费视频| 亚洲成aⅴ人片不卡无码| 色啪网| a一区二区三区乱码在线| 91久久久久| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 超碰日本97美女人妻人人玩人人爱 | 午夜一区二区三区国产| 啊啊啊骚| 欧美熟女丝袜| 亚州成人A√| 91free福利| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 国产成自自拍在线观看| 99日精品欧美国产| 第四色奇米影视777| 干超碰碰熟女| 色欧洲97| 久久综合超碰| 久久久一级| 午夜精品久久久久久久99蜜桃一| 欧美一区91大爱| 国产高清精品福利| 国产性刺激| 蜜臀一二三区| 8050无码八戒| 久久久久久网址| 操逼内射干逼白丝91| 狠狠操狠狠| 综合国产97| 色97欧美| 日日干夜夜欢| 自拍偷拍亚洲熟女妇人精品| 入口操逼网站| 北京专精特新企业招聘信息| 免费成人自拍视频在线| 亚洲日产专区婷婷| 9久久9综合| 91丝袜美女国产| 日韩性爱高清免费视频| 樱花蜜乳av| 色妇综合网| 欧美极品少妇交| 少妇无码av专区线| 少妇一区二区三区精选| 国产美女销魂在线观看不卡| 九九综合九九综合| 日韩三级伊人| 久久久久亚洲熟妇熟女| 日韩三级在线观看网站| 啊啊在线| 欧洲视频在线| 天天操福利视频综合网站| 青青草女人天天干| 天天影视91看看| 精品夜夜澡人妻无码AV| 97天天| 亚洲欧美电影| 亚洲av国产av综合av卡| 性爱视频无打码在线观看| 久久精品国产亚洲AV嘿嘿| 特级丰满少妇一级AAAA爱毛片| 国产精品色片一区二区| 欧美性爱十八禁| 99热综合| 青青草伊人久久| 免费看污网站| 亚洲污污网站| 亚洲色天堂九9| 欧美天天搞| av毛片aaaaa免费看| 波多野结衣被操50分钟免费视频| 秋霞久久亚洲精品成人| 婷婷激情五月天小说网| 亚洲色啪| 色女99一级片在线观看| 中文字幕伊人| 中国特猛少妇色xxx| 人妻一区二区三区四区视频| 加勒比色99999| 国产9区| 亚洲一级特黄大片在线播放91| 大香蕉520| 99爱久久视频频| 青青操视频在线| 日本三级精品| 尤物视频一区| 婷婷色播婷婷| 神马久久69| 欧美日韩国产色五月综合在线| 9久久久久久| 极品销魂美女一区二区| 操比国产| 人妻人人操| 青青草视频久久久久| 狠狠躁久久躁| 色y情视频免费看| 99久久久| 蜜臀亚洲中文| 怡红院成人视频| 午夜福利av电影在线| 六月婷婷五月丁香| 日本天天干天天日一区| 国产精品直播在线观看直播| 乱伦熟女区| 91九九九小逼| 白丝一区| 日本岛国黄色网址| 日影院久久婷婷夜夜网| 婷婷探花久久精品一区| 亚洲精品白浆高清久久久久久 | 男人天堂黄片| 天天综合~91入口| 亚洲的天堂网| 性夜影院爽黄A爽免费动漫| 高清国产av无码| 精品人妻无码一区二区三区不卡-精品人妻无码一区二区...|精品少妇一区二区三 | 2017天天透天天通天天擦| 99re99在线视频| 岛国1区2区3区在线观看| 无码免费在线观看黄色片| 永久免费发布性爱网| 亚洲美乱| 五月天婷婷社区| 亚洲国产午夜真人一级片中文字幕精品黄网站| 亚洲宗合电影| 日本阿v天堂在线观看| 97av在线视频| 日韩欧美中文字亚洲慕| 一本精品日本在线视频精品| 婷婷三区| 一起草三级AV电影在线观看 | 亚洲天堂电影网99999| 国产精品com| 青草青青久久久久久国产| 91电影色诱| 国产一区二区三区高清视频| 92人人操人人| 久草毛片| 破苞ⅩXXX性无码动漫无码| 欧美一品道| 日韩欧美中文| 五月丁香| 精品欧美乱码久| 成人五月香网在线| 亚洲日韩电影| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 另类图片综合| 99999久久久久9国产精品| 男人天堂资源| 黄片直播三级黄片两女一男| 国产av色网| 乱色视频中文字幕| 欧美乱妇狂野欧美在线视频| 精品久久久久久中文| 亚洲城人男人的天堂| 欧州一区二区三区四区| 又摸又舔在线观看网站| 国产一区在线观看无码AV| 国产人伦精品一区二区三区| 在线天堂资源亚洲| 殴美牲| 啊啊啊草死我| 91日日| 婷婷人妻激情| 国产后入精品| 无码 黑人一区二区三区| 久久久久成人亚洲国产| 欧洲大香蕉| 五月丁香网站| 9久9久| 观看免费区二区三区二| 夜夜爽夜夜操| 亚洲欧美国产中文字幕| 精品无码久久久久久久久果冻糖心| 亚洲s在线观看| 中日韩久久久| 精品无码一区二区三区| 可以免费观看的av| www..com操老师| 四虎免费视频| 欧洲站一级二级三级h| 日韩欧美加勒比| 人人人摸人人| 亚洲中文国际强奸字幕| 一级二级在线观看| 日本幼女18+| 丰满少妇高潮无码| 自怕偷自怕亚洲精品| 丁香五月综合| 青青草久久一区网| 91日韩网站| 综合自拍| 亚洲国产av中文字幕久久 | 久艹99| 婷婷激情丁香| 9997se| 亚洲人成网站7777| www激情| 久久久久9999精品九九九| 日本熟妇人妻一区二区三区| 国产性爱在线视频一区二区| 亚洲AV无码天美传媒一区| 一区超碰一区| 人摸人人操人| 日韩中文字幕2020| 国产多人在线观看视频| 中文字幕78| ai欧美亚洲小说| 哈哈操电影AV| 日本布卡一区二三区| 日韩欧美中文字| 九九热精品视频六| 思思热久久成人| 精品日韩人妻精品一二三区| 99re超碰| 性欧美999| 91天天综合在线观看| 欧美A√综合网| 欧美性区| 黄色高清无码无码破解免费暗网| 内射黑人| 性色生活片久久毛片婬片免费放女人一级毛片 | 偷拍欧美综合| 性在久久久久久| 久久性爱视频99| 探花精品 一区二区| 天天天肏屄肏屄肏屄欧美欧美| 97er欧美性| 免費人妻夜夜爽天天爽爽一区| 91超碰人人| 欧美AB在线观看| 一区二区三区四区色图| www.色五月| 岛国成人av在线播放网址| 柠檬AV导航| 日本三级韩国三级99| 探花激情视频| 国内毛片免费h片在线| 日本成人A片网站| 欧美人与动性人交a| 操b在线观看| 四虎影视国产精品| 亚洲国产97在线精品一区| 欧美日韩国产电影| 丰满丝袜少妇AV| 东京热91| 熟女精品一区二区三区| 秋霞蝌科网日本一区| 丁香五月激情网| 中文字幕欧美丝袜07资源| 污电影在线观看| 啊啊啊啊啊操我视频| 欧美日韩性爱操大逼| 在线综合色| 操逼逼一区视频| 秋霞色色影院| 日本操逼视频免费| 操国产逼| 高清无码 国产精品| 美中日韩无码| 青青草天天亲夜夜操网| 狠狠综合网| 色哟哟-国产专区| 无码91| 中文有码第五页| 欧美激情亚洲情色| 久久在肏| 日本在线一二| 国产原创自拍| 久久午夜伦| 18岁禁 茉莉成人久久| 在线97在线| 欧美日韩一干二干| 色偷偷综合91久久噜噜| 欧美肥臀在线| 日本精品一级二级三级| 亚洲性天堂| 91久久免费视频互動交流 | 99视频只有精品| 91色爽欧美| 97亚洲综合在线| 国产剧情在线| 黄色激情电影在线观看| 无码高清专| 国产视频三区四区| 狠狠干妹子| 一二三区操逼国产91| aaaa少妇高潮大片| 麻豆久久久久久久久丝袜 | 色好看av| 国产精品对白自产拍| 日韩精品一区二区高清| 九九碰九九爱97| 熟女网站最新| 成人毛片免费| 欧美一级黄片免费播放| av一区二区三区四区五区久草臀| 国产尤物在线三区| 久久久久久久九九九九九九| 爽爽歪在线视频| 五月婷婷综合网| 欧美日动态视频| 免费国产电影一区二区| 99色色网| 1024人妻熟女一区二区三区| 国产色呦呦| 亚洲色图大香| 伊人玖玖网| 在线观看亚洲成人精品| 97精品第3页| 97综合激情| 91九色精品熟女内射| 天堂精品一区| 久久久一热在线播放| 人人做人人妻人人夜视频| 另类亚洲一区二区三区| 欧美操逼录像国产黄色国产| 天天日天天屌天天操| 蜜臀久久99精品久久久久免费观| 日本在线激情一区二区三区 | 91新在线欧美| 狠狠狠一区二区三区| 久久精品小视频| 亚洲欧美国产日本一区二区三区| 五月丁香黄色网| 亚洲图片激情小说| 91欧美情色| 九一精品牛牛一区二区| 大香蕉亚洲中文| 五月丁香影院| 97舔舔| 中文字幕日产av人| 熟妇女人妻呻吟久久AV| 综合网,亚洲,欧美| 五十路熟女工口| 精品四五区| 一区 欧美 日韩 麻豆| 欧美久久草熟女| 高清不卡国产| 日日干日日| 美女91在线观看| AV男人天堂网| 国语精品av| 天堂射| 静品嫩模一区二区| 精品九九九| 亚洲美女高潮喷水视频| 中文字幕三四区| 美骚妇av高清在线| 色婷婷丁香五月| 亚洲精品国产专区在线观看| 91黑人狂躁丰满熟妇| 国产9熟妇视频网站| 99只有精品| 天天日老熟妇| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 日韩一级久久毛片| 97久久国产精品女不卡| 亚洲麻豆18发?| 99re在线视频| 91欧美丨精品丨入口| 亚洲熟女乱色一区二区三区久久久| 久草资源欧美在线视频| 天天摸夜夜摸| 欧美亚洲丝袜美女电影| 青青草伊人久久| 欧美 亚洲 另类 综合| 亚洲在高跟鞋自慰久久在色线| 97干色天堂| 日本男人插女人的逼黄色| 国产美女91视频| 蜜臀av网址| 97精品网| 精品国产丝袜一区二区三区乱码| 日韩精品国产一区二区| 色色色色日本| 综合五月天| 亚洲日韩青青草色月| 亚州九九九精品视频| 曰韩少妇无码| 精品国产AV一区天美传媒| 天天上日日上日韩精品| 色哟哟511老熟女| 91亚·色| 99999精品成人| 亚洲日精品| 大屁股人妻女教师撅着屁股| 欧美精品成人在线播放| 日韩一级二级| 欧美日韩国产人人| 国产精品美女视频诱惑| 久久久久国产一区二| 九久久九精品视频| 久久久久久无码人妻中文字幕| 一本大道青青| 99精品欧美一区二区三区桃色| av天堂手机版追回| 天美欧美国产| 亚洲欧美精品国产一区二区| 一区二区免费电影久久| 这里只有精品视频在线| 91爱看| 91精品亚洲内射孕妇| 天天摸,夜夜摸| 物尤视频一区二区| 欧美综合色| 午夜精品一区二区三区三上悠亚| 国产精品探花在线| 国产盗摄美女如厕大神作品在线观看 | 人人妻人人操人人乐| 少妇同性| 超碰97人人cao| 91色综合激情| 中国AAAAAA黄色片| 亚洲熟女综合| 99re国产精品视频| 激情人妻另类| 毛片久久| 啊啊啊啊视频免费| 美国精品国产精品| 75大香蕉| 日本色色的视频| 思思热免费在线视频| 国产精品网站www| 久久免费精品视频免一| 四虎免费视频| 婷婷久久久| 久久伊人亚洲AV无码网站| 黄色污污污污污污网站| 13小男生GAY自慰脱裤子| 啊啊啊啊啊,啊啊啊啊好舒服,操我舒服啊啊啊 | 日本布卡一区二三区| 东京热男人的天堂精品| 成人青青草原伊人| 国产精品亚洲四五区在线观看| 一级黄色性爱A级片| 日日骚一区二区三区| 久久五月综合| 成人七区| 精品黄色电影| 热久久无毒不卡| 国产亚洲精品美女久久久m| 色哟哟av| 久久综合久色欧美综合狠狠|