亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

vCenter創(chuàng)建虛擬機(jī)全流程:從模板部署到資源分配與故障排查

vCenter創(chuàng)建虛擬機(jī)全流程:從模板部署到資源分配與故障排查 簡介面向虛擬化運(yùn)維人員或 VMware 初學(xué)者這份 docx 文檔系統(tǒng)梳理了 vCenter 創(chuàng)建虛擬機(jī)的完整流程重點(diǎn)解決通過內(nèi)容庫管理 ISO 鏡像并快速部署 CentOS 7 虛擬機(jī)的問題。文檔先介紹如何在 vCenter 中創(chuàng)建 ISO 內(nèi)容庫并配置與 ESXi 一致的存儲(chǔ)位置再說明從已有內(nèi)容庫克隆 ISO 鏡像到目標(biāo)庫的操作要點(diǎn)最后分步講解新建虛擬機(jī)時(shí)如何選擇 ESXi 主機(jī)、設(shè)置兼容性與客戶機(jī)操作系統(tǒng)類型并在 CD/DVD 設(shè)備中掛載克隆好的 ISO 鏡像。文字步驟配合關(guān)鍵截圖直觀易用。資源包為單份 Word 文檔docx大小 2.05MB結(jié)構(gòu)清晰適合直接閱讀、打印或作為實(shí)驗(yàn)練習(xí)參考。目前已有 349 人學(xué)習(xí)下載。對(duì)正在搭建 vCenter 實(shí)驗(yàn)環(huán)境或需要規(guī)范化批量部署虛擬機(jī)的運(yùn)維人員這是一份簡明實(shí)用的操作手冊(cè)有助于減少因步驟遺漏導(dǎo)致的部署失敗提升虛擬機(jī)交付效率。1. 在 vCenter 里創(chuàng)建虛擬機(jī)從模板部署到資源分配的完整落地流程很多人拿到一份 vCenter 創(chuàng)建虛擬機(jī)的操作文檔第一反應(yīng)是「這有什么好寫的下一步下一步就完了」。但真正在生產(chǎn)環(huán)境里動(dòng)過手的人都知道vCenter 建虛機(jī)這件事坑全藏在細(xì)節(jié)里存儲(chǔ)策略選錯(cuò)導(dǎo)致虛擬機(jī)無法遷移、網(wǎng)卡類型不匹配導(dǎo)致千兆業(yè)務(wù)只有百兆速度、模板克隆后 Linux 機(jī)器網(wǎng)卡起不來、資源池超賣導(dǎo)致宿主機(jī) CPU 就緒時(shí)間飆升。這些不是玄學(xué)是每一步選擇背后的原理沒吃透。這份實(shí)操文檔的價(jià)值不在「如何點(diǎn)完向?qū)А苟凇该恳徊綖槭裁催@么選、參數(shù)怎么定、哪些默認(rèn)值要改」。它適合剛接手虛擬化平臺(tái)的新人照著走一遍流程也適合被虛擬機(jī)性能問題折騰過的運(yùn)維用來對(duì)照檢查自己的分配習(xí)慣。2. 創(chuàng)建前的規(guī)劃命名規(guī)范、計(jì)算資源與存儲(chǔ)策略的三維選型2.1 命名規(guī)范與資源位置規(guī)劃在 vCenter 里創(chuàng)建虛擬機(jī)第一個(gè)決定不是點(diǎn)「新建虛擬機(jī)」按鈕而是想清楚這臺(tái)機(jī)器放在哪、叫什么名字。很多初學(xué)的人隨手把虛擬機(jī)建在數(shù)據(jù)中心根節(jié)點(diǎn)下集群、資源池、文件夾全是亂的等到虛擬機(jī)數(shù)量過百運(yùn)維排查問題全靠猜。合理的做法是先看目標(biāo)集群里有沒有建立文件夾和資源池的層級(jí)規(guī)劃。我一般會(huì)建議按「業(yè)務(wù)線 - 環(huán)境 - 應(yīng)用」三級(jí)來組織文件夾例如「訂單系統(tǒng)」文件夾下再分「生產(chǎn)」和「測(cè)試」兩個(gè)子文件夾虛擬機(jī)命名則采用「業(yè)務(wù)代碼-環(huán)境-角色-序號(hào)」的格式比如order-prod-web-01。這樣的命名方式在 vCenter 的搜索框里一搜就能定位配合標(biāo)簽功能還能做進(jìn)一步的維度管理。資源池的規(guī)劃又是一個(gè)常見盲區(qū)。很多人以為資源池是拿來分 CPU 內(nèi)存用的其實(shí)更關(guān)鍵的作用是「預(yù)留和限制」的控制點(diǎn)。生產(chǎn)環(huán)境的虛擬機(jī)建議直接放在集群根節(jié)點(diǎn)下讓 DRS 自動(dòng)調(diào)度測(cè)試環(huán)境的虛擬機(jī)可以放進(jìn)一個(gè)帶 CPU 限額的資源池防止壓測(cè)時(shí)把宿主機(jī)資源吃光影響生產(chǎn)業(yè)務(wù)。這個(gè)決策直接影響后續(xù)虛擬機(jī)性能必須在創(chuàng)建前就定下來。2.2 存儲(chǔ)策略選擇Thick 還是 Thin這是個(gè)性能問題存儲(chǔ)配置是新建虛擬機(jī)向?qū)Ю镒钊菀住改J(rèn)到底」的一步但恰恰是這一步?jīng)Q定了虛擬機(jī)后續(xù)的性能基調(diào)和運(yùn)維復(fù)雜度。虛擬機(jī)磁盤格式有厚置備延遲置零、厚置備快速置零和精簡置備三種很多人只知道「精簡省空間」卻不清楚它在生產(chǎn)環(huán)境里的性能代價(jià)和存儲(chǔ)水位風(fēng)險(xiǎn)。厚置備快速置零在創(chuàng)建時(shí)就分配好全部空間并清零讀寫性能最穩(wěn)定適合數(shù)據(jù)庫等高 IO 應(yīng)用。厚置備延遲置零同樣預(yù)先分配空間但不清零首次寫入時(shí)性能會(huì)打折。精簡置備按實(shí)際使用量增長創(chuàng)建速度快適合桌面虛擬化和測(cè)試環(huán)境但最怕存儲(chǔ)池空間規(guī)劃失控——虛擬機(jī)刪了文件但未回收空間存儲(chǔ)水位持續(xù)上漲最后整池爆滿。具體怎么選我通常會(huì)看存儲(chǔ)設(shè)備的類型和業(yè)務(wù)對(duì)延遲的敏感性。全閃存陣列上跑核心業(yè)務(wù)選厚置備快速置零普通 SAS 盤上的開發(fā)測(cè)試虛擬機(jī)選精簡置備。如果底層是超融合架構(gòu)還要額外關(guān)注存儲(chǔ)策略里是否啟用了去重和壓縮這些功能會(huì)改變空間計(jì)算的邏輯。2.3 網(wǎng)絡(luò)與計(jì)算資源參數(shù)CPU 預(yù)留、內(nèi)存預(yù)留和網(wǎng)卡類型新建虛擬機(jī)向?qū)Ю?CPU 和內(nèi)存的配置看似簡單但「給幾核幾 G」的定義方式有很多大學(xué)問。vCenter 里 CPU 配置涉及插槽數(shù)、每個(gè)插槽的內(nèi)核數(shù)、CPU 預(yù)留、CPU 限制和份額。插槽數(shù)和內(nèi)核數(shù)的設(shè)置直接關(guān)系到虛擬機(jī)內(nèi)部操作系統(tǒng)的許可證授權(quán)比如某些數(shù)據(jù)庫按物理 CPU 插槽計(jì)費(fèi)你就需要把內(nèi)核盡量集中到少量插槽上。內(nèi)存配置方面預(yù)留是一個(gè)容易被忽略的選項(xiàng)。虛擬機(jī)內(nèi)存預(yù)留意味著宿主機(jī)必須保留等量的物理內(nèi)存給這臺(tái)虛擬機(jī)禁止回收和超賣。對(duì)于 SQL Server、Oracle 這類對(duì)內(nèi)存延遲敏感的應(yīng)用我習(xí)慣開啟全部內(nèi)存預(yù)留對(duì)于普通的 Web 服務(wù)器則關(guān)閉預(yù)留讓 ESXi 的內(nèi)存回收機(jī)制發(fā)揮作用提高宿主機(jī)密度。網(wǎng)卡類型的選擇也藏著性能坑。新版 vCenter 創(chuàng)建 Linux 虛擬機(jī)默認(rèn)推薦 VMXNET3但有些老舊操作系統(tǒng)鏡像沒有集成對(duì)應(yīng)驅(qū)動(dòng)啟動(dòng)后網(wǎng)卡無法識(shí)別。此時(shí)需要改用 E1000E 兼容模式或者準(zhǔn)備驅(qū)動(dòng)軟盤在系統(tǒng)安裝時(shí)加載。這個(gè)細(xì)節(jié)不處理好克隆出來的虛擬機(jī)必現(xiàn)網(wǎng)絡(luò)不通的問題。3. 通過模板部署虛擬機(jī)的完整流程自定義規(guī)范與克隆參數(shù)調(diào)優(yōu)3.1 從模板部署的標(biāo)準(zhǔn)操作路徑模板部署是生產(chǎn)環(huán)境批量創(chuàng)建虛擬機(jī)的主流方式比從頭安裝操作系統(tǒng)快得多也更容易保證系統(tǒng)配置的一致性。在 vCenter 里從模板部署虛擬機(jī)有兩種方式基于 vCenter 的克隆部署和基于內(nèi)容庫的部署。前者適合同集群內(nèi)的快速復(fù)制后者適合跨 vCenter 甚至跨站點(diǎn)的標(biāo)準(zhǔn)化分發(fā)?;?vCenter 的克隆流程大致如下在虛擬機(jī)模板上右鍵選擇「從此模板新建虛擬機(jī)」輸入虛擬機(jī)名稱并選擇存放位置數(shù)據(jù)中心或文件夾選擇計(jì)算資源集群、主機(jī)或資源池選擇存儲(chǔ)位置和存儲(chǔ)策略選擇是否勾選「自定義此虛擬機(jī)的操作系統(tǒng)」并配置客戶機(jī)操作系統(tǒng)自定義規(guī)范設(shè)置操作系統(tǒng)信息主機(jī)名、IP、DNS、域等完成部署并啟動(dòng)虛擬機(jī)這里最關(guān)鍵的一步是第 5 項(xiàng)「客戶機(jī)操作系統(tǒng)自定義規(guī)范」。如果跳過這一步克隆出來的虛擬機(jī)主機(jī)名和 IP 都跟模板一模一樣多臺(tái)機(jī)器同時(shí)上線就會(huì)發(fā)生 IP 沖突和主機(jī)名重復(fù)。自定義規(guī)范需要提前在 vCenter 的「策略和配置文件」里創(chuàng)建好按照 Windows 和 Linux 分開配置。3.2 自定義規(guī)范的核心參數(shù)配置Linux 和 Windows 的自定義規(guī)范參數(shù)差異很大。Windows 需要配置產(chǎn)品密鑰、管理員密碼、時(shí)區(qū)、工作組或域、網(wǎng)絡(luò)設(shè)置其中 Sysprep 的版本必須跟模板里的 Windows 版本嚴(yán)格匹配——Windows Server 2016 模板對(duì)應(yīng) Sysprep 2016 版本版本不匹配會(huì)直接導(dǎo)致自定義失敗。Linux 的自定義規(guī)范相對(duì)簡單但同樣有版本匹配問題。vCenter 里的 Linux 自定義是通過 guest customization 工具執(zhí)行的不同版本的 Linux 對(duì)應(yīng)不同的工具版本。我踩過最典型的一個(gè)坑模板是 CentOS 7自定義規(guī)范里選了 RHEL 7 的選項(xiàng)結(jié)果克隆后 /etc/hostname 沒改IP 倒是配上了但主機(jī)名還是模板里的名字監(jiān)控系統(tǒng)里全是重名告警。網(wǎng)絡(luò)配置部分的參數(shù)決定了虛擬機(jī)能否按預(yù)期接入網(wǎng)絡(luò)。靜態(tài) IP 模式下需要填對(duì)子網(wǎng)掩碼、網(wǎng)關(guān)和 DNSDHCP 模式下啥都不用填但得確認(rèn)目標(biāo)網(wǎng)絡(luò)里有 DHCP 服務(wù)。如果虛擬機(jī)要同時(shí)配置多個(gè)網(wǎng)卡自定義規(guī)范里要按順序指定每個(gè)網(wǎng)卡的 IP順序搞錯(cuò)會(huì)導(dǎo)致業(yè)務(wù) IP 配到了管理網(wǎng)卡上。3.3 克隆后的初始化檢查清單克隆部署完成后第一件事不是直接接入業(yè)務(wù)而是做一輪初始化檢查。我習(xí)慣按下面的清單走一遍確認(rèn)主機(jī)名是否按照自定義規(guī)范正確修改確認(rèn)所有網(wǎng)卡的 IP、網(wǎng)關(guān)、DNS 是否符合規(guī)劃檢查/etc/hosts或 Windows 的 hosts 文件里是否殘留模板的解析記錄檢查 SSH 主機(jī)密鑰是否已重新生成Linux 場(chǎng)景檢查 Windows 的 SID 是否已通過 Sysprep 重新生成確認(rèn)虛擬機(jī)時(shí)間同步是否正常NTP 服務(wù)是否隨系統(tǒng)啟動(dòng)這些檢查看著瑣碎但每一條都對(duì)應(yīng)著生產(chǎn)環(huán)境里真實(shí)發(fā)生過的故障。比如 SSH 主機(jī)密鑰不重新生成多臺(tái)克隆機(jī)指紋一樣運(yùn)維平臺(tái)做主機(jī)信任時(shí)會(huì)直接報(bào)沖突。4. 空白虛擬機(jī)創(chuàng)建與手動(dòng)安裝系統(tǒng)ISO 掛載和引導(dǎo)參數(shù)設(shè)置4.1 創(chuàng)建空白虛擬機(jī)并掛載 ISO 鏡像不是所有場(chǎng)景都能用模板部署。有時(shí)候需要從零開始安裝一套全新的操作系統(tǒng)版本或者模板里沒有你需要的系統(tǒng)類型這時(shí)候就要走「新建空白虛擬機(jī) 手動(dòng)掛載 ISO 安裝」的路線。這個(gè)流程雖然步驟更多但對(duì)系統(tǒng)的掌控力最強(qiáng)。在 vCenter 里新建空白虛擬機(jī)時(shí)「客戶機(jī)操作系統(tǒng)」的選擇需要跟實(shí)際要安裝的系統(tǒng)一致。這個(gè)選擇不僅影響虛擬機(jī)名稱后綴還會(huì)影響虛擬硬件的兼容性配置——選錯(cuò)系統(tǒng)類型后續(xù)安裝完系統(tǒng)后虛擬機(jī)的硬件版本可能不被識(shí)別。比如要裝 Windows Server 2022客戶機(jī)操作系統(tǒng)類型需要選到對(duì)應(yīng)的版本這樣虛擬硬件才會(huì)默認(rèn)啟用必要的虛擬化特性。ISO 鏡像的掛載有兩種方式一是通過數(shù)據(jù)存儲(chǔ)瀏覽上傳 ISO 到存儲(chǔ)上再掛載到虛擬光驅(qū)二是通過內(nèi)容庫管理 ISO在虛擬機(jī)設(shè)置里直接選擇內(nèi)容庫中的 ISO 文件。第二種方式更規(guī)范適合團(tuán)隊(duì)協(xié)作場(chǎng)景ISO 文件不用每人傳一份到存儲(chǔ)。掛載 ISO 后虛擬機(jī)的引導(dǎo)順序也很關(guān)鍵。默認(rèn)情況下虛擬機(jī)從硬盤引導(dǎo)如果硬盤上沒有引導(dǎo)記錄會(huì)直接報(bào)沒有可引導(dǎo)設(shè)備。需要在虛擬機(jī)設(shè)置的「引導(dǎo)選項(xiàng)」里調(diào)整引導(dǎo)順序把 CD/DVD 光驅(qū)放在硬盤之前或者臨時(shí)勾選「強(qiáng)制進(jìn)入 BIOS 設(shè)置界面」手動(dòng)選擇一次性引導(dǎo)設(shè)備。我用一個(gè) bash 式的操作習(xí)慣做參考創(chuàng)建虛擬機(jī)時(shí)就把光驅(qū)設(shè)為第一個(gè)引導(dǎo)設(shè)備裝完系統(tǒng)后再把硬盤調(diào)回第一位避免后續(xù)重啟時(shí)從 ISO 反復(fù)引導(dǎo)。4.2 安裝過程中的 VMware Tools 安裝與驅(qū)動(dòng)驗(yàn)證手動(dòng)安裝系統(tǒng)的過程跟物理機(jī)基本一樣但有一個(gè)額外且必須做的事安裝 VMware Tools新版叫 open-vm-tools。VMware Tools 不僅提供鼠標(biāo)無縫切換、剪貼板共享這些體驗(yàn)類功能更重要的是它包含了虛擬機(jī)與 ESXi 交互所需的驅(qū)動(dòng)和服務(wù)比如內(nèi)存氣球驅(qū)動(dòng)、網(wǎng)絡(luò)驅(qū)動(dòng)優(yōu)化、時(shí)間同步模塊。沒裝 VMware Tools 的虛擬機(jī)會(huì)在 vCenter 里顯示一個(gè)黃色感嘆號(hào)并且無法正常執(zhí)行 shutdown 和 reboot 操作。Windows 系統(tǒng)的 VMware Tools 安裝很簡單掛載后運(yùn)行 setup 即可。Linux 系統(tǒng)則建議用系統(tǒng)自帶的 open-vm-tools 包通過包管理器安裝# 以 CentOS/RHEL 系為例 sudo yum install -y open-vm-tools # 以 Ubuntu/Debian 系為例 sudo apt-get install -y open-vm-tools # 安裝完成后啟動(dòng)并設(shè)置開機(jī)自啟 sudo systemctl enable --now vmtoolsd這里有個(gè)安裝源的問題如果操作系統(tǒng) ISO 是精簡版的可能默認(rèn)軟件源里沒有 open-vm-tools需要用原版安裝源或提前準(zhǔn)備好的離線包。open-vm-tools 裝完后vmware-toolbox-cmd命令可以查看虛擬機(jī)的資源狀態(tài)和宿主機(jī)信息這是驗(yàn)證虛擬化環(huán)境是否正常的一個(gè)直接手段。驅(qū)動(dòng)的驗(yàn)證同樣不能忽略。Windows 系統(tǒng)裝完 VMware Tools 后打開設(shè)備管理器確認(rèn)所有設(shè)備沒有黃色感嘆號(hào)Linux 系統(tǒng)通過ethtool -i eth0查看網(wǎng)卡驅(qū)動(dòng)類型確認(rèn)是 vmxnet3 而不是 e1000——如果是 e1000說明網(wǎng)卡類型選得不對(duì)需要關(guān)機(jī)后改成 vmxnet3 再開機(jī)驗(yàn)證。4.3 引導(dǎo)參數(shù)設(shè)置的常見誤區(qū)手動(dòng)安裝系統(tǒng)時(shí)引導(dǎo)參數(shù)設(shè)置有一些經(jīng)常翻車的地方。Linux 安裝時(shí)如果設(shè)置了錯(cuò)誤的inst.stage2參數(shù)指向不存在的安裝源安裝程序會(huì)卡在啟動(dòng)界面找不到安裝介質(zhì)。Windows 安裝時(shí)如果 UEFI 引導(dǎo)和 BIOS 引導(dǎo)模式選錯(cuò)裝出來的系統(tǒng)無法直接引導(dǎo)或者反過來在設(shè)置為 UEFI 的虛擬機(jī)上裝了傳統(tǒng) BIOS 模式系統(tǒng)開機(jī)直接黑屏。還有一個(gè)容易忽略的是虛擬機(jī)的固件類型。vCenter 里創(chuàng)建虛擬機(jī)時(shí)可以選擇 BIOS 或 UEFI 固件這個(gè)選擇在創(chuàng)建后不能隨意更改。UEFI 模式下 Windows 虛擬機(jī)需要磁盤上存在 EFI 系統(tǒng)分區(qū)BIOS 模式下則需要 MBR 引導(dǎo)。模板克隆時(shí)如果模板用了 UEFI克隆出來的虛擬機(jī)也必須保持 UEFI混合使用會(huì)導(dǎo)致啟動(dòng)失敗。這個(gè)約束在新手期幾乎必然踩一次。5. 虛擬機(jī)資源限制配置預(yù)留、份額、限制的實(shí)際調(diào)優(yōu)參數(shù)5.1 份額與預(yù)留的計(jì)算邏輯虛擬機(jī)的性能問題很多不是宿主機(jī)硬件不夠而是資源分配策略不合理。vCenter 的資源管理有三個(gè)核心杠桿份額Shares、預(yù)留Reservation和限制Limit。理解這三個(gè)參數(shù)的關(guān)系是調(diào)優(yōu)虛擬機(jī)性能的基礎(chǔ)。份額是「相對(duì)權(quán)重」而非「絕對(duì)能力」。當(dāng)多臺(tái)虛擬機(jī)爭搶同一宿主機(jī)的 CPU 資源時(shí)份額比例決定了誰能搶到更多。默認(rèn)份額是「正常」等級(jí)每顆 vCPU 的權(quán)重為 1000。如果你有兩臺(tái)虛擬機(jī)一臺(tái)份額設(shè)為高一臺(tái)設(shè)為低當(dāng)宿主機(jī) CPU 資源緊張時(shí)高份額的虛擬機(jī)可以獲得更多 CPU 時(shí)間片。但注意只要宿主機(jī)資源沒到瓶頸份額對(duì)單臺(tái)虛擬機(jī)的性能沒有任何影響。預(yù)留則是「最低保障」設(shè)定后宿主機(jī)必須為這臺(tái)虛擬機(jī)保留對(duì)應(yīng)的 CPU 或內(nèi)存資源。預(yù)留可以在 CPU 或內(nèi)存層面獨(dú)立設(shè)置比如 CPU 預(yù)留 4GHz 意味著宿主機(jī)必須保證 4GHz 的 CPU 計(jì)算能力給這臺(tái)虛擬機(jī)。預(yù)留值設(shè)得過高會(huì)降低宿主機(jī)的整體可調(diào)度容量導(dǎo)致能容納的虛擬機(jī)數(shù)量變少。限制參數(shù)正好相反它給虛擬機(jī)的資源使用設(shè)置一個(gè)硬頂。生產(chǎn)環(huán)境里一般不會(huì)主動(dòng)給核心業(yè)務(wù)虛擬機(jī)設(shè)置 CPU 限制但對(duì)于測(cè)試環(huán)境或者多租戶共享的集群限制往往是防止資源被單個(gè)租戶耗盡的唯一手段。合理的做法是核心業(yè)務(wù)設(shè)預(yù)留 默認(rèn)份額測(cè)試業(yè)務(wù)設(shè)限額 低份額。5.2 內(nèi)存預(yù)留與 NUMA 架構(gòu)的影響內(nèi)存預(yù)留對(duì)性能的影響比很多人想象中更大。虛擬機(jī)的內(nèi)存預(yù)留有三個(gè)檔位不預(yù)留、部分預(yù)留、全部預(yù)留。ESXi 的內(nèi)存回收機(jī)制包括透明頁共享、內(nèi)存壓縮和交換這些機(jī)制會(huì)在物理內(nèi)存不足時(shí)將虛擬機(jī)內(nèi)存頁回收或換出到存儲(chǔ)設(shè)備上的交換文件。如果虛擬機(jī)啟用了全部內(nèi)存預(yù)留ESXi 不會(huì)回收它的任何內(nèi)存頁內(nèi)存訪問延遲最好但宿主機(jī)能跑的虛擬機(jī)密度會(huì)顯著下降。NUMA 架構(gòu)是另一個(gè)需要考慮的因素?,F(xiàn)代 x86 服務(wù)器都是多路 CPU每個(gè) CPU 對(duì)應(yīng)一組本地內(nèi)存訪問本地內(nèi)存和遠(yuǎn)端內(nèi)存的延遲不同。VMware 的 NUMA 調(diào)度器默認(rèn)會(huì)嘗試把虛擬機(jī)及其內(nèi)存放在同一個(gè) NUMA 節(jié)點(diǎn)上但前提是虛擬機(jī)的 vCPU 數(shù)量和內(nèi)存大小不超過單節(jié)點(diǎn)的物理資源。創(chuàng)建超大虛擬機(jī)時(shí)vCPU 超過單 NUMA 節(jié)點(diǎn)核數(shù)內(nèi)存跨越兩個(gè)節(jié)點(diǎn)導(dǎo)致訪問遠(yuǎn)端內(nèi)存的概率上升性能可能下降 10% 到 20%。要規(guī)避 NUMA 問題創(chuàng)建虛擬機(jī)時(shí)優(yōu)先選擇「每個(gè)插槽的內(nèi)核數(shù)」等于物理機(jī)單 NUMA 節(jié)點(diǎn)核數(shù)的配置。比如宿主機(jī)是 2 路 32 核每路 32 核是一個(gè) NUMA 節(jié)點(diǎn)那么給虛擬機(jī)配 64 核時(shí)最好設(shè)置為 2 個(gè)插槽 × 32 核而不是 1 個(gè)插槽 × 64 核。這個(gè)細(xì)節(jié)在 vCenter 的資源分配界面可以直接控制。5.3 資源分配的實(shí)戰(zhàn)參數(shù)參考不同業(yè)務(wù)類型的虛擬機(jī)資源分配參數(shù)差異很大我在下面的表里給出常用的參考值。這些值不是硬性標(biāo)準(zhǔn)但可以作為一個(gè)合理的起點(diǎn)再根據(jù)監(jiān)控?cái)?shù)據(jù)逐步調(diào)整業(yè)務(wù)類型CPU 預(yù)留CPU 份額CPU 限制內(nèi)存預(yù)留內(nèi)存份額典型配置核心數(shù)據(jù)庫全部高無全部高16 vCPU / 64GB業(yè)務(wù)應(yīng)用服務(wù)無正常無部分(50%)正常8 vCPU / 16GBWeb 前端集群無低8 vCPU無低4 vCPU / 8GB批處理任務(wù)無低16 vCPU無正常8 vCPU / 32GB測(cè)試環(huán)境無正常24 vCPU無正常8 vCPU / 16GB這個(gè)表的選取邏輯是核心數(shù)據(jù)庫對(duì)延遲最敏感預(yù)留拉滿保證性能下限Web 前端集群可以橫向擴(kuò)容單機(jī)設(shè)限避免故障時(shí)拖垮宿主機(jī)批處理任務(wù)對(duì)時(shí)間不敏感但吃 CPU份額可以降低讓其他業(yè)務(wù)優(yōu)先測(cè)試環(huán)境限制放寬但跟生產(chǎn)物理隔離。資源分配后一定要通過 vCenter 的性能圖表驗(yàn)證效果。查看 CPU 就緒時(shí)間、內(nèi)存交換率、磁盤延遲這幾個(gè)關(guān)鍵指標(biāo)如果就緒時(shí)間持續(xù)高于 5%說明 CPU 超賣嚴(yán)重需要調(diào)高份額或遷移部分虛擬機(jī)到其他宿主機(jī)如果內(nèi)存交換率高說明物理內(nèi)存不足開啟內(nèi)存預(yù)留或增加宿主機(jī)內(nèi)存是僅有的兩個(gè)出路。6. 虛擬機(jī)創(chuàng)建常見問題排查五個(gè)高頻故障的處理記錄6.1 故障一模板克隆后網(wǎng)絡(luò)不通IP 未按自定義規(guī)范配置現(xiàn)象從模板克隆一臺(tái) Linux 虛擬機(jī)啟動(dòng)后訪問不到在 vCenter 控制臺(tái)里看到網(wǎng)卡顯示了 IP但實(shí)際 ping 不通網(wǎng)關(guān)。原因自定義規(guī)范里的網(wǎng)絡(luò)配置只改了網(wǎng)卡的 IP 地址沒有重新啟動(dòng) NetworkManager 服務(wù)或者模板里的網(wǎng)卡設(shè)備名與自定義規(guī)范指定的網(wǎng)卡名不一致。常見于 CentOS 7 使用/etc/sysconfig/network-scripts/ifcfg-eth0文件而實(shí)際網(wǎng)卡名為 ens192 的場(chǎng)景。解決先到 vCenter 控制臺(tái)用ip addr確認(rèn)網(wǎng)卡實(shí)際名稱和 IP 配置手動(dòng)修正網(wǎng)卡配置文件后重啟網(wǎng)絡(luò)服務(wù)如果自定義規(guī)范配置時(shí)勾選了「使用 DHCP」檢查網(wǎng)絡(luò)內(nèi) DHCP 服務(wù)是否可用如果模板克隆后反復(fù)出現(xiàn)這個(gè)情況建議在模板里預(yù)先做一次克隆前的網(wǎng)絡(luò)清理刪除網(wǎng)卡配置文件中的 UUID 和設(shè)備綁定信息讓克隆后的機(jī)器重新生成配置。6.2 故障二Windows 虛擬機(jī)克隆后提示「嘗試運(yùn)行 Sysprep 時(shí)出錯(cuò)」現(xiàn)象從 Windows 模板克隆自定義規(guī)范走到最后一步時(shí)報(bào)錯(cuò)提示 Sysprep 運(yùn)行失敗克隆出來的虛擬機(jī)沒有被正確自定義。原因vCenter 的 Windows 自定義通過 Sysprep 工具完成而 Sysprep 的版本必須與虛擬機(jī)內(nèi)的 Windows 版本嚴(yán)格對(duì)應(yīng)。常見的原因是模板里是 Windows Server 2019但 vCenter 自定義規(guī)范里選擇了 Windows Server 2016 的 Sysprep 選項(xiàng)或者模板系統(tǒng)已經(jīng)運(yùn)行過 Sysprep 導(dǎo)致狀態(tài)文件殘留。解決先在 vCenter 的「策略和配置文件」中檢查自定義規(guī)范對(duì)應(yīng)的 Sysprep 版本并對(duì)照模板中 Windows 的版本如果模板內(nèi)殘留C:\Windows\Panther\unattend.xml或Sysprep\Sysprep.xml文件建議先手動(dòng)清理再重新封裝模板封裝模板的正確流程是在 Windows 內(nèi)以管理員權(quán)限運(yùn)行C:\Windows\System32\Sysprep\sysprep.exe選擇「進(jìn)入系統(tǒng)全新體驗(yàn) (OOBE)」勾選「通用」關(guān)機(jī)后再轉(zhuǎn)為模板。6.3 故障三虛擬機(jī)開機(jī)黑屏控制臺(tái)無輸出現(xiàn)象從 ISO 手動(dòng)安裝系統(tǒng)時(shí)虛擬機(jī)開機(jī)后電源狀態(tài)是運(yùn)行中但控制臺(tái)黑屏或者卡在某一畫面不動(dòng)。原因ISO 鏡像引導(dǎo)模式與虛擬機(jī)固件不匹配例如 UEFI 固件加載傳統(tǒng) BIOS 引導(dǎo)的 ISO也可能是虛擬機(jī)配置了多個(gè)顯示器但控制臺(tái)選中了錯(cuò)誤的一個(gè)還有可能是 ISO 鏡像文件損壞或者存儲(chǔ)上的 ISO 文件被上傳時(shí)截?cái)?。解決先確認(rèn)虛擬機(jī)固件類型在虛擬機(jī)設(shè)置里查看「引導(dǎo)選項(xiàng)」是否為 UEFI如果固件是 UEFI確認(rèn) ISO 支持 UEFI 引導(dǎo)Windows 原生支持Linux 需要 iso 鏡像里包含 EFI 引導(dǎo)文件排除固件問題后在控制臺(tái)窗口的「切換顯示器」菜單里切換顯示輸出最后用存儲(chǔ)的數(shù)據(jù)校驗(yàn)功能驗(yàn)證 ISO 文件大小與源文件是否一致。6.4 故障四虛擬機(jī)可遷移狀態(tài)異常vMotion 報(bào)錯(cuò)現(xiàn)象將虛擬機(jī)執(zhí)行熱遷移時(shí)提示「虛擬機(jī)兼容性檢查失敗」或「目標(biāo)主機(jī)無法訪問虛擬機(jī)網(wǎng)絡(luò)」。原因虛擬機(jī)所在的存儲(chǔ)策略與目標(biāo)主機(jī)不兼容或者虛擬機(jī)使用了不可遷移的虛擬設(shè)備比如 PCI 直通設(shè)備、RDM 裸設(shè)備映射網(wǎng)絡(luò)方面源主機(jī)和目標(biāo)主機(jī)不在同一個(gè)二層網(wǎng)絡(luò)虛擬機(jī)端口組不匹配。解決在虛擬機(jī)設(shè)置里確認(rèn)是否存在直通設(shè)備或 RDM 設(shè)備如果有需要先停掉虛擬機(jī)再遷移檢查源集群和目標(biāo)集群的存儲(chǔ)策略是否一致跨集群遷移時(shí)需要目標(biāo)集群有相同的存儲(chǔ)策略定義網(wǎng)絡(luò)方面推薦使用分布式交換機(jī)VDS并保證目標(biāo)主機(jī)上有相同的端口組配置。6.5 故障五虛擬機(jī)性能極差卡頓明顯現(xiàn)象虛擬機(jī)剛創(chuàng)建完跑起來很流暢運(yùn)行一兩天后明顯變卡打開應(yīng)用要等很久。原因宿主機(jī)資源超賣嚴(yán)重CPU 就緒時(shí)間過高或者存儲(chǔ) IO 達(dá)到瓶頸磁盤延遲增大還有可能是虛擬機(jī)的快照殘留過大快照層數(shù)據(jù)堆積導(dǎo)致磁盤性能下降。解決打開 vCenter 的性能監(jiān)控切換到「高級(jí)」視圖查看 CPU 就緒時(shí)間、內(nèi)存交換率、磁盤平均延遲三個(gè)指標(biāo)如果 CPU 就緒時(shí)間普遍高于 10%需要考慮遷移部分虛擬機(jī)到其他宿主機(jī)或者調(diào)整份額如果磁盤延遲高于 20ms檢查存儲(chǔ)陣列的負(fù)載和存儲(chǔ)策略如果是快照問題刪除所有舊快照并執(zhí)行一次 storage vMotion 重新落盤。7. 驗(yàn)證虛擬機(jī)創(chuàng)建結(jié)果的完整自查清單從配置確認(rèn)到連通性測(cè)試虛擬機(jī)創(chuàng)建完成后設(shè)定完整的驗(yàn)證閉環(huán)能避免多數(shù)線上事故。我的習(xí)慣是把驗(yàn)證分為三層虛擬化層、操作系統(tǒng)層和應(yīng)用層。虛擬化層驗(yàn)證主要是檢查 vCenter 里的虛擬機(jī)配置與申請(qǐng)單是否一致。打開虛擬機(jī)編輯設(shè)置逐一核對(duì) CPU 核數(shù)、內(nèi)存大小、磁盤容量、網(wǎng)卡數(shù)量和端口組。這里有個(gè)細(xì)節(jié)磁盤容量和內(nèi)存大小在虛擬機(jī)運(yùn)行期間可以熱添加但熱添加的效果需要客戶機(jī)操作系統(tǒng)支持Windows Server 2012 以上和較新的 Linux 內(nèi)核都支持在線識(shí)別但確認(rèn)最終生效最穩(wěn)妥的方式是看客戶機(jī)操作系統(tǒng)內(nèi)的實(shí)際資源而不是只看 vCenter 顯示配置。操作系統(tǒng)層驗(yàn)證的常用手段是進(jìn)到系統(tǒng)內(nèi)部查看。Linux 用lscpu、free -h、df -h和ip addr分別確認(rèn) CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)配置是否與規(guī)劃一致Windows 用「系統(tǒng)信息」和「設(shè)備管理器」確認(rèn)特別留意網(wǎng)卡是否識(shí)別為 VMXNET3 以及磁盤是否顯示為 VMware Virtual disk。應(yīng)用層驗(yàn)證取決于虛擬機(jī)承載的業(yè)務(wù)。如果是 Web 服務(wù)用 curl 或?yàn)g覽器訪問本地端口確認(rèn)服務(wù)可用如果是數(shù)據(jù)庫用客戶端連接測(cè)試并執(zhí)行一條查詢語句如果是消息隊(duì)列確認(rèn)消費(fèi)者連接數(shù)達(dá)到預(yù)期。這一步是最終驗(yàn)收的依據(jù)不能省。還有一個(gè)被很多人忽略的驗(yàn)證項(xiàng)是虛擬機(jī)的時(shí)間同步。虛擬機(jī)的操作系統(tǒng)時(shí)鐘漂移是一個(gè)長期問題模板或克隆機(jī)器如果 NTP 服務(wù)沒配好時(shí)間偏差會(huì)持續(xù)累積。Linux 虛擬機(jī)建議在/etc/chrony.conf或/etc/ntp.conf中配置 NTP 服務(wù)器并確認(rèn)服務(wù)開機(jī)自啟Windows 虛擬機(jī)建議保留 VMware Tools 的時(shí)間同步設(shè)置并額外配置外部 NTP 源# 以 Chrony 為例編輯 /etc/chrony.conf # 添加公司內(nèi)部的 NTP 服務(wù)器地址示例 server ntp.internal.example.com iburst # 重啟 chronyd 并確認(rèn)同步狀態(tài) sudo systemctl restart chronyd sudo chronyc sources -v這個(gè)操作看起來簡單但實(shí)際生產(chǎn)里 NTP 沒同步導(dǎo)致認(rèn)證失敗、日志時(shí)間異常的案例太多了。服務(wù)端和客戶端時(shí)間偏差超過五分鐘Kerberos 認(rèn)證直接失效數(shù)據(jù)庫主從復(fù)制也可能因?yàn)闀r(shí)間戳錯(cuò)亂報(bào)主鍵沖突。從那以后每次創(chuàng)建完虛擬機(jī)我都強(qiáng)制走一遍時(shí)間同步驗(yàn)證流程同時(shí)檢查系統(tǒng)日志里是否有驅(qū)動(dòng)加載失敗的記錄。這份習(xí)慣幫我提前發(fā)現(xiàn)了不少克隆機(jī)器的遺留問題節(jié)省了大量排查時(shí)間希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
福利风月五月天影院| 九九九九免费高| 欧美日本天堂| 一级做a爰片性色毛片久久| 日va操| 免费视频在线观看啊啊啊啊啊| 欧美在线综合| 粉嫩在线一区二区懂色| 久久久亚洲| 天天综合精品| 国产精品一区二区三| 天堂8在线新版官网| 精品网站99999| 一区AV| 三上制服丝AV| 乱伦图一区| 密臀AV在线| 大香蕉www.超碰| 四虎免费看黄| 涩五月婷婷| 丝袜综合网| 狠狠色婷婷7777久| 男人的午夜天堂| 99热综合| 亚洲网站一区二区在线| 熟妇一区二区三区| 欧美精品第3页| 久久精品国产亚洲5555| 亚洲欧美在线综合| 婷婷色一区| 亚洲小说视频| 伊人久久青青草| 欧美18老人禁| 日韩色女精品| 99精彩视频| 屁股久久久久久久久久| 亚洲人妖网| 在线免费观看日韩一区| 欧洲综合色| 久久人妻四季| www激情| 亚洲国产成人精品女人久久久| 九九久久久九九| 中国少妇XXXX做受| 东京热,男人的天堂| 99久久婷婷国产综合精品草原| 亚洲无码日韩电影| 超碰97国产欧美| 亚洲综合色男人网| 国产精品自拍xxxx| A 天堂| 男人把坤坤插入女人的下体| 一区二区你上我| 亚洲欧美成人网站AAA| 另类av天堂| 97色干| 精品一级毛片在线观看| 国产人人干| 一区二区三区精品黑丝白丝酒店对鸡| 九色在线熟女国产黑人| 亚洲色图一区二区三区| 亚洲日韩欧美一区二区| 精品久久久无码| 国产成人一级av88| 欧美中文字幕精品人妻| 后入福利视频| 中文字幕88av在线| 91在线页| 五月丁香六月婷| 国产亚洲精品激情| 免费无码婬片AAAA片直播色戒| AV色五月天| 情色日播放AV| 99精品久久| 国产亚洲精品农村妇女| 欧美性生活免费网| 亚洲āv网址在线观看| 欧洲亚洲综合| 中文字幕女同在线| 天天综合麻豆视频| 久久久18禁| 熟女色图在线| 日产国产精品中文久久婷婷| 亚洲色偷偷色噜噜狠狠99网| 五月天丁香网| 国产成人综合网| 亚洲国产奇米影视久久| 中文?日韩?免费?精品| 大香蕉人妻久久| 亚洲鸥美色图| 天天情欲宗合网| 夜夜国产一区| 亚熟在线| 国产精品2020| 啊啊啊97视频| 无码人妻系列少妇| 激情四射婷婷六月天| 亚洲AV无码久久精品蜜桃小说| 色一射色一射| 欧美无圣光在线| 天天色悠悠激情| 91久久精品蜜臀| 婷婷六月色| 99精品热| 91最新综合| 久久一留热品黄| 九九九综合精品| 午夜情侣自拍网站| 按摩中文字幕| 国产60区。| 超碰在线人妻不卡| 97精品综合久久网| 亚洲欧美天| 性欧美| 国产一区二区精品久久久不卡蜜臀| 天天干1区2区在线| 97Ai亚洲| 国产亚洲色婷婷久久99精品91 - 百度| 国产白丝av| 97综合国产| 亚州熟女乱伦| 国产精品亚洲一区二区三区四区| 天天日老熟妇| 欧美久久毛片基地| 日本顶级天天操狠狠操夜夜操中文字幕| 成人十八禁日韩欧美一二三| 激情四射婷婷六月天| 久久亚洲一区女同性恋中文字幕| 天美传媒婬乱在| 91色图| 91啦人妻| 亚洲AV成人无码久久精品播放| 综合欧美日韩在线观看| 欧美日韩成人在线| 欧美综合色综合| 国产91 丝袜在线播放00-百度| 亚洲天堂男人的天堂| 国产精品一区二区a| 亚洲,日韩,欧美,成人播放 | 超碰97在线色男人??| 亚洲国内精品成人不卡| www.久久超碰| 蜜乳Av成人片网站| 青青草日本无码| 色欲人妻一区二区在线| 97在线视频观看免费| 色婷婷国产精品一区在线观看| 日韩免费簧片| 看一级黄色视频| 九九英色视频| 超碰导航97| 国产91影院| 韩国一级婬片A片AAAAA| 男人的天堂2018.| 日本好吊色视频| 蜜臀AV午夜精品久| 人妻精品一区二区在线| 亚洲情色图片区| 91n处女在线观看| 永久电影三级在线观看| 有码人妻系列| 91av熟女人妻| 天天插天天射| 蜜桃丰满熟妇av无码区不卡| 最新岛国大片| 欧美色图片91| 九色黄站| 在线性黄高清免费视频| 蜜乳av一区二区三区| 国产在线观看一区二区三区| 中字乱伦AV| 麻豆 亚洲 97| 蜜臀一区二区三区在线 | 91精品微拍福利| 丁香六月婷婷| …中文字幕亚洲乱,97人妻无码费视…| 久一区久久蜜桃| 欧美视频一区二区在线| 亚州高清av| 97超碰人人操人人操| 日韩人妻一区二区精品| 免费成人在线熟妇网| 少妇久久久久| 九九色色| 性感美女91影视| www.91理论| 午夜精品久久久99| 日韩性爱啪啪视频| 人妻日日夜夜精品| 狠狠爱大香蕉| 婷婷五月天成人| 国产免费小视频| 成人三级片无码| 综合视频91| 特级特黄一级毛片免费| 日夜干射色啊| 99精品成人免费看| 欧美性Fer办公室秘书| 美国精品国产精品| 日本一久是| 国产精品无套内谢| 亚洲一区制服诱惑| 国产精品久久伊人| 黄页av| 亚洲av在线免费观看| 久久久久久久唑| 亚洲婷婷五月天| 中文 人妻 制服| 男人的天堂2010| 婷婷爽人人婷婷爽视频| 手机av天堂久久久久| 黑人娇小av在线播放| 宅男91视频在线播放| 粉嫩av平台| 欧美97日韩| 免费人成在线观看网站品爱网| 精品一久久久| 艹少妇网站| 97日韩欧美亚洲| 无码伊人久久大杳蕉中文无码| 新怡红院| 久久香蕉超碰97国产精品| 乱伦av麻豆| 久久久久久九九九九九九| 久久久国产三级黄色片| 色五月AV| 欧美黑人91| 99热这里都是精品| 男女激烈网站最新| 丝袜美腿操av| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 久久超碰com| 九九九网页| 97在线精品观看视频| 亚洲综合一| www.99色| 在线无码视频| 蜜臀久久99精品久久久久久成人小说 | 久久色AV线| 欧美天天拍| 男女日B国产| 欧美综合狠| 爱射综合| 色9999日韩国产| 日韩免费a级毛片无码a∨| 人妻内射一区二区在线视频| 99免费在线视频| 天天色,天天干,天天干| 极品肉射| 亚洲色天堂九9| 亚洲狼狼干综合1| 久久亚洲婷婷| 乱伦图av| 日韩精品一区二区高清| 欧美综合网在线| 色在线69堂| 狠狠中文字幕| 制服乱伦| 美女国产一区二区久久| 国产精品黑人一区二区三区| 亚洲欧美碰碰| 久久精品操| 日韩传媒在线| 97操97色| 一本一道人妻久久一区二区三区 | 午夜啊啊啊| 丁香五月色| 国产精品激情久久久久久久| 国产色精品午夜大片| 日韩无限资源| 极品出轨视频网站| 无卡一区=区| 亚洲精品一区二区免费在线观看| 伊人久久国产免费观看视频| 日韩偷拍色图| 亚洲最大91网| caorenqi shipin| 亚洲古典另类欧美在线| 久久久亚洲高清不打码| 黄色操人| 国产日韩精品suv| 97日韩| 日本二三四区| 中文字幕精品码亚洲| 亚洲天堂一区二区| 激情文学小说一区二区| 制服中出中文人人精品| 亚洲激情色片| 亚码人妻| 国产精品白丝AV| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照 | 激情网色| 欧美日韩香蕉| 99精品久久| 天天做天天爱| 春色校园综合网| 蜜桃精品一区二区三区ww| 久久久爆乳翘臀一线天伦理视频| 99热9| 久久乐| 啊啊啊好爽快点啊啊啊嗯嗯| 久久色激情一区二区三区| 艳美熟妇先锋一二三区| 手机不卡视频不卡在线一二三区 | 国产精品老师| 亚洲少妇喷视频看| 女人一区| 蜜桃狠狠色伊人亚洲综合 | 亚洲第一无码播放立川理惠| 你懂得91| 亚州色图第三区| 欧美老熟另类| 东北女人操比视频| 99草精| 91美女小视频| 性色AV蜜色av色欲av| 涩综合导航| 色网在线视频观看免费| 国产黄色av大片网站| 91丨九色丨国产打屁股| 欧美老熟另类| 99蜜月精品久久| 久久少妇| 户外裸露刺激视频第一区| 狠狠色色| yazhousetuoumei| 夜夜爽爽夜夜精品视频| 韩日欧亚a级| 啊啊啊啊啊在线| 欧美性爱免费短视频| 在线强奷到舒服的无码视频 | 俺去俺来也在线www| 色999人与兽| 亚洲中文字幕日产无码久久| 天天综合青苹果| 欧美日韩国产一区二区小黄片大全| 欧美1区二区三区公司 | 国产黄色av大片网站| 3571色综合一区二区二区| www.高清无码诱惑一区.com | 欧美综合网A| 色欲三区| 免费观看欧美日韩操逼视频| 鸥美极品| 九九综合九九综合| 五月天激情影院| 91网站18| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 影音资源男人日韩| 探花视频免费观看国产专区| 综合欧美日韩在线观看| 91骚妇| 欧美成人精品一区| 久久毛卡| 青青草十区九区爱夜| 伊人网在线点播| 成人自拍三级在线观看| 婷婷伊人| 91女优在线观看 | 九九九不卡| 粉嫩av久久一区二区三区| 丁香六月啪啪| 激情婷婷丁香网| 国产亚洲精品美女久久久| 九九热免费视频| 国模久久在线| 久操网址| 超碰地址97| 精品人妻一区二区三区四区不卡在| 久草网站免费在线观看| 污污污8888| 在线a亚洲视频播放在线| 色婷婷六月| 久久婷婷一区| 亚洲超碰在线| 亚洲综合色图欧美| 九九色影院| 超碰97人人乐| 人人操AV| 国产精品夜夜| 欧美黑人XXXⅩ高潮交| 男人天堂毛片| 色综合网1| 997色在线| 日本一区二区不卡精品| 男人天堂 天天射| 中国少妇XXXX做受| 亚洲超碰综合网| 波多野结衣先锋影音| 精品九九淫乱男| 国产自产自拍| 夜夜免费视频| www.色综合| 国产suv精品一区| 717影院理论午夜伦八戒| 九草九九九| 欧美黄片视频在线观看免费| 国产sv美女内射| 一区二区日韩欧美久久| 欧美91精品国产自产| 久九九九九九九热| 国产中文大片资源中文字幕| 日韩久草| 亚洲黑丝在线| 一级人妻性爱视频| 免费草草草草草视频| 在线观看黄色电话| 亚洲一二三四区| 国产日韩精品一区二区三区| 91深夜夜| 91N综合网| 操少妇很爽av| 91社操逼| 欧美成人性活片| wwe 天天干.com| 亚洲最大成人a毛毛片| 激情文学亚洲| 97干com| 7777奇米影视久久| 性高潮久久久| 天天干天天日天天射黄色片| 欧美性生活综合| 亚洲欧美黄| 91夜夜蜜桃臀1区2区3区| 69精品久久久久中文字幕| 亚州欧美在线| 久久久久久久久九九久孕交| 一区在线国产播放| 日本孕妇一区二区视频操逼免费看 | 午夜爽爽爽在线观看永久入口姬片| 国产亚热在线久久| 欧插网站| 在线人人人人人人精品超| 97美日韩视频| 久久草视频污视频| 亚洲精品一区二区三区新线路| 7777奇米影视久久| 人妻欧美| 欧美综合777| 北条麻妃99精品青青久久| 日韩 欧美 视频 在线 一区| 亚洲综合电影| 欧美精品系列| 中国小夫妻勾搭露脸淫荡对白| 色婷婷综合网| 午夜黄色免费在线观看| 一级特黄aaa大片在线观看成人一级片在线观看 | 久久熟女久| 亚洲美乱| 91GD.COM| 成人性爱视频在线看| 在线观看中文字幕| 99这里只有精品| 美女AV一区二区| 欧美|91色综合| 久久免费精品视频免一| 久久精品国产亚洲AV高清演员表| 综合 亚洲 欧美| 99热线麻豆 | 久热一区二区| 91亚洲网站| 大屁股国产在线视频| 夜夜狼人妻| 91欧美高清| 伊人久久婷婷| 亚洲精品亚洲人成人网| 久久婷婷色| 亚洲色图殴美色图激情乱伦| 国产精品极品美女视频| 国产日韩欧美中文在线播放| 亚洲国产一级黄色视频| 搡老女人老91妇女老熟女| 国产人妻久久精品一区二区三区| 亚洲中文字幕久久无码精品| 超碰色美女| 中文字幕二区| 久久久熟女一区| 大屁股熟女一区二区三区| 亚洲综合九| 精品无码一二三四区| 欧美无圣光在线| 三级片大波波| 人妻在线大香蕉| 偷拍超碰| 蜜臀无码一区二区| 亚洲乱熟女一区二区| 九九九九九九免费视频| 综合欧美色图| 97精品久久| 探花精品 一区二区| 韩国三级色呦呦| 国产精品一区二区a| 成年人网站在线免费观看| 日韩啊V| 天天日天天干天天色| 成人av性爱电影在线观看| 牛牛操视频逼| 天天日B夜夜干B时时操B| 大色综合网| 9l视频自拍9l九色成人| 色97| 一区| 91超碰在线观看| 久操国产在线| 日本一区视频在线观看| 亚欧成人中文字幕一区| 婷婷大香蕉| 欧亚乱色熟一区二区三四区| 98精品国产乱码久久久久久| 黑人综合色| 欧美一级二级三级| 国产精品无码成人精品| 黄片com.| 插入综合网| 欧美日本天堂| 日韩无码人妻中字久久三区四区| 成人精品无码| 激情视屏国产乱伦强奸| 国产成人亚洲精品自产在线| 成人在线视频一区| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 伊人一级免费黄片| 激情接吻视频久久久久久| 亚洲综合在线视频| 国产美女激情| 97伊人网| 日韩不卡在线一区二区| 江都AV在线| 日本天天干天天日一区| 深夜福利黄片| 婷婷久久五月| 午夜综合在线| 亚洲国产美女久久久久| 中文字幕在线高清男人的天堂| 91xingse| 香蕉国产97| 老子午夜伦不卡影院| 超碰人人干| 亚洲欧美国产中文字幕| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区 | 天天拍天| 成人26uuu| 日本三级黄页| 91狠狠狠| 国产一级不卡在线观看| 久草视频制服诱惑| 国产精品久久久久9999小说| 国产高清成人mv在线观看| 亚洲另类久操网| 国产一二三福利视频网| 国产精品自拍xxxx| 天天碰操中国年青熟妇| 久久精品黄色| 99热9| 亚欧美无遮挡| 激情接吻视频久久久久久| 五月天色电影| 国产精品白丝在线播放| 爱爱动态120秒| 少妇无码999| 午夜高清成人在线视频| 大屁股国产在线视频| 一级AV性爱| 欧美 中文字幕 一区| 人妻久久一区二区三区| 九九伊人网| 伊人宅男大香蕉| 最新国产精品久久精品| 精品综合久久久久久97| 成人 日本A片无码8888| 久久一本大香蕉 | 久久9亚洲| 日韩三级伊人| 日本天天吊| 好爽视频在线观看视频| 美女尤物福利视频| 天天综合91| 91n美女视频| 17c嫩草51久久91嫩草| renqi久久久久久久久久久久| 2017天天操天天日| 99激情| 亚洲精品97久久| 欧美日韩亚洲国产中文永久天天看| www.91理论| 乱操9999| 亚洲精品色| 91亚洲电影| 大香蕉伊人亚洲| www.99色| 天天操天天日天天干| 屁屁影院一区二区三区国产| 亚州,欧美在线| 日本三级中国三级99人妇网站| 综合五月天| 国语人妻精彩刺激| 国产精品爱欲| 亚洲影视第一页| 另类在线| 夜夜操美女| 久久精品视| 99热精品在线播放| 精品视频在线观看| 美欧老女人97| 亚洲最大无码中文字幕网站| 免费国产视频| 国产亚洲精品美女| 国产精品一区二区黄片| 极品国产内射| 久久久久9999精品九九九| 99久久精品国产高潮| 九九九九久久久久| 97公开久久| 色啪网| 日韩强奸av| 国产91专区| 天天干天天日天天射黄色| 国产野战露脸在线播放| 啊啊啊好大好深| 5252色欧美在线| 九九性爱网| 草草草视频在线免费看| 激情内射| 久久一区,青青青青草视频在线播放| 黄色片,com| 91爱剪切久久| 青娱乐手机日韩在线视频| 五月丁香啪| 欧美日韩免费性爱| 欧美高清第一页| 日韩淫色网| 国产夜夜艹| 综合色图区| 亚洲欧美自拍偷拍| 五月丁香激情四射| 91痴汉| 都市激情人妻一区二区青青操视频| 天天干,天天日| 亚洲天堂AV在线播放| 蜜臀99久久| 久久久精选| 91n免费处女| 久久水蜜臀亚洲AV无码精品| 久久精品国产精品亚洲艾通辽熟妇 | 人人妻人人爽一区二区三区| 国产女人9999| 日han少妇无码| 国产av高清版| www.99热| 国产欧美日韩在线不卡第一页| 热久久国产| 免费精品国偷自产在线在线| 欧美日韩久久精品爱爱| 性色高清..……| 亚码人妻| 91美女色视频亚洲| 亚洲综合影视| 99自拍B亚洲 | 久久精品无码不卡| 亚洲素人网| 青草香蕉网| 欧美色图天堂网m| 欧美美女自慰一区二区三区| 色色五月天婷婷| 极品色www影院| 97任你吞精| av日韩在线观看电影| se01国产在线视频| 小视频国产| 国内精品嫩模A∨私拍小视频| 欧美资源| 婷婷色综合欧美日韩| 久草在线| 日本视频在线中文字幕| 人妻精品视频一区二区三区| 91美女网站| 欧美精品宗合| 欧美精品精品一区二区| 肏逼视频日本| 亚洲国产av中文字幕久久 | 日韩欧美加勒比| 91人人| 欧美97| 五月天婷婷在线看| 美国黄片aaa| 脫衣舞一区二区三区| 亚洲导航深夜福利| 久久久久久AⅤ无码免费肉站 | 国产亚洲日本精品在线| 天天操天天舔| 欧美色五月| 爱爱动态120秒| 怡红院怡春院| 五月开心久久AV官网| 久久↗↗| 九九热三级片| 国产精品无码成人精品| 特级毛片特黄久久免费看| 日本性爱网址| 激情五月天色色| 97久久资源| 中文字幕97色| 久久精品噜噜噜成人看免欧美大片| 清纯唯美激情| 成人小说另类在线| 国产一区二区精品久久99| 亚洲强奸乱伦影视网| 亚洲va综合va国产va中文| 欧美日韩免费专区在线| 性欧美精| 性色A∨91| 亚洲小电影免费涩涩成人在线高清| 自拍大香蕉乱插| 亚洲色图激情小说| 91麻豆一二三区| 夜夜欢天天干| 多毛小伙内射老太婆| 日本色色色| 日韩人妻无码精品系列| 97色欧洲| ,成人免费啪啪视频| 国产成人在线观看综合| 毛片17S| 国产青青综合伊人| 国产无吗在线播放| 婷婷99狠狠| 9精品在线| 久久婷婷成人综合色怡春院| 免费福利视频中文字幕| 99精品网| 风月影院男女十八禁| 男人的天堂2018| 欧亚乱色熟女一区二区| 淫色网综合| 9久9久| 麻花豆传媒剧国产MV出差| 天天日少妇逼AV| 大屁股国产在线视频| 国产精品com| 国产福利第一视频| 久久精品视频在线观看| 国产精品乱码久久| 丰满的三级少妇欧美久久久| 天美精品一区二区三区四区在线观看| 日逼97| 国产情侣自拍在线播放| 久久久久久波多野吉衣高潮| 精品午夜福利| 91丨九色丨东北熟女| 日日干夜夜欢| 国产精品一区av在线| 97视频在线免费看| 超碰碰97资源站| 免费一级毛片在线视频观看| 欧美日韩另类字幕中文| 欧美不卡在线一区二区| 另类图片五月| 欧洲人妻视频| 超碰人人草| 亚欧操逼片在线观看| 男人高清无码一区二区| www.高清无码诱惑一区.com| 麻豆国产97在线| 天美av在线观看| 亚洲加勒比| 2020视频1区2区3区| 精品日韩产品在线,日韩在线不卡视频,欧美日韩免费专区/久, | 人妻少妇精品视频一区二区三区| 成人免费福利网站国产| 午夜福利在线合集| 精品人妻av在线播放| 精品人妻视频一区二区三区蜜桃视频| A 天堂| 亚洲91色在线| 免费?级毛片无码?∨蜜芽试看| 少妇天堂网络| 久综合国内精品自在自线| 97超碰逼| www.99中文字幕| 男人的天堂在线| 26uuu国产成人综合| 人妻超碰青青草98| 亚洲最大网站av| 欧美天天影院| 日本福利社| 亚洲欧美骚| 国语人妻精彩刺激| 精品蜜乳AV免费观看| 裸体女人草逼视频播放一区,二区,三区,四区,五区 | 五月丁香网站| 女性91网站| 欧美香蕉视xxx| 高潮的A片激情扒开一区| 久久九精品| 国产超碰人人爽人人做| 91国产丝袜白虎| 亚洲色图大香| 成人午夜高潮av猛片| 欧美日韩亚洲天堂网| 久久久久久久亚洲Av无码| 欧美黑人日韩少妇色情| 五月婷婷六月激情| 亚洲影院成人| 亚洲电影91| 丁香久久| 国产丝袜欧美在线视频| 欧亚日韩综合精品国产| 婷婷五月色| 日韩欧洲操屄视频| 国产精品3| 欧美后进式| 日韩美女啪啪一区| 黑丝制服中文字幕| 99.色网| 九月丁香综合网| 日韩射精| 亚洲图片 激情小说| 五月婷婷无码| 黄色视频60分钟| chaopen97久久| 美日韩一卡二卡三卡免费人妻精品| 熟女乱伦A| 日本不卡在线二区三区| 欧美色日本| 婷婷五月成人| 啪啪视频亚洲第一| 欧美激情专区| 超碰97在线中文| 久久久影院| 5278欧美一区二区三区| 色色毛片| 欧美色图20P| av一区二区三区四区五区久草臀| 色色色999| 久久精品欧美一区二区三区不卡| 亚洲 欧美综合| 一区二区三区成人| 久久欧美按摩999| 欧美性爱一级操| 亚洲一区日韩精品| 成人三级片一区二区三区视频| 国产女同性恋视频| 屌色在线97视频| 国产成人免费观看在线视频| 青娱乐福利99| 亚洲熟女综合一区二区| 超碰综合97在线| 久久精品视频在线观看| 国产天美欧美| 色色婷婷五月天| 亚洲色图日韩精品| 日本人妻中文字幕精品| 97 色综合| 情色大香蕉| 亚洲丰满很很操| 亚洲美女色图| 蜜臀人妻少妇久久在线观看| 操少妇很爽av| 成人日韩欧美| www.超碰在线| 牛牛aV| 国产精品久久久无码AV网站| 三级AV入口| 无码一区免费在线不卡| 国产精品扒开腿做爽爽爽视频| 天天日天天干天天摸天天操| 亚洲青青草| 久久大陆| 级品肉射| 亚洲一区二区 麻豆传媒| 亚洲第一页欧美| 国产精品国产自产拍高清AV| 偷拍欧美综合| 久久极品一区二区| 亚洲宅男天堂| 国产原创自拍| 麻豆天美电影一区二区| 日韩有码一区三区| 校园春色之综合网| 97精品一二区| 午夜福利久久久噜久噜久久综合| 蜜色网色哟哟| 很黄很污的免费网站| 内射日韩大臀美女| 爱欲AV| 久久久久久中文版| 91性感网站| 亚洲精品蜜桃久久久久久久| 999九九精品| 天天天操天天天爱| 后入福利| 深夜视频| 免费操逼91| 岛国A V在线免费看| 成人AV超碰免费在线| 国产成人99久久亚洲综合| 欧美精品成人在线播放| 日人妻视频91| 国产一级片| 麻豆天美国美国产| 欧美成人亚洲精品| 欧美亚洲成人在线一区二区三区| 嫩草91| 天啪| 51久久夜色精品国产麻豆| 人人潮人人摸| 色婷亚洲五月在线观看| 亚洲欧美精品91| 大香蕉十区| 久草精品一区| 日韩欧美中文字幕搭讪巨乳美人妻视频| 人妻少妇精品久久久久久| 久久老女人| 亚洲小电影免费涩涩成人在线高清| 欧美成人一级免费电影| 99热精品免费| 97视频620| 亚洲脚交| 亚洲一区日韩精品中文字幕| 操操逼操操逼操操逼逼| 狠狠色丁香| 五月婷婷hd| 欧美后入式| 日本视频在线中文字幕| 十八禁的黄污污免费网站| 色五月首页| 佐山爱中文字幕| 国产精品一区二区麻豆| 一区二区三区国产在线播放| 99国产在线 精品 视频| 超碰99在线观看| 精产国品一区二三产品| 超碰97极品9| 色欲久久久久综合网| 人人做人人妻人人夜视频| 日韩99神马视频播放片在线播放| 久久爱超碰网| 97国产人人| 91 亚洲 欧美 日韩 国产 综合| 日本高清电影欧美色图| 亚洲欧美在线综合| 97爱| 亚洲中文字幕精品久久久久久直播| 一二三啪啪专区| 国产精品夜夜夜| 精品高清av中文字幕| 天天天天操| 亚洲AV在线资源| 2017av无码免费无线播| AV综合中文字幕干| 免费啊啊啊| 久久久999| 九九99精品| www.av家庭乱伦| 久久一二三四五六七八九区区区 | 亚欧无码线免费观看视频| 亚洲人久久久久日| 日本一二区不卡| a片在线播放| 黑人美精品 A片| 欧美丝袜制服久久| 免费黄色视频网址| 亚洲日韩肥臀视频在线观看| 欲色影视综合吧| 亚洲欧美91√| 国产一线二线三线av| 日韩大香蕉| 精品久久久久久中文字幕三区| jizzjizz欧美| 黄污污污污| a人欧美综合天堂麻豆| 九久久精品| 97综合| 蜜乳av一区二区| 久操婷婷| 欧美色997| 久久久久久中文| 国产一国产一级毛片古装| 涩涩涩综合| 婷婷久久综合| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 免费精品无码一级毛片牛牛影视| 久久午夜鲁丝片| 欧美精品1区2区3区| 国产视频三区四区| 久久9999 | 日本3级一区二区免费| 成人影 天天操 亚洲| 欧美亚洲宗合色性图| 熟妇女伦乱视频| 欧美性爱91| 日韩AV片| 人妻少妇久久中文| 婷婷色综合欧美日韩| 熟女精品va中文字幕| 一区二区三区 丝袜 高跟 美腿| 欧美性天天影院| 国产精品人妻无码久久久老鸭窝| 性色av蜜臀av色欲aV| 黄色乱论网站| 玖玖无码超碰| 金莲网址| 99re8超碰| 欧洲亚洲少妇| 欧美日韩国产色图在线| 久久少妇视频| 97色碰| 久热9| 久久久成人免费av电影| 国产高清吃奶免费视频网站| 婷婷色在线| 99热国产| 2017人人操,人人摸| 香蕉99秘 精品一区丁香| 超碰97久| 亚洲少妇中文字幕网址| 欧美日本天堂| www.亚洲黄色| 白丝1区2区3区| 清纯唯美亚洲综合| 五月丁香综合| 91精品国产长腿丝袜美女| 黄片色区软件| 日韩精品操少妇| 一个色导综合| 蜜臀在线免费观看在线免费观看| 热热色91| 激情99| 一区二区三区看视频| 2020国产精品| 亚洲欧美内射| 欧美黄色片AAAAA| 丝袜色综合| 中文字幕aⅴ在线视频| 亚洲日韩熟女人妻高清在线| 中文字幕一区二区三区字幕| 日本丝袜美腿人妻九九| 日语五十路和六十路亚洲国产精品| 视频二区美腿丝袜制服人妻欧美| 欧美96在线|欧| 99精品网| 久久午夜色播影院免费高清| 亚洲欧美精品一区天堂久久| 欧美性暴力| 日韩紧密久久| 日韩操逼性鲍| 亚洲国产丝袜在线观看| 国产精品久久久久久片| 熟女高潮精品一区二区| 久草婷婷| 蜜桃av色偷偷av老熟女| 九九九久千久久激情蜜桃在线看 | 999在线电影香蕉| 韩国一级做a久久久久| 夜夜操天天肏| 久久riav中文精品| 97超碰中文字幕| 男女一级A片大黄,一进一出| 精品免费囯产一区二区三区| 极品色社| 欧美Aⅴ| 日本免费一区二区不卡| 国产精品三级视频网站| 综合久久9| 久草色悠悠在线视频| 午夜一区二区三区国产| 久久精品无码熟妇一区二区三区视频导航| 97人人干人人操| 亚洲欧美综合| 久久久国产精品亚洲精品| 精品国产精品一区二区| 麻豆精品一区二区三区四区免费观看| 女同性恋一区二区三区精品视频| 日本三级A片网站com| 国产丁香精品露脸视频| 精品无码久久久| 国内毛片婷婷六月色| 91青青在线| 蜜臀AV一区二区三区激情综合| 午夜一区二区三区国产| 加勒比综合在线| 欧美综合色站| 97最新在线播放视频| 亚洲国产精品无码AV久久| 韩日巨乳美女免费视频在线观看| 婷婷激情五月| 三级AV入口| 欧美96在线|欧| 秋霞一区二区三区四区五区六区七区| 99久久久无码国产精品性男| 欧美裸体美女日麻屄| 亚洲高清在线se| 在线观看十八禁| 丰满人妻av一区二区三区| 可免费观看的av毛片中日美韩| 亭亭在线资源| 香一区二区三区| 亚洲少妇中文字幕网址| 91性高朝久久久久久久久| 90后后入| 日韩中文字幕2020| 亚洲 欧美 中文 日韩超碰| h无码动漫在线观看| 视频一区二区免费在线| 全国男人天堂网| 欧美一级专区免费大片| 毛片17S| 狠狠色婷婷| 黄色性爱网网| 精品人妻中文字幕4399| 精品人妻一区二区三区四区不卡在| 亚洲九九视频在线观看| 爱爱动态试试看6 0秒| 猛交交| 综合久| 人看人人摸人人操| 狠狠操夜夜| 日韩激情无码影院| 97干在线| 97久久国产精品女不卡| 日韩人人精品| 国产成人精品一区| 在线亚洲精品久久久| 九九玖玖精品| 天天添天天干电影| 五月婷视频| 欧美亚洲中文字幕| 婷婷丁香五月天综合东京热| 亚川综合视频| 久久久久久网址| 亚洲天天综合| 91人人| 亚洲开心网| 97视频免费| 国产精品久久久久婷婷二区次| 亚洲精品熟妇1区2区3区。| 亚洲。天堂。日本在线观看| julia中文字幕在线观看| 大香网伊人久久综合网eew| 中文字幕丝袜人妻| 97超碰天天| 老熟女区| 91l欧美在线| 91国产美女丝袜足交精品视频| 中文字幕亚洲欧美在线不卡| 欧美综合骚| 男人下部插入女人下部 | 偷拍 亚洲 欧美| 91综合中文字幕| 国产色产精品在线观看| 国产精品ww久久| 一级片视频啪啪| 秋霞免费无码视频日韩A片| 精品久久无码午夜福利| 亚洲色图尤物视频| 能在线播放的国产三级| 国产精品无码论坛| 99无码精品| 精品视频123区小说区| 夜夜夜夜夜夜夜夜夜狠狠狠狠狠狠狠|