亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

SNMP接入溫濕度變送器:動環(huán)平臺歷史數(shù)據(jù)調(diào)取全流程實踐

SNMP接入溫濕度變送器:動環(huán)平臺歷史數(shù)據(jù)調(diào)取全流程實踐 1. 為什么選SNMP動環(huán)平臺接入溫濕度變送器的方案取舍1.1 這個項目的實際場景與初始需求去年我接手了一個機房動環(huán)平臺改造項目目標是打通全公司27個機房的溫濕度監(jiān)測鏈路。機房里的動環(huán)設(shè)備種類很多UPS、精密空調(diào)、漏水檢測、煙霧傳感、門禁以及這次重點處理的溫濕度變送器。平臺側(cè)需要實時顯示當前溫濕度也要能把歷史數(shù)據(jù)調(diào)取出來支撐后續(xù)的故障追溯和能耗分析。項目最開始的卡點不在平臺而在設(shè)備接入現(xiàn)場溫濕度變送器有十幾種型號廠家接口五花八門有的走RS485串口有的走以太網(wǎng)私有協(xié)議還有一批是早年搭的SNMP老設(shè)備。需求拆開看其實很樸素每個機房部署若干溫濕度變送器平臺能夠周期性讀到溫度、濕度兩個值并把帶時間戳的數(shù)據(jù)寫入歷史庫上層頁面能按時間范圍拉取歷史記錄也能按小時、按天聚合出趨勢曲線。聽起來不復(fù)雜但真正動手時才發(fā)現(xiàn)動環(huán)平臺開發(fā)里最耗時間的往往不是頁面和數(shù)據(jù)庫而是設(shè)備接入層那些“看起來一個樣、實際每家都不一樣”的通信協(xié)議。這個項目的轉(zhuǎn)折點是SNMP協(xié)議。機房里有大量網(wǎng)絡(luò)設(shè)備已經(jīng)支持SNMP而相當一部分溫濕度變送器也把SNMP作為標準接口。統(tǒng)一走SNMP之后采集端的代碼不再需要為每個廠家單獨維護一套私有協(xié)議解析平臺面對的是一棵規(guī)范化的MIB樹OID、數(shù)據(jù)類型、單位換算都變得可預(yù)期。這篇文章就把我當時調(diào)通SNMP調(diào)取溫濕度變送器歷史數(shù)據(jù)的完整過程寫下來包括踩過的坑和最后沉淀下來的設(shè)計思路。1.2 有線串口、Modbus、SNMP三種路線的對比接入動環(huán)設(shè)備常見有三條技術(shù)路線RS485總線上的Modbus RTU、以太網(wǎng)上的私有TCP/JSON接口、以及通用性最強的SNMP。很多老機房喜歡用RS485串口方案現(xiàn)場布線簡單變送器便宜一條總線能掛幾十個設(shè)備但這套方案在平臺化接入時非常痛苦。每個串口對應(yīng)一臺采集器平臺要管理這么多串口鏈路還要處理輪詢時序總線設(shè)備太多時一輪查詢可能要十幾秒任何一臺設(shè)備無響應(yīng)都會拖慢整條總線。而且Modbus的設(shè)備地址、寄存器表、數(shù)據(jù)精度全靠設(shè)備手冊不同廠家的寄存器映射完全不一致解析層工作量很大。私有TCP/JSON接口是很多新式智能傳感器廠家的做法HTTP方式最直觀平臺側(cè)發(fā)一次請求拿一個JSON里面有溫度、濕度、電量、固件版本等字段開發(fā)效率確實高。但問題在于沒有標準每家字段命名都不一樣字段取值單位也不一致項目里接十種設(shè)備就得寫十套適配器。對于動環(huán)平臺這種需要長期維護的系統(tǒng)私有協(xié)議越多后面升級和擴展的隱性成本越高。SNMP作為網(wǎng)絡(luò)管理領(lǐng)域的標準協(xié)議最大優(yōu)勢是統(tǒng)一了“被管設(shè)備的資源描述”。不管是交換機、UPS還是溫濕度變送器只要實現(xiàn)SNMP Agent平臺側(cè)就用一套snmpget、snmpwalk邏輯去訪問。MIB文件定義了每個計數(shù)器或傳感器值的OID、數(shù)據(jù)類型和讀寫屬性即使不同品牌OID不同解析框架是一樣的。三年前我還會為每個設(shè)備單獨寫連接類現(xiàn)在SNMP設(shè)備的接入工作已經(jīng)壓縮到只改配置文件的OID映射和單位換算規(guī)則。做過對比之后這個項目里我優(yōu)先把所有支持SNMP的溫濕度變送器統(tǒng)一接到SNMP通道不支持SNMP的老舊串口設(shè)備再通過串口網(wǎng)關(guān)轉(zhuǎn)成SNMP透傳。用SNMP作為中間層平臺側(cè)只面對一套協(xié)議后面設(shè)備擴容時能省下大量改動時間。1.3 我最終定下的接入架構(gòu)整個接入鏈路分四層。最下面是溫濕度變送器它們內(nèi)部有溫濕度探頭然后把測量值映射到SNMP OID上。中間是接入層支持SNMP Agent的變送器直接進網(wǎng)線純RS485型變送器則先接到串口服務(wù)器或工業(yè)網(wǎng)關(guān)由網(wǎng)關(guān)輪詢Modbus寄存器再把數(shù)據(jù)以SNMP Agent方式暴露給上層。第三層是采集服務(wù)部署在一臺Linux服務(wù)器上通過SNMP協(xié)議周期性讀取各設(shè)備的溫濕度OID做單位換算、異常值過濾后寫入歷史數(shù)據(jù)庫。最上層才是動環(huán)平臺本身包含實時數(shù)據(jù)看板、歷史查詢接口、告警規(guī)則引擎。這里需要提前決策的一個點是歷史數(shù)據(jù)的存儲平臺初期規(guī)模不大我選的是MySQL/MariaDB用獨立歷史表存原始點位數(shù)據(jù)后續(xù)如果點位量變大再平滑遷移到時序數(shù)據(jù)庫。SNMP這條鏈路里最需要理解的是OID的樹形結(jié)構(gòu)。整個MIB以1.3.6.1為根往下有interfaces、enterprises等分支廠商自定義的信息通常掛在enterprises私有節(jié)點下。溫濕度變送器的具體OID一般由廠商預(yù)置到固件里平臺側(cè)只要配置好每個設(shè)備對應(yīng)的溫度OID、濕度OID就能讀數(shù)。動環(huán)平臺開發(fā)實錄里最典型的一天工作不是在寫復(fù)雜算法而是反復(fù)核對設(shè)備手冊里的OID表和實際返回的原始值類型。2. 和設(shè)備對上話從MIB文件到OID解析2.1 snmpwalk這一步能省則省但別跳接入SNMP設(shè)備時我習慣先在服務(wù)器上用命令行工具把設(shè)備“底朝天”摸一遍而不是直接讀手冊就寫代碼。這個習慣幫我避開了很多廠商手冊寫得含糊不清的坑。拿到一臺新變送器我會先看它的IP、SNMP版本、Community字符串只讀的一般是public也有改成監(jiān)控專用字符串的然后用snmpwalk做一次全樹遍歷。命令格式大致是這樣snmpwalk -v 2c -c public -On 192.168.10.101 device_full_walk.txt關(guān)鍵參數(shù)有三個-v 2c表示SNMP版本-c public是Community授權(quán)字符串-On要求輸出帶完整的OID數(shù)字路徑不要只顯示縮寫名稱。全樹遍歷結(jié)果會生成一個文本文件幾十到幾百行不等。這份文件有多少行基本上就是這個設(shè)備暴露出來的全部可讀信息。溫濕度變送器一般還會暴露設(shè)備名稱、固件版本、序列號、當前溫度、當前濕度、報警狀態(tài)這些OID。不少工程師會跳過這一步直接按照設(shè)備清單里給的那幾個OID開始寫采集代碼。這么做短期沒問題但一旦設(shè)備返回的數(shù)據(jù)跟預(yù)期不符你會因為沒有參考基線而無從排查。snmpwalk輸出的原始文件里有時能看到廠商額外暴露的OID比如“本機溫度校準偏差”“濕度零點漂移補償值”這些信息對后期數(shù)據(jù)維護很有用。設(shè)備說明書給出的OID可能是符號名比如tempHumidityTemperature但程序里真正要用的是數(shù)字OID路徑。因為不同廠商的MIB符號名可能相同數(shù)字路徑不會歧義。用snmpwalk -On一次就能把符號名和數(shù)字路徑的對應(yīng)關(guān)系拿到我通常會把這個映射存進設(shè)備檔案表避免以后忘了哪個數(shù)字OID對應(yīng)哪個物理量。2.2 數(shù)據(jù)類型的坑整數(shù)、浮點、編碼換算一個都不能漏SNMP協(xié)議本身只定義了有限的類型體系。實際調(diào)溫濕度數(shù)據(jù)時最常見的返回類型是INTEGER、Unsigned32、OCTET STRING也有部分設(shè)備返回Float類型的OID。為什么說這里是重災(zāi)區(qū)因為不同廠商對同一個物理量的編碼方式可能完全不同。同一臺設(shè)備上溫度返回的原始值可能是325而設(shè)備文檔里寫“溫度乘以10”那么真實溫度就是32.5攝氏度。濕度返回456乘0.1得到45.6%RH。但另一家設(shè)備溫度返回的是32.5直接用Float類型更折騰的情況是OCTET STRING里塞了一個ASCII字符串比如32.5 C你還要做字符串截取。我踩過的一次尷尬事故某批次設(shè)備的濕度OID返回整數(shù)比如299文檔寫單位是0.1%RH結(jié)果我按%RH直接入庫導(dǎo)致平臺上濕度顯示299%自然觸發(fā)了告警風暴。當時整個動環(huán)平臺連續(xù)半夜報警排查了一圈才發(fā)現(xiàn)是換算系數(shù)沒生效。后來我養(yǎng)成了一個硬性習慣任何新增SNMP點位入網(wǎng)前必須在測試環(huán)境用真實設(shè)備驗證原始值、換算公式、最終展示值三層數(shù)據(jù)。建議數(shù)據(jù)類型和換算規(guī)則一定要進配置。我會在設(shè)備Profile里定義字段oid_temperature: 1.3.6.1.4.1.xxxxx.1.3.1.1.5.0temperature_type: INTEGERtemperature_factor: 0.1temperature_unit: C。采集服務(wù)讀配置而不是硬編碼這樣新增一批設(shè)備時只需在數(shù)據(jù)庫里多插一條記錄不用改代碼再發(fā)版。2.3 一個真實的OID解析案例以我項目中較多的一批設(shè)備為例廠商MIB把傳感器信息放在enterprises私有節(jié)點下溫度OID通常是1.3.6.1.4.1.5000.1.3.1.1.5.0濕度OID對應(yīng)1.3.6.1.4.1.5000.1.3.1.1.6.0用snmpget驗證snmpget -v 2c -c public -On 192.168.10.101 1.3.6.1.4.1.5000.1.3.1.1.5.0返回.1.3.6.1.4.1.5000.1.3.1.1.5.0 INTEGER: 312這表示當前溫度原始值是312按手冊換算除以10得到31.2℃。濕度OID返回INTEGER: 578按除以10得到57.8%RH。單臺設(shè)備驗證通過后我會連讀幾輪確認返回值是否穩(wěn)定波動然后才接入采集服務(wù)。如果設(shè)備返回的是OCTET STRING: 31.2那就需要先判斷編碼方式再決定是由采集端轉(zhuǎn)數(shù)值還是直接給上層面板解析字符串。這里有個細節(jié)值得注意OID最后的.0代表標量對象實例。如果廠商在MIB里定義的是表格類型比如多個傳感器做成一張表那遍歷時會出現(xiàn)不同的最后一位索引這時候就要用snmpwalk把整張表列出來再按傳感器序號去匹配。溫濕度變送器通常只有一個測量點標量OID也就夠了但多探頭設(shè)備或者帶多個傳感器節(jié)點的采集器往往就需要按索引循環(huán)讀取。3. 歷史數(shù)據(jù)鏈路輪詢采集、入庫與規(guī)范化3.1 輪詢調(diào)度設(shè)計頻率、超時與重試拿到設(shè)備OID和數(shù)據(jù)類型后下一步就是把“讀一次”變成“持續(xù)讀”。動環(huán)平臺的實時性要求不算高溫度濕度的變化本身是慢變量我最終把輪詢周期定為30秒。這里需要解釋一下為什么不是5秒或10秒SNMP是UDP承載的輪詢頻率越高網(wǎng)絡(luò)包越多設(shè)備單板CPU和平臺服務(wù)器壓力都會上來而30秒粒度已經(jīng)足夠覆蓋空調(diào)故障導(dǎo)致的溫度跳變、機房熱區(qū)波動等絕大多數(shù)場景歷史數(shù)據(jù)體積也能控制住。采集服務(wù)我用Python寫。每個采集周期會并發(fā)發(fā)起所有設(shè)備的SNMP請求。輪詢服務(wù)里最重要的設(shè)計是超時和重試策略。snmpget默認超時1秒、重試5次在動環(huán)場景下太激進設(shè)備偶爾因為響應(yīng)慢導(dǎo)致單次輪詢被拖成好幾秒后續(xù)積壓任務(wù)會越來越多。我把超時設(shè)為1.5秒重試2次失敗后本輪不再強求標記該點位為異常等待下一輪周期自然恢復(fù)。這樣既減少了無效請求數(shù)量又能保證異常告警在1分鐘內(nèi)觸發(fā)。調(diào)度上用了輕量級的調(diào)度框架核心邏輯是每30秒觸發(fā)一次批量采集任務(wù)。批量采集內(nèi)部用線程池并發(fā)讀取設(shè)備例如27個機房包括變送器在內(nèi)總共120個SNMP點位一輪完成時間基本能控制在3秒以內(nèi)。單點輪詢的最長等待時間是超時加上重試時間約4.5秒線程池并行處理不會互相阻塞整體輪詢節(jié)奏非常穩(wěn)定。需要特別提示的是SNMP版本選擇。SNMP v1和v2c走Community字符串認證v3支持用戶名密碼和加密。設(shè)備如果支持v3建議優(yōu)先用v3配合私網(wǎng)隔離可以做到比較可靠的安全閉環(huán)。如果設(shè)備只支持v1/v2c那么必須把訪問控制在內(nèi)部監(jiān)控網(wǎng)段不要跨公網(wǎng)直接暴露。3.2 數(shù)據(jù)入庫與歷史表結(jié)構(gòu)劃分歷史數(shù)據(jù)調(diào)取的前提是先把數(shù)據(jù)存得有條理。我設(shè)計歷史表時沒有把所有類型點位塞進一張“通用值表”雖然那樣擴展性看上去很強但查詢溫濕度歷史時會因為要過濾point_type產(chǎn)生很多無效掃描。最終方案是專門建一張溫濕度歷史表字段如下CREATE TABLE temp_humi_history ( id BIGINT AUTO_INCREMENT PRIMARY KEY, device_id VARCHAR(32) NOT NULL, collect_time DATETIME NOT NULL, temperature DECIMAL(5,2) NULL, humidity DECIMAL(5,2) NULL, status TINYINT NOT NULL DEFAULT 1, UNIQUE KEY uk_device_time (device_id, collect_time) );status字段很關(guān)鍵1表示正常0表示該輪讀取失敗或者設(shè)備掉線。為什么即使讀取失敗也要插入一條記錄因為前端畫時間序列曲線時如果某個時間點沒有數(shù)據(jù)圖表會留白如果插入一條status0的記錄前端可以明確把該時段標記為斷線或異常。平臺頁面上看到“這段時間沒有數(shù)據(jù)”和“這段時間設(shè)備告警離線”是兩個等級的問題前者會被誤認為機房一直正常后者才符合動環(huán)平臺的監(jiān)控語義。入庫采用批量寫入方式。單個輪詢周期內(nèi)積累的幾百條記錄一次性executemany插入而不是一條一條插入。MySQL對批量插入的吞吐量遠高于單條插入而且減少了連接開銷。隨著點位數(shù)量增長歷史表建議按月分表或按季度分區(qū)。我當時的方案是保留最新3個月的30秒原始數(shù)據(jù)更老的數(shù)據(jù)會由定時任務(wù)聚合到5分鐘/1小時統(tǒng)計表原始表按時間分區(qū)定期清理避免單表無限膨脹。3.3 時區(qū)、庫存檔和補傳機制動環(huán)平臺歷史數(shù)據(jù)最容易被忽略的問題之一是時間戳。設(shè)備本身沒有時區(qū)概念返回數(shù)據(jù)也不帶UTC偏移。如果采集服務(wù)沒處理好跨過夏令時或者部署在不同時區(qū)的服務(wù)器上歷史曲線的對齊就會出問題。我的做法是采集服務(wù)統(tǒng)一使用服務(wù)器本地時間生成collect_time數(shù)據(jù)庫連接串固定時區(qū)接口層輸出時明確要求前端按指定時區(qū)解析。所有歷史查詢都以collect_time為基準不允許客戶端傳一個“其他時間”再讓數(shù)據(jù)庫做時區(qū)轉(zhuǎn)換。另一個現(xiàn)實問題是SNMP請求偶爾會整體超時尤其是現(xiàn)場網(wǎng)線松動或者中繼網(wǎng)關(guān)重啟時。如果不能把這段時間的數(shù)據(jù)補回來歷史庫就會有空洞。我實現(xiàn)了一個補傳隊列每個輪詢周期結(jié)束后正常的記錄直接寫庫失敗的點位進入內(nèi)存隊列在后繼輪詢周期里插入補讀任務(wù)。補傳策略是“只補最近N個周期最多補15分鐘”。超過15分鐘不補說明設(shè)備持續(xù)離線此時空檔就交給狀態(tài)字段去表達不再硬補。這個取舍很重要無限制補傳會把采集服務(wù)拖進歷史欠賬的泥潭特別是長時間離線場景下設(shè)備恢復(fù)瞬間積壓幾百個補讀任務(wù)反而把正常輪詢擠掉。動環(huán)平臺開發(fā)到歷史數(shù)據(jù)階段真正產(chǎn)生價值的往往不是“把數(shù)據(jù)查出來”而是“把缺失和異常表達清楚”。補傳機制保證的是常規(guī)情況下的完整度status字段保證的是異常情況下的透明度。這兩樣配齊歷史數(shù)據(jù)調(diào)取才有質(zhì)量可言。4. 歷史數(shù)據(jù)調(diào)取的幾個現(xiàn)實問題4.1 查詢接口的設(shè)計歷史數(shù)據(jù)調(diào)取在平臺側(cè)體現(xiàn)為一個HTTP查詢接口。接口設(shè)計上我盡量讓它“一次查得完查完能直接用”。最基礎(chǔ)的能力是給定設(shè)備、起止時間返回原始記錄但前端畫圖不可能一次把幾萬條原始點全拉走所以接口必須支持聚合。聚合查詢的核心參數(shù)是interval單位有raw、1m、5m、1h、1d。當intervalraw時直接查原始30秒數(shù)據(jù)為聚合模式時按時間段做平均值、最大值、最小值三要素聚合。比如查詢某一天某個機房的溫度趨勢接口返回每小時內(nèi)的均值、最高溫度、最低溫度前端畫帶波動范圍的趨勢線非常方便。SQL上利用MySQL的日期函數(shù)做時間桶分組。接口參數(shù)我做得比較嚴start_time和end_time必填時間跨度最大限制為31天防止有人一次性導(dǎo)出整個數(shù)據(jù)庫導(dǎo)致服務(wù)端卡死。導(dǎo)出CSV功能單獨做異步任務(wù)避免同步響應(yīng)超時。動環(huán)平臺的使用者通常是運維人員和設(shè)施管理崗他們更關(guān)注某個時間段的溫度曲線、高溫時段、空調(diào)設(shè)備異常前后的溫升趨勢所以查詢條件里我額外支持了“過濾異常狀態(tài)記錄”的開關(guān)默認開啟查詢結(jié)果只展示status1的正常數(shù)據(jù)。4.2 歷史數(shù)據(jù)的精度損失與存儲策略歷史數(shù)據(jù)調(diào)取時最容易被忽略的是精度問題。SNMP原始值換算成溫度后可能是31.23333這樣的浮點數(shù)但數(shù)據(jù)庫字段我用的是DECIMAL(5,2)。這里有兩個選擇保持原始浮點數(shù)或者按兩位小數(shù)入賬。我最終選擇了兩位小數(shù)理由是溫濕度變送器本身的測量精度通常在正負0.3度左右傳感器探頭精度都不夠高存更多小數(shù)位沒有實際意義。不過這個取舍在下游分析場景會帶來一個問題每天聚合的平均值如果基于四舍五入后的值再計算累計誤差會稍微變大。比如原始值31.25和31.35分別存成31.25和31.35還能接受但如果變成31.3和31.4聚合平均就會偏掉0.025。我是這樣處理的原始歷史表里保留DECIMAL(5,4)上層展示和聚合時統(tǒng)一四舍五入到兩位。也就是原始精度保留足夠查詢結(jié)果做展示精度。調(diào)取歷史數(shù)據(jù)時很多團隊只看見了可讀性沒意識到把精度損失在入庫這一層后面分析系統(tǒng)再想找回原始數(shù)據(jù)就難了。存儲周期也需要根據(jù)數(shù)據(jù)用途定清楚。30秒原始數(shù)據(jù)保留3個月左右5分鐘聚合數(shù)據(jù)保留1年1小時聚合數(shù)據(jù)保留3年。這樣前端的“近一周詳細曲線”能精確到每個采樣點半年趨勢圖則用聚合數(shù)據(jù)不需要掃描全量原始表。歸檔任務(wù)在凌晨低峰期執(zhí)行把過期原始數(shù)據(jù)刪除。生產(chǎn)成本和數(shù)據(jù)價值之間的平衡是所有動環(huán)平臺都會遇到的我建議在初始階段就設(shè)計好別等項目跑了一年后發(fā)現(xiàn)歷史表幾個億行才后悔。4.3 從“調(diào)得到”到“調(diào)得對”數(shù)據(jù)校驗?zāi)苷{(diào)出數(shù)據(jù)只是一個開始“調(diào)得對”才是動環(huán)平臺真正要解決的。歷史數(shù)據(jù)常見的臟數(shù)據(jù)有幾類設(shè)備讀數(shù)為0本質(zhì)是傳感器故障但采集鏈路正常數(shù)據(jù)跳變比如濕度從40%突然變成99%下一輪又回到40%長時間恒定可能是探頭凍結(jié)或者A/D采樣異常。我插入數(shù)據(jù)前會做簡單合理性校驗溫度范圍-40到85度濕度范圍0到100%RH超出直接按異常處理在status中標記可疑。對于跳變判斷我沒有在入庫時做太復(fù)雜的邏輯因為現(xiàn)場數(shù)據(jù)本來就可能瞬時突變誤判反而麻煩這部分交給告警側(cè)做持續(xù)N輪超過閾值再觸發(fā)。歷史數(shù)據(jù)調(diào)取時還有一個容易踩的坑設(shè)備掉線后重新上線如果只回補一部分周期因為設(shè)備內(nèi)部時鐘不準補過來的數(shù)據(jù)時間戳可能是亂的。我遇到過一次很典型的一臺變送器離線半小時后網(wǎng)絡(luò)恢復(fù)采集服務(wù)補讀到了數(shù)據(jù)但設(shè)備把時間戳寫成了剛上電時的時間導(dǎo)致歷史表里出現(xiàn)同一設(shè)備時間倒流的記錄。我的辦法是入庫時以采集服務(wù)器時間為準完全忽略設(shè)備內(nèi)部時間戳同時寫入collected_at和insert_time兩個字段前者用于業(yè)務(wù)查詢后者用于排查入庫延遲。代碼層面調(diào)取歷史數(shù)據(jù)時也不應(yīng)該無條件信任數(shù)據(jù)庫里的所有記錄。我在查詢接口里增加了一個預(yù)處理層如果某條記錄status為正常但相鄰兩條記錄間隔異常超過3個輪詢周期會把這段區(qū)間標記為“存在缺失”。前端圖例里用虛線段表達而不去偽造一條平滑曲線。這樣業(yè)務(wù)側(cè)既能看到完整趨勢又能識別出哪些區(qū)間是真實的、哪些是推斷的從數(shù)據(jù)倫理上也更干凈。5. 現(xiàn)場運維中踩過的坑和壓箱底經(jīng)驗5.1 設(shè)備重啟后OID路徑變了SNMP設(shè)備接入中最詭異的問題是同一型號設(shè)備固件版本升級后OID路徑發(fā)生變化。我有一次晚上巡檢發(fā)現(xiàn)某臺變送器溫度一直讀到127度直接把機房打進了高溫告警。排查半天發(fā)現(xiàn)那臺設(shè)備前一天剛被現(xiàn)場人員升級過固件原來溫度OID返回的值在新固件里變成了內(nèi)部傳感器編號真正的溫度OID向后挪了一級。這種情況你沒法寫“萬能兼容”只能靠監(jiān)控臺賬每次設(shè)備固件變更后跑一次snmpwalk對比OID基線有變化自動告警。動環(huán)平臺的歷史數(shù)據(jù)可追溯性很大程度取決于設(shè)備臺賬維護得是否及時。5.2 跨品牌設(shè)備兼容性動環(huán)現(xiàn)場很少只用一家設(shè)備。不同廠家的溫濕度變送器溫度和濕度OID經(jīng)常完全不一樣數(shù)據(jù)類型和單位也有差異。我在配置里維護了一個設(shè)備類型表每種類型綁定一套OID Profile。平臺采集時按設(shè)備類型取配置而不是按具體設(shè)備逐臺硬編碼。這樣新增同型號設(shè)備只是錄入一條新設(shè)備記錄新品牌則加一種Profile采集服務(wù)代碼始終不變??缙放萍嫒莞[蔽的問題是SNMP OID的返回精度不同。同樣表示26.5度A廠家返回265B廠家返回26.5C廠家返回2650。我的采集服務(wù)在解析時統(tǒng)一按Profile里的factor字段處理A、C兩家的factor分別為0.1、0.001B家factor為1。這條規(guī)則看起來簡單但前端頁面展示時如果不按這個factor二次換算就會出現(xiàn)某些設(shè)備溫度正常、某些設(shè)備溫度差了10倍的情況。建議做個自動煙霧測試平臺新接入設(shè)備后和現(xiàn)場標準溫濕度計比對一次誤差在合理范圍內(nèi)才算上線。5.3 針對動環(huán)平臺的整體穩(wěn)定性建議動環(huán)平臺不像互聯(lián)網(wǎng)業(yè)務(wù)那樣追求高并發(fā)但它的長期穩(wěn)定性要求很高。我把穩(wěn)定性經(jīng)驗總結(jié)為三條。第一采集服務(wù)必須守護進程化并自帶看門狗不能因為一次未捕獲異常就退出。SNMP網(wǎng)絡(luò)包是UDP和服務(wù)器多線程并發(fā)時偶爾會出現(xiàn)socket超時異常代碼里必須對所有snmpget/walk操作做完整異常捕獲異常只影響單個點位不影響整輪采集。第二告警系統(tǒng)要基于真實讀數(shù)的連續(xù)N次判斷而不是單次讀數(shù)立刻告警。溫度瞬時竄高有可能是設(shè)備自身干擾連續(xù)三次都高才說明現(xiàn)場確實異常。這個去抖機制避免了不少半夜被誤報告警叫醒的情況。第三定期用標準溫度計現(xiàn)場比對溫濕度變送器的讀數(shù)。SNMP鏈路再穩(wěn)定傳感器探頭本身也會漂移一般建議每半年或一年校準一次。動環(huán)平臺的歷史數(shù)據(jù)質(zhì)量最底層依賴的還是傳感器測量精度這一層失守上面協(xié)議再標準、存儲再好出來的也是精準的錯誤。最后想分享一個小技巧我在每臺接入設(shè)備的歷史記錄里都會保留首次入網(wǎng)時的OID基線walk文件和配置快照。后期無論是更換備件、升級固件還是排查抖動都能快速對比出“設(shè)備還是不是當初那臺設(shè)備”。這個習慣幫我解決過很多跨周排查的疑難雜癥強烈建議做動環(huán)平臺的人都保留一份。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
av无码精品久久久久| 东京热精品97综合网| 很黄很色的视频在线观看| 久热香蕉精品在线视频| 97在线视频免费观看| 青娱乐蜜桃臀AV色婷| www成人啪啪18秘 免费| 绯色一区二区三区不卡少妇 | 巨爆乳肉感一区二区三区竹菊影视| 国产97在线 | 亚洲| 大肉棒导航| 首页亚洲国产高跟丝袜诱惑视频| 欧美性爱三区二区| 伊人网一本| 超碰在线成人| 亚洲无码久久久久久久| www.久久制服糖| 97久久久久| 99色日| 曰韩av中文字幕专区| 欧美色997| 男女一进一出视频久久| 大香蕉伊人久久| 性欧美另类高清| 中国女人内射6XXXXX| 在线人成亚洲视频免费观看| 色婷婷六月丁香七月婷婷| 天天干人人乐| 夜夜骑夜夜操| 亚洲日韩在线a不卡99精品| 哈哈操电影| 亚洲 中文 欧美 日韩 在线| 亚洲欧美天| 青木玲在线不卡| 日韩AV一区二区三区三州三州| 91婷婷| 国产免费久久久久| www.色五月| 精品国产肉丝袜在线拍国语| 亚洲天堂久久| 伊人久久婷婷| 91是天天| 国产污视频麻豆传媒一区二区| 日本一本一区二区三区四区五区欧美日韩中文字幕 | 日本爽爽爽爽爽爽免费视频| 91日韩| 91欧美色| 在线αⅴ| 国产一进一出视频网站| 欧美性xxxxx狂欢| 欧美草草高清日韩视频| 999热日韩精品| 日日骚一区二区三区| 国产中文字幕在线| 91第一页| 日韩人妻一二三区视频| 国产宅男宅女在线观看| 黄页网站免费高清在线观看| 男女性感激情网站| 色综合久久88色综合久久天天| 人人看人人插| 波多野结衣一级视频| 家庭乱伦国产| 精品无码一区二区| 欧美色日本| 久久久婷| 亚洲色图第四色| 好舒服视频| 久久婷婷亚洲欧| 国产美女激情| 东京热,男人的天堂| 亚洲素人综合| 91久久久亚洲| 国产Aα| 国产精品干干干| 超碰国产精品无码| 亚洲欧美精品一区天堂久久 | 一区=区三区视频| 99国产精品久久久在线播放| 日本在线15p| 2026国产精品视频| 涩涩久久精品| 国产免费黄色一级大片| 国产黄片在线免费观看| 色婷婷成人| 毛片17S| 97热视频在线观看| 91制服丝袜| 久久9久| 自拍偷拍第26| 91偷拍欧美亚洲| a片亚洲一本通视频| 怡红院久久老司机| 99国产在线 精品 视频| 成人av免费观看| 精品人妻二区三区| 岛国天天午夜影院传媒网| 国产400孕妇孕交群| 国产成人一级av88| 久久仑合| 激情在线青青操| 国产AV色黄看到爽| 97久精品| 强奸乱伦麻豆| 欧美一区二区三熟女剧情| 午夜福利合集| 色综合婷婷| 久久最新视频免费观看| 午夜精品久久一区二区| 熟女被操视频网址| 大香蕉综合久久| 超碰1997| 天天操夜夜操| 精品少妇一区二区三区免费观看| 在线播放中文字幕| 日本精品网站在线中文| 天天日少妇逼AV| 精品一国2| 热热色中文无码| 中文一区在线视频| 神马午夜久久久| 成人国产精品三级A片| 后入式视频国产自| 日韩无码精品综合久久| 性感女人网页在线观看视频| 99久久99久久免费精品蜜臀| 丁香五月成人| 欧美激情一| 日韩av不卡在线看| 嗯……啊…嗯嗯…啊…好舒服| 国产精品久久久亚洲第一牛牛_在线观看| J?P?NESEHD熟女熟妇伦| 性色高清在线| 摸奶性爱视频网站在线免费播放| 日韩精品99久久久久久中文字幕 | 亚洲天堂男人天堂网| 日韩一级免费性爱| 大色综合| 一级黄色影片| 日本一区二区三区午夜观看| 中文字幕人乱码中文字的预防方法 | 欧美偷拍区| 欧洲射精91| JuliaAnn丝袜熟女系列| 亚洲欧美日韩综合在线尤物| 99少妇内射| 啪啪一区| 日本操逼视频免费| 91精品国产乱码| 欧亚性爱在线视频| 成人久久久精品| 黄片com.| 一本大道青青| 天天干天天干天天干| 99人妻| 亚洲18禁| 黄色片一区二区三区四区五区| 欧美97日韩精品| 淫荡少妇免费| 亚洲九九视频| 99国产精品在线观看| 狠狠操官网| 亚洲电影91| 国产精品一区午夜福利| 免费看一级a性色生活片久久无| 午夜天堂网| 日韩操呦呦影院在线观看| 精品中文日韩字幕视频| 狠狠操狠狠爱| 亚洲久久久久| 情色五月天久久久| 日韩性爱免费观看视频| 亚洲日本天堂| 屌逼麻豆| 夫妻AV网站| 玖玖在线视频| 亚洲91色| 精品无码久久久久| 欧美大香蕉卡久久| 天天干夜夜一操| 三级色影综合网| 另类av天堂| 亚洲国产高清福利视频| 天天插网| 91碰碰| 99九九精品| 亚洲中字幕日本一区二区三区| 99精品人人爽| 亚洲中文字幕97久久精品少妇| 天天热精品| 中文字幕老熟妇黄色视频| 天天日天天操天天射河南省| 精品视频久久区| 激情五月婷婷| 中文字幕91页| 午夜福利1区2区3区| 噜噜噜亚洲精品| 亚洲天堂性爱| 97久久视频| 欧美激情性久久久久久| 久久免费99精品久久久久久| AV乱伦专区| 国产9熟妇视频网站| 亚洲综合影视| 99re9在线| 爽 好舒服 无码刺激久久| 99久久久无码精品国产人| 在线毛片片免费观看| 黄日韩| 大香蕉伊人色偷偷在线| 久久久九九网站| 男女日B国产| 欧美精品三级黄片| aa片毛片| heyZO天然素人无码AⅤ专区| 日本道不卡| 欧美小说区视频区| 欧洲站一级二级三级h| 色鬼在线综合| 在线综合 亚洲 欧美中文字幕| 激情五月天婷婷| 操逼视频免费日韩无码| 欧美大香蕉专区网| 99啪啪视频| 国产尤物AV尤物在线观看不卡| 黄色成人网久久久久久| 精品久久无码午夜福利| 九九热久久99精品re| 国产精品久久久 | 人人干人人操人人..com| 久久久一区二区三区四区五区| 激情文学小说一区二区| 97欧美久久久久久久| 91欧美性| 青草伊人久久| 神马麻豆福利院| 欧美女同在线| 婷婷九月丁香| 亚洲欧美黄| 性综合网| 性爱视频免费网址| 成人a大片在线观看| 日婷婷| 亚洲伊人久久精品狠狠在线| 欧美色图中文字幕| 97天天操天天干| 欧美日韩亚洲五月天婷婷| 久草精品一区| 欧美激情精品| 超碰成人公开| 亚洲色综合| 九九内射在线| 久久久久ab| 国产视频第2页| 日韩BBN| 激情一区二区| 国产操逼视频在线观看| 成年人性爱日韩| 玖玖97综合| 欧美亚洲第1页| 亚洲黄色网址| 91丨国产丨白浆秘 洗澡动漫| 欧美一级久久久丰满| 欧美十八禁网站| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 在线黄页看毛片| 二对二中文字幕。| 后入式福利| 日韩成人高清一区二区| 丝袜美腿诱惑亚洲欧美视频在线观看 | 青娱乐淫乱1314| 免费的很黄很污的全部视频| 920日本午夜免费| 五十路熟女工口 | 曰韩人妻中文字幕在线| 五月天色五月| 国产乱子伦一区二区三区免看| 91老司机精品| 国产精品久久久久中文字幕| 亚熟在线| 伊人网高清| 久久高清欧美国产| 裸体1区| 超碰97人妻在线| 久久精品国产亚洲AV片多多| 亚洲国产欧美日韩精品一区二区三区,国产一区二区三区在线看片,欧美性猛交 XXX | 97视频网站在线观看| 日本精品免费一区二区三区四区| 18精品一二区| 日韩免费在线视频观看| 一区 欧美 日韩 麻豆| 欧美人妻制服| 99ri在线视频| 91操熟女视频| 久久一级无码精品毛片6| 久久国产视频专区一二三| 亚洲AV色图一区| 国产中文字幕在线点播| 欧美黑人与女人91~| 国产精品乱码久久| 日韩中文欧美| 亚洲综合色图欧美| 亚洲中文日韩精品| 麻豆熟妇乱妇熟色A片在线看| 精品亚洲国产成人精品| 久久久久亚洲一区女同性恋中文字幕| 91色狼| 亚州少妇| 国产400孕妇孕交群| 99性爱视频| 91成人精品| www狠狠| 青青草华人在线欧美在线| 精品亚洲国产成人精品| 人妻少妇精品久久久| 中文字幕精品一区二| 大奶尤物鲍汁淫荡欧美视频粉嫩夜夜骚| 91综合熟女| 激情五月婷婷| 国产精品久久天天干| 九九英色视频| 亚洲av无线观看| 在线色资源| 黄色免费网页无码| 久啪视频| 91久久久久免| 亚洲欧洲av影音| 好屌色综合| 久操网视频| 久久久精品视频欧州站| 九九Av| 欧美综合天天| 亚洲欧美综合色| 乱伦a片视频| 色天使大香蕉| 性爱边摸边日免费AV| 青青草精品| 美國A片| 麻豆色约约| 猛交交| av网站免费线看| 久久久久9999妇女| 亚洲色图殴美色图激情乱伦| 婷婷8月天青娱乐| 情色日播放AV| 日韩av影片在线观看| 在线不欧美| 精品十三区| 日韩视频啪啪| 97这里只有精品| av麻豆啪啪| 色情五月丁香| 在线观看亚洲成人精品| 香蕉精品二区二区| 9 7超碰在线免费观看| 久久香蕉国产线看观看猫咪av | 久久露脸国产老熟女| 国产老太乱伦一区| 欧美丝袜美女电影一二三四区| 丁香六月激情综合| 欧美强奸乱能| 午夜成人爽爽爽爽A片李冰冰| 都市激情人妻一区二区青青操视频| 噜噜噜无码AV一级一级久久影院| 中文字幕在线免费观看2| 日日摸日日碰| 中文字幕 av v| 日韩午夜精品一区二区三区电影| 家庭乱伦麻豆| 欧美性性性| 国产99999久久精品| 国产欧美伊人| 久久久中文| 中日亚韩免费视频| 校园春色第一页| 亚洲精品欧洲精品| 七久久久| A片 AV一级在线播放观看免费| 日韩成人私密一级精品av| 啊啊啊好大好深| 加勒比伊人综合| 国产精品久久发布| 中文字幕五区| 人妻熟女午夜精品在线| 久99热| 亚洲 日韩 丝袜 熟女 变态| 操操逼操操逼操操逼逼| 伊人网免费视频| 97操| 大象AV在线| 日躁天天爽爽| 亚洲高清视频在线免费观看| 91色拍| 亚洲欲色| 91综合中文字幕| 欧洲色综合| 青娱乐 青青青操 日逼| 亚洲天堂少妇| 丝袜天堂网| 91撸色网 玖玖网 欧美| 伊人久久国产免费观看视频| 国产suv精品一区二区四区999| 五月丁香| 人妻夜夜爽天天爽麻豆三区网站| 乱理日韩中文| 精品乱子一区二区三区99| 91亚洲精品青草| 神马久久久久眼| 九久9热| 熟女在线视频| 国产精品suv一区| 91老熟女老女人国产老太| 一区二区三区 丝袜高跟| 欧美狠狠鲁| 欧洲精品一区二区三区| 4虎在线视频| 精品无人区麻豆乱码1区2区图片 | jizzjizz欧美| 在线啊v一区| 九九碰九九爱97| 日韩成人色图| 日本999精品| 神马久久69| 欧美综合777| 久久久久99精品成人片蜜臀| 成人线上超碰| 一类无码操逼视频| 无码国产Av| 亚洲色诱惑| 久久手机视直播| 国产天天看| 久久人妻少妇| 青草综合| 日本激情免费大片| 91九九| 国产SV一线| 亚洲精品九九九九九九| 久久黄黄| 久久超碰亚洲人| 久久久91福利姬| 九九亚洲| 免费啪啪啪网站18岁| 四虎影库国产精品免费| 亚洲综合色在线| 亚洲97综| 亚洲av影音先锋| 精品久久久久久亚洲| 69精品人人人人| 精品大全99999| 老司机午夜精品视频| 自拍偷拍 日韩无码| 东北夫妻性偷拍| 久久9精品网站| 男女做爰猛烈动高潮A片免费应用 少妇厨房愉情理伦片bd在线观看 不卡中文字幕aⅴ在线 | 玖玖资源中文字幕制服丝袜| 欧美 亚洲 在线| 国产精品久久久久久照片| 丰满高潮18xxxx| 99热综合| 国产精品不卡一区二区三区| 九七超碰| 色噜噜狠狠色综合日日| 色五月AV在线| av网站在线观看了| 免费的av网| 激情小说激情视频| 国内毛片婷婷六月色| 夜夜爽33333| 天天综合网合集91| 国产精品亚洲无码| 亚洲美欧999| 亚洲欧美黄| 综合欧美日本三级| 五十路人妻在线| 五月丁香六月综合缴清无码 | 亚州精品一区二区三区香中文字幕在线| 日韩欧美视频青青| 久热99999| 51久久夜色精品国产麻豆| 青青11操操操操操操操操| 欧美小说区视频区| 色色婷婷五月| 精品一区二区三区18| 久久99午夜精品一区人妻| 欧美在线55555| 国产日韩无码一区二区三区久久区| 另类图片五月天| 啊啊在线| 五月婷婷久久综合| 91精品国产91熟女| 日日夜夜天天| 97天天摸天天爽| 啪啪91| 在线播放成人高清免费视频| 在线视频一区二区传媒| 先锋激情∨在线视频播放| 亚洲欧洲无码97久久精品| 欧美日韩黄片精品在线| 熟妇人妻一区二区三在线| 午夜AV人气不卡| 啊啊啊啊啊啊啊网址在线观看| 久久av一级av少妇av高潮| 亚洲性猛| 另类在线| 日韩中文字墓| 啊啊啊啊啊好大好舒服想要| 国产AV激情无码久久无码 | 热99这里有精品综合久久| 精品91摸| 人妻偷拍一区二区三区| 男人把坤坤插入女人的下体| 亚洲情色中文字幕一区| 97资源站日韩| 精品无人区麻豆乱码久久久| 国产超碰人人爽人人做| 超碰色图| 国产成人资源| 超碰人人操97碰| 91蜜臀人妻中文字幕在线| 志村玲子视频一区二区| 26uuu成人影片| 欧美丝袜美女电影一二三四区| 久久久久婷婷| 精品国产无码中文| 人人操人人精品影片| 日本在线不卡123| 伊人丁香五月婷婷| 啊啊啊啊嗯嗯在线久久久| 亚洲AV资源| 91丨熟女丨丰满熟女| 高精欧美色| 操逼内射干逼白丝91| av凤凰久久久| 色哟哟综合| 久久成人东京热人妻| 99re这里只有精品中心播放 | 91亚洲欧美综合高清在线| 开心五月婷婷| 韩国午夜理伦三级好看| 亚洲乱码精品一区二区| 青青草国产一区二区三区| 台湾佬激情综合| 亚洲成人福利电影免费| 欧美大波激情xxxx| 亚欧美色| 四虎影视 亚洲无码| 九九久久国产精品| 大香蕉色十月| 巨爆乳肉感一区二区三区竹菊影视 | 免费日韩黄片| 亚洲中文字幕精品一区| 99re这里只有精品2| 欧美性爱网97| 亚洲第一页欧美| 亚洲少妇色| 久操精品网| www.伪伪| AV一区观看| 91综合在线| 性感美女91影视| 大干人妻| 后入福利视频| 超碰97资源中文字幕| 天天日夜夜爽| 日本爽爽爽爽爽爽免费视频| 精品无av| 亚洲综合在线91| 日日干夜夜骑| 少妇同性| 欧美在线伊人色| 91无人区卡一卡二卡三乱码入口最新版:能让用户有更多选择的选择-经典说说-爱 | 国产成人精品一区| 久操 高清| 日韩紧密久久| 久热久一区二区三区| 91爽啪| 99精品在线观看| 成年人黄色视频免费| 夜夜精品视频一区二区| 天天综合网AV91| 色制服丝袜夫妻av一区| 国产白丝在线| 色在线69堂| 久艹99| 天天综合网亚洲综合网| 日本一卡二区在线| 欧美日韩中文字幕不卡| 好涩综合| 永久免费观看的毛片的网站| www熟女乱伦com| 乱操乱伦AV| 人人操人人插人www| 无码丰满熟妇一区二区浪潮AV| 人妻9117c| 一区操逼| 国产AV超爽| 99无码精品| 在线啊啊啊啊| 香蕉一区二区三区在线视频| 91殴美大片| 久久熟女久| 91麻豆天美国产欧美高潮| 欲香欲色综合天天伊人| 日韩性爱啪啪视频| www.久久最新地址| 激情开心五月天| 亚洲日韩肥臀视频在线观看| 人妻熟女一区二区三区在线| 看看日B真人视频| 成人无码欧美一级A片狼牙直播| 91老女人| 性爱边摸边日免费AV| 91操人| 亚洲一区二区三区麻豆传媒| 成人天天爽| 熟女人妻一区二区三区| 高潮的A片激情扒开一区| 在线v中文字幕一区二区三区| 开心五月婷婷激情| 黄日韩| 超碰在线91| 日韩操逼HD| 91校园春色长篇| 亚洲第91页| 色悠久| 亚洲毛片一级带毛片基地| 99综合网| 国产熟女自拍| 免费看片黄| 99久久九九| 久久久久921| 十八禁啪啪视频| 久久99午夜精品一区人妻| 久久超碰亚洲人| 亚洲色图第四色| 午夜一区| 牛黄色久午久| 日日噜噜夜夜久久亚洲一区二区 | 色五月激情综合网| 97这里只精品| 性爱综合一区二区| 狠狠操夜夜操蜜桃视频三区| 日韩av电影网站| 操婢日韩| 精品91摸| 九九碰九九爱97超| 激情综合五月| 白嫩妹子国产骚| 97精品熟女少妇一区| 久久精品99| 久干网| 看大黄色大片原件| 白丝AV网站| 深爱伊人影院| 96久久精品一二三区色欲| 久久精彩视频| 伊人麻豆传媒| 久久性爱视频| 男人的天堂99| 婷婷五月天色色| 亚洲天堂久| 91精品伊人久久久大香线蕉91| 日韩啪啪啪视频| 热无码中文亚洲H一道本一区二区| 97精品国产97久久久久久免费| 999国产精品999久久久久久| 天天躁日日躁AAAXX| 亚洲 欧美 综合 91| 精品亚洲国产成人精品| 亚洲综合情色| 国产精品视频白浆免费| 精品综合久久久久久97| 国产a级午夜毛片| 后入综合久久| 可以在线观看AV的网站| 无码九九| 日本福利社| 啊啊啊啊啊啊好多水| 精品一区二区三区蜜桃臀赵总 | 很很干很很操| 亚洲国产精品成人久久蜜臀| 青青青操| 新久久AV| Julia Annxxxxx| 妺妺跟我一起洗澡没忍住| 久久9精品| 激情综合亚洲| 91美女网站| 日韩人妻精品中文字幕| 中文字幕狠狠玩| 大香蕉视频啪啪啪啪| 亚洲精品99| 中文字幕精品免费一区二区| 婷婷久草| 久久婷婷五月天| 亚洲av噜噜噜噜噜噜| 青青久操| 在线国产探花| 午夜啪| 激情四射婷婷六月天| 99ri在线视频| 国产精品国产亚洲区艳妇糸列| 欧美精品久久| 天天日夜夜爽| 色在线亚洲视频www| 综合97亚洲| 91free福利| 欧美gv在线观看| 色综合 加勒比| 日韩乱码Av| 欧美日本中字另类在线| 亚洲交性| 91强在线播放| 亚洲一区二区三区久久 亚洲一区二区| 被男人吃奶很爽的毛片| 精品二区久久| 九九热视频这里只有精品| 色爱国产| 无码最新| 大香蕉淫人网| 大干人妻| 日韩精品操少妇| 人妻少妇精品一区二区三区| 久久久新亚洲AV| 99热日| 老熟女熟妇| 26uuu欧美| 日韩一级成人毛片免费观看| 超碰在线人人射| 日本一二三免费久久| 美女黄页| 99热综合| a在线视频免费观看| 老司机深夜18禁污污网站| 超碰色图| 激情文学小说一区二区| 午夜福利在线视频1000| 天天干天天操天天拍| 九九色热| 国产精品久久久久久久久AV大片 | 日本精品一区二区中文字幕| 翔田千里一区二区三区奶水| 啊啊啊啊好疼| 亚洲无限观看| 久久中文色图| 亚洲精品97在线| 五月丁香婷婷综合网| 人妻中文字幕日韩电影| 亚洲精品人妻在线| 日韩欧美午夜一区二区| 国产在线能看的你懂的| 屁股久久久久久| 91第一页| 啊啊啊啊啊啊在线| 東南亚性呦成人伦理资源在线视频| 欧洲小说色图视频另类| 99色日| 伊人久久大香线蕉亚洲五月天,青草青草欧美日本一区二区,欧美日产欧美日产国产 | 欧美97免费| 成人久久久精品| 学生妹天天看| 久久e6只有精品| 欧美色天堂网在线视频| 国产成自自拍在线观看| av亚洲天堂资源网站| 国产精品。| 国产AV人人 夜夜人人澡| 蜜臀AV成人精品蜜臀AV久久| 久久天天躁日日躁狠狠躁| 999久久久久久久精| 亚洲色图在线视频| 久久嫩草国产成人一区| 青青草大香蕉在线视频| 丝袜翘臀后入欧美校园亚洲自拍另类小说一区中文字幕少妇诱惑 | 婷婷综合网| 九色视频91| 在线黄页看毛片| caopeng97| 日韩在线人妻网站| 国产精品久久久久久久免牛肉蒲团 | 欧美极品色| 蜜臀Av一区二区三区| 日韩本不卡视频在线观看 | 插穴性爱视频在线观看| 韩国黄色片精品久久久| 亚洲,欧美,春色,另类| 亚91亚洲网| 亚洲欧美国产va在线| 国产精品3| 男人的天堂va| 伊人操你| 91干熟女| 熟妇亚洲一区二区三区| 成人黄页| 欧美操逼录像国产黄色国产| 国内毛片欧美香蕉精品| 天天躁日日躁AAAAXXXX国产| 成人性爱电影网| 日韩AV片| 久久精品视频久久久| 啊啊啊啊操死我了| 狠狠色五月亚洲91| 91福利网在线观看| 人人射人人操人人摸| 国产按摩一区二区三区| 色婷婷久久综合超碰| 超碰在线在公开超碰在线在公开| 午夜精品久久一区二区| 老司机深夜18禁污污网站| 国产熟女免费观看久久| 日韩AV片| 午夜精品久久久久久久| 大学生美女口爆| 亚洲一级特黄大片在线播放91| 啊灬啊灬啊灬好深灬快高潮了动漫-国产字幕国产在线观看-B049AV | 上床不卡网站| 久久久无码精品人妻二区| 91免费看一区二区三区| 欧美网站免费| 求求你操操我| 国产精品久久久久久久久久久久久久| 一二三四视频中文字幕在线看| 九九亚洲视频| 91丝袜在线视频| 亚洲天堂一区| 人妻22p| 美女AV一区二区| 综合网欧美| 欧美一区二区三区日韩| 97色涩| 国产白丝精品在线观看| 国产情侣自拍在线播放| 午夜精品99久久久久传媒| 都市激情人妻一区二区青青操视频 | 九九九偷拍| 性影在线视频| 精品乱子一区二区三区99| 亚洲情色 欧美| 国产综合永久精品日韩鬼片| 久久超碰、| 一区二区三区国产在线播放 | 亚洲国产美女久久久久| 婷婷色中文字幕| 久久曰曰| 欧美日本成人一区二区| 国产女人高潮视频| 久久岛国| 97五月天| 校园春色第一页| 日韩一级欧美一级在线观看| 中文字幕AV片| 久久黄色性爱视频| 天天α片| 国产对白刺激视频| 欧美情色男人的天堂| 亚洲影院无码在线| 人人爱夜夜爱| 蜜臀久久99精品久久久久久婷婷| 日韩乱插| 最新制服中文第一页| 五月丁香六月| 97色香蕉| 中文字幕在线观看丝袜| 美女啊啊啊啊啊啊| 一品道视频一区二区三区| 色噜噜国产精品视频一区二区| 色丁香久久| 啊v在线观看视频| 怡红院视频在线| 亚洲成人激情小说视频| 成人无码专区精品视频| 偷拍偷窥与盗摄视频专区| 秋霞男人网| 欧美国产欧美在线观看| 大香蕉伊然在亚洲91| 中文字幕免费看大片| 精品人妻久久久久一区二区三区| 桃色五月天| 97爱综合| 中文字幕超碰CAO| 美女操逼福利视频| 欧美日韩中文字幕不卡| 国产精品老熟女一区二区| 日本国产亚洲一区在线观看| www.四虎在线| 日韩三A大片在线观看| 美女91av| 亚洲综合网电影91| 中日韩一区二区三区欧美| 久久久久久久久久黄色网| 成人免费福利在线观看| 中文字幕三四五区| 成人久久无码www| 九月丁香综合网| 992视频一区| 午夜精品久久久久久久99热影院| 人妻乱仑一区二区三区| 欲香欲色综合天天伊人| 蜜臀AV一区二区三区激情综合| 国产黄片精品在线| 超碰在线免费一区二区三区| 国产91美女高潮| 干干干天天| 丰满人妻一区二区三区| 九区国产| 九九天堂| 破苞ⅩXXX性无码动漫无码| 校园春色综合网| 久欲AV| 德国一二三不卡| 一区二区三区欧美激情| 国产亚洲深夜激情| 粉嫩av一区二区三区天美传媒| 日日干日日| 日本高清一区二区在线| 日本性感人妻91| 欧美97av| 欧美亚洲激情一二三| 91麻豆天美国产欧美日| 欧美专区日本专区| 岛国黄片网站| 91美女小视频| 久久久九| 大香蕉一人在线| 九月丁香| 久久精品性| 黄色大片免费在线| 久久春色| 97视频免费在线| 亚洲图片 激情小说| 国色天香av| 啊v视频在线观看| 隔壁邻居波多野结衣中文字幕| 国产高清成人免费视频| 夜夜高潮夜夜爽国产伦精品| 天天色怡春院| 狠狠图片青青草| 美女啊啊啊啊pc| 中文字幕 人妻不满 在线视频| 亚欧性爱ab| 国产精品一级特黄aaa大片在线观看| 国产成年女黄特黄| 国产吹潮女在线观看| 久操在97| 天天综合欧美综合| 九一综合精品视品av| 亚洲日韩AV视色| 亚洲激情四射| 五月婷婷激情综合| 日韩AV熟女乱伦| 国产偷拍自拍在线视频| 青娱乐亚洲自拍| 国产黄色影片在线观看| 黄片qw| 东京热视频网| 国产亚洲性生活视频播放| 国内毛片热久久思思热| 妇女性内射冈站HDWWWCOM| 亚洲国产另类在线中文| 天天看夜夜看日日干| 狠狠操使劲操| 女欧美一区二三区| 丰满少妇一区二区三区免费看| 亚洲国产97| yiqicaoav| 日韩免费av片高清无码| 久热在线精品免费观看| 亚洲AV秘无码一区..| 精品九九国产无码| 精品人妻一区| 乱伦系列一区二区| 久久男女激情视频网站 | 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 屁股久久久久久久| 网站A V在线| 精品国产91内射久久| 狠狠中文字幕| 日韩性爱视频免费在线| 五月丁香激情综合| 亚洲 综合 欧美| 欧美一二三区四五区| 欧美少妇高潮久久91| 五月天精品| 夜夜嗨视频| 精品国产乱码| 丰满高潮18xxxx| 婷婷色在线| 亚洲、日韩、综合、另类| 亚洲淫色网中文| 久操电影网| 1769一区| 八戒午夜福利理论片| 97最新在线播放视频| 日韩97超碰中文字幕| 亚洲区限制级| 精品熟妇视频一区二区| 亚洲激情片| 色嗨嗨在线| 久久精品人体| 超碰69| 97日韩| 中文操嬖片。| 激情五月丁香五月| 欧美性区| 亚洲91射| 国产强奸乱伦无码视频| 日韩AV无码中文一区二区| 午夜婷婷| 欧美熟妇亚洲版| 天天爽天天操啊啊啊| 国产性爱在线视频一区二区| 色情成人五月天| 国产久久日| 97精品久久| 色情乱伦AV| AV天堂电影网| 亚洲精品国产拍免费91在线| 亚洲成人性爱网站在线播放| 婷婷久久综合| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 日韩国语字幕| 亚洲清纯唯美| 欧美真人抽搐一进一出gif| 国产小u女在线观看| 亚洲情色第一页| 久久↗↗| 九九热精品视频六| 国产亚洲女v在线观看| 337p大胆噜噜噜噜噜91Av| 白丝少妇一区二区| 久久久久亚洲| 亚洲精品成人| 中出789在线视频| 亚洲综合影院| 黄色小视频日本txt| 五月天综合网| 夜草网站| 亚洲色堂免费视频| 大香蕉日韩| 无码自拍SM| 夜夜嗨老熟女AV一区二区三区| 91成人高清在线观看| 国产精品天美传媒| 91五十路| 亚洲色五月| 亚洲激情在线| 日本岛国黄色网址| 国产AB视频| 午夜影美女日鸡鸡天天视频国产| 啊啊啊啊啊啊啊啊啊在线观看| 999精品国产高清一区二区| 精品人妻一区二区三区-国产| 人妻精品一区二区| 99热精品在线播放| 日韩本不卡视频在线观看 | 成人黑料社久久| 欧美最婬乱婬爆婬牲视频| 国模艳艳啪啪一区| 新精精品久久精品| 波多野结衣一级视频| 黄呦呦在线| 一区操逼日比视频| 日韩噜噜69| 久久久亚洲高清不打码| 久久久久密臀一区二区| 久久久久久电影| 色婷婷婷五月天激情四射| 欧美日产国产在线成人第一区| 久操大香蕉超碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰碰 | 国产毛片精品一区二区色欲黄A片| 插插综合网天天影视网| 日韩乱中文| 久色99999| 日韩欧美俄罗斯A片| 伊人嫩草| 亚洲色五月| 搡老女人老熟女91老熟女综合网| 97电影院超碰| 乱伦强奸区日韩| 99热精品免费| 久久精品国产亚洲av水密被窝| 亚洲另类综合欧美| 亚洲日韩精品久久久久一区壹牛| 久久久久久久久久久久黄色| 操逼逼中文字幕| 亚洲在线A| 97久精品| 黄色免费网| 91精品又粗又猛又爽| 国产精品探花在线| 久久久久99999| 欧色综合| 亚洲天堂7777| 色欲av国内精品久久久久久| 麻豆一区在线| 国产在线精品偷| 国产在线播放成人免费| 亚洲美女色图| 国产成人+综合亚洲+天堂| 精品人妻一二三| 国产精品久久久999| 狠狠操狠狠| 翔田千里无码中出中文字幕| 亚洲97网站| 色欧美天天| 国产高清26uuu| 中文字幕女同在线| 亚洲高清无码在线桃色| 97超碰欧美中文字幕| 极品五月天噜噜| ?亚洲伊人伊成久久人综合网| 国产路线专区| 国产精品久久久九九九| 任你艹| 久久一区二区高清免费| 精品人妻一区二区免费蜜桃视频| 成人在线午夜视频一区| 欧美精品四区| 十八禁的黄污污免费网站| 国产一二三在线视频五十路| 97一本大道亚洲一区| 欧美躁死她一区二区| 国产白嫩漂亮KTV在线| 中国熟女老妇仑乱一区二区三区| 大白逼三四级| 欧美色图下一页| 色性综合| 国产精品一区二区校花| 日婷婷| 亚洲资源站| 97超碰国产亚洲精品| 欧美色图私拍91| 亚洲图片 91| 精品中文字幕一区二区| 国产精品永久免费10000| 91丝袜视频在线观看| 午夜福利在线视频1000| 中文字幕一区 二区三四五 区日 日骚| 99久久精品无码一区二区| 欧美大香蕉久| 性天堂| 久久粉色| 中文字幕av一区二区三区人妻少妇 | 天天天天天超碰| 九热中文字幕| 人干人人人操人人摸| 国产色图乱伦| 久久精品久久久久久久| 中文字幕一品色图| 国产精品视频在线播放 | 韩国黄色片精品久久久| 一区二区三区探花在线观看| 黑人美精品 A片| AV女优男人的天堂| 夜夜高潮夜夜爽国产伦精品| 免费草草草草草视频| 330dv亚洲成年视频网| 蜜桃视频一区二区三区| 欧美亚洲日韩16色| www.99热在线只有精品|