亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

樓宇自控溫濕度監(jiān)測:Modbus TCP+SNMP集成落地全記錄

樓宇自控溫濕度監(jiān)測:Modbus TCP+SNMP集成落地全記錄 做樓宇自控和動環(huán)監(jiān)控時間長了你會發(fā)現(xiàn)溫濕度監(jiān)測這種最基礎(chǔ)的需求反而是最考驗整合功力的活。傳感器本身不復(fù)雜難的是怎么把散落在各樓層弱電間、機房、配電室的幾十個點位用一種低成本但不失專業(yè)的方式統(tǒng)一接入樓宇現(xiàn)有的管理系統(tǒng)。我在一個實際項目中構(gòu)建了一套基于Modbus TCP/UDP和SNMP協(xié)議的樓宇自控溫濕度監(jiān)測系統(tǒng)采集層走Modbus上送層走SNMP一套鏈路下來數(shù)據(jù)穩(wěn)定、對接順暢這篇文章就是這套系統(tǒng)的完整落地記錄包括方案選型、寄存器踩坑、MIB定義、網(wǎng)管平臺聯(lián)調(diào)和問題排查給正在做類似弱電集成或動環(huán)改造的同行一個參考。1. 方案選型為什么是Modbus TCP/UDP加SNMP這套組合1.1 傳統(tǒng)溫濕度監(jiān)測方案在樓宇場景中的真實痛點很多人第一次接觸樓宇溫濕度監(jiān)測第一反應(yīng)是買一批帶LCD屏的傳感器各自接RS485總線到一臺串口服務(wù)器再用某個廠商的上位機軟件看曲線。這種方案在小型機房勉強能跑但放到真正的樓宇自控場景里問題就來了。RS485總線是手拉手的菊花鏈拓?fù)渲虚g任何一個節(jié)點接錯線、短路或者設(shè)備死機輕則某一段失聯(lián)重則整條總線癱瘓。更麻煩的是如果節(jié)點分布在不同樓層你得沿橋架拉一整根手拉手的通信線施工麻煩不說后期排查故障基本靠猜。另一個痛點在于數(shù)據(jù)孤立。傳統(tǒng)品牌溫濕度傳感器的上位機軟件往往自成一套數(shù)據(jù)存在它自己的數(shù)據(jù)庫里樓宇的BA網(wǎng)管平臺看不到動環(huán)監(jiān)控平臺也看不到。于是運維人員每天得打開兩三個不同的軟件才能把溫濕度、空調(diào)、UPS狀態(tài)看全這在實際使用中幾乎沒有可操作性時間一長監(jiān)控就成了擺設(shè)。我在這個項目里就是被這類問題逼著做了一次徹底的技術(shù)選型。1.2 Modbus TCP/UDP負(fù)責(zé)采集層的關(guān)鍵考量選擇Modbus作為采集層協(xié)議最大的理由不是它性能多強而是它生態(tài)足夠大。樓宇溫濕度傳感器、水浸傳感器、RTU轉(zhuǎn)以太網(wǎng)的網(wǎng)關(guān)、邊緣計算網(wǎng)關(guān)幾乎市面上所有工業(yè)級環(huán)境監(jiān)測設(shè)備都內(nèi)置Modbus協(xié)議棧支持Modbus TCP或Modbus UDP訪問。你不用擔(dān)心某個傳感器買回來協(xié)議不兼容Modbus就是這行的“通用語言”。Modbus TCP/UDP相對傳統(tǒng)RS485的優(yōu)勢主要有三個。第一是布線以太網(wǎng)線走弱電橋架非常成熟交換機端口隨處可接點位的增刪改都只需要網(wǎng)線一根不需要像RS485那樣講究節(jié)點距離和手拉手順序。第二是可靠性Modbus TCP基于TCP協(xié)議自帶確認(rèn)和重傳機制數(shù)據(jù)包丟失會自動補償只要網(wǎng)絡(luò)不中斷采集基本不會出幺蛾子。第三是速率以太網(wǎng)交換機的吞吐能力遠非串行總線可比一個采集程序輪詢幾十個點位時間開銷完全可以忽略。這個方案里Modbus TCP和UDP都有存在意義。大多數(shù)工業(yè)傳感器同時支持兩種方式訪問TCP適合點對點持續(xù)輪詢UDP則適合對實時性要求更高的局部場景而且UDP在單包交互上更輕。不過坦率講樓宇溫濕度監(jiān)測這種每秒一次甚至10秒一次的頻率TCP和UDP的實時性差別體感為零所以主采集鏈路選TCPUDP作為備用通道和兼容特殊設(shè)備的方式這樣最穩(wěn)妥。1.3 SNMP協(xié)議負(fù)責(zé)上送層的關(guān)鍵考量如果說Modbus解決的是“怎么把數(shù)據(jù)從傳感器讀出來”那SNMP解決的就是“怎么把數(shù)據(jù)交給樓上管理平臺”。樓宇自控領(lǐng)域有個很現(xiàn)實的情況機房的精密空調(diào)、UPS電源、配電柜監(jiān)測模塊幾乎都標(biāo)配SNMP Agent網(wǎng)管平臺通過輪詢這些設(shè)備的OID節(jié)點來掌握運行狀態(tài)。溫濕度監(jiān)測數(shù)據(jù)如果能變成SNMP的OID節(jié)點就能直接塞進同一個平臺不需要再單獨維護一套軟件。這是整個方案的核心邏輯不引入新的監(jiān)控平臺最大化復(fù)用現(xiàn)有網(wǎng)管體系。配電房里的空調(diào)壞了網(wǎng)管平臺報警同時附帶的溫度曲線可能已經(jīng)提前一兩天顯示異常這種統(tǒng)一視角對運維的價值非常大。SNMP的Trap機制還能把溫濕度越限事件主動推送給平臺不是每次都要靠平臺輪詢才能發(fā)現(xiàn)這對告警場景非常關(guān)鍵。一定要理解我們在樓宇自控里引入SNMP不是因為它先進而是因為它已經(jīng)被各種網(wǎng)管平臺廣泛支持是真正打通“最后一公里”的橋。1.4 系統(tǒng)整體拓?fù)渑c數(shù)據(jù)流走向整個系統(tǒng)的拓?fù)浣Y(jié)構(gòu)并不復(fù)雜大致分成三層。采集層由分布在各個場點的溫濕度傳感器組成傳感器通過網(wǎng)線接到樓層交換機只要設(shè)備支持Modbus TCP/UDP默認(rèn)IP配置好就能訪問。對于個別點位還要兼容老式RS485傳感器的情況我加了一組Modbus RTU轉(zhuǎn)TCP的串口服務(wù)器把老舊傳感器也統(tǒng)一成以太網(wǎng)設(shè)備接入。匯聚層是一臺運行Linux的采集服務(wù)器我用的是一臺頂替下來的舊PC安裝了Python環(huán)境和SNMP服務(wù)。采集腳本按照配置的IP和寄存器地址以Modbus TCP方式輪詢所有傳感器把讀到的原始寄存器值換算成實際的溫度、濕度數(shù)據(jù)并維護一份最新的緩存文件或內(nèi)存字典。接入層就是SNMP Agent負(fù)責(zé)把緩存中的溫濕度數(shù)值暴露成自定義OID節(jié)點。樓宇網(wǎng)管平臺配置好社區(qū)字符串和OID列表按設(shè)定的周期輪詢即可。數(shù)據(jù)流方向是傳感器→交換機→采集服務(wù)器→SNMP Agent→網(wǎng)管平臺全程閉環(huán)。這套結(jié)構(gòu)最巧妙的地方在于采集和上送邏輯完全解耦即使將來更換網(wǎng)管平臺只需要重新定義OID映射采集層一點不用動。2. 數(shù)據(jù)采集層Modbus TCP/UDP讀溫濕度寄存器的硬核細(xì)節(jié)2.1 先查清楚傳感器寄存器映射和數(shù)據(jù)類型我在項目開始前向傳感器廠商要了一份寄存器映射表這份表是整個系統(tǒng)能不能寫對代碼的命根子動手前必須先啃透。常見的溫濕度傳感器溫度值一般放在保持寄存器或輸入寄存器里地址可能從0開始也可能從某個偏移開始比如0x0065這類地址。功能碼通常是03讀保持寄存器或者04讀輸入寄存器這兩個功能碼功能類似但有些設(shè)備實現(xiàn)不一樣選錯就無法讀到數(shù)據(jù)。比地址更坑的是數(shù)據(jù)格式。有的傳感器用單個16位寄存器存一個整數(shù)溫度值有的用兩個16位寄存器拼成32位IEEE 754浮點數(shù)。溫度值尤其要注意正負(fù)一個帶符號的負(fù)溫度在寄存器里顯示為0xFFFF的補碼形式如果不按帶符號整數(shù)解析直接當(dāng)無符號數(shù)讀出來就是個65535這種天文數(shù)字。我在項目里選用的傳感器是單寄存器存儲溫度縮放系數(shù)0.01濕度縮放系數(shù)0.1也就是說寄存器原始值2534代表實際溫度25.34℃原始值623代表濕度62.3%RH。這里強烈建議先把單個傳感器接到測試環(huán)境用Modbus調(diào)試工具比如Modbus Poll人工讀取一遍所有寄存器核對數(shù)值是否符合現(xiàn)場儀表顯示。不要信任出廠默認(rèn)參數(shù)因為很多傳感器出廠時寄存器地址可以撥碼調(diào)整和說明書不一定完全一致。這一步提前做了后面寫代碼就少走大量彎路。2.2 用pymodbus實現(xiàn)TCP與UDP雙模式讀取采集程序我用的Python加pymodbus庫這個庫是目前Python生態(tài)里最主流的Modbus協(xié)議實現(xiàn)接口穩(wěn)定、文檔全、坑也少。按項目需求我需要同時支持TCP和UDP兩種模式pymodbus的ModbusTcpClient和ModbusUdpClient可以干凈利落地解決這個問題。先看TCP模式的標(biāo)準(zhǔn)讀取代碼核心流程是創(chuàng)建客戶端、連接、讀寄存器、關(guān)閉連接from pymodbus.client import ModbusTcpClient client ModbusTcpClient(192.168.10.21, port502, timeout3) if not client.connect(): raise RuntimeError(無法連接傳感器) # 讀保持寄存器起始地址0x0065101讀2個寄存器從站地址unit1 resp client.read_holding_registers(address0x0065, count2, unit1) if resp.isError(): raise RuntimeError(fModbus讀取失敗: {resp}) temp_raw resp.registers[0] hum_raw resp.registers[1] print(f原始值: 溫度{temp_raw}, 濕度{hum_raw}) client.close()UDP模式幾乎一樣只需要把TCP客戶端替換為UDP客戶端from pymodbus.client import ModbusUdpClient client ModbusUdpClient(192.168.10.21, port502, timeout3) resp client.read_holding_registers(address0x0065, count2, unit1) if not resp.isError(): print(resp.registers) client.close()注意UDP模式里沒有顯式connect而是直接發(fā)送請求等響應(yīng)因為UDP本身是無連接的pymodbus對UDP的實現(xiàn)是單包請求-響應(yīng)模式。這里有個細(xì)節(jié)實際項目中一般不會每次都新建連接而是建立一個連接池或復(fù)用同一個客戶端對象因為TCP每次握手成本高頻繁開關(guān)連接對設(shè)備也是一種壓力。我在輪詢循環(huán)里是初始化一次客戶端然后在循環(huán)中反復(fù)使用同一個連接。多傳感器輪詢時我寫了一個讀取函數(shù)把傳感器IP和寄存器配置放進一個列表逐個調(diào)用。這個方案的點位規(guī)模在32個左右串行輪詢完全夠用。如果點位到了幾百個可以把輪詢改成異步并發(fā)但那是另一層復(fù)雜度了中小型樓宇暫時不需要。2.3 輪詢周期、超時和重試該怎么算輪詢周期的選擇直接影響設(shè)備負(fù)載和網(wǎng)絡(luò)占用。工業(yè)級溫濕度傳感器一般響應(yīng)時間在幾十毫秒到幾百毫秒之間樓宇環(huán)境溫度變化本身是分鐘級的完全不需要毫秒級采集。我的經(jīng)驗是將每個點位的輪詢周期設(shè)置在10秒到30秒之間有告警需求的機房點位用10秒普通倉儲區(qū)用30秒。超時時間的計算邏輯是這樣的傳感器正常響應(yīng)比如50毫秒但你要給異常留出足夠余量設(shè)成3秒是合理選擇。太短的話設(shè)備偶發(fā)慢響應(yīng)就會誤判為故障太長的話一旦某臺設(shè)備不在線輪詢線程就會卡在這里很久。再配合重試機制我用的是固定間隔重試3次間隔1秒3次全部失敗就把該點位標(biāo)記為離線并繼續(xù)輪詢下一個點位。這樣單臺設(shè)備故障不會拖垮整個輪詢鏈路。我算過一臺采集服務(wù)器在32個點位、每個點位讀2個寄存器、單次往返約100毫秒的場景下完整輪詢一輪的時間是32乘以0.1秒也就是3.2秒左右。即便按最保守估算10秒的輪詢周期也留了3倍以上余量完全不會出現(xiàn)數(shù)據(jù)堆積或輪詢?nèi)蝿?wù)追趕的情況。如果你的點位特別多或者網(wǎng)絡(luò)鏈路比較差輪詢周期要相應(yīng)拉長否則不同點位的采集時間戳落差會很大在網(wǎng)管平臺上看曲線就不準(zhǔn)了。2.4 TCP模式與UDP模式各自的坑與選型建議TCP模式最常見的坑是連接假死。傳感器設(shè)備長時間沒有請求時有些型號會主動斷開TCP連接但客戶端側(cè)不知道后續(xù)read請求會等到超時才報錯。解決方法是給socket加TCP keepalive或者在每次讀取之前判斷連接是否斷開、必要時重連。我在采集程序里加了一個重連邏輯讀取異常時先做三次快速重試都不行再強制重建連接。UDP模式的坑更多集中在事務(wù)匹配上。Modbus UDP報文頭里帶Transaction ID每次請求要遞增客戶端在收響應(yīng)時要用事務(wù)ID和從站地址校驗是否匹配防止把上一個請求的遲到的響應(yīng)當(dāng)成這一次的結(jié)果。pymodbus底層已經(jīng)做了這個處理但如果你是自己裸寫協(xié)議棧這個問題必須重視。UDP丟包沒有協(xié)議層的自動重傳所以必須自己做超時重試。我在UDP讀取時固定做3次重試并遞增事務(wù)ID實測在基礎(chǔ)網(wǎng)絡(luò)質(zhì)量比較好的局域網(wǎng)里丟包率很低一次讀取失敗的概率大概在2%以下。還有一個選型建議值得單獨說。如果所有傳感器都已經(jīng)支持Modbus TCP沒必要為了“先進”去用UDP如果有些傳感器只開放了UDP接口那就單獨給這類設(shè)備走UDP采集其余統(tǒng)一走TCP。不要讓一個采集程序為了兼容性把自己搞得太復(fù)雜分兩條采集通道反而更清爽。3. 數(shù)據(jù)上送層把Modbus數(shù)據(jù)翻譯成SNMP能識別的OID3.1 SNMP網(wǎng)管模型與OID樹的基本邏輯SNMP的邏輯其實很簡單它定義了一套“被管對象”的樹形結(jié)構(gòu)每個對象用OID對象標(biāo)識符表示網(wǎng)管平臺作為管理端不斷向設(shè)備Agent發(fā)起查詢請求Agent返回OID對應(yīng)的值。OID是一個一串點分十進制數(shù)字的路徑比如.1.3.6.1.4.1.9.9.205這個路徑下可能就是一個具體的設(shè)備狀態(tài)節(jié)點。在樓宇自控場景里網(wǎng)管平臺就是NMS采集服務(wù)器上的SNMP服務(wù)就是Agent。我們要做的事情就是自定義幾個有意義的OID節(jié)點并把溫濕度數(shù)據(jù)掛上去這樣網(wǎng)管平臺通過OID就能直接讀到溫度值完全不用關(guān)心底層是Modbus還是別的協(xié)議。這就是一種協(xié)議封裝和屏蔽對上層是透明的特別適合運維體系已經(jīng)成熟的樓宇。SNMP協(xié)議版本上v1已經(jīng)過時v2c是現(xiàn)在使用最普遍的版本它使用明文Community字符串做簡單認(rèn)證v3引入了用戶密碼和加密安全可控但配置復(fù)雜。樓宇網(wǎng)管平臺如果比較老可能只支持v2c我對接時優(yōu)先兼容v2c同時用IP白名單和復(fù)雜Community來做安全補償具體會在后面單獨說。3.2 自定義MIB文件給溫濕度點位定義“合法身份證”光有OID還不夠網(wǎng)管平臺要正確解析OID的含義還需要配套MIB文件。MIB文件本質(zhì)是一個用ASN.1語法寫的對象定義說明書它把OID數(shù)值路徑對應(yīng)成人類可讀的名稱、數(shù)據(jù)類型、讀寫權(quán)限、描述信息??梢哉fMIB文件就是SNMP世界的身份證。我不能直接用廠商私有OID段因為企業(yè)的OID編號是有分配的偷用大廠的OID段會造成沖突。標(biāo)準(zhǔn)做法是找上級機構(gòu)申請一個企業(yè)號比如.1.3.6.1.4.1后面的數(shù)字就是企業(yè)號。項目里我按企業(yè)內(nèi)部規(guī)范申請了一個測試段的號段然后定義一個節(jié)點樹把溫濕度都掛在自定義節(jié)點下面。一個典型的溫濕度MIB定義長這樣myBuilding-MIB DEFINITIONS :: BEGIN IMPORTS enterprises, OBJECT-TYPE, Integer32 FROM SNMPv2-SMI; myEnterprise OBJECT IDENTIFIER :: { enterprises 99999 } myProduct OBJECT IDENTIFIER :: { myEnterprise 1 } sensorRoot OBJECT IDENTIFIER :: { myProduct 1 } sensorName OBJECT-TYPE SYNTAX OCTET STRING (SIZE (0..64)) MAX-ACCESS read-only STATUS current DESCRIPTION 溫濕度傳感器點位名稱 :: { sensorRoot 1 } temperatureScaled OBJECT-TYPE SYNTAX Integer32 MAX-ACCESS read-only STATUS current DESCRIPTION 溫度單位0.01攝氏度如2534代表25.34℃ :: { sensorRoot 2 } humidityScaled OBJECT-TYPE SYNTAX Integer32 MAX-ACCESS read-only STATUS current DESCRIPTION 濕度單位0.1%RH如623代表62.3%RH :: { sensorRoot 3 } END這里有幾個細(xì)節(jié)值得注意。類型按實際數(shù)據(jù)選溫度濕度用整數(shù)類型傳縮放后的數(shù)值這樣在網(wǎng)管平臺顯示時不會出現(xiàn)浮點精度問題。描述字段一定要寫清楚單位和縮放系數(shù)否則分不清1.2534還是2534。我看過太多人MIB里把溫度的單位亂寫最后平臺顯示25.34℃還是2534℃全靠人力猜。3.3 輕量級Agent方案用snmpd的pass機制對接采集腳本網(wǎng)管平臺只認(rèn)SNMP服務(wù)所以需要在采集服務(wù)器上運行一個SNMP Agent。最省心的方案不是自己寫一個Agent程序而是直接用Linux自帶的snmpd用它提供的pass指令把指定OID段外包給一個外部腳本處理。這個方案部署極其輕量不需要改snmpd源碼也不用后臺常駐一個自寫Agent服務(wù)特別適合用Python采集、點位幾十個這種規(guī)模。snmpd配置里加上一行表示當(dāng)網(wǎng)管平臺請求.1.3.6.1.4.1.99999節(jié)點下的任何OID時都調(diào)用/usr/local/bin/sensor_read.py這個腳本pass .1.3.6.1.4.1.99999 /usr/local/bin/sensor_read.py腳本的邏輯是接收參數(shù)OID根據(jù)OID判斷返回哪個傳感器的哪個值。腳本從采集程序?qū)懞玫木彺嫖募镒x取最新溫濕度數(shù)據(jù)按snmpd規(guī)定的三行格式返回第一行是要返回的完整OID第二行是類型integer、string、gauge等第三行是值。#!/usr/bin/env python3 import sys import json # 讀取采集程序維護的緩存文件 with open(/var/run/sensor_cache.json, r, encodingutf-8) as f: data json.load(f) oid sys.argv[1] if oid .1.3.6.1.4.1.99999.1.2.0: print(.1.3.6.1.4.1.99999.1.2.0) print(integer) print(str(data[temperature])) elif oid .1.3.6.1.4.1.99999.1.3.0: print(.1.3.6.1.4.1.99999.1.3.0) print(integer) print(str(data[humidity])) elif oid .1.3.6.1.4.1.99999.1.1.0: print(.1.3.6.1.4.1.99999.1.1.0) print(string) print(三層機房A1點位) else: sys.exit(1)pass腳本的一個要點是執(zhí)行時間不能太長snmpd默認(rèn)給外部腳本的處理時間非常有限如果腳本里還在做網(wǎng)絡(luò)請求很容易被snmpd判定超時。我特意讓采集進程單獨跑持續(xù)把最新數(shù)據(jù)寫入json文件pass腳本只讀本地文件不碰任何網(wǎng)絡(luò)這樣響應(yīng)速度幾乎為零延遲聯(lián)調(diào)非常順暢。3.4 完整Agent方案用pysnmp直接發(fā)布OID值可選如果你遇到的情況比較特殊比如不允許在服務(wù)器上裝系統(tǒng)的snmpd擴展或者需要更靈活的OID發(fā)布邏輯可以考慮用pysnmp自己實現(xiàn)一個SNMP Agent。這個方案更重但自由度也更高適合采集和上送邏輯需要深度耦合的場景。用pysnmp注冊O(shè)ID值非常簡單它提供CommandResponder模式你定義好每個OID的獲取方法后在循環(huán)中監(jiān)聽UDP 161端口即可。核心代碼大致是編寫一個回調(diào)函數(shù)根據(jù)請求的OID從緩存字典里取當(dāng)前溫度濕度值返回。比起pass腳本方式pysnmp方案勝在Agent完全可控Trap報文隨時能發(fā)適合做過自定義輪詢模式或頻繁上報的場景但對開發(fā)者要求更高調(diào)試也更復(fù)雜。從項目交付角度看除非你對pysnmp很熟悉否則我更推薦先上snmpd加pass的方案因為它足夠穩(wěn)定、足夠簡單而且snmpd本身的并發(fā)和性能處理已經(jīng)很成熟。后續(xù)如果要擴展告警聯(lián)動再考慮用Python寫Trap發(fā)送腳本不用推翻現(xiàn)有體系。3.5 Community與訪問安全別把數(shù)據(jù)裸奔在局域網(wǎng)里SNMP v2c的Community字符串就是密碼如果你用默認(rèn)的public等于把整棟樓的溫濕度數(shù)據(jù)裸奔在局域網(wǎng)里任何人用網(wǎng)管軟件掃一下就能看到所有點位。我在配置里做了三件事設(shè)置足夠復(fù)雜的只讀Community比如混合大小寫加數(shù)字的隨機串在snmpd配置里顯式限定允許訪問的網(wǎng)管平臺IP其他主機一律拒絕訪問網(wǎng)絡(luò)層再做隔離傳感器采集網(wǎng)段和辦公網(wǎng)段在交換機上做ACL控制只開放網(wǎng)管平臺到采集服務(wù)器的161端口。SNMP v3雖然是更安全的選擇用用戶名密碼加加密的方式代替明文Community但在樓宇網(wǎng)管的實際對接中我發(fā)現(xiàn)許多老平臺的v3實現(xiàn)不太穩(wěn)定配置復(fù)雜度也高。我做的是v2c為主、加上IP白名單兜底的方案既保證了兼容性又堵住了最明顯的安全漏洞。如果你所在環(huán)境對安全要求高且網(wǎng)管平臺支持v3那就用v3這里沒有一刀切的標(biāo)準(zhǔn)。4. 聯(lián)調(diào)驗證從命令行到樓宇網(wǎng)管平臺的完整對接4.1 用snmpwalk驗證OID與數(shù)值換算配置完snmpd后第一步當(dāng)然是用命令行工具自己驗證。我在服務(wù)器上執(zhí)行snmpwalk指定社區(qū)字符串、目標(biāo)IP和根OID看能不能正確拉出全部溫濕度數(shù)據(jù)snmpwalk -v2c -c MySite2024 127.0.0.1 .1.3.6.1.4.1.99999輸出大約是SNMPv2-SMI::enterprises.99999.1.1.0 STRING: 三層機房A1點位 SNMPv2-SMI::enterprises.99999.1.2.0 INTEGER: 2350 SNMPv2-SMI::enterprises.99999.1.3.0 INTEGER: 6122350代表23.50℃612代表61.2%RH我把這個值和現(xiàn)場手持儀表的讀數(shù)比對了下差值在允許范圍內(nèi)說明Modbus讀取、單位換算、OID發(fā)布這條鏈路的數(shù)據(jù)一致性是對的。這里提醒一個容易忽略的細(xì)節(jié)驗證時不要只看一次要連續(xù)測幾輪確認(rèn)數(shù)值是隨采集周期動態(tài)更新的而不是snmpd緩存了一個死值。命令行驗證通過后再測試Trap。我用snmptrap命令模擬一條越限告警發(fā)送到網(wǎng)管平臺確認(rèn)平臺的SNMP Trap接收端口能收到事件。這一步很重要因為很多項目做完了數(shù)據(jù)輪詢才發(fā)現(xiàn)告警通道沒通等于少了一條腿。測試通過后整個SNMP對接鏈路的前半段才算真正完成。4.2 網(wǎng)管平臺導(dǎo)入MIB與監(jiān)控項創(chuàng)建接下來進入網(wǎng)管平臺操作。每家平臺的操作界面不一樣但邏輯都差不多。先把自定義的MIB文件導(dǎo)入平臺平臺解析后就能在OID樹里看到我們定義的點位名稱、類型和單位。然后新建一個監(jiān)控主機添加監(jiān)控項填寫采集服務(wù)器的IP、SNMP版本、社區(qū)字符串和要監(jiān)控的OID。我建議監(jiān)控項建立時就把顯示格式配好比如把溫度OID的顯示格式設(shè)置成除以100顯示兩位小數(shù)這樣平臺界面上看到的就是23.50℃而不是原始整數(shù)2350。雖然MIB描述里已經(jīng)寫了單位是0.01℃但顯示格式在平臺側(cè)可以進一步優(yōu)化。如果沒有這一步很多平臺的表格里會直接顯示2350運維人員看到數(shù)字還要心算體驗很差。監(jiān)控項建好后讓平臺拉到采集服務(wù)器的OID值確認(rèn)數(shù)據(jù)刷新周期與采集周期匹配。一般平臺默認(rèn)輪詢間隔是1分鐘或5分鐘我設(shè)的采集周期是10秒這樣平臺每次拉取拿到的都是相對實時的數(shù)據(jù)數(shù)據(jù)曲線的分辨率也有了保障。此時從網(wǎng)管平臺角度這個溫濕度點位就和一臺空調(diào)、一臺UPS沒有任何區(qū)別都只是SNMP OID的一個節(jié)點。4.3 告警閾值、回滯與聯(lián)動擴展溫濕度監(jiān)測的價值不止于看曲線更在于越限告警。平臺里給溫度OID配置上下閾值比如機房環(huán)境溫度上限26℃下限18℃濕度上限70%RH下限30%RH。配置的時候一定要加上回滯Hysteresis比如報警觸發(fā)溫度高于26℃,恢復(fù)溫度設(shè)為24℃。這樣當(dāng)溫度在26℃附近抖動時不會頻繁觸發(fā)告警又解除告警把值班人員煩死。回滯的具體數(shù)值可以參考管理要求的精度上下浮動1-2℃我在機房里用的是恢復(fù)閾值比報警閾值收斂1℃的做法實測誤報率下降明顯。除了展示與告警這套系統(tǒng)還可以做聯(lián)動擴展。比如當(dāng)Modbus采集到某點位溫度持續(xù)超過28℃時采集程序通過Modbus TCP向一臺受控空調(diào)發(fā)送指令強制開啟制冷。再比如當(dāng)濕度低于臨界值時通過SNMP Trap通知平臺平臺觸發(fā)加濕器啟停。由于采集層和支持層邏輯是解耦的所以我可以在采集程序里直接加寫Modbus寄存器的邏輯不必改動SNMP那部分非常方便。5. 實戰(zhàn)排坑運行半年遇到的典型問題與處理記錄5.1 問題實錄Modbus連接周期性掉線系統(tǒng)上線兩個月后運維反饋某幾個點位的數(shù)據(jù)間斷性缺失現(xiàn)象是網(wǎng)管平臺看到數(shù)值20分鐘內(nèi)不刷新然后又有新數(shù)據(jù)。排查過程是先看采集日志發(fā)現(xiàn)這些點位每次都在TCP連接上拋超時異常重連后恢復(fù)。進一步抓包發(fā)現(xiàn)傳感器一側(cè)的TCP連接被設(shè)備在空閑一段時間后主動斷開而采集程序一直在復(fù)用舊socket自然收不到響應(yīng)。解決方法是加一個兩層防護。第一層是TCP keepalive探測打開socket的SO_KEEPALIVE選項讓系統(tǒng)定期發(fā)送探測包維持通道活躍第二層是采集程序?qū)用娴倪B接狀態(tài)檢查在每次發(fā)送前檢查連接對象是否可用不可用則自動重連。這樣做了之后這類掉線問題基本消失。還有一例是某個傳感器的電源模塊老化導(dǎo)致的間歇性重啟TCP連接頻繁斷換了電源模塊后恢復(fù)。所以遇到掉線問題先檢查程序重連邏輯再檢查設(shè)備側(cè)電源和網(wǎng)絡(luò)硬件別一開始就懷疑協(xié)議寫錯了。5.2 問題實錄寄存器讀數(shù)出現(xiàn)“負(fù)值”和亂碼聯(lián)調(diào)階段有個傳感器的濕度讀出來偶爾是65535或者-1溫度倒是正常。排查后發(fā)現(xiàn)這個傳感器有多個寄存器地址段我讀的地址在某些型號里是未啟用的保留區(qū)讀取時返回0xFFFF如果按無符號數(shù)解析就是65535按有符號解析就是-1。解決方法是重新核對寄存器映射表把讀取地址調(diào)整到正確的濕度寄存器并在程序里加了一個合法性檢查讀到0xFFFF或0x7FFF這類邊界值時視為無效數(shù)據(jù)不參與換算和上送避免網(wǎng)管平臺出現(xiàn)離譜的告警。另一個容易踩的坑是字節(jié)序。不同廠商的傳感器在32位浮點存儲時大小端順序可能不同。我一開始讀某個型號的浮點溫度數(shù)值總是差著十萬八千里后來把兩個16位寄存器的高低位交換才正常。代碼里如果是自己拼浮點寄存器記得先看一下廠家的字節(jié)序說明或者在調(diào)試階段實際比對一下寄存器原始值和設(shè)備LCD顯示值的關(guān)系。5.3 問題實錄SNMP超時、OID值不刷新有一次平臺側(cè)反饋某點位數(shù)值一直不變我開始以為傳感器壞了結(jié)果用Modbus工具直接讀傳感器是好的而且溫度在變。接著用命令行snmpwalk手動查OID返回值確實刷新了但平臺拿到的卻始終是舊值。細(xì)細(xì)排查之后發(fā)現(xiàn)是平臺配置的輪詢間隔是5分鐘而采集服務(wù)器到網(wǎng)管平臺之間恰好有一臺設(shè)備的ACL策略把SNMP請求鏡像到了備用機導(dǎo)致平臺實際讀取的是另一臺服務(wù)器的快照。這是網(wǎng)絡(luò)層路由策略導(dǎo)致的偶發(fā)問題清除冗余策略后恢復(fù)正常。這種情況提醒我排查SNMP數(shù)據(jù)不刷新時要先確認(rèn)平臺輪詢到的是不是我們配置的那臺采集服務(wù)器再查Agent本身的OID值是否更新。還有一個常見原因是snmpd的pass腳本執(zhí)行太慢。如果腳本里有外部調(diào)用或耗時的解析邏輯snmpd等待超時后會返回空值平臺就會認(rèn)為讀取失敗并保留舊值。所以我強調(diào)pass腳本只做本地緩存數(shù)據(jù)的讀取采集邏輯單獨拆出去這個拆分從實戰(zhàn)看非常值。5.4 運維期的心得與建議系統(tǒng)穩(wěn)定運行半年后我復(fù)盤了一些值得固化為制度的東西。首先是點位命名規(guī)范我按照“樓棟-樓層-功能區(qū)-編號”的規(guī)則命名比如“A-03-MDF-01”這樣在網(wǎng)管平臺做故障定位時可以快速跳轉(zhuǎn)。命名這種工作瑣碎但特別重要別等點位超過50個再回頭補。其次是傳感器定期校準(zhǔn)我要求現(xiàn)場每半年用標(biāo)準(zhǔn)溫濕度計比對一次偏差超標(biāo)的點位在平臺上設(shè)置漂移補償這對計量準(zhǔn)確性有要求的場景非常關(guān)鍵。還有就是要給采集服務(wù)器和傳感器網(wǎng)絡(luò)做一個總體的備份策略。采集服務(wù)器本身是一臺舊PC萬一硬盤掛了整個系統(tǒng)就瞎了。我給服務(wù)器開了定時備份把采集腳本、snmpd配置、緩存文件都納入備份范圍。傳感器網(wǎng)絡(luò)則做了物理鏈路的標(biāo)簽管理每根網(wǎng)線兩端都貼了標(biāo)簽方便后期排查。這套系統(tǒng)我做下來最深的體會是技術(shù)選型只是起點真正考驗人的是把整個鏈路的數(shù)據(jù)從源頭到平臺變成可信任、可維護、可持續(xù)運行的東西這需要很多看似瑣碎的細(xì)節(jié)積累。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚欧性爱ab| 亚州欧美综合| 五月天AV资源| 国产精品一级特黄aaa大片在线观看| 久久五月综合| 亚欧美综合| 在线观看成人性爱免费小视频| 97久久视频| 天天舔天天日天天射| 日韩九九九| 亚洲色综合| 国产精品色| 日日夜夜狠狠| 亚洲天堂日本| 国产一区二区视频在线播放| 天天日美女的B| 日韩电影在线观看网址| 五月天色图| 欧美极品色| 国产av强奸美女| 亚洲天堂人妻一区二区| 国产精品女aA片爽爽视频| 91九色精品熟女内射| 免费久久9999| 天天夜躁日日躁狠狠2002| 人人人人人人少妇| 极品国产内射| 欧美亚男人的天堂| 思思热在线视频免费| 天天综合AV| 夜夜骑夜夜操| 91色色色| 亚洲中文字幕在现观看| AV色天香在线| 91在线超高颜值国产| 久久精品视频28| 一级AV性爱| 青青操在线亚洲视频观看欧美在线 | 五月天欧美色图| 手机在线播放国产福利| 国产精品密臀网在线观看| 岛国在线免费视频| 午夜毛片高清免费不卡| 国产精品久久久久无码A√| a片亚洲一本通视频| 国产丝袜欧美在线视频| 九九九影院| 色乱二区| 激情综合 婷婷五月 红杏| 久久精品国产精品亚洲艾通辽熟妇| 久热精品在线| 天天爽天天操| 国产区日韩区在线观看| 少妇一区二区三区在线观看| 日韩欧美亚洲一区二区三区影院 | 神马久久69| 天天综合网入口~91| 粉嫩av在线| 岛国AV一区二区电影| 中文?日韩?免费?精品| 96AV久久久| 中文字幕日韩专区精品系列| 99精品丰满人妻无码| 日韩精品视频在线观看一卡二卡| 成人草草视频| 国产AV人人 夜夜人人澡| 国产亚洲精品久久久久小| 日日夜夜国产综合| 国产女人极品高潮毛片| 91欧美综合| 国产农村妇女精品1区二区| 精品人妻1区| 久久久免费懂色| 99热最新网址| 操婢日韩| 91色欧美| 91粉芽高清在线一区二区| 精品人妻一二三| 60秒免费小视频| 日本www操操操| 超碰91在线| 日日嗨AV一区二区夜夜| 国产11页| 探花一区在线| 白丝AV| 天天影视射综合网| 五月丁香综合激情| 日韩欧美大力操| 72av视频| 美女丝袜激情小说| 蜜臀精品1区2区| 九九久久一区二区伦理| 啊v在线观看视频| 色婷婷综合久久中文字幕雪峰| 亚洲成人日韩小说| 天天综合网91| com 首页 18岁 禁区 女优 免费 精选 同城| 嗯嗯啊中文字幕| av强奸乱轮| 久热一区二区| 欧美专区17页| 欧洲小说色图视频另类| 大香蕉伊人网WWWn0n| 爱av免费| 免费啪啪av| 欧美日韩中文字幕人妻| 后入式福利| 色一射色一射| 亚洲精品男人的天堂| ..日韩av毛片精品久久久| 丰满人妻-区二区三区| 熟妇人妻一区二区三在线| 992这里有精品| www.黄色在线| 欧洲黄色网| 婷婷激情四射| 亚洲少妇视频| 99re免费| 国产精品久久泡妞网站| 无码九九九九| 国产精品午夜福利| 91 国产丝袜在线播放-百度| 色婷婷久久综合超碰| 久久国产视频性吧| 碰碰在线视频| 啊啊啊啊嗯嗯嗯用力好爽| 超碰成人国产| 在线观看精品国产免费| 高清无码国产亚洲| 欧美性生活免费网| 久操网线| 欧亚乱色熟女一区二区| 成人午夜小视频手机在线看| 欧美顶级黄色大片免费| 唐山老熟妇露脸啪啪叫| 操逼视频亚洲| 五月天黄色激情视频| 亚洲精品国产熟女| 18禁中文字幕| a天堂视频| 夜嗨影院| 视频分类 国内精品| 成人 日本A片无码8888| 男女激情黄色网址| 亚洲综合中文字幕有码 | 国产欧美日韩精品中文| 久久久精品无码亚免费| 手机看av网站在线看| 99精品欧美一区二区三区桃色| 天天做天天爱夜夜爽毛片试看| 人妻精品视频一区二区三区| 亚洲日韩在线a不卡99精品| 日产欧美电影一区二区三区| 国产精品爱欲| 久久久久久国产无码精品| 26uuu性物| 欧美亚洲尤物久久| 丁香婷婷久久| 少妇天堂网络| 欧美久久人妻少妇一区二区| 999色欧美中文字幕| 91在线丝袜| 五月天婷婷社区| 亚洲毛片久久| 青青操网| 乱论91| 91 亚洲 欧美 日韩 国产 综合| 五月综合婷婷久久网站| 伊人网av| 97综合在线观看| 一本正道久久熟女| 青青草日韩免费观看高清在线| 久久9精品网站| 东京热,男人的天堂| 久久久久国产精品久久久| 国产精品盗摄 偷窥盗摄| 91高清无码下载| 99热在线观看| 另类专区加勒比| 日本韩高清无砖码22o| 狠狠操夜夜| 精品一二三区女同| 97日视频| 欧美精品系列| 亚洲成人性爱网站在线播放| 9久久精品| 色色香蕉| 欧美一二三区四五区| 欧美成人综合| 人人人摸人人| 天天操av懂色| 激情另类激情| 婷婷五月天激情网| 亚洲综合校园春色| 一起草精品人妻| 中文字幕黑人大片| 亚洲激情久久久伊人综合| 91人妻精华帖| 天天α片| 欧美人与动性人交a| 丝袜美腿诱惑亚洲欧美视频在线观看 | 一起草欧美| 秋霞一级视频在线观看免费| 久草视频制服诱惑| 丰满人妻一区二区三区免费 | 日韩午夜啪啪视频| 亚洲熟久久| 中文字幕第2页| 伦伦成年午夜免费视频| 欧美性暴力猛交XXXX| 爱丝福利| 欧美不卡二区| 久久禁| www.99色| 久久鲁夜| 强奸乱伦中文字幕AV| 青青在线视频日韩欧美| 午夜久久无码1000合集| 少妇专区一二三四五| 久久人妻| 五月色丁香| 人人爽天天爽| 久久丁香久草综合网| 日韩美女久久一区二区三区| 91精片| 日韩一级二级| 国产精品直播在线观看直播| 天天天天天天天天综合| 在线综合 亚洲 欧美中文字幕| 亚洲九区| 婷婷超| 蜜臀人妻少妇久久在线观看| 久久美女国产| 中日992视频| 尤物一级在线免费观看| 91精品婷婷国产综合久久| 日本性爱不卡视频| 亚洲AV操| 一个国产在线综合网站| 91九九九馒头| 男人天堂电影院| 超碰人妻天天干| 大香网伊人久久综合网eew| 张柏芝国产一区在线观看| 久久人妻精品| 爱爱动态60秒| 亚洲天堂自拍| 加勒比伊人| 亚洲 欧美都市激情| 色欧洲| 91久久国产综合久久| 蜜臀99久| www.狠狠干.coom | 精品免费囯产一区二区三区 | 欧美无圣光在线| 秋霞 色色| 日韩性色b| 国产亚洲福利第一页丝袜| 青娱乐亚洲热| 国产尤物AV尤物在线观看不卡| 国产熟码AV| 中文字幕久久精视频久久大全| 欧美不在线| 强奸少妇AV导航网| 亚洲人体视频在线观看| 亚洲吊色| 亚洲av无线观看| 一级免费精品| 亚洲色图激情小说| 韩日色费| 久久久久国产精品人妻aⅴ天堂| 国语av最新自产拍在线观看| 中文字幕乱妇免费视频| 嗯嗯啊啊操死我| 久久精品人人做人人看| 97欧美色综合| 青青国产精品在线| 岛国激情视频在线观看| 97少妇人妻中文字幕久久| 色综合美国| 亚洲欧洲自拍图片专区满春格 | 男人的天堂2010| 狠日操| 东北熟女91| 中文一区在线日| 中文字幕在线观看第二页| 日韩成人性爱电影在线播放| 国产隔壁老王影院在线| 人人弄人人摸| 牛牛久久国产精品视频一二三 | 欧美牲| 青青草色情网站视频| 亚洲欧美国产成人综合不卡| 黄页| 亚洲精品一区中文字幕乱码| 国产精品久久久鸭无码的功能| 欧美aa一级片| 97人人模人人爽人人| rion磁力链接| 加勒比海成人视频网| 五月丁香综合啪啪| 人人操人人色人人摸| 久艹99| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 亚洲精品视频二区| 日逼视频日本| 风月影院十八禁| 色色九区| 色婷婷A V一二三四区麻豆综合| 夜夜综合| 久久夜精品一区二区三区| 91青青草| 久久精品国产99久久,亚洲日韩久久日本一区一区三区 | 久操九九九九| 四虎永久在线精品免费网址 | 亚洲第一页第二页激情| 国产美女口爆吞精视频| 97在线看| 成人一级性爱| 操我无码| 久热这里| 成人网欧美风情| 亚洲天堂性爱| 欧美色图天堂网m| 蜜臀人妻少妇久久在线观看| 在线观看AV不卡| 天天操女人| 极品粉嫩一区二区| 天天内射| 老熟女综合网| 国产av激情无码久久天堂| 秋霞网—男女啪啪亚洲免费体验区 | 国产精品经典一卡久久久| 日韩一区二区熟女| 日夜久久久九九九久| 欧美日韩亚洲天堂网| 九区国产| 精品国产乱子伦一区二区三区,精品一| 亚欧美综合网。| 91痴汉| 97天天摸天天爽| 探花视频免费观看国产专区| 成年女人黄网站| 久久人人爽人人爽人人片Ⅴ| 亚洲 综合 欧美| 久久国产对白激情浪潮 | 成人97人人超碰人人| 操逼国产免费| 久都青青视频 | 五月丁香综合激情| 秋霞成人一级在线观看| 曰韩精品视频一区二区| 九月激情婷婷| 中文字幕一区二区在线日韩精品| 五码视频在线观看| 久久性生大片免费观看性| 精品视频在线观看| 国产精品操| 九九九久久久| 国产高清自拍视频| 少妇久久久久久久久| 国产综合久久久麻桃个| 超碰97人妻在线| 婷婷婷婷婷婷久久久久| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 久久久久ab| 色欲人妻一区二区在线| 蜜屁Av| 欧美成人国产精品| 欧美人妻精品一区二区| 久久极品一区二区| 高清不卡 中文 人妻| 国产v亚洲v日韩v欧美v片另类| 久久人人爽爽人人爽人人片αV| 久久草大香蕉| 四虎精品一区| 老熟妇一区二区三区…| 天美av在线观看| 中文字幕久久精品一区| 国产精品久久久久久久电影渣男| 99视频只有精品| 久草精品国产蜜臀| 草草草草视频| 红杏大香蕉| 精品人妻一区二区三区视频| 91色综合| 国产精品一区二区在钱播放| 欲综合网| 噜噜噜无码AV一级一级久久影院| 精品成人女人久久| 亚洲熟女性高潮久久久| 91扒丝袜综合在线| 高清国产精品福利网站| 蜜色网色哟哟| 久久男人的天堂| 另类小说五月天| 啊啊啊轻点在线观看| 日韩亚洲国产视频| 97色涩| 国产午夜精品理论片a大结局| www久| 亚洲女优有码无码高清| 亚洲成人美女无吗| 久久久性少妇| 男人兔费天堂| 青青草好吊| 大香蕉免费乱伦视频| 夜夜骑天天燥| 操高情无码| 欧美黄色图片| 2024年最新色情网站在线观看| 欧美久久九九| 日韩av不卡在线看| 久久久A∨| 久久久av爱| 亚洲色婷婷综合久久久久中文| 国产精品麻豆成人av| 麻豆啪啪啪视频| 日本精品人妻少妇一区二区| 久久精品男人的天堂| 欧美精品一二三| 欧美 精品国产制服第一页| 亚洲精品国产精品乱码不99| 亚洲丝袜B诱惑| 欧美,亚洲,日韩,v,天堂,手机在线观看| 欧美亚洲中文| 搡老女人老91妇女熟女| 日韩情色AV| 免费一级黄色录像影片| 久久九九精品一区二区| 亚洲av在线免费观看| 狠狠操夜夜| 日本熟妇一区二区三区| 久久宗合97| 一本色道久久天天射天天干| www.狠狠操| 99日免费视频中文字幕| 国产美女在线精品免费看| 一及黄久一点| 国产精品成人无码a v毛片| 超碰午夜| 亚洲色图久久成人| av最新免费中文字幕| 久久9亚洲| 夜色AV无码手机在线影院| 欧美 亚洲 在线| 18一区二区三区| 亚洲本色精品一区二区久久| 欧美亚洲20p| 留下AⅤ黄色片| 一起草三级AV电影在线观看| 啊啊啊啊啊好舒服视频| 欧美色三级片91| 日韩激情无码影院| 日产精品久久久一区二区| 青青青操| 精品色色| 74成人在线| 91N综合网在线| 暖暖精品二区三区观看| 日韩欧美国产高清视频| 日韩一级性爱无码| 欧美日韩一二三| 亚洲色图国产另类| 中文字幕啊啊啊在线观看视频| 久久久久久人妻一区精品色欧美| 全国男人天堂网| 日夜干射色啊| 蜜桃视频一区二区三区在线观看| 91丨九色丨大屁股| 99热只有这里有精品| 日本韩国国产精品一区| 综合色久欲| 91熟女综合| 亚殴在线| 国产精品色| 亚洲一欧洲中文字幕在线| 在线午夜成人无码视频| 超碰地址久久| 亚洲宗合网| 色蜜AV| 激情五月丁香五月| 欧美中文字幕男人天堂久久精品| 四虎影视在线| 黄片aaaaa一区| 亚洲天堂五月天国产| 欧美男人的天堂| 久久久成人精品| 麻豆九九九| 亚洲操人| 超碰AV在线| 欧美日韩大黄片| 亚洲天堂在线怕怕视频| 97精品视频| 五月丁香激情四射| 无码天堂| 日语五十路和六十路亚洲国产精品| 亚洲男人天堂网站| 福利视频香蕉免费一区二区在线| A啊啊在线观看| 国产一级做a爰大片免费久久| 亚洲另类色综合网站| 亚洲色吧网| 日韩精品一区二区高清| 久久久久久无码人妻中文字幕| 婷婷综合网| 免费中文综合精品| 国产偷人伦激情在线观看| 麻豆色99999| 人妻另类| 97香蕉网| 国产熟女无套内射| 碰碰97| 黄片www视频免费| 人人爱人人乐人人操| 国产1024在线播放| 日日夜夜精品| 成 人 影视 一区 二区 三区 四区 | 91大神精品长腿在线观看网站| 亚洲综合贴图91| av天堂影视中文在字幕在线中文 | 色欲Av人妻精品一区二| 激情视频一二三| 97超碰超| 天美传媒AV在线| 国产偷人伦激情在线观看| 女生久久网| 搡老熟女免费视频| 精品一区二区综合熟妇| 大香蕉九九| 久久久工口| 99色视频| 在线97在线| 99热日| 亚洲激情网一二三四区| 99久久久er直播网址| 国产又黄又粗又猛大片| 日日躁天天躁狠狠躁| 一牛一区二区三区久久| 性爱综合网| 约操熟妇| 日韩av免费一级电影| 婷婷另类小说| 秋霞福利网| 亚洲97| 亚洲国产奇米影视久久| 色综合久| 久久久久9999精品九九九| 亚洲深夜福利| 男人女人18禁片免费看网站| 女人双腿搬开让男人桶| 好吊色一区| 91高跟美女在线播放| 亚洲日韩青青草色月| 免费在线观看AV无码网站| 国产农村妇女精品| 亚洲 欧美 色图| 中出20p| 亭亭在线资源| 国产一区二区久久| 久久骚少妇| 久久e6只有精品| 91在线页| 婷婷精品国产欧美精品亚洲人人爽| 美女高潮视频91| 99999国产| 日本操逼视频导航| 殴美日韩m| 在线视频资源| JIZZJIZZ国产精品喷水| 91黑丝美女| 国产精品九九九| 免费看一级a性色生活片久久无| 色欲久久综合| 女人 A一级| 久久性爱网站| 久久男女激情视频网站| 欧美国产日韩高清在线| 99热在线播放| 日韩高潮一区| 国产免费大片| 综合网,亚洲,欧美| yirendaxiangjiashipin| 97综合激情| 婷婷丁香在线| 91白虎| 亚洲另类电影| 综合熟妇一区二区三区| 亚洲日韩国产欧美综合v| 一本一首道人妻少妇免费久久| 国产 日韩,欧美 自拍| 午夜免费视频1000| 久久久久久人体| 无码乱人伦中文视频| 九九成人精品| 男人天堂站| 成人天天看站长推荐| 欧美青青视频| 日本人妻天堂网站在线播放| 美女让帅哥通她小鸡鸡| 涩涩久久精品| 欧美一二级| 国产激情在线| 成人线上超碰| 八戒午夜福利理论片| 日本三级韩国三级99| 91丝袜美女视频| 99热在线观看| 亚洲福利影院一区久久| 国产精品一区二区三区在线密挑| 久久春色| 日本A级视频| 精品久久久久久中文字幕三区| 亚州综合图片| 精品国产www久久| 国产精品午夜成人福利| 伊人97色天使| 941超碰| 日本综合色图| 岛国AB视频| 色五月婷婷五月天| 欧美 熟女 日韩| 97色操| 最新无码国产| 亚洲精品美女久久久久久久久| 欧洲亚洲人妻无码高清久久三区四区| 在线播放成人网站| 欧美Ⅴ性爱| 亚州高清色综合| 色狠狠色| 中文字幕乱码人妻二区三区| 欧美丝袜美女电影一二三四区| 大香蕉丝袜一级片| 日韩成人私密一级精品av| 欧美伦乱爱| 激情五月综合| 国产特级毛片AAAAAA高潮流水 | 操人妻少妇中文| 青青草十区九区爱夜| 97精品一区| 久久 精品| 极品美女福利在线观看| 日韩一999精品| 99热在线只有精品| 秋霞成人做爱| 熟女久久| 爱射综合| 偷窥自拍A片| 无码久久亚洲高清,| 久久是精品| Julia在线播放亚洲久久| 久久综合国产精品国产| 亚洲天堂男| 欧美色图 人妻| 婷婷久草一区二区三区| 深夜国产一区二区三区在线看 | 欧美日韩中文亚洲v在线综合| 大香蕉手机视频| 欧美天天综合站| 亚洲啪啪视频免费| 男人天堂久久精品| 国产精品对白自产拍| 人妻少妇被猛烈进入中| 亚洲另类色图片| 狠狠爱综合网| 五月丁香激情综合网| 91久久| 欧美色日| 亚洲色图超碰在线| 超碰久热| 亚洲图片色图欧美另类| 啊啊啊好多水| 葡萄牙性视频一二区| 精品国产综合久久福利,热99这里有精品综合久久,99热这里只有免费国产精品,精 | 超碰在线一区| 91操熟女视频| 欧美少妇性乱| 9118禁| 91无码中出人妻视频| 18+91网站| 国产成人自拍视频在线| 四虎精品一区| 日本欧美亚洲高清在线看| 制服诱惑亚洲一区二区三区在线观看| 天天激情综合站| 久久熟妇五十路一区| 91熟女网| 免费视频观看60秒| 秋霞一区二区三区四区五区六区七区| 久久一留热品黄| xxx亚洲午夜天堂| 五月天色色网站| 激情五月天视频| 大香网站| 一级性爱aaaa| 99日韩| 国产精品色色| 日韩久久三区| 看看小穴| 91操人| 少妇精品久久久| 岛国在线一区二区三区| 亚欧美色图| 亚洲中文字幕网| 欧美精品一二三| 男人亚洲91首页在线| 一起草三级AV电影在线观看| 欧美丝袜激情| 狠狠操夜夜| 天天色怡春院| 黄色免费网页无码| 这里都是精品| 成年女人黄网站| 国产成人 综合亚洲 天堂| 91在线免费精品视频| 黑人猛交| 黄片视频,下载| 99热在线观看| 激情五月综合| 五月天婷婷成人网| 艳美熟妇先锋一二三区| 久久久久亚洲精品| 天堂精品| 鸥美极品| 国产精品嫩草久久久久| 夜夜嗨一区二区三区三州加勒比| 亚洲另类在线观看| 久久产精品一区二区三区电影| 亚洲视频小说| 国产福利第一视频| 夜夜性| 97久久超碰国产网站| 顶级丝袜熟女一区二区三区| 国产精品久久泡妞网站| 色老汉色| 亚洲棕合电彰| 97精品久久久久中文字幕| 亚洲综合伊人无码久久| 日韩激情无码影院| 中文字幕在线高清男人的天堂| 床上啊啊啊一区二区三区| 麻豆福利视频导航| 骚熟女AV网| 69XX一中文字幕人妻91| 黄色性爱网网| 丁香五月天堂网| 亚洲人妖网| 狠狠躁伊人中文字幕| 欧美不卡在线一区二区| 亚洲精品美女操逼| 日本熟妇一区二区三区| 91肉片| 国产精品电影推荐| 欧美很很操视频| 欧美性爱精品七区| 激情文学小说一区二区| 另类视频在线| 小视频玖玖| dy888午夜老子影视达达兔| 欧美日韩丝袜| 欧美亚洲国内自拍| 熟女91网| 精品人妻1区| 97精品中文字幕| GVH-003 母子姦 青木玲-麻豆视频,麻豆视传媒短视频网站入口,麻豆视传媒官网直 | 欧美 日韩 国产传媒| 丁香婷婷九月| 天天操夜夜嗨| 久久av无码| 亚洲日本大香蕉1| 精品人妻一区二区乱码一区二区| 亚洲熟妇自偷自拍另欧美| 亚洲综合另类小说色区亚洲成av人片在www | 久久精品成人一区二区三区蜜臀 | 激情啪啪拍91| 歐美性天天| 你懂的在线观看区国产| 69精品久久久久中文字幕| 久久亚洲人妻| 超清福利精品视频在线| 91麻豆天美国产欧美| 欧美韩日精品99综合| 浪人综合网| 91色碰| 亚洲爽图| 色噜噜婷婷| 久久精品操| 激情久久av一区av二区av| 国产成人精品午夜福利| 色欲Av人妻精品一区二| 九九热re99re6在线精品| 欧美96在线|欧| 国产精品午夜福利| 亚洲精品乱码久久久久久蜜桃麻豆| 九九九久千久久激情蜜桃在线看 | 一本色道人妻久久| 久久久成人免费av电影| 欧美青青草视频| 青青草色情网站视频| 好看的91视频| 久久超碰免费的| 精品久久大胆人体| 91久久久亚洲| 97五月天| 九九视频黄色片| 亚州久久9| 口爆吞精在线观看| 日韩十八禁| 四虎永久在线精品免费网址| 黄色激情电影在线观看| 久久综合av| 天堂8在线新版官网| 日日躁夜夜躁狠狠躁超爽| 中文字幕在线播放2中文字幕在线观看2| 大鸡巴久久| 熟女天天干| 国产精品久久久无码AV网站| 97超碰欧美精品| 九九热精品视频六| 大香蕉中文| 中文字幕乱码人妻二区三区| 国产一区自拍欧美日韩 | 青椒国产97在线熟女| 日日操丁香五月天| 丁香五月婷婷色| 精品少妇后入一区二区三区四区人妻巨乳 | 欧美综合色,www| 99久久com免费视频′| 日韩偷拍一区二区三区 | 91色综| 人人妻碰人人免费| 国模不卡一本二本三电影| 欧美顶级黄片AAAAA在线免费看| 国产路线专区| 色阁阁AV综合网| 五月丁香色婷婷| AVE乱伦| 东京男人天堂| n1038 一二三区| 亚洲激情在线| 69XX一中文字幕人妻91| 日韩av电影网站| 夜夜操av亚洲一区二区| 免费观看的黄色的网站| 久久婷婷精品| 久久熟妇五十路一区| 亚洲偷拍欧美激情| 精品无码久久久久久久久果冻糖心| 人妻无一区二区三区| 九色在线熟女国产黑人| 超碰97欧美在线| 国产25页| 国产高清自拍| 国产久久av| 色婷婷丁香五月| 日韩欧美中文字| 91老司机视频| 日本Xx性爱| 一区二区三区 丝袜 高跟 美腿| 天操老女人| 久这精品中文在线观看视频| 国产一区在线观看无码AV| 日本高清电影欧美色图| 精品久久九| 日本媚薬中文字幕在线| yellow网站免费观看日韩高清无码| 五月天激情小说| 精品一二三区女同| 欧美高清第一页| 黄片aaaaa一区| 97超碰色屌| 欧美日综合| 91c色| 99re这里只有精品中心播放| 曰韩少妇无码| 亚洲国产一区二区日韩专区| 人人操av| 超碰 欧美| 91人妻最真实刺激绿帽| 五月激情小说| 丝袜美腿91| 天天插夜夜操| 97色论| 综合久久99| 国产精品成人蜜臀AV在线| 美日韩在线不卡人妻| 精品国产乱码久久久久久网站入口| 综合欧美日本三级| 色九九九九| 另类天堂| 67914亚洲精品| 美女上床网站| A片 AV一级在线播放观看免费 | 国产丝袜啪啪| 中国一级操逼视频| 欧洲亚洲人妻无码中字久久三区四区| 欧美激情高清性猛交| 久久久久久久综合,国产| 美女高潮视频91| 超碰人人乐97| 亚洲色人妻综合| 中文字幕123| 亚洲一二三四区机械| 欧美成人精品欧美一级乱黄一区二…| 新婚人妻扶着粗大强行坐下| 熟啊v色欧美热| 在线视频 亚洲精品| 国产超碰国产97| 91国产丝袜白虎| 婷婷五月天AV| AV中文字幕三四五| 亚洲中文字母在线播放| 中文熟女五十乱码在线| 视频国产精品未满十八禁止在线观看| 美女诱惑在线一区| 国产精品爱欲| 色眯眯av| 99蜜桃臀亚洲成人在线观看| 久久区| 日本不卡三级网在线播放| 亚洲日韩美女丝袜美腿人妻视频| 91爽啪| 青青草国产欧美非洲黑人| 无码99| 精品综合久久久久久五月天| 九九色精品| 久久久久久久9最新免费视频观看| 热思思免费视频| 嗯……啊…嗯嗯…啊…好舒服| 91免费看中出视频| 天天爽天天操| 亚洲天堂资源网| 激情网五月天| 狠狠中文字幕| 国产超碰国产97| 老熟女中文字幕高清| 97欧美日韩精品| 强奸乱伦AV网址| 黑人无码一区二区| 北条麻妃99精品青青久久| 亚洲永久AV无码精品秋霞| 国产精品久久发布| 国内毛片欧美香蕉精品| 求求你操操我| 狠狠色噜噜狠狠狠狠狠色综合久久| 天天拍天| 天天流夜夜操| 日语五十路和六十路亚洲国产精品| 午夜精品久久久久| 人妻系列无码专区中文有码| 中文字幕二区| 99热色这里只有精品| 日本伦乱九九九综合| 天天综合网~91综合网| 91在线免费精品视频| 日本性爱欧美性爱| 国产成人网址| 玖玖爱伊人玖玖爱| 亚洲色婷婷久久91| 亚洲丁香花色| 国产女主播视频在线观看| 国产熟女一区二区| 国产夜夜艹| 乱伦图av| 91综合站| 少妇三P| 五月色综合| 色哟哟 日韩精品| 亚洲色图综合网| 九九综合色| 成 人 A V免费视频在线观看| 校园春色家庭伦理欧美激情| 天天综合精品| 天堂а√在线最新版在线| 精品一区二区2| 综合干干干av久久久综合网| 美国aaaaa一级黄片| 色综合一区二区三区| 精品一区二区麻豆| 91色色色| 熟妇xxxxx性春色| 极品色综合| 国产精品欧美激在线| 97操碰| 久久riav中文精品| 淫荡网址| 4虎在线视频| 日本不卡高清免v欧美日韩在线观看| 在线a v| 精品一区二区三区国产 | 狠狠欧美| 欧亚三区动漫| 日本韩欧美在线播放a| 日日日日做夜夜夜夜做无码97| 91色人妻| 超碰97久久观看| 麻豆视频国产一区二区| 亚洲精品欧美专业| 亚洲视频中文一区| 国产热RE99久久6国产精品首| 日韩成人高清一区二区| 青青草依人大香蕉| 1204金沙人妻懂旧版免费| 插入综合网| 爱做久久久久久| 日韩无码黄色片| 成人精品在线免费视频| 久久精品无码专区| 综合激情一一91| 色九九九九| 色999人与兽| 69人妻精品一区二区绯色| 人妻一区视频| 91人妻最真实刺激绿帽| 欧洲精品一级二级精品综合视频综合| 欧美手机在线综合| 亚洲欧美国产中文字幕| 国产超碰人人操| 日韩性爱再线视频| 色在线视频导航| 五十路一区无码| 色综合1991| 好吊爽好吊爽在线视频,中文字幕精品一区二区日本,国产良妇出轨视频在线观看, | 综合 亚洲 欧美| 人妻美腿丝袜制服诱惑综合天堂-| 乱欲视频| 亚洲精品一区二区免费在线观看| 免费看国产曰批40分钟怎么下载| 丝袜天堂网| 国产成人+综合亚洲+天堂| 人妻夜夜爽天天爽三区麻豆AV网站| 久久久久精| 神马麻豆福利院| 一区二区视频你懂的| 日韩精品99久久久久久中文字幕| 91亚洲不卡一区| 日韩专区数据列表-第3230页-精品国产一区二区三区香蕉 久久99熟女人妻中文字 | 免费网色网站| 中文自拍欧美影视| 91色夜| 中国黑人三级片网站上区| 久久黄色视频一区二区三区| 欧美日韩妖精91com| 久久,精品一二三| 91九色蝌蚪在线观看| 欧美成人精品一区二区男人蜜臀| 亚洲另类久操网| 亚洲图片婷婷五月天| 99re视频在线播放青草| 淫淫总合网| hd成人一区二区在线| 天啪| 毛片麻豆91糖心精品毛情片| 久久婷婷伊人| 911av网站免费观看| 91M一社| 天天看高清麻豆| www.色婷婷色综合| 亚洲性爱电影| 97精品一区二区视频在线观看| 国产传媒1234区| 国产精品香蕉热久久新品| 精品无码欧美三级| 午夜精品人妻二区三区| 久久久99久9| 国语av最新自产拍在线观看| 26uuu最新| 日本高清视频在线观看黄已三辽| 5252色欧美在线| 久久色情| 色久桃花影院在线观看| 清纯唯美亚洲综合| 超碰 欧美| 欧美制服网站美腿丝袜| 色综合九九| 就去色综合| 欧美色视| 樱花蜜乳av| 成人 日本A片无码8888| 99爱爱| 91人人爽人人爽人人人,gav福利视频导航,日韩欧美亚洲国产字幕四区 | 啪一啪免费视频| 新版天堂中文资源8在线| 六六久久日韩不卡| 乱理日韩中文| 99re热| 欧美第五页| 超碰97亚洲| 丰满人妻无码一区二区三区| 国产女生在线| 色综合中文字幕不卡| 天天看综合网| 性老妇一区二区三区| 9997se| 丁香九月婷婷| 大香蕉www.超碰| 亚洲国产欧美中日韩成人综合视频| 亚洲欧美经典一区二区 | 久久久久久久| 日本韩国国产精品一区| www.人人cao| www色色com| 97色碰| 性色A∨91| 亚洲欧美97√| 亚洲风情在线观看| 亚洲一区二区中文字幕| 欧美综合综合| 青青操日韩| 99热一区二区三区四区| 久久9 9 9精品| 我想要啊 啊 啊| 澳门黄片一香蕉视频| 中文字幕免费看大片| 美女久久久久久久| 国产欧美日产一区二区三区 - 国产欧美日| 亚洲色图综合| 免费观看的黄色的网站| 中文字幕丝袜人妻| 超碰 欧美| 国产亚洲女v在线观看| 热久久91婷婷| 91青青在线视频| 国产精品一区二区手机看片| 久草福利在线资源站| 天天澡天天爽日日AV| 岛国视频免费在线观看| 婷婷五月丁香五月| 九九亚洲色在线观看| 电家庭影院午夜69久久夜色精品国产69乱 | 中文字幕丝袜国产第一页不卡| 亚洲高潮少妇| 欧美日韩国产人人| 豆花视频操逼网址| 激情综合97| 女上位精品在线| 精品国产乱码久久久| 国产亲戚伦亲在线| 亚洲国产精品久久久男人的天堂| 国产熟女一区二区| 黄网色一区二区三区四区精品| 人妻精品综合中文字幕在线 | 亚洲天在线| 中文操嬖片。| 欧苏综合色综合| 亚洲一区二区av| 在线性黄高清免费视频| 91天天综合网,天天综合网| 激情小说亚洲| 婷婷伊人网| 亚洲熟妇白浆无码AV| 亚洲啪啪综合?v一区综合精品区| 五月丁香婷婷综合网| 午夜九九| 欧美操逼熟女| 日韩美女高潮喷水视频| 天天综合91| 欧美人妻精品| 舔人妻中文免费视频| 亚洲国产高清福利视频|