亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Redis三件套實戰(zhàn):redis-cli、hiredis與redis-benchmark完全指南

Redis三件套實戰(zhàn):redis-cli、hiredis與redis-benchmark完全指南 1. 開篇Redis三件套到底指的是哪三樣如果你跟Redis打交道超過一周遲早會在各種文檔、招聘要求、生產(chǎn)事故復(fù)盤里撞見這三個名字redis-cli、hiredis 和 redis-benchmark。它們偶爾被混為一談但實際上分工完全不同。redis-cli是Redis官方自帶的命令行客戶端一堆運維命令和日常調(diào)試都靠它hiredis是C語言的客戶端庫凡是需要在自己的程序里操作Redis的C/C開發(fā)者基本繞不開它redis-benchmark則是跟Redis一起發(fā)布的壓測工具想搞清楚你的Redis到底能扛多少并發(fā)它是最省事的選擇。這三樣東西放在一起恰好覆蓋了Redis使用場景里最核心的三個維度第一人直接操作Redis也就是調(diào)試、排查、管理第二程序操作Redis也就是業(yè)務(wù)代碼里的數(shù)據(jù)讀寫第三Redis本身的能力邊界也就是在沒有業(yè)務(wù)邏輯干擾下的極限性能。一個后端工程師如果能把這三樣東西吃透那Redis的日常使用基本不會有什么大坑了。這篇文章我會把自己實際用下來的經(jīng)驗寫清楚包括命令細節(jié)、C客戶端接入的常見坑、壓測參數(shù)怎么解讀以及現(xiàn)在網(wǎng)上特別熱的“redis-cli flushall”這個危險命令的前因后果。適合誰看呢如果你是剛接觸Redis的運維或后端開發(fā)這篇文章能幫你把工具鏈路串起來少走不少彎路如果你已經(jīng)在生產(chǎn)環(huán)境里用了Redis那中間那些關(guān)于hiredis超時設(shè)置、benchmark結(jié)果誤讀、flushall誤操作的內(nèi)容應(yīng)該也能讓你有點收獲。我不打算照著官方文檔復(fù)讀一遍那些你隨時能查我這里只講折騰過之后才明白的事情。2. 三者定位與選型邏輯先搞清楚誰負責哪一層2.1 一條Redis請求的完整生命周期在聊工具之前我們得先想清楚一個最基本的問題一條數(shù)據(jù)是怎么從你的業(yè)務(wù)程序里跑到Redis服務(wù)器的簡單說就是TCP連接、發(fā)命令、收響應(yīng)這三步。但工具不一樣它們的關(guān)注點差很多。redis-cli站在人的角度幫你把命令拼成RESP協(xié)議格式發(fā)送出去再把返回結(jié)果顯示在終端上。你輸入GET foo它負責的是把這個命令變成Redis服務(wù)器能解析的字節(jié)流。這個過程里你不需要考慮序列化、連接池、重連這些cli全都默默處理了。它的價值在于交互性一條命令敲下去馬上看到結(jié)果出了問題也能立刻復(fù)現(xiàn)驗證。hiredis是站在C程序的角度。它是一套庫你編譯鏈接它之后可以在自己的代碼里調(diào)用redisCommand這類API來和Redis通信。這個時候核心矛盾就不是“人能不能看懂輸出”而是“程序能不能穩(wěn)定高效地跑”。hiredis要處理連接管理、命令拼接、緩沖區(qū)讀寫、響應(yīng)解析、錯誤處理這些事情在cli里看不見但在庫的使用中全得面對。為什么很多公司把hiredis稱為Redis客戶端的事實標準因為它夠底層、夠穩(wěn)定、夠簡單沒有花里胡哨的框架邏輯一個文件就能集成進去。redis-benchmark有點特殊它不是客戶端而是“壓測負載生成器”。它用最簡單的模型不斷往Redis發(fā)命令統(tǒng)計每秒能完成多少次請求以及延遲分布。它的價值在于基準測試衡量的是Redis服務(wù)器本身在不同命令、不同數(shù)據(jù)大小、不同并發(fā)下的表現(xiàn)。注意它衡量的不是你的業(yè)務(wù)程序?qū)懙煤貌缓枚荝edis這顆“發(fā)動機”在理想工況下能輸出多少馬力。2.2 日常使用里的場景取舍我在實際工作中見過不少把這三者混為一談的情況。比如有人寫業(yè)務(wù)代碼時為了圖省事直接system調(diào)redis-cli去執(zhí)行命令這在大促鏈路里就是定時炸彈進程fork、網(wǎng)絡(luò)連接反復(fù)建立性能損耗遠高于直接用hiredis這類庫也有人拿redis-benchmark的測試結(jié)果去估算生產(chǎn)環(huán)境的容量這也是誤區(qū)因為生產(chǎn)環(huán)境有業(yè)務(wù)邏輯、網(wǎng)絡(luò)抖動、慢查詢、大Key等各種干擾因素benchmark只能作為上限參考。選型邏輯其實一句話就能講清楚你需要交互式排查用redis-cli你的程序要連Redis用hiredis或者你所在語言對應(yīng)的官方客戶端你想知道Redis的硬件資源能支撐多高并發(fā)用redis-benchmark。三個工具之間不是替代關(guān)系而是互補關(guān)系。新手最容易犯的錯就是把它們放在同一個維度里比較然后問“哪個更好”實際答案是“哪個更合適你現(xiàn)在要做的事”。3. redis-cli實戰(zhàn)細節(jié)不只是敲命令的工具3.1 連接方式與常用參數(shù)很多人用redis-cli就是redis-cli回車連本機的默認端口6379再輸入命令。但這遠遠不夠。生產(chǎn)環(huán)境里Redis往往有密碼、在不同機器上、甚至有多個實例如果只會默認連接那基本寸步難行。我常用的連接寫法是這樣的redis-cli -h 10.0.1.5 -p 6380 -a 你的密碼 --no-auth-warning這里有個細節(jié)容易坑到新手-a參數(shù)直接帶密碼的話服務(wù)器日志和shell歷史里會留下痕跡所以一般建議用環(huán)境變量REDISCLI_AUTH來傳密碼命令長這樣export REDISCLI_AUTH你的密碼 redis-cli -h 10.0.1.5 -p 6380另外如果Redis實例數(shù)量多我強烈建議在配置文件或者啟動腳本里把這些默認值固化下來。用--connect-timeout控制連接超時--tls開啟TLS加密連接--sni指定SNI這些參數(shù)在高安全要求的環(huán)境里都用得上。實操中還有個很實用的用法就是不進入交互模式直接執(zhí)行單條命令后返回結(jié)果這在shell腳本里非常好用redis-cli -h 10.0.1.5 -p 6380 GET user:123:name配合管道符還可以批量處理比如把一堆key從文件里讀出來挨個查詢cat keys.txt | xargs -I{} redis-cli -h 10.0.1.5 -p 6380 GET {}這會一個key建立一次連接效率不高但勝在簡單直觀。如果key數(shù)量大我更推薦用--pipe模式批量導(dǎo)入命令那個后面單獨說。3.2 排查慢查詢和熱Key的實用命令說實話日常排查Redis性能問題用redis-cli的幾個內(nèi)置命令能解決大部分問題。首推的是SLOWLOG命令它負責查看Redis執(zhí)行的慢查詢記錄。Redis的慢查詢標準是執(zhí)行時間超過某個閾值默認是10毫秒可以通過配置slowlog-log-lower-than調(diào)整。實際排查時我會這樣操作redis-cli slowlog get 10這條命令取最近10條慢查詢記錄能看到執(zhí)行時間戳、耗時、執(zhí)行的命令。當年查線上問題時用slowlog get一眼就看出來有個SMEMBERS操作掃了百萬級別的集合耗時1.2秒直接把那個key拖垮了。另一個排查熱Key的思路是--hotkeys不過要注意這個功能需要Redis 4.0及以上版本并且需要打開object-max-scan相關(guān)配置運行后它會掃內(nèi)存找出訪問頻率最高的keyredis-cli --hotkeys輸出里會顯示每個key的訪問頻次、占用內(nèi)存等信息做緩存熱點分析時相當直觀。不過注意這命令會掃描整個key空間生產(chǎn)環(huán)境用的時候要挑業(yè)務(wù)低峰期。還有個排查集群狀態(tài)的命令組合redis-cli --cluster check能檢查集群健康度redis-cli --cluster info能看到槽位分配情況。哪怕是單機環(huán)境redis-cli info memory、redis-cli info stats這些都值得養(yǎng)成習慣畢竟定位問題最快的路徑往往是從基本信息開始的。3.3 --pipe批量導(dǎo)入的正確姿勢如果你要往Redis里塞大量數(shù)據(jù)一條條SET太慢for循環(huán)也是淚。官方其實給了一個效率很高的方式--pipe參數(shù)。它的原理是客戶端把命令按RESP協(xié)議格式組裝好一次性發(fā)給Redis服務(wù)端服務(wù)端再批量執(zhí)行。我實測過千級、萬級的key用這種方式導(dǎo)入速度比逐條命令快一個數(shù)量級以上。構(gòu)建數(shù)據(jù)格式是個小門檻。注意這里不是簡單的換行分隔而是RESP協(xié)議格式。比如要設(shè)置一個字符串key對應(yīng)的數(shù)據(jù)文件要寫成這樣*3\r\n$3\r\nSET\r\n$3\r\nfoo\r\n$3\r\nbar\r\n人肉寫這個格式容易瘋所以我一般用腳本生成。比如用Pythonimport sys def build_resp_command(*args): parts [f*{len(args)}\r\n] for arg in args: arg_bytes arg.encode(utf-8) parts.append(f${len(arg_bytes)}\r\n) parts.append(arg.decode(utf-8)) parts.append(\r\n) return .join(parts).encode(utf-8) with open(data.txt, wb) as f: for i in range(10000): cmd build_resp_command(SET, fbatch:key:{i}, fvalue-{i}) f.write(cmd)生成后用redis-cli --pipe data.txt導(dǎo)入。注意--pipe模式下如果數(shù)據(jù)量大會占較多內(nèi)存因為客戶端要構(gòu)建完整的輸出緩沖區(qū)。導(dǎo)入完成后命令行的反饋里會顯示導(dǎo)入的數(shù)據(jù)量、錯誤數(shù)、耗時反正我每次看到那個數(shù)字都比一條條set快好幾倍心情還是不錯的。3.4 千萬別手滑redis-cli flushall與誤刪數(shù)據(jù)的保護說道redis-cli我必須專門開一個小節(jié)來講“redis-cli flushall”這件事因為網(wǎng)上相關(guān)的討論熱度一直不減身邊也確實有人因此吃過虧。FLUSHALL這個命令的作用是清空當前Redis實例里的所有數(shù)據(jù)還有個FLUSHDB是清空當前選中的數(shù)據(jù)庫。開發(fā)環(huán)境里隨便用無所謂但生產(chǎn)環(huán)境一旦執(zhí)行數(shù)據(jù)瞬間就沒了如果沒開AOF重寫或RDB快照恢復(fù)成本能讓人崩潰。為什么隨手敲了FLUSHALL會“誤執(zhí)行”我分析下來主要原因有兩個一是redis-cli默認不會二次確認二是很多人的備份策略不完善。Redis官方其實早就考慮過這個場景從4.0開始你可以在配置文件里開啟rename-command把FLUSHALL重命名成一個別人猜不到的名字比如rename-command FLUSHALL admin_flushall_2024這樣即使別人連上你的Redis敲FLUSHALL也會收到未知命令的錯誤。但說實話這招防君子不防小人真正接入生產(chǎn)系統(tǒng)的程序如果寫了FLUSHALL重命名后它會直接報錯反而暴露了代碼問題。我的建議是生產(chǎn)環(huán)境把下面的保護措施做成標配開啟AOF持久化并配置appendfsync everysec這樣最多丟1秒數(shù)據(jù)用SAVE或BGSAVE定期做RDB快照備份文件備份到異地禁止應(yīng)用賬號使用CONFIG SET和FLUSHALL用rename-command把這些高危命令換掉使用Redis 6.0及以后版本中的ACL功能為業(yè)務(wù)賬號分配最小權(quán)限。再補充一句很多人有個誤解以為FLUSHALL之后馬上用SHUTDOWN NOSAVE可以避免數(shù)據(jù)落盤從而防止數(shù)據(jù)被清掉。實際情況恰恰相反如果你開了RDB執(zhí)行FLUSHALL之后再做SHUTDOWN SAVE或自動快照清空后的狀態(tài)反而會被寫進快照文件里恢復(fù)出來的還是一個空庫。所以一旦發(fā)生誤操作正確順序是第一時間斷開應(yīng)用連接檢查有沒有AOF重寫進程或者RDB快照進程正在跑能停就停然后從最近的備份做恢復(fù)。這些操作要提前演練過等事故真發(fā)生了再翻文檔那心態(tài)完全不一樣。4. hiredis接入指南C程序里操作Redis的硬碰硬體驗4.1 初始化與連接池基本套路hiredis的安裝方式很直接從GitHub拉源碼或者通過系統(tǒng)的包管理器安裝。在Linux上包名一般是libhiredis-dev裝好后會有/usr/include/hiredis/hiredis.h和libhiredis.so這樣的文件。代碼里最基本的連接方式是這樣#include hiredis/hiredis.h redisContext *ctx redisConnect(127.0.0.1, 6379); if (ctx NULL || ctx-err) { if (ctx) { printf(連接錯誤: %s\n, ctx-errstr); redisFree(ctx); } else { printf(無法分配redisContext\n); } return -1; } redisFree(ctx);很多開發(fā)者第一次寫完這段代碼都會問一個問題為什么每次操作Redis都要重復(fù)創(chuàng)建連接如果你只是寫個一次性腳本無所謂但在高并發(fā)服務(wù)里每次都重新建立TCP連接的開銷非常大。正確的做法是維護一個連接池把redisContext對象復(fù)用起來或者用redisConnectWithTimeout加超時防止連接卡死struct timeval timeout {1, 500000}; // 1.5秒 redisContext *ctx redisConnectWithTimeout(127.0.0.1, 6379, timeout);4.2 命令執(zhí)行與結(jié)果解析的幾種寫法hiredis里最常用的命令函數(shù)是redisCommand和redisCommandArgv。前者把命令格式化成字符串后發(fā)送后者用參數(shù)數(shù)組方式避免拼接注入風險。直接看一眼代碼redisReply *reply; reply redisCommand(ctx, SET %s %s, name, 張三); if (reply NULL) { printf(命令執(zhí)行失敗\n); return -1; } if (reply-type REDIS_REPLY_ERROR) { printf(命令錯誤: %s\n, reply-str); freeReplyObject(reply); return -1; } printf(結(jié)果類型: %d\n, reply-type); if (reply-type REDIS_REPLY_STRING) { printf(值: %s\n, reply-str); } freeReplyObject(reply);這里有個細節(jié)值得注意redisReply對象的類型有很多種常見的包括REDIS_REPLY_STRING、REDIS_REPLY_ARRAY、REDIS_REPLY_INTEGER、REDIS_REPLY_NIL、REDIS_REPLY_STATUS、REDIS_REPLY_ERROR。每種類型對應(yīng)的解析方式完全不同。新手最容易踩的坑是把REDIS_REPLY_INTEGER當成字符串解析打印出來全是奇怪的數(shù)字或者反過來拿字符串去當數(shù)字做運算直接段錯誤。一定要養(yǎng)成先檢查type再決定怎么讀內(nèi)容的習慣。在非阻塞模式下處理方法是完全不同的。hiredis為異步場景提供了事件驅(qū)動APIredisAsyncContext配合redisAsyncCommand注冊回調(diào)函數(shù)。你的程序在發(fā)出命令后不等結(jié)果繼續(xù)處理其他事情Redis返回的數(shù)據(jù)到了之后事件循環(huán)觸發(fā)回調(diào)。這個方式在單線程高性能網(wǎng)絡(luò)服務(wù)里很有優(yōu)勢但代碼復(fù)雜度也上來了。我在自己的工具里用的比較多的是同步模式異步模式一般配合libevent或libuv使用。redisAsyncContext *actx redisAsyncConnect(127.0.0.1, 6379); if (actx-err) { printf(異步連接失敗: %s\n, actx-errstr); return -1; } redisAsyncCommand(actx, callback, SET key value);回調(diào)函數(shù)里處理redisReply指針記得在回調(diào)里用完調(diào)用freeReplyObject釋放內(nèi)存不然內(nèi)存泄漏得悄無聲息。4.3 超時、重連與內(nèi)存管理的坑hiredis最被詬病的一點是它不太管“重連”這件事。連接斷了就是斷了它不會自動幫你恢復(fù)你需要自己用redisReconnect或者重新redisConnect。我在日志系統(tǒng)里接入Redis時第一版代碼就漏了重連判斷結(jié)果Redis實例一重啟日志全丟了排查半天才發(fā)現(xiàn)連接已經(jīng)是死連接傻傻往里寫。后來養(yǎng)成了習慣每次命令執(zhí)行前檢查ctx-err出錯就嘗試重連。另一個高頻問題是內(nèi)存管理。我記得redisReply必須用freeReplyObject釋放這是hiredis最基礎(chǔ)的內(nèi)存紀律。多線程環(huán)境下線程安全同樣要小心同一個redisContext不能被多個線程同時使用每個線程要么建獨立連接要么加鎖。因為hiredis內(nèi)部緩沖區(qū)不是線程安全的并發(fā)讀寫輕則數(shù)據(jù)錯亂重則崩潰。命令拼接的安全問題我在這里額外強調(diào)一下。用redisCommand(ctx, SET %s, user_input)這種寫法如果user_input里帶了引號或者特殊字符很可能被解析成多個參數(shù)甚至導(dǎo)致命令注入。雖然Redis沒有SQL那種強結(jié)構(gòu)注入但安全風格還是要小心。更推薦的寫法是redisCommandArgv它接受參數(shù)數(shù)組不會把輸入當命令去解析char *argv[] {SET, user:name, 張三}; size_t argvlen[] {3, 9, 6}; redisReply *reply redisCommandArgv(ctx, 3, argv, argvlen);實際編碼時用redisCommand做調(diào)試很方便但正式上線代碼我一般全部改成redisCommandArgv省心很多。5. redis-benchmark壓測指南讀懂數(shù)字背后的門道5.1 壓測參數(shù)的正確打開方式redis-benchmark作為Redis自帶的壓測工具用起來其實很簡單但看懂輸出一點都不簡單。直接跑redis-benchmark -h 127.0.0.1 -p 6379它會用50個并發(fā)客戶端發(fā)100000個請求默認使用PING_INLINE、SET、GET等若干命令進行測試。輸出結(jié)果類似下面這樣 SET 100000 requests completed in 1.20 seconds 50 parallel clients 3 bytes payload keep alive: 1 99.57% 1 milliseconds 100.00% 1 milliseconds 83333.33 requests per second我見過不少人一看到83333 requests per second就開始拿這個數(shù)字去估算生產(chǎn)容量這是特別危險的。這個數(shù)字是極限理想值它沒有經(jīng)過業(yè)務(wù)邏輯、沒有限制連接數(shù)、沒有磁盤持久化競爭更不能代表真實線上表現(xiàn)。壓測前有幾個參數(shù)值得重點關(guān)注我先列出來-n請求總數(shù)越大越穩(wěn)定建議至少十萬級。-c并發(fā)連接數(shù)模擬同時活動的客戶端數(shù)量。-P管道批處理數(shù)量用管道時客戶端可以一次性發(fā)送多個請求吞吐會大幅度提升。-d數(shù)據(jù)大小默認3字節(jié)壓測大Key需要改大這個值。-t只壓測指定命令比如-t SET,GET。-r隨機key范圍避免所有請求都落在同一個key上。-q安靜模式只輸出最終結(jié)果。比如你想模擬100個客戶端并發(fā)寫10萬次、數(shù)據(jù)大小128字節(jié)、key隨機分布在100萬個里命令就可以寫成redis-benchmark -h 127.0.0.1 -p 6379 -t SET -n 100000 -c 100 -d 128 -r 1000000 -q5.2 延遲分布與百分位的解讀很多人只看requests per second這一行忽略了延遲百分位信息。Redis的延遲分布能暴露許多吞吐量掩蓋的問題比如99%的請求都在1毫秒內(nèi)完成但99.9%的請求突然跳到50毫秒這中間往往有阻塞點可能是慢查詢、網(wǎng)絡(luò)抖動、或者Redis后臺的RDB快照在fork時引發(fā)的短暫暫停。壓測輸出里的百分位數(shù)據(jù)非常重要我一般會關(guān)注這幾個值1 milliseconds的占比、10 milliseconds的占比、最大響應(yīng)時間。如果你發(fā)現(xiàn)尾部延遲很高就需要用--latency參數(shù)做更細的統(tǒng)計它會輸出平均延遲、最大延遲和標準差。用--csv參數(shù)還能把結(jié)果導(dǎo)出成CSV方便做多次測試對比redis-benchmark -h 127.0.0.1 -p 6379 -t GET -n 100000 -c 100 --csv result1.csv在生產(chǎn)環(huán)境做基準測試時最好在Redis服務(wù)器上用INFO命令把當時的內(nèi)存、連接數(shù)、命中率、持久化狀態(tài)都記錄下來。這樣后續(xù)再比對壓測數(shù)據(jù)才能準確歸因。純壓一次不記上下文等于白測。5.3 常見誤區(qū)把benchmark結(jié)果當承諾這里我專門辟幾個謠這些全是我見過或踩過的坑。第一個誤區(qū)壓測數(shù)字高就代表機器好。不一定。同樣是這臺機器如果壓測時用了管道-P 16吞吐量會大幅上漲甚至翻幾倍但這并不能直接體現(xiàn)在你的業(yè)務(wù)里因為業(yè)務(wù)程序不可能每時每刻都靠管道把請求攢起來發(fā)。第二個誤區(qū)并發(fā)數(shù)越大越好。實際壓測時你會發(fā)現(xiàn)一個規(guī)律并發(fā)數(shù)從50提升到500吞吐量一開始上漲隨后會趨于平緩甚至下降。原因是CPU核心數(shù)有限一旦處理能力飽和更多并發(fā)只會增加隊列等待和上下文切換開銷。要找準這個拐點就多跑幾組不同并發(fā)數(shù)對比比如-c 50、-c 200、-c 500記錄各自的QPS和延遲分布。第三個誤區(qū)壓測命令太單一。生產(chǎn)環(huán)境里有讀有寫有大Key小Key有TTL過期甚至還有LREM、ZADD這類復(fù)雜操作。只測GET/SET得出來的結(jié)論放到真實場景里基本不可用。想壓測復(fù)雜命令可以用-t指定命令比如redis-benchmark -h 127.0.0.1 -p 6379 -t LPUSH,LRANGE -n 50000 -c 100 -r 100000這里LPUSH模擬寫入LRANGE模擬讀列表。把多種命令混合起來才能模擬出比較接近業(yè)務(wù)的請求模型。5.4 基準測試的進階用法與擴展方案其實redis-benchmark的定位是“快速驗證用的標準負載發(fā)生器”如果壓測要求更高比如需要自定義腳本模擬業(yè)務(wù)邏輯、控制請求的發(fā)送間隔那更合適的方式是用memtier_benchmark這類工具或者直接自己寫壓測腳本。個人實踐中我一般先用redis-benchmark做一輪粗測快速判斷Redis實例有沒有明顯的性能瓶頸比如是不是到了網(wǎng)絡(luò)帶寬極限、CPU是不是已經(jīng)打滿然后如果有必要再編排更復(fù)雜的壓測場景。比較推薦的做法是在保持-n請求總量不變的前提下做幾組對照實驗。比如一組是數(shù)據(jù)大小32字節(jié)一組是1024字節(jié)一組是10KB。Redis的吞吐量會隨數(shù)據(jù)大小明顯變化這條曲線對你的容量規(guī)劃非常有參考價值。Redis官方還提供了一個調(diào)試利器--bigkeys它能掃描Key空間里占用內(nèi)存最大的key在壓測過程中能發(fā)現(xiàn)是否有大Key拖慢了其他命令。這個配合redis-benchmark使用往往能找到性能問題的根源。簡單說benchmark只是告訴你“多快”而--bigkeys告訴你“為什么沒想象中的快”。6. 守護Redis實例安全指南與日常體檢清單6.1 ACL權(quán)限與高危命令治理Redis 6.0之后ACLAccess Control List成為標配。用redis-cli管理ACL非常方便可以為不同程序、不同人員分配不同權(quán)限。比如給業(yè)務(wù)程序賬號只授權(quán)基本讀寫命令不授權(quán)FLUSHALL、CONFIG、SHUTDOWN這類高危命令redis-cli ACL SETUSER app_user on 密碼 ~app:* read write -admin這里read write -admin的意思是允許讀取和寫入類命令禁止admin類別命令。~app:*是key模式表示只能訪問以app:開頭的key。這套ACL權(quán)限下來就算應(yīng)用被入侵能造成的最大危害也被限制在app前綴的key里不能翻看全庫的數(shù)據(jù)。6.2 日常體檢這些信息你多久沒看了我在每周的巡檢里會固定跑幾條redis-cli命令用來判斷Redis的運行狀態(tài)是否健康redis-cli info memory查看used_memory、used_memory_rss、mem_fragmentation_ratio內(nèi)存碎片率如果長期大于1.5說明內(nèi)存碎片嚴重可能需要重啟實例或調(diào)整jemalloc配置。redis-cli info persistence確認rdb_last_bgsave_status和aof_last_bgrewrite_status是否都是ok一旦出現(xiàn)失敗磁盤IO可能存在瓶頸。redis-cli info stats看total_commands_processed、expired_keys、evicted_keys等指標。突然飆升的evicted_keys說明內(nèi)存壓力大可能導(dǎo)致緩存雪崩。redis-cli info clients確認connected_clients是否合理有沒有積壓連接。redis-cli info cpu看used_cpu_sys和used_cpu_user如果CPU長期跑滿就需要考慮集群擴容了。不建議每次都敲一長串命令可以把它們寫進一個腳本定時執(zhí)行把輸出拉到一個監(jiān)控系統(tǒng)里去。沒有監(jiān)控的Redis等于蒙著眼睛開車出事是必然的只是時間問題。6.3 誤操作后的恢復(fù)流程復(fù)盤接前面第3.4節(jié)我再詳細展開一次誤執(zhí)行FLUSHALL后的恢復(fù)流程。這個場景我是真真實實在測試環(huán)境里演過的也見過同行分享生產(chǎn)事故復(fù)盤。整個流程按時間線分三步第一步凍結(jié)。一旦發(fā)現(xiàn)誤操作先別急著重啟Redis。用redis-cli shutdown nosave關(guān)閉實例避免后續(xù)的自動快照把清空后的狀態(tài)持久化覆蓋掉最后一份RDB文件。如果你的Redis開啟了AOF關(guān)閉過程會觸發(fā)AOF重寫嗎這部分不同版本有差異建議先把Redis停了再檢查磁盤上的AOF文件大小和時間戳。第二步檢查備份。找出最近的RDB文件或AOF文件。注意RDB文件的生成時間非常重要如果在FLUSHALL之前幾分鐘剛剛生成過那是最理想的如果你只開AOF恢復(fù)時用redis-check-aof先校驗一下文件完整性再讓Redis加載。用合適的備份文件覆蓋掉本地的dump.rdb和appendonly.aof再啟動Redis實例。第三步回放增量操作。AOF文件里如果有FLUSHALL命令本身恢復(fù)時會再次執(zhí)行一遍又把庫清空。所以在啟動之前要手動編輯AOF文件把FLUSHALL、FLUSHDB這樣的高危命令行刪除。用編輯器處理AOF文件時要格外小心必須保留RESP協(xié)議的格式刪完再用redis-check-aof驗證一下。如果數(shù)據(jù)量巨大可以選用Redis 6.2版本以上提供的MODULE或者更自動化的恢復(fù)腳本但核心思路還是那兩個字快、準。經(jīng)過這個流程我最大的體會是與其每次祈禱不要手滑不如提前把權(quán)限、備份、重命名高危命令這些事做成自動化。Redis本身是一個極其可靠的工具出事故的從來不是它自己而是用的人。7. 三件套協(xié)同工作的一個實戰(zhàn)案例講了這么多概念不如串起來看一個真實案例。假設(shè)我有個活動服務(wù)用Redis做用戶維度的計數(shù)和排行榜一天要處理千萬級請求。為了保證穩(wěn)定我想知道當前這臺機器上的Redis能不能扛住明天的活動峰值。這個場景里三件套是怎么配合的首先我用redis-cli查看當前實例的負載情況內(nèi)存占用、連接數(shù)、慢查詢、命中率。結(jié)果發(fā)現(xiàn)used_memory_rss偏高說明內(nèi)存碎片需要關(guān)注同時connected_clients只有40個遠低于預(yù)期慢查詢里經(jīng)常出現(xiàn)ZRANGEBYSCORE對大key的操作這提示排行榜可能需要分片了。然后我用redis-benchmark按業(yè)務(wù)比例做壓力摸底參數(shù)上模擬活動的兩個主要動作寫計數(shù)INCR和讀排行榜ZREVRANGE。命令大概是redis-benchmark -h 127.0.0.1 -p 6379 -t INCR,ZREVRANGE -n 200000 -c 200 -r 1000000 -d 64 -P 2 -q跑完發(fā)現(xiàn)INCR的QPS大約8萬ZREVRANGE因為key長度和數(shù)據(jù)量的影響只有2萬多差距明顯。這提示如果活動高峰里讀排行占比很高需要給Redis加緩存或者做讀寫分離否則扛不住。最后我需要確認自己寫的C程序接的hiredis連接池參數(shù)是否合理。于是我在壓測的同時跑了一個接入hiredis的模擬程序連續(xù)發(fā)起INCR請求。結(jié)果發(fā)現(xiàn)hiredis側(cè)的最大延遲比redis-benchmark報出來的高了近3倍。排查后定位是因為連接池只開了10個連接在200并發(fā)需求面前嚴重排隊。調(diào)大連接池到50后延遲立即掉下來了。整個過程把三件套從運維排查、性能摸底、代碼接入三個角度串聯(lián)了起來。沒有redis-cli我很難快速定位到已有的大Key問題沒有redis-benchmark我拿不出量化參數(shù)做容量評估沒有hiredis的實戰(zhàn)驗證我只能停留在工具層面根本沒能發(fā)現(xiàn)連接池造成的性能瓶頸。這三樣東西在真實運維和開發(fā)場景里缺一不可。8. 收尾我在實操中的一點體會最后說點個人的經(jīng)驗吧。用Redis這么多年redis-cli、hiredis 和 redis-benchmark這三樣其實不只是一個工具鏈更像是一面鏡子照出你對Redis整體的理解程度。很多人覺得redis-cli太簡單實際上--pipe、--bigkeys、--hotkeys這些高級用法才是效率分水嶺很多人覺得hiredis只是C語言的API封裝實際上連接池、超時、重連、內(nèi)存管理這些你想躲都躲不掉很多人拿benchmark跑個分就完事實際上延遲百分位、key大小、并發(fā)數(shù)、命令混合度這些變量才是壓測里真正有價值的信息。我自己的習慣是每接手一個新的Redis環(huán)境第一件事就是先跑一輪redis-cli的信息收集和慢查詢檢查再跑一輪benchmark做基線記錄最后再檢查程序接入層用的客戶端庫hiredis或者其他語言等價物的連接參數(shù)配置。這套流程走下來大部分風險點基本都能提前暴露出來。至少到目前為止我還沒在Redis上出過特別丟臉的生產(chǎn)事故提前做功課的功勞占一大半。數(shù)據(jù)無價操作有風險。希望大家在享受Redis高性能的同時也保持一份敬畏心多花十分鐘做權(quán)限治理和備份演練這比任何事后補救都值。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美亚洲今日在线| 久久伊人青青草| 亚州一区二区| 无码九九| 性交一区二区在线播放| 伊人加勒比| 后入式999| 啊啊啊用力在线观看| 久久精品亚洲成a人天堂| 超碰欧美97资源| 美女诱惑1区2区| 在线观看国产黄色| 中文字幕一区二区三区字幕| 香蕉视频精品亚洲一区二区三区在线播| 天天色悠悠激情| 久久精品欧美一区二区三区不卡| 久久国产在线一区二区| 综合色区偷拍| 91九色丰满高潮| 亚洲丝袜B诱惑| 久久婷五月| 日韩在线一区高清在线| 一本久道久久综合狠狠爱一密臀精| 色哟哟av网址| 日本丝袜美腿人妻九九| 国产精品成人福利在线| 国产尤物AV尤物在线观看不卡| 综合色欧美| 久久九九热| 欧美婷婷久久| 91美女丝袜诱惑视频| 欧美性爱三区二区| 激情 欧美 亚洲 小说| 91人妻人人澡人人爽人人精品| 91网站在线播放| 亚洲日产专区婷婷| 日本最新1区2区3区| 麻豆黄色五月天| 欧美熟爽综合| 91艹逼精品| 啊啊啊在线观看免费视频| 欧美大香蕉在线观看| 亚洲精品一区中文字幕乱码| www.激情| 嗯阿好爽好紧| 99热国产| 久久久内射良家| 久热网| 天美传媒av在线| 亚洲欧美日韩国产丝袜自拍中文| 欧洲性人爱视频| 日韩人妻无码精品系列| 日韩一级二级三级免费看完整版国语版| 欧美亚洲第1页| 99爱爱| 久久9免费视频| 极品久久久久久久久久久久久久| 美日韩一二三区| 99热精品国产| 国产乱码久久久| 欧美香蕉视xxx| 久久久久久久久久va| 青春草莓视频在线观看网址| 乱操乱伦AV| 大屁股人妻女教师撅着屁股| 色综合久久av| 婷婷中文网| 97色婷| 亚洲欧美精品一区天堂久久| 六月婷激情福利天堂69| 中文在线久久字幕| 亚州Av天美传媒| 欧美九一精品久久久熟妇| 日夜尻逼网| 91n处女在线观看| 东京太热男人的天堂久久久| 欧美在线永久天堂| 色综合久久久久| 91操人视频| 性欧美另类高清| 91美女在线视频| 国产诱惑| 内射夫妻三片| 国产三级日产三级韩国三级| 女同性恋一区二区三区精品视频| 校园春色亚洲无码| 97色在线视频| 国产日韩在线播放av| 天美麻花大全视频| 无码精品啪啪啪一区二区三区三州| 后入式999| 污色区网站| 69少妇一区二区| 色婷网| 大香蕉伊人在线成人AV在线观看| 欧美综合自拍亚洲综合图| 97干97色| 韩国午夜理伦三级好看| 999综合色| 97在线播放 | 国产乱码久久久| 少妇久久久久久| 亚洲精品人妻在线| 国产大片精久久久久久| 亚洲黄色电影| 老司机射| 热久日综合| 插入逼91| 91精品91久久久中77777| 日韩9999| 一区二区三区美女超清| 97超级久久强资源| 国产传媒美日韩av| 成人五月天丁香激情综合| 亚洲成人无码影院| 97操在线| 国产真实野战在线视频| 日本五区不卡| 欧美日韩性爱无码| 99国产精品免费| 99热伊人| 伊人久久婷婷| 97久久超碰亚洲| 偷拍亚洲熟女视频播放| 有码人妻系列| 大象AV在线| 日韩精品99999| 青青草导航在线视频| 国产精品白丝在线播放| 九九成人精品| 国产美女高潮叫床视频| 91丰满| 亚洲一区中文字幕一区| 蜜臀99久久精品久久久久久| 婷婷久草| 男人天堂欧美| 99999精品成人| 中文字幕丰满人妻日本| 丝袜制服字幕在线| 草草电影院| 国产成人资源| 国产欧美在线观看免费观看| 操b网站亚洲无码| 色激情综合网站| 中亚av| 国产传媒日韩| 日韩 成人 有码| 99亚洲精品| 日本精品国产视频| 日本色色色色色视频| 综合九九| 婷婷五月天丁香花| 岛国在线国产| 久久九九热| 五月婷婷色| 国产又黄又爽| 亚洲精品一卡二卡三卡福利视频网站 | 69视频入口| 国产高清1234区| 视频不卡中文字幕| 麻豆视频test| 噜噜噜在线视频| 亚洲色情在线影视| 久综合网| 99久久精品国产高潮| 亚欧操逼片在线观看 | 人妻精品4K4K4K4K4| 国产无码高清操逼视频| 97欧美色| 啊啊啊好湿久久| 樱花蜜乳av| 国产又大又粗又长视频| 欧美色图天堂在线| 无码黑人精品一区二区三区三| 大香蕉92| 欧美超碰96| 中文字幕免费看大片| 伊人91| 97精品综合久久网| 俺去也婷婷| 欧洲黄色网| 99久在线精品99re8| 亚洲影视综合网| 人妻系列无码专区中文有码| 欧美一级在线观看成人| 欧美色图片欧美色图| 大香蕉伊人色偷偷在线| 欧美劲爆视频一区二区| 亚洲色系另类精品国产| www.男人的天堂| 国产少妇内射| 国精综合一二三区影视| 天综合网| 六月激情婷婷| 黄色一区二区秘书性感| 熟女探花啪啪| 日日噜噜夜夜久久亚洲一区二区| 中文字幕在线高清男人的天堂| www.亚洲黄色| www熟女乱伦com| 天天搞欧美| 超碰人妻中文在线| 久久成年精品| 久久久草成人网站久久久草成人久久久草久久久 | 夜夜骑操视频| 自拍视频大全亚洲专媒视频/一区二区三区| 久久99精品视频| 亚洲国产成人精品无码专区| 少妇一区二区三区精选| 日本综合色图| 成人天天爽| 成人热久久精品| 91n美女视频| 伊人久久大香大香线蕉中文| 日韩 欧美 视频 在线 一区| 欧美日本国产日韩激情视频| 草草影院最新网址| AⅤ片水多多| 综合另类| 国产特级毛片AAAAAA高潮流水 | 九九热免费国产视频婷婷伊人| 久久综合九九| 深夜操逼网| 99综合| 九九色逼| 九九九综合精品| www四虎| 久久久久久亚洲精品不卡人乳| 中文字幕在线高清男人的天堂 | 精彩视频日韩| 香蕉一区二区三区在线视频| 亚洲精品欧洲精品| 九九拍拍精品视频在线播放 | 蜜臀亚洲综合一二三四区| 国产AV天美| 青青草伊人久久| 91精品成人| 中文字幕一区二区三四五区日日骚| 青青久操| 日日AAvv| 国产高清亚洲日韩一区| 日韩人妻一二三区视频| 亚洲一区二区中文字幕| 九九黄色网| 欧美男女午夜啪啪| 九一国产精品| 欧美色图欧美| 久久久久久久久久va| AV一区观看| 久久性爱大全| 大香樵伊人网| 色眯眯av| 青草成人免费视频一COm| 久久精品国产亚洲5555| 欧美强奸乱| 天天摸,夜夜摸| 精品福利视频| 国产后入清纯| 国产色产精品在线观看| wwwcaobibi| 亚洲成人碰碰| 日韩欧美天天爽爽爽天天爽爽| 91男人综合| 91网站18| 国产一区二区三区精品观看啪| 亚洲国产精品久久久久久久久久| 91精品综合久久久久久五月丁香| 99re热| 上特色A在线| 在线国产福利网址导航| 日韩三级网址| 噜噜噜噜久久久精品免费| 精品91| 色青青久久影视| 丁香婷婷激情五月天无毒不卡| 大香蕉日韩欧美| 大香蕉一级黄色片久久| 超碰久热| 蜜桃视频啊啊啊啊| 人妻一二三区| 欧美日韩免费专区在线| 美女极品一区二区三区| 亚欧精品久久久久久久久久久| 色色色色色色色色综合| 午夜国产乱伦视频| 嗯啊免费视频| 超碰天天去日穴| 370p日韩欧美亚洲精品| 粉嫩国产精品久久粉嫩| 99久草| 国产精品无码在线| 国产情色第一第二页在线观看| 精品人妻一区二区三区日产| 色丁香五月婷婷| 国产精品密臀网在线观看| 国产精品久久久 | 精品夜夜澡人妻无码| 日韩人妻精品| 尹人免费观看视频在线| 亚洲男人的天堂一区二区| 亚洲男人在线观看天堂 | 欧美,亚洲,日韩,v,天堂,手机在线观看| 97视频网站| 五月天久久久| 男人天堂2019| 亚洲成人一二三区| 乱欲视频| 欧美午夜视频| 91三级理论片播放器| 欧美日韩精品久久| 亚洲日韩美女中文字幕乱| 国产精品久久久777| 国产精品成久久久久午夜午夜| 欧美九9 9 9| 久久亚洲一区女同性恋中文字幕 | 欧美大干日韩| 午夜一区| 大香蕉中文| 花野真衣| 无码聚合| 啊啊啊好大好深| 天天综合精品| 日韩极品无码B| 99re只有精品| 欧美网站免费| 久久香蕉国产线看观看亚洲女人 | 久久久噜噜噜久久久| 婷婷爽人人婷婷爽视频| 亚洲另类色图片| 久久久久免费看少妇A片特黄| 亚洲射综合网| wwwcaobibi| 久肏视频字幕| 少妇无码太爽| 国产成人手机视频激情| 国产深夜福利| 天美传媒Av在线| 精品区国产区一区二区三区| 91高潮| 中文字幕丝袜人妻| 日本丝袜人妻内射| 风韵犹存大大大大香蕉| 蜜桃在线观看一区二区三区 | 91人妻爽爽人人做人人澡| 欧美第一页| 东北操逼| 97综合在线观看| 国产专区第一页| 男人的天堂三级| 操九九九九九九| 亚洲三区视频| 日本精品五区| 丝袜视频网国产90| 操美女人妻| 日韩人妻播放| 免费家庭乱伦视频| 91n处女在线观看| 91九九九小逼| 亚洲欧美大| 精品v日韩欧美国产| 亚洲天堂男人天堂网| 欧美韩国你懂得在线 | 精品国产乱码久久久久久久久久毛片| 免费人人搞97| 蜜桃久久综合视频| 日韩av在线播放不卡| 曰韩中文人妻视频| 日韩欧美三级| 神马久久啊啊| 久久婷婷在线观看视频| 丁香五月av| 岛国艾薇凹凸视频天堂| 日韩成人精品| 97久久国产精品女不卡| 男女打扑克高清网站| 日韩中文字幕在线视频观看| 在线观看高清AV| 亚洲97在线| 97在线播放| 超碰人妻中文在线| 青青草原狼av| 精品少妇后入一区二区三区四区人妻巨乳| 人妻81p| av网站在线看| 日韩亚洲欧美中文字幕| 蜜臀99久久国产| 亚洲性猛| 天堂综合| 亚洲 综合 第一页| 久神马| 久久av网| 国产成人主播| 中文幕97| 欧洲Au麻豆| 99久久婷婷| 亚洲最大AV网| 精品久久人妻成人网| xxxx网站亚洲精品| 亚洲一区二区三区中文字幕| 九月丁香婷婷色| 九九精品99| 国产亚洲深夜激情| 成人性爱视频在线看| 久久久久人妻二区精品叶可怜| 欧美在线永久天堂| 一区二区影院| 日韩少妇一区二区三区| 婷婷亚洲五月***久久| 午夜120视频在线观看| 蜜桃视频成a人v在线| 性色av蜜臀av色欲aV| 在线看的av| 日韩欧无码一区二区三区免费不卡| 天美传媒婬乱在| 亚洲人妻在线精品| 91在线超高颜值国产| 99在线免费公开视频| 国产自产自拍| 国产精点久久久成人| 日韩无码成人电影| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 日本美女性生活久久久久久久 | 激情小说图片亚洲首页| 巨爆乳一区二区爆乳区| 国产精品久久久鸭无码的功能| 黄色高清无码无码破解免费暗网| 麻豆视频test| 一区| 蜜臀99久久国产| 九九综合九九综合| 久久久久亚洲?V片无码V| 操香逼| 动漫av中文| 久久精品一区二区一8| 免费中文在线| 国产999精品久久久| 999岛国大片| 亚洲影视综合| 人妻少妇久久中文| 成人五月香网在线| 国产日韩区| 男人的天堂kva| 一区二区三区男女操逼黄色小电影| 免费视频在线一区二区不卡| 夜夜做夜夜爽精品视频| 激情五月天社区| 久久 精品| julia ann久久| 宅男91视频在线播放| 国产中文字幕曰本毛片| 中日韩免费看男女操逼大全| 久久后入制服| 久久AV无码1区2区3区| 国产精品亚洲一区二区三区四区| 国产精品福利视频| 狠狠做深爱婷婷久久二区| 91操人| 国产日韩区| 性爱网站一区二区| av三级电影在线播放| 91天天综合在线观看| 亚洲成人精品久久久| 美女诱惑爱爱| 久久久久久久久久久久久久9999| 国产日比| www.色婷婷| 亚洲av无线观看| 中文字幕一二区二三区人妻专区| 啊啊啊啊啊啊好多水| 久久久久久久97| 日韩精品 欧美激情| 五月天色图影视| 操人无码| 亚洲无套久久嗯嗯| 五月天激情婷婷| 不卡啪啪视频| 五月天激情小说| 日日狠狠久久偷偷色综合免费| 日韩欧美经典在线观看| 亚洲成人av色网| 国产精品国产自产拍高清AV| 亚洲欧美setu| 人人爽夜夜玩视频| 一区二区影视| 国产精品午夜福利亚洲综合网| 国产无马在线| 色yeye成人免费视频| 熟女人妻一区二区三区| 男人的天堂不卡一区二区| 东北女人av| av线电影| 乱伦日本中文自拍| 少妇干B| 东亚亚洲无码高清| 开心激情站| 91狠狠综合久久久久久| 久久男人的天堂国产| 综合久久中文字幕综合日韩精品| 99久热| 欧美亚州色的图| 亚洲欧美情色| 久热九九| av日韩中文字幕| 国产精品久久久吖| 中文啪啪视频| 久操免费视频| 永久免费发布性爱网| 日韩伦理久 久久 清纯| 999久久久久久久久| 狠狠操夜夜| 青青草白白色| 岛国视频免费在线观看| 久久婷婷亚洲欧| 北约熟女超碰| AV色五月| 日本福利社| 中国熟妇| 91原创在线观看| 超碰97丝袜| 婷婷丁香在线| 欧美骚少妇| 国产成人精品亚洲日本| 久草男人天堂| 波多野结衣先锋影音| 国产精品午夜成人福利| 色呦呦呦在线观看视频| 欧美天天综合站| 91久久久久久久久18| 91 丝袜在线播放| 久插综合| 丁香五月婷婷啪啪| 91久久免费视频互動交流| AV99热18这里只有精品| 色婷婷色99国产综合精品| 91国产丝袜白虎| 日本精品一区三区| 强奸乱伦大香蕉| 天天干人人乐| 熟妇高潮精品一区二区三区下载| 免费毛片在线播放| 久久夜夜| 久久精品一区一起草| 国产欧美精品日韩区二区麻豆天美| 国产精品久久久久中文字幕| 五月天精品| 91色爽欧美| 黄色网址在线免费观看| 欧美久久人体| 天天综合香 ld视频| 色五天伊人| 黄页| 亚洲AV人人澡人人爱| 亚州AV无码国产精品| 翔田千里爆乳巨臀无码| 天天久久| 久久一区二区蜜桃| 日韩无码人妻中字久久三区四区| 999综合色| 亚洲 欧美 中文 日韩超碰| 欧美日韩激情无码专区| 好吊色青靑草| 性性久久| 密臀国产在线| 欧美激情 亚洲色图| 后入式福利| 九九免费影片| 东京热91| 中文字幕蜜乳av| 最新日本中文字幕| 久久精品国内Av熟女高清| 婷婷丁香五月激情啪啪| 亚洲欧美经典一区二区| 久久精品亚洲成a人天堂| 精品国产丝袜一区二区三区乱码| 99在线免费公开视频| 欧美性爱第一页久久| 亚洲成人在线高清| 波多野结衣被操50分钟免费视频| 亚洲成人免费中文字幕| AV不卡在线| 日韩av乱伦| 久久久久久久少妇| 97超色| 91精品91久久久中77777| 欧美亚洲色图另类国产| www.91理论| 久热这里| 国产AV线| 中文字幕丰满人妻日本| 黄页网站免费高清在线观看| **一级毛片国产| 九九九久千久久激情蜜桃在线看 | 久久精品国产亚洲av水密被窝| 欧美综合另类| 国精精品无码一二三区水多多| 99热国产| 四虎在线免费视频| 亚洲国产丝袜熟女av| 久久人人舔人人爽舔人人av片| 日本高清一区二区在线| 第二页中文字幕| 偷拍视频青青草在线视频| 国产又黄又爽又刺激久久久久久| 把腿张开老子CAO烂你| 久久精品国产精品亚洲艾通辽熟妇| 青青欧洲黑| 亚洲视频精选| 婷婷五月天色色| 玖玖爱一区在线| 神马久久久久久久| 欧洲色色| 日韩有码专区| 久久丁香五月天| 久久伊人影院| 日本免费一区二| 最新日日夜夜天天干干| 久久视网78| 天天看精品动漫视频一区| 青青爽| 一级黄色性爱裸体视频| 日韩97超碰中文字幕| 91亚洲色图| 国产精品91ai| 亚洲蜜乳av| 东北操逼| 中文字幕高清20页视频| 国产精品com| www四虎| 日本一区视频在线观看| 青青草好吊| 色五月综合| 国产亚洲欧美每日在线| 加勒比综合在线| 欧洲Au麻豆| 91爆操视频| 夜夜精品视频| 后入式视频国产自| 99热97| 探花一区在线| 强奸抽插av| 国产91丝袜 在线播放| 97色论| 亚洲色啪| 日韩精品在线视频在线观看| 97超碰欧美精品| 蜜桃在线观看一区二区三区 | 欧美激情内射| 中亚黄色三级大片| 天天摸天天碰天天添青青| 天天插天天干| 国产大学生口爆吞精合集| 久久久久久久| 色阁阁AV综合网| 啊啊啊啊在线观看网址| 天美麻豆精品视频99| 人人人人插| 日本操逼aaaaa| 97免费在线观看视频| 欧美丝袜91| 天天日天天射天天干| wwwcaobibi| 乱欲视频| 精品人妻一区二区三区在| 激情欧美97| 凹凸 69堂 在线播放| 亚洲男人天堂视频| 天天操福利视频综合网站| AV色五月天| 蜜臀av中文字幕| 天天爱综合网| 四季av一区二区凹凸精品小说| 久久m| 亚洲熟女乱色| 丰满人妻一区二区三区在线| 国产av白丝| 97色婷| 久久久亚洲精品电影免费看| AV女资源| 亚洲se91| 综合久久久久久久综合网| 国产成人亚洲精品无码古代早漏男 | 国产呦精品系列在线观看| 亚洲极品| 天天综合欧美| 免费一级精品啪啪视频| 嫩草在线视频| 亚洲综合中文字幕有码| 日本性爱网址| 少妇免费视频| 无码九九| 日本成a人v网站在线观看| 伊人黄色片| 爱射综合| 日本一天色道久久久精品视频| 亚洲有薄码区日本系列中文字幕| 欧美色交| 欧美一区二区亚洲天堂| 蘋果手機免費看成人Av| 78精品| 无码聚合| 色网1| 国产乱色国产精品免费视| 97天天搞在线| 91情色在线| 免费看A片毛毛片在线播| 中文字幕在线观看第二页| 91麻豆天美国产欧美高潮| 美国精品国产精品| 国产一级久久久| 78精品| 一区在线观看中文字幕| 9999久久久久| 亚洲五月婷| 亚洲色图日韩丝袜制服一区二区五月在线 | 嫩草伊人久久精品| 怡红院成人视频| 成人性爱电影一区二区| 欧美精品亚洲精品日韩传电影| 日韩无码三级影院| 成人在线视频一区| 五十路六十路素人熟女| 久久內射| 国产一区二区a毛片| 乱欲性色| 日韩Va亚洲va欧美Ⅴa久久| 国产亚洲中文不卡二区| 操人妻视频| 最新日日夜夜天天干干| 色欲蜜臀AV| 桃色人妻在线视频| 国产丝袜美女在线一区| 91 国产丝袜在线放观看| 亚洲天堂久久| 午夜天堂啪啪| 日本不卡在线二区三区| 性色乱AV一区二区| 在线有码中文字幕| 少妇色综合| 无码日韩人妻av一| 91N综合网| 337p大胆噜噜噜噜噜91Av| 日韩欧美天堂| 91蜜桃婷婷狠狠久久综合9色| 骚鸭AV| 亚洲AV无码AV吞精久久久久| 桑老女人九区| 午夜天堂精品久久| 狠狠久久亚洲欧美专区| 欧美性爱中文字幕无线码| 南澳成人一级片在线播放| 一区二区三区 丝袜高跟| 丁香五月久久| 五月天黄色激情视频| 蜜乳AV免费观看| 人妻丰满熟妇av无码区蜜桃| 亚洲精品第一| 天天日天天搞天天干| 午夜精品久久久久久久久久久久久 | www.激情| 在线观看av区| 国产狂喷潮在线精品| 乱伦一二三区| 日韩性爱视频在线免费观看 | 亚州欧美色图| 97免费在线观看| 色欲久久99精品久久| 国产熟女二区| 亚洲性猛交| 91天天综合网,天天综合网| 超碰成人国产| 多乙久久久久久| 一区三区啪啪| 色五月综合| 日本污ww视频网站| 综合激情五月天| 激情五月丁香五月| 欧美精品在线观看| 嗯嗯啊啊用力视频免费| 国产精品天美传媒| 精品视频专区| 超碰免费欧美7| 国产精品农村妇女精品| 91n欧美| 思思久热在线精品66| 男女激烈网站最新| 狠狠躁AV| 激情综合久久| 第45页一区二区| 天天日骚逼熟女| 欧美日韩欧美| 强奸乱伦AV一天堂网| 国产男女边吃边摸视频网站| 国产精品黄色三级av| 亚洲丁香花色| 粉嫩av一区二区三区四季| 亚洲色人| 天天干天天拍| 久久色AV线| 天天影视色香欲综合网小说| 蜜臀操逼黄色视频操的好爽| 9热9热综合网| 色香天天| 自拍鲍鱼一区在线高清观看免费| 欧洲免费一区二| 91亚洲丝袜熟女| 国产精品无码av嫩草| 久久婷婷在线观看视频| 试看60秒 爽| 91一起操| 天美传媒婬乱在| 久久婷婷伊人| 亚洲女人91| www.91久久| 国内成人圈中文字幕无码视频| 国产精品视频内谢女人| 亚洲午夜av| 熟妇女伦乱视频视频| 亚洲中文国际强奸字幕| 伊人嫩草| 黑操B| 九九九九热| 无码一区二区三区四区五区六区七区八区九区十区视频 | 亚洲自拍一区夜夜操| 人人操人人摸人人看人人干| 国产九九九九九九| 色色婷婷五月天| 欧美一级二级三级| 中文字幕国产精品1区| 亚洲精品一二牛牛| 日韩色女精品| 久草五月| 国产9区| 欧美日韩一干二干| 国产大学生口爆吞精合集| 日韩干B| 抽插爽| 91视频国品一二三区| 免费看片黄| 麻豆区久久久久亚| 精品国产乱码久久久久久久久1 | 久久精品国产亚洲av水密被窝| 天天干,天天日| 欧美日韩大香蕉| 欧美激情一| 日本999精品视频| 婷婷激情五月| 强奸乱伦资源| 秋霞免费无码视频日韩A片| 国产乱码久久久| 二对二中文字幕。| 欧美日韩高潮喷水91| 亚洲人妻中文高清| 91精品人妻偷情| 中日韩久久久免费看| 四虎免费视频| 欧美亚州色的图| 天天综和| 精品国产乱码久久久久久久久1| 久久久精品视频免费观看| 一级做a爰片性色毛片久久| 欧美熟妇色| 91黑丝操| 劲爆欧美人妖三区91| 久草视频制服诱惑| 欧美 亚洲 综合 制服| 九九热最新| 亚洲精品色| 91国产精品在线看| 淮穴色AV| 免费视频在线观看啊啊啊啊啊| 蜜乳av首页| 国产AV久久久蜜爱影集| 强免费黄色网址| 95精品在线| 激情久久久| 欧美亚洲日本视频久久久| 国产福利一区二| 91人妻少妇| 啊啊啊免费| 大香蕉黄色一级片免费看| 操逼1区| 超碰人人在线| 91亚洲不卡一区| 99国产精品久久久久久久成人热 | 欧美一区二区成人一卡| 婷婷九月丁香| 亚洲欧美综合| 九九久久一区二区伦理| 超碰在线99| 91美女在线视频| 婷婷久久久精品| 酒色综合网| 中文字幕一区二区三区四区在线视频| 国产中文精品一区二区在线观看 | 国产在线精品偷| 91 国产丝袜在线放观看| 91视频综合在线| 亚洲av青草久久一区二区| 亚洲啪AⅤ永久无码| 十八禁网站在线| 激情另类激情| 囯戸精品高潮呻吟旡码| 正在播放:深夜激情大战,自带黑丝袜全力输出骚穴 | 97公开久久| 97欧美超碰| 国产成人亚洲精品自产在线| nuu12国产麻豆精品| 欧美精品23| 99热综合在线| 亚洲高清色综合| 色色五月天婷婷| 日韩无码服务区| 黑人无码一区二区| 超碰1997| 亚洲一区二区中文字幕| 国产精品久久久九九九| 国产探花日韩援交| 亚州伊人色综台| 亚洲黄色| 久久久99久9| 日本操逼无码| 大香蕉在线视频15| 国产精品不卡av免费在线观看| 超碰人人妻| 大学生美女口爆| 九九久久一区二区三区| 最新无码国产| 区二区亚洲婷| 亚洲AV秘 精品久久老牛影视| 天天日天天射天天干| 久热影视| 天天摸天天操视频| 欧美色图亚州激情| 欧美的性爱网站免费| 日本超碰色精品| 日本道久久综合色色| 91狠狠狠| 91亚·色| 一区操逼日比视频| 国内一级精品| 麻豆天美国美国产AV| 成人麻豆av电影网站| 91国模| 大香蕉欧美国产日韩高潮| 六月丁香啪啪啪| 人人操肉肉| 久久久久久久久久久久久女过产乱-少妇高潮一区二区三区喷水-成人AV | 成人性爱av| 日韩青久久| 天堂在线一区二区| 老女人日韩美91| 黄aaaaaaaaaaaaaaaaaa色网站| 精品国产Av无码久久久伦古装| 91热情品| 在线啊啊啊啊| 91久久99久久91熟女精品| 国产精品视频自拍在线| 色欲天香天天综合网-成年人三级片网站-欧美乱妇狂野-日韩国产专区-久久久久久 | 1956日韩精品| 亚洲丝袜二区| 欧美日韩国内不卡| 国产精品成人蜜臀AV在线| 国产辣妈在线视频福利| 男人精品区| 神马久久免费电影观看| 操淫穴亚洲五月丁香| 女同性恋一区二区三区精品视频| 黄色高清无码无码破解免费暗网 | 97欧美综合| 人妻天堂网| 少妇三p| 黄色工厂这里只有精品| 96国产精品| 花花AV导航| 91五十路| 91视频精品| 日本一区二区三区午夜观看| 欧美高清18A片| 久久的免费性爱视频| 在线a亚洲视频播放在线| 欧美资源| 亚洲天堂五月天国产| 色欲三区| 高清国产性猛交xxxx乱大交| 婷婷激情四射| 在线啊v一区| 国产女人高潮视频| 97网址www| 操B久久| 风骚少妇视频中文字幕| 九九热午夜欧亚国产视频| 熟女少妇一区二区三区| 一区二区三区免费视频入口 | 色九九九综合| 国产日韩美女小穴视频网站不卡| v91av| 亚洲毛片一级带毛片基地| 丁香六月婷婷久久综合| 91成人在线| 天堂亚洲精品| 日本精品网站在线中文| 超碰久热| 日本天堂网| 男女啊啊啊啊啊| 老熟女乱伦一区| 九九碰九九爱97超碰| 国产视频一区二区在线观看| 久艹视频在线| 亚乱色| 乱码熟妇人妻久久久| 国产欧美另类久久久精品课程| 岛国网址国产 | 日韩精品人妻中文字幕久久久| 熟女熟妇一区二区三四区| 伊人久操| 黄久久| 国产麻豆一级精品视频| 伊人性在线视频| 男人的天堂一区三区| 劲爆欧美人妖三区91| 国产 无码 一区二区| 欧美极品少妇| 韩国一级婬片A片AAAAA| 国产精品粉嫩福利在线| 欧美视频一区二区在线| 99热日| 爱av免费| 亚洲久草AV色图| www色婷婷| 97天天| 青青草精品| 家庭乱伦性爱av| 91欧美网| 好淫网一二三视区| 91视频综合| 噜噜噜亚洲精品| 国内毛片婷婷六月色| 啊啊啊啊好疼视频| 欧美有码激情视频一区二区三区| 中文字幕后石码三区四区| 亚洲中文字幕噜噜噜久久久| TS人妖另类精品视频系列| 久久AV无码1区2区3区| 日韩一区二区三区四区五区| 9久9久| 亚洲91色在线| 欧美天天拍| 国产女乱淫真高清免费视频| 日韩性爱啪啪视频| 波多野结衣之双飞调教在线播放| 日韩兔费看黄片| 韩国三级一线观看久| 飘花国产午夜精品不卡| 99在线免费公开视频| 91三级理论片播放器| 综合久久婷婷| 亚洲精品一二三四区| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师 | av凤凰久久久| 国产精品亚洲高清在线| 成人小说另类在线| 蜜臀久久久99久久久久| 国产精品一区二区密臀| 亚洲骚男同com| 一区超碰一区| 999热日韩精品| 人妻夜爽夜夜爽| 亚州高清AV| 三级色影综合网| 91伊人| 免费久久一级毛片大黄| 亚洲成熟国产精品美女| 8x福利精品第一福利视频导航| 久久久一区二区三区三州| 日逼逼免费看| 人人干人人搞人人摸| 性爱av网站| 99啪啪视频| 国产欧洲精品亚洲午夜拍精品| 啊啊啊在线看| 丰满人妻一区二区三区免费| 91精品国产91久久福利| 欧美性爱日韩高清| 国产黄色av大片网站| 九九Av| 和协影院中文字幕三区| 91 偷| 6080YYY午夜理论片在线观看| 亚洲精品a人片在线观看视| 92福利社视频| 啊啊啊啊啊啊啊啊啊在线观看| 中国韩国明星一极片一区乱码毛片人妻熟女一区二区三区 | 97香蕉网| 久久老子无码午夜伦不卡| 麻豆天美国美国产| 超碰在97| 日韩精品在线观看观看| 天天插天天插| 亚洲色图综合网| 欧美极品美女aaaaaa级黄片| 日本污ww视频网站| 天天综合影院91| 蜜臀久久99精品久久久久久酒店| 色五天伊人| 青青草国产亚洲精品久久| 一本久道久久综合狠狠爱一密臀精| 日日日日做夜夜夜夜无码| 久操B网| 女性91网站| 欧美熟爽综合| 色97干| 亚洲综合在线视频| 日日爽熟女| 久久精品国产亚洲AV无码电影| 国产偷仑| 欧美色视频在线| 另类视频在线| 日韩成人性爱AV| 97草草| 九九这里只有精品| 网友自拍第1页| 国产天天骚| 亚洲无码超碰免费| 久久女同性恋一二区| xxxx网站亚洲精品| 偷拍亚洲情色| 在线只有精品| 人妻偷拍一区二区三区| 久久久国产精品亚洲精品| 口爆吞精在线观看| 精品夜夜澡人妻无码AV| 精品久久久久久亚洲| 国内毛片欧美香蕉精品| 欧美综合网1| 久久久久久午夜男人的天堂| 高清无码久操视频| 精吧天堂| 另类综合另类| 亚洲精品一区二区三区在线播放 | 玖玖资源中文字幕制服丝袜| 久操视频资源站公开| 中文字幕在线观| 国产熟女二区| 久久色激情一区二区三区| 无码WWW免费视频网站| 91欧美大片| 日韩无码人妻中字久久三区四区| 久久综合日韩亚洲欧美| 婷婷综合网| 亚洲精品中文字幕一区在线视频| 人妻丝袜美腿中文字幕| 亚洲激情欧美色图 | 五月丁香六月婷| 日va操| 亚洲最新av无码成人精品区 | 操B久久| 九九久久国产精品| 91国产精品熟女| 日本狠狠干| www.超碰|