亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

Qt工程集成Reactor+epoll+線程池實現(xiàn)高并發(fā)網絡服務

Qt工程集成Reactor+epoll+線程池實現(xiàn)高并發(fā)網絡服務 C 后端開發(fā)進階為什么繞不開“Reactor epoll 線程池”這套組合如果你寫過 Qt 客戶端接觸過網絡通信或多線程編程大概率已經感受到單靠 QThread 和信號槽處理高并發(fā)連接時代碼會變得越來越別扭線程切換開銷高、事件響應不直接、資源管理容易失控。這幾年服務端框架都在提“事件驅動”“非阻塞 I/O”底層核心其實就是這套模型。不過很多人第一次接觸“Reactor”“epoll”“線程池”這幾個詞時都是碎片化地學知道 epoll 比 select 性能好知道線程池能復用線程知道 Reactor 是個事件處理模型但三者在工程上到底怎么協(xié)同卻說不太清楚。尤其是 Qt 開發(fā)者一方面享受著 Qt 事件循環(huán)帶來的便利另一方面又擔心它與高性能 I/O 模型結合時的兼容性和復雜度很容易卡在“看懂了概念卻寫不出能跑通的工程代碼”這一步。這篇文章會從一個具體問題出發(fā)如何用 Qt 的事件循環(huán)框架集成一個基于 epoll 的 Reactor 模型并用線程池處理重邏輯任務。我會用通俗的語言拆解三個核心概念然后給出一個可以直接編譯運行的最小工程演示事件監(jiān)聽、事件分發(fā)、任務異步執(zhí)行三個環(huán)節(jié)如何串起來。最后還會補齊常見問題排查和工程最佳實踐。讀完這篇文章你應該能夠獨立評估自己的項目是否適合這套架構并且有能力在 Qt 工程里動手實現(xiàn)一個簡單的 Reactor 網絡服務雛形。1. 這套技術組合到底解決了什么問題先直說結論Reactor epoll 線程池解決的是高并發(fā)場景下“如何用有限的資源處理海量事件”的問題。它不只是一個面試熱點更是現(xiàn)代 C 網絡服務端的主流設計骨架。沒有這套組合時傳統(tǒng)方案是多線程 阻塞 I/O。來一個連接分配一個線程線程里面阻塞讀取數(shù)據。這種模型有兩個明顯問題。第一線程是昂貴的資源。每個線程都有獨立的棧空間通常默認是 8MB 的虛擬內存線程切換還有上下文切換開銷。當連接數(shù)上升到幾千甚至幾萬時系統(tǒng)資源會迅速耗盡。第二線程大部分時間在空等。一個連接如果沒有數(shù)據到達對應線程就阻塞在 read 或 recv 上CPU 時間片被白白消耗在調度上。連接 10000 個每個連接 1 秒來一次心跳大量線程實際上處于休眠狀態(tài)但系統(tǒng)仍然要為它們付出管理代價。引入 epoll 之后模型發(fā)生了根本變化所有連接的 I/O 事件都由一個線程統(tǒng)一監(jiān)聽真正有數(shù)據到達的 socket 才會被通知。這個“通知”的過程不再遍歷全部 socket而是由內核幫你維護一個就緒列表。這就是 O(1) 級別事件通知能力的來源。引入線程池是為了解決另一個問題Reactor 事件循環(huán)線程不能做耗時操作。如果在一個事件的回調里執(zhí)行數(shù)據庫查詢、文件解析、復雜計算就會阻塞事件循環(huán)導致后續(xù)所有連接的事件響應延遲。線程池把耗時任務從事件循環(huán)里剝離出去讓事件循環(huán)保持“輕、快、不阻塞”。所以這套組合的本質是用 epoll 讓一個線程管住海量連接用 Reactor 把事件分發(fā)做得清晰用線程池把耗時任務隔離出去。三者各管一段彼此配合。很多 Qt 初學者會把 QThread 當作并發(fā)問題的“萬能藥”但實際工程中線程不是越多越好。你應該以“事件驅動 有限線程池”為設計目標而不是“每個連接一個線程”。2. 先用明白 Reactor它是一個事件處理框架不只是一個類Reactor 這個名字聽起來抽象其實它的核心思想非常樸素有一個循環(huán)在持續(xù)等待事件事件到來后調用對應的處理函數(shù)處理完畢回到循環(huán)繼續(xù)等待下一個事件。如果用類比理解它就是餐廳里的“服務鈴”。客人按下鈴服務員過來響應處理完這一桌的需求繼續(xù)等待下一桌按鈴。沒有鈴時服務員不需要挨個去問每桌客人需不需要服務。在代碼層面Reactor 通常包含幾個角色事件源Event Source文件描述符fd比如 socket、管道、事件標志。事件多路分發(fā)器Demultiplexer在 Linux 下最常見的就是 epoll它負責監(jiān)聽多個 fd并告訴你哪些 fd 已經就緒。事件處理器EventHandler針對不同事件調用不同處理邏輯。事件循環(huán)Event Loop不斷調用 epoll_wait拿到就緒事件后分發(fā)給對應處理器。// Reactor 事件循環(huán)的骨架理解這個結構是重點 while (true) { int readyCount epoll_wait(epollFd, events, MAX_EVENTS, timeout); for (int i 0; i readyCount; i) { auto handler handlers[events[i].data.fd]; handler-handleEvent(events[i].events); } }這段骨架代碼是在 Linux 系統(tǒng)編程層面理解 Reactor 的最小入口。它明確告訴你事件循環(huán)線程永遠無法被耗時任務占據否則 epoll_wait 不會在預期時間內返回。在 Qt 環(huán)境中Reactor 的思想有幾個對應物。QEventLoop 本身就是一個事件循環(huán)QSocketNotifier 可以監(jiān)聽 socket 的可讀可寫事件。但 Qt 的事件循環(huán)底層不一定使用 epoll在 Linux 上 Qt 其實會優(yōu)先嘗試使用 glib 的上下文集成而且它對底層事件的封裝對開發(fā)者是屏蔽的。如果你需要在 Qt 工程里精確控制 I/O 多路復用通常會自己管理一個線程在該線程中創(chuàng)建 epoll 實例而不是把 epoll 直接塞進主線程的 QEventLoop 里。這個判斷很重要Qt 可以承載 Reactor 的工程結構但 epoll 的線程最好獨立管理并通過 Qt 的信號槽或自建的線程安全隊列把結果傳回主線程。這是集成時最容易做錯的地方。3. epoll 為什么快以及和 select/poll 的直觀對比epoll 是 Linux 內核提供的 I/O 事件通知機制核心能力是讓一個線程同時監(jiān)聽大量文件描述符并且只關注真正就緒的那些。要理解 epoll 的優(yōu)勢最好的方式是和 select、poll 做對比。select 的工作方式是把所有 fd 集合從用戶態(tài)拷貝到內核態(tài)內核逐個檢查 fd 狀態(tài)再把結果拷回用戶態(tài)。fd 越多線性掃描的成本越高而且 fd 數(shù)量還受 FD_SETSIZE 限制通常是 1024。poll 采用了鏈表結構突破了 fd 數(shù)量限制但它仍然需要把所有 fd 傳給內核并且返回后你必須遍歷整個數(shù)組才能知道哪些 fd 就緒。連接一萬個每次執(zhí)行 poll 都是 O(N) 的掃描。epoll 不同。它維護了一個由內核管理的興趣列表你只需要通過 epoll_ctl 告訴內核“我關心哪個 fd 的哪些事件”之后等待時內核負責把就緒事件放到一個就緒鏈表里epoll_wait 返回時你只需要處理就緒鏈表里的 fd 即可。性能與活躍連接數(shù)有關與總連接數(shù)無關。用一個表來直觀對比對比項selectpollepollfd 數(shù)量限制有限1024 左右基本無限制基本無限制事件獲取方式遍歷全部 fd遍歷全部 fd直接拿到就緒鏈表時間復雜度O(N)O(N)O(就緒事件數(shù))內核態(tài)用戶態(tài)拷貝每次拷貝全部 fd每次拷貝全部 fd通過 mmap 等方式減少拷貝跨平臺支持廣支持較廣Linux 專屬epoll 還提供了兩種觸發(fā)模式這在實際工程中很容易踩坑。水平觸發(fā)Level-TriggeredLT只要 fd 上有未處理的數(shù)據epoll_wait 每次都會返回該 fd。優(yōu)點是編程簡單不要求一次性把數(shù)據讀完。缺點是如果你處理太慢會被同一個 fd 反復喚醒。邊緣觸發(fā)Edge-TriggeredET只有當 fd 的狀態(tài)發(fā)生變化比如從無數(shù)據變?yōu)橛袛?shù)據時epoll_wait 才會返回該 fd。你必須一次性把數(shù)據讀完否則會丟失后續(xù)數(shù)據到達的通知。ET 模式配合非阻塞 I/O 是高性能服務器的常見配置但它對代碼的嚴謹性要求更高。在 Qt 工程里如果你只是想在項目中引入 epoll 做實驗建議先從 LT 模式開始跑通完整流程后再嘗試 ET。LT 模式產生的 bug 更少更適合初學者建立正確的心智模型。4. 線程池不是“有線程就并發(fā)”那么簡單的資源治理線程池的核心價值在于復用線程和削峰填谷。反復創(chuàng)建和銷毀線程是有代價的線程池提前創(chuàng)建一批工作線程把任務放入隊列由線程循環(huán)取出并執(zhí)行。這樣既減少了線程創(chuàng)建開銷也限制了并發(fā)線程數(shù)量避免系統(tǒng)資源被極端峰值打穿。線程池通常由三個部分組成任務隊列存放待執(zhí)行的任務。工作線程組一組處于等待狀態(tài)的線程。調度器負責任務入隊、線程喚醒和資源回收。在 C 標準庫中從 C11 開始提供了 std::thread從 C17 開始加入了 std::scoped_lock而 C20 則提供了 std::jthread。但標準庫一直沒有直接提供線程池實現(xiàn)。所以工程實踐中要么自己封裝線程池要么依賴 Qt 的 QThreadPool要么引入第三方庫。Qt 的 QThreadPool 是一個成熟的線程池實現(xiàn)配合 QRunnable 使用非常方便。但在高頻、低延遲的網絡服務場景中QThreadPool 的調度粒度和信號槽傳遞方式可能不夠直接。很多 C 服務端工程師更傾向于自己維護一個基于 std::thread 和 std::queue std::condition_variable 的線程池因為這樣可控性最高。一個最小線程池通常長這樣// 文件路徑ThreadPool.h #pragma once #include atomic #include condition_variable #include functional #include mutex #include queue #include thread #include vector class ThreadPool { public: explicit ThreadPool(size_t threadCount) : stop_(false) { for (size_t i 0; i threadCount; i) { workers_.emplace_back([this] { while (true) { std::functionvoid() task; { std::unique_lockstd::mutex lock(queueMutex_); condition_.wait(lock, [this] { return stop_ || !tasks_.empty(); }); if (stop_ tasks_.empty()) { return; } task std::move(tasks_.front()); tasks_.pop(); } task(); } }); } } ~ThreadPool() { { std::unique_lockstd::mutex lock(queueMutex_); stop_ true; } condition_.notify_all(); for (auto worker : workers_) { worker.join(); } } template typename Func void enqueue(Func func) { { std::unique_lockstd::mutex lock(queueMutex_); if (stop_) { return; } tasks_.emplace(std::forwardFunc(func)); } condition_.notify_one(); } private: std::vectorstd::thread workers_; std::queuestd::functionvoid() tasks_; std::mutex queueMutex_; std::condition_variable condition_; std::atomicbool stop_; };這個線程池實現(xiàn)雖然精簡但已經包含了任務隊列、互斥鎖、條件變量和線程回收機制。在實際項目中通常還需要支持返回任務結果、任務優(yōu)先級、動態(tài)調整線程數(shù)等能力。線程池面臨的真正挑戰(zhàn)是任務隊列的阻塞策略。如果任務隊列是無界的當任務產生速度遠超消費速度時內存會被任務對象占滿。如果隊列是有界的任務入隊時隊列已滿該怎么辦這個問題在面試中經常出現(xiàn)也就是“線程池的阻塞隊列選擇”。工程上常見的方案有拋出異常、丟棄任務、阻塞調用方、由調用線程直接執(zhí)行等方式。更穩(wěn)妥的設計是為任務隊列設置容量上限配合拒絕策略告警。回到 Qt 場景當你用一個 Reactor 線程監(jiān)聽事件然后想把某個耗時任務丟給線程池時最安全的做法是在任務函數(shù)內部捕獲所有異常并通過信號或回調把結果傳回主線程而不是直接操作 Qt Widget 或 QMainWindow。Qt 的 UI 操作必須在主線程執(zhí)行這是跨線程開發(fā)的紅線。5. 環(huán)境準備與前置條件為了跑通下面的示例你需要準備以下環(huán)境操作系統(tǒng)Linux因為 epoll 是 Linux 系統(tǒng)調用Windows 不支持編譯器GCC 或 Clang要求支持 C17 標準Qt 版本Qt 5.12 或更高示例核心不依賴 Qt 特有機制但工程結構使用 Qt 的項目組織方式CMake3.10 或更高如果你的機器還沒有安裝 Qt可以到 Qt 官網獲取對應版本的安裝包。安裝完成后在 CMake 里通過 find_package 找到 Qt 組件。下面是一個 CMakeLists.txt 的最小配置示例# 文件路徑CMakeLists.txt cmake_minimum_required(VERSION 3.10) project(QtReactorDemo VERSION 1.0) set(CMAKE_CXX_STANDARD 17) set(CMAKE_CXX_STANDARD_REQUIRED ON) set(CMAKE_AUTOMOC ON) set(CMAKE_AUTORCC ON) set(CMAKE_AUTOUIC ON) find_package(Qt5 COMPONENTS Core Network Widgets REQUIRED) add_executable(QtReactorDemo main.cpp ReactorServer.h ReactorServer.cpp ThreadPool.h ) target_link_libraries(QtReactorDemo Qt5::Core Qt5::Network Qt5::Widgets )Linux 下編譯這個工程之前請確認內核版本支持 epoll2.6 之前的內核不支持現(xiàn)在絕大多數(shù)發(fā)行版都沒問題。如果使用虛擬機要注意網絡設備模式對 socket 行為的影響最好先使用回環(huán)地址 127.0.0.1 測試。6. 核心流程拆解如何把 epoll 和線程池裝進 Qt 工程從架構層面看集成方案分成四步。第一步規(guī)劃線程邊界。我們至少要設計兩個線程域主線程運行 QApplication/QCoreApplication負責 UI 或業(yè)務邏輯接收線程池回傳的結果。Reactor 線程獨立創(chuàng)建運行 epoll 事件循環(huán)不直接做耗時任務。如果業(yè)務負載很重可以在 Reactor 線程中再拆分一部分線程處理 accept、read、write另一部分線程池處理計算任務。但最小示例只需要一個 Reactor 線程加一個線程池。第二步創(chuàng)建 Reactor 線程。在 Qt 中最簡單的方式不是繼承 QThread而是使用 std::thread 啟動一個函數(shù)讓函數(shù)內部運行 epoll 循環(huán)。QThread 在這里并不是必需的因為 epoll 循環(huán)完全不用 Qt 事件循環(huán)。用 std::thread 可以減少和 Qt 線程模型的耦合。第三步管理 socket 生命周期。所有被 epoll 監(jiān)聽的 fd 需要維護在 Reactor 線程內部的數(shù)據結構中。注意不要在多個線程中同時操作同一個 fd 的 epoll_ctl 調用否則可能出現(xiàn)難以排查的競態(tài)問題。第四步與主線程通信。當 Reactor 線程處理完網絡 I/O需要通知主線程時可以使用 Qt 的信號槽也可以使用自定義的線程安全隊列。需要注意的是從非 Qt 線程發(fā)送信號時必須使用 Qt::QueuedConnection或者通過 QMetaObject::invokeMethod 來安全地調用主線程對象的方法。下面用簡單的文字流程描述一次完整的事件處理客戶端連接到達監(jiān)聽 fd 變成可讀。epoll_wait 返回該事件。Reactor 線程調用 accept 接收新連接并把新連接的 fd 加入 epoll 監(jiān)聽列表??蛻舳税l(fā)送業(yè)務數(shù)據。新連接 fd 變?yōu)榭勺xepoll_wait 再次返回。Reactor 線程讀取數(shù)據解析出業(yè)務請求。Reactor 線程把數(shù)據包封裝成一個任務提交給線程池。線程池空閑線程取出任務執(zhí)行得到響應內容。Reactor 線程通過線程安全隊列或信號拿到響應把它寫回客戶端 fd。整個鏈路中第 6 步到第 8 步之間Reactor 線程沒有執(zhí)行任何耗時操作這是系統(tǒng)保持高性能的關鍵。7. 完整示例ReactorServer 實現(xiàn)下面給出一個可以在 Linux 上編譯運行的完整示例。它會在本機 8080 端口建立 TCP 服務用 epoll 監(jiān)聽事件收到客戶端請求后把處理邏輯丟給線程池完成后返回一條帶線程 ID 的響應。為了在 Qt 工程中演示跨線程回傳這里選擇簡潔的回調 原子計數(shù)方式避免引入過多 Qt 信號槽代碼。實際項目中你可以將回調替換為跨線程信號但思想完全一致。7.1 ThreadPool 頭文件// 文件路徑ThreadPool.h #pragma once #include atomic #include condition_variable #include functional #include mutex #include queue #include thread #include vector class ThreadPool { public: explicit ThreadPool(size_t threadCount) : stop_(false) { for (size_t i 0; i threadCount; i) { workers_.emplace_back([this] { while (true) { std::functionvoid() task; { std::unique_lockstd::mutex lock(queueMutex_); condition_.wait(lock, [this] { return stop_ || !tasks_.empty(); }); if (stop_ tasks_.empty()) { return; } task std::move(tasks_.front()); tasks_.pop(); } task(); } }); } } ~ThreadPool() { { std::unique_lockstd::mutex lock(queueMutex_); stop_ true; } condition_.notify_all(); for (auto worker : workers_) { worker.join(); } } template typename Func void enqueue(Func func) { { std::unique_lockstd::mutex lock(queueMutex_); if (stop_) { return; } tasks_.emplace(std::forwardFunc(func)); } condition_.notify_one(); } private: std::vectorstd::thread workers_; std::queuestd::functionvoid() tasks_; std::mutex queueMutex_; std::condition_variable condition_; std::atomicbool stop_; };7.2 ReactorServer 頭文件// 文件路徑ReactorServer.h #pragma once #include atomic #include functional #include mutex #include thread #include unordered_map #include ThreadPool.h class ReactorServer { public: using OnClientMessage std::functionvoid(const std::string ); ReactorServer(int port, size_t threadCount 4); ~ReactorServer(); void start(); void stop(); void setMessageHandler(OnClientMessage handler); private: void eventLoop(); void handleAccept(int listenFd, int epollFd); void handleRead(int clientFd, int epollFd); int listenFd_ -1; int epollFd_ -1; int port_ 0; std::atomicbool running_{false}; std::thread reactorThread_; ThreadPool pool_; OnClientMessage handler_; };7.3 ReactorServer 實現(xiàn)文件// 文件路徑ReactorServer.cpp #include ReactorServer.h #include arpa/inet.h #include errno.h #include fcntl.h #include netinet/in.h #include string.h #include sys/epoll.h #include sys/socket.h #include unistd.h #include iostream ReactorServer::ReactorServer(int port, size_t threadCount) : port_(port), pool_(threadCount) {} ReactorServer::~ReactorServer() { stop(); } void ReactorServer::setMessageHandler(OnClientMessage handler) { handler_ std::move(handler); } void ReactorServer::start() { if (running_) { return; } // 1. 創(chuàng)建監(jiān)聽 socket listenFd_ ::socket(AF_INET, SOCK_STREAM | SOCK_NONBLOCK, 0); if (listenFd_ 0) { std::cerr socket create failed: strerror(errno) std::endl; return; } int opt 1; setsockopt(listenFd_, SOL_SOCKET, SO_REUSEADDR, opt, sizeof(opt)); sockaddr_in addr; memset(addr, 0, sizeof(addr)); addr.sin_family AF_INET; addr.sin_addr.s_addr htonl(INADDR_ANY); addr.sin_port htons(port_); if (::bind(listenFd_, reinterpret_castsockaddr *(addr), sizeof(addr)) 0) { std::cerr bind failed: strerror(errno) std::endl; ::close(listenFd_); listenFd_ -1; return; } if (::listen(listenFd_, 128) 0) { std::cerr listen failed: strerror(errno) std::endl; ::close(listenFd_); listenFd_ -1; return; } // 2. 創(chuàng)建 epoll 實例 epollFd_ ::epoll_create1(0); if (epollFd_ 0) { std::cerr epoll_create1 failed: strerror(errno) std::endl; ::close(listenFd_); listenFd_ -1; return; } epoll_event ev; memset(ev, 0, sizeof(ev)); ev.events EPOLLIN; ev.data.fd listenFd_; if (::epoll_ctl(epollFd_, EPOLL_CTL_ADD, listenFd_, ev) 0) { std::cerr epoll_ctl add listen fd failed std::endl; ::close(epollFd_); ::close(listenFd_); listenFd_ -1; return; } running_ true; reactorThread_ std::thread([this] { eventLoop(); }); std::cout Reactor server started on port port_ std::endl; } void ReactorServer::stop() { if (!running_) { return; } running_ false; // 通過關閉監(jiān)聽 fd 和 epoll fd 觸發(fā) eventLoop 返回 if (listenFd_ 0) { ::close(listenFd_); listenFd_ -1; } if (epollFd_ 0) { ::close(epollFd_); epollFd_ -1; } if (reactorThread_.joinable()) { reactorThread_.join(); } } void ReactorServer::eventLoop() { constexpr int MAX_EVENTS 64; epoll_event events[MAX_EVENTS]; while (running_) { // 超時設為 100ms可以定期檢查 running_ 狀態(tài) int n ::epoll_wait(epollFd_, events, MAX_EVENTS, 100); if (n 0) { if (errno EINTR) { continue; } std::cerr epoll_wait error: strerror(errno) std::endl; break; } for (int i 0; i n; i) { int fd events[i].data.fd; uint32_t eventMask events[i].events; if (fd listenFd_) { handleAccept(fd, epollFd_); } else { if (eventMask (EPOLLERR | EPOLLHUP)) { ::close(fd); continue; } if (eventMask EPOLLIN) { handleRead(fd, epollFd_); } } } } std::cout Reactor event loop exited std::endl; } void ReactorServer::handleAccept(int listenFd, int epollFd) { while (true) { sockaddr_in clientAddr; socklen_t clientLen sizeof(clientAddr); int clientFd ::accept4(listenFd, reinterpret_castsockaddr *(clientAddr), clientLen, SOCK_NONBLOCK); if (clientFd 0) { if (errno EAGAIN || errno EWOULDBLOCK) { break; } if (errno EINTR) { continue; } std::cerr accept error: strerror(errno) std::endl; break; } char ip[INET_ADDRSTRLEN] {0}; inet_ntop(AF_INET, clientAddr.sin_addr, ip, sizeof(ip)); std::cout New connection from ip : ntohs(clientAddr.sin_port) std::endl; epoll_event ev; memset(ev, 0, sizeof(ev)); ev.events EPOLLIN | EPOLLET; // 邊緣觸發(fā) ev.data.fd clientFd; if (::epoll_ctl(epollFd, EPOLL_CTL_ADD, clientFd, ev) 0) { std::cerr epoll_ctl add client fd failed std::endl; ::close(clientFd); } } } void ReactorServer::handleRead(int clientFd, int epollFd) { char buffer[4096]; std::string request; // ET 模式需要循環(huán)讀取直到 EAGAIN while (true) { ssize_t n ::read(clientFd, buffer, sizeof(buffer)); if (n 0) { request.append(buffer, n); } else if (n 0) { // 對方關閉 ::epoll_ctl(epollFd, EPOLL_CTL_DEL, clientFd, nullptr); ::close(clientFd); std::cout Client closed: clientFd std::endl; return; } else { if (errno EAGAIN || errno EWOULDBLOCK) { break; } if (errno EINTR) { continue; } ::epoll_ctl(epollFd, EPOLL_CTL_DEL, clientFd, nullptr); ::close(clientFd); return; } } if (request.empty()) { return; } std::cout Received request.size() bytes from fd clientFd std::endl; // 把響應計算丟給線程池避免阻塞事件循環(huán) int targetFd clientFd; std::string payload request; pool_.enqueue([this, targetFd, payload]() { // 獲取線程 ID方便演示 auto tid std::this_thread::get_id(); std::string response echo[ payload ] handled by thread std::to_string(reinterpret_castunsigned long long(tid) % 1000); // 響應寫回。此處簡單用 ::send生產環(huán)境需考慮寫緩沖和非阻塞寫法 ::send(targetFd, response.data(), response.size(), 0); }); }7.4 main.cpp// 文件路徑main.cpp #include ReactorServer.h #include QCoreApplication #include QTimer #include csignal #include iostream static std::atomicbool g_stopFlag{false}; int main(int argc, char *argv[]) { QCoreApplication app(argc, argv); int port 8080; if (argc 1) { port std::atoi(argv[1]); } ReactorServer server(port, 4); server.setMessageHandler([](const std::string msg) { std::cout [handler] msg std::endl; }); server.start(); // 用 QTimer 周期性檢查運行狀態(tài)方便安全退出 QTimer timer; QObject::connect(timer, QTimer::timeout, []() { if (g_stopFlag) { server.stop(); app.quit(); } }); timer.start(500); std::cout Qt Reactor demo running. Press CtrlC to stop. std::endl; return app.exec(); }代碼中有幾個要點需要解釋。第一為什么使用 accept4可以直接在接受連接時設置為非阻塞避免額外調用 fcntl減少一次系統(tǒng)調用。第二ET 模式下循環(huán)讀取的意義。邊緣觸發(fā)只通知一次如果不在一次通知里把所有數(shù)據讀完剩余數(shù)據不會再觸發(fā)可讀事件。因此代碼在 handleRead 里用了 while 循環(huán)一直讀到 EAGAIN 為止。這里即使業(yè)務上是短請求也建議養(yǎng)成循環(huán)讀取的習慣。第三線程池里直接調用 ::send 寫回響應。嚴格說這不是最佳做法因為 send 在緩沖區(qū)滿時可能阻塞線程池線程。但作為最小演示它會讓你更直觀地看到“I/O 事件循環(huán)不阻塞、任務在池中執(zhí)行”的效果。生產環(huán)境中更穩(wěn)妥的做法是把響應發(fā)送也放入一套非阻塞發(fā)送隊列。第四stop 的優(yōu)雅退出策略。這里通過關閉 epollFd 讓 epoll_wait 返回錯誤從而退出循環(huán)。更優(yōu)雅的方案是創(chuàng)建一個 eventfd 或管道在 stop 時寫入數(shù)據喚醒事件循環(huán)。如果你的工程需要長時間運行建議把事件循環(huán)的喚醒改成 eventfd 方式。7.5 編譯與運行在 Linux 終端中執(zhí)行以下命令mkdir build cd build cmake .. make -j$(nproc) ./QtReactorDemo如果編譯過程中遇到找不到 Qt5 組件的問題請檢查 CMAKE_PREFIX_PATH 是否指向 Qt 安裝目錄。例如cmake .. -DCMAKE_PREFIX_PATH/opt/Qt/5.15.2/gcc_64運行后你可以打開另一個終端用 nc 命令測試echo hello reactor | nc 127.0.0.1 8080預期輸出中會包含以下關鍵信息Reactor server started on port 8080 New connection from 127.0.0.1:xxxxx Received 13 bytes from fd8 echo[hello reactor ] handled by thread 123注意nc 發(fā)送的字符串可能包含換行符所以 echo 后的內容會多出一個換行這是正常的。關鍵在于接收、線程池處理、響應寫回三個環(huán)節(jié)都能正常工作。如果運行時報錯第一步可以這樣排查查看端口是否被占用使用netstat -tlnp | grep 8080或ss -tlnp。如果被占用換一個端口。確認防火墻沒有屏蔽本機回環(huán)默認 127.0.0.1 不會受防火墻影響但如果你用遠程 IP 測試請確認安全組規(guī)則。觀察控制臺是否打印了Reactor server started。如果沒有檢查 bind 和 listen 的錯誤信息。8. 常見問題與排查思路在實際集成過程中下面幾個問題出現(xiàn)的頻率非常高這里整理成排查表。問題現(xiàn)象可能原因排查方式解決方案epoll_wait 被信號打斷返回 -1EINTR查看 errno是否等于 EINTR在循環(huán)中捕獲 EINTR 并 continue客戶端連接建立后服務端收不到數(shù)據連接 fd 被阻塞或 ET 模式沒有循環(huán)讀檢查 accept4 是否設置了 SOCK_NONBLOCK檢查 handleRead 是否為循環(huán)讀取統(tǒng)一使用非阻塞 fd讀到 EAGAIN 才退出QCoreApplication 一退出Reactro 線程崩潰析構順序問題Reactro 線程還在使用已銷毀的 epoll fd 或 Qt 對象gdb 查看崩潰堆棧在 app.quit 前先 stop server提供 stop 接口先停 Reactor 線程再退出 Qt 事件循環(huán)線程池任務執(zhí)行耗時過長全部線程卡住線程池線程數(shù)太少或任務自身發(fā)生死鎖打印線程池任務隊列長度和線程狀態(tài)為線程池增加任務隊列長度告警重新評估線程數(shù)和任務拆分方式響應順序和請求順序不一致多線程并發(fā)執(zhí)行任務日志記錄請求序號和響應序號如果業(yè)務強依賴順序對同一連接做串行化處理send 返回 EAGAIN 導致數(shù)據丟失寫緩沖區(qū)滿非阻塞 socket 需要排隊發(fā)送不做處理會丟包引入寫緩沖隊列在 EPOLLOUT 事件中繼續(xù)發(fā)送程序中同時處理 Qt 信號和 epoll 事件時偶發(fā)崩潰跨線程訪問同一個 socket fd 或 Qt 對象檢查日志中是否在非 Qt 線程操作 UI定義清晰的線程模型禁止跨線程直接訪問未經同步的對象這些問題的共同根源往往是“線程模型沒有理清”。寫這種網絡服務代碼時不要把 epoll fd、連接 fd、線程池狀態(tài)看得太簡單。每發(fā)生一次崩潰先問自己這個變量被哪些線程訪問了是否有鎖保護生命周期是否清晰9. 在 Qt 工程中落地的工程建議這部分是對真實生產環(huán)境的經驗總結不是概念堆砌。9.1 線程模型先于代碼設計在動手寫代碼之前先畫出線程邊界圖。你的工程里至少要有這些角色主線程Qt 事件循環(huán)管理 UI 和業(yè)務入口I/O 線程運行 epoll 事件循環(huán)建議只做事件分發(fā)和少量輕邏輯工作線程池執(zhí)行耗時任務如果業(yè)務量繼續(xù)擴大可以把 I/O 線程擴展成多個按連接哈希分配到不同 I/O 線程。但首要原則是一個 fd 同一時間只能在一個線程中處理通過 epoll 監(jiān)聽關系決定歸屬。遷移 fd 時要小心競態(tài)。9.2 信號槽跨線程必須謹慎Qt 的信號槽默認在發(fā)送者線程執(zhí)行除非連接方式為 Qt::QueuedConnection。當你在非 Qt 線程需要通知主線程時推薦使用 QMetaObject::invokeMethod 指定 QueuedConnection或者直接調用 signal 時設置連接類型。千萬不要假設“只在 Qt 對象里加鎖就安全”Qt 對象的事件循環(huán)與鎖機制是兩回事。9.3 網絡數(shù)據包處理需要分幀上面示例中直接按 read 到的字節(jié)作為請求。真實項目中TCP 是字節(jié)流沒有天然消息邊界。你需要自定義協(xié)議頭比如“4 字節(jié)長度 消息體”并在讀取時進行粘包和半包處理。這是網絡編程最基本也最重要的基本功。9.4 使用 eventfd 喚醒事件循環(huán)如果你需要優(yōu)雅退出強烈建議注冊一個 eventfd 到 epoll 監(jiān)聽列表。stop 時向 eventfd 寫入數(shù)據事件循環(huán)會正常退出而不是依賴關閉 epollFd 這種“準暴力”方式。這樣能保證正在處理的事件被正確回收。9.5 線程池的異常吞掉問題線程池執(zhí)行函數(shù)一旦拋出未捕獲異常std::thread 會默認調用 std::terminate整個程序會崩潰。在線程池的任務四周包一層 try-catch 是必要防御?;蛘咧辽賹惓2东@后傳入日志系統(tǒng)。pool_.enqueue([this, targetFd, payload]() { try { // 業(yè)務邏輯 } catch (const std::exception e) { std::cerr task error: e.what() std::endl; } catch (...) { std::cerr task unknown error std::endl; } });9.6 性能監(jiān)控與壓測不要以為實現(xiàn)了模型就萬事大吉。發(fā)布前必須用工具驗證。最簡單的方式是使用abApacheBench或wrk做 HTTP 壓測對于原生 TCP 協(xié)議可以寫一個壓測客戶端模擬多個并發(fā)連接。重點觀察QPS 或每秒請求數(shù)。事件循環(huán)線程的 CPU 占用率。如果它接近 100%說明事件分發(fā)層有瓶頸。線程池任務隊列積壓量。如果持續(xù)增長說明線程池容量不足。響應延遲的 P99。不要只看平均延遲。9.7 如何用 Qt 組件輔助調試Qt 的 QLoggingCategory 非常適合做分類日志。你在 ReactorServer 中可以按模塊區(qū)分日志方便線上排查Q_LOGGING_CATEGORY(lcReactor, app.reactor) Q_LOGGING_CATEGORY(lcPool, app.pool)這樣在 main.cpp 中通過設置環(huán)境變量即可打開指定模塊日志QT_LOGGING_RULESapp.reactor.debugtrue;app.pool.debugtrue ./QtReactorDemo這個技巧在大型 Qt 工程中非常實用它讓你不需要改代碼就能靈活控制日志粒度。10. 何時你并不需要這套架構最后說點實際的。Reactor epoll 線程池不是萬能的也不是所有項目都需要它。如果你的 Qt 程序只是一個客戶端工具偶爾連接幾個服務器那么直接用 QTcpSocket 和 QThreadPool 就足夠了。QSocketNotifier 已經幫你處理了底層事件再用原生 epoll 屬于重復造輪子。如果你的項目是服務端但并發(fā)連接數(shù)長期只有幾百epoll 帶來的提升也不如代碼可維護性重要。使用 Qt 的 QTcpServer 線程池開發(fā)效率更高跨平臺性更好。需要引入這套架構的典型場景是長連接數(shù)量大比如物聯(lián)網設備接入網關。每個連接空閑時間遠大于活躍時間心跳?;蠲芗?。需要在單機上支撐上萬個 socket 連接。業(yè)務方明確要求自研網絡層以便精確控制收發(fā)緩沖區(qū)和背壓。從個人技術成長角度理解這套模型的價值不取決于你是否立刻用它。它幫助你看懂很多開源項目比如 Muduo、Boost.Asio、Netty 的設計思路。當你看代碼時不再只看到一堆類而是能看到“事件循環(huán)在哪里、哪個線程在跑、任務如何被轉移”你的 C 后端水平就會真正上一個臺階。下一步建議你親自做一個練習把這個最小示例改成不使用 Qt 組件的純 C 版本并加入 HTTP 解析能力。之后再嘗試把監(jiān)聽 accept、讀事件、寫事件分別拆成三個 handler模擬 Muduo 的 架構風格。這個過程比看十篇文章都有用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲欧洲色情高清| 亚洲色欧美| 五月综合久久| 精品人妻av区天天看片| 亚洲综合影视| 性爱av在线免费观看| 欧美日韩另类激情图片| 国产精品亚洲日韩骚欢乐谷最新地址发布页huanieguty性屋娱乐妖精视频 | 欧美另类色| 97在线精品观看视频| 欧美热图99| 色婷婷在线视频精品导航| 人人艹亚洲| 蜜臀中文字幕| 国产人妻精品一区二区三区秋霞| 激情五月综合网| 亚洲A曰本VA欧美VA视频| 色香伊人| 看黑人AV不卡| 中文字幕日本久久| 人人操人人uiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii | 精品久久久九九九孕妇| 美国日韩黄色片| 欧美高清16| 九九九九97| av大香蕉网站| 嗯嗯啊操我| 日本免费专区| 国产不良强奸视频免费看| 欧美BT 亚洲色图| 欧美综合色站| 九九九网页| 亚洲乱码尤物193YW| 日韩一区二区精彩视频| 啊啊啊啊好爽好舒服一区二区易域| 欧美熟女丝袜| 亚洲男人的天堂网| 久久久久国产| 国产日韩欧美| 中国小夫妻勾搭露脸淫荡对白| 国产乱伦亚洲色图高清无码| 中国国产精品一区视频| 日本性爰一道本| 一个人免费视频观看在线WWW| 手机在线大香蕉| 亚洲AV人人澡人人爱| 熟妇高潮精品一区二区三区下载| 大香蕉在线视频重口味毛片在线| 熟妇一区二区三区| 久久久99久9| 九月丁香婷婷色| 北条麻妃性愛视频| 欧美日本中字另类在线| 成人性爱AV在线免费观看| 日韩天天综合| 全国男人天堂网| 一区二区三区成人| 国产成年免费大片黄在线观看| 久久久久久久久9| 97精品视频在线播放| 亚洲啪啪啪啪视香蕉| 美女主播色欲91抠b在线播放| 色第一页| 久久久久久久久久黄色网| 日本 免费 一区二区三区 久久香蕉 | 无码高清少妇久久| 国内偷拍精品一区二区| 8x福利精品第一福利视频导航| 高清无码久操视频| av爱爱爱| 人妻熟女av国产网站| 国产精选三级在线观看| 大香交伊人网| 操B久久| 欧美青青视频| 亚洲国产日韩精品久久久| 天美麻豆一区二区三区| 综合国产影视三级| 色色色色电影网| 91女在线观看| julia国产在线 | 亚洲精品视频二区| 黄色片G G G| 天堂亚洲精品| 密臀AV在线| 亚洲天堂情色| 一本大道久| 夜色91| 在线v中文字幕一区二区三区 | 97 超碰 人人做 人人爱| 爱欲AV| 无码久| 久久动漫精品视频这里只有精品| 亚洲91射| 午夜舔阴达高潮视频免费看| 日韩一区二区高清在线观看的| 日韩国语字幕| 青青11操操操操操操操操| 日日干夜夜骑| 人人玩人人添人人澡免费| av一区二区三区 中文| 亚洲色图 欧美热图 清纯唯美 另类自拍 | 99无码狠狠久久| 亚洲欧美国产日本一区二区三区| 精品亚州18| 国产精品第一页国产大屁股视频免费区 | 黄色性爱网网| 99爱爱| 国产精品视频自拍在线| 韩国轻伦国内自拍一区| se..亚洲欧美| 99热思思| 99热婷婷一区二区三| 国产极品一区二区三区三州| 国产老熟女| 久久久久久九九九| 欧美专区在线| 亚洲性网| 久久一区,青青青青草视频在线播放| 揉揉日日日日| 蜜臀久久99精品久久久老,,| 亚洲熟女av中文字幕| 亚洲无码色| 992大香蕉| 簧片免费看视频| 国产精品久久久午夜夜伦鲁鲁| 91天堂色男人的天堂| 色网综合网| 国产一级不卡在线观看| 夜夜综合| 日本123区操B视频| 99热这里都是精品| 日本免费不卡二区| 亚洲国产精品9999在线观看| 日日妻色网| 无码乱人伦中文视频| 人妻少妇久久中文| 激情深爱五月天| 日韩9区| 综合国产影视三级| 欧美日韩狠狠爱| 欧美黑人猛交春色影视大全| 国产日韩在线播放av| 国产精品午夜福利视频| 九九综合久久| 成人羞羞视频国产| 91狼人| 久久久97| 亚洲少妇激情一区二区三区| 思思热在线| a片在线播放| 99精品久久久久久| 99在线免费观看| 亚洲男人天堂AV| 欧美综合第一| 丁香五月色| 乱伦熟女专区| 九九超碰综合网| 精品人妻一区二区免费蜜桃| 人人爱操| 浪人综合网| 极品人妻少妇综合| 狠狠亚洲| 夜夜嗨一区二区| 91福利网在线观看| 高清孕妇孕交 交孕妇| 欧美欲色| 久久久久无码| 丁香五月激情综合| 亚洲 欧美日韩 另类| 亚洲 小说 欧美 激情 另类| 亚洲精品 欧美97色色| 天天综合欧美综合| 日韩精品99999| 高潮毛片无遮挡高清免费| 久久久久久中文| 麻豆黄四叶草网站| 日韩无码成人电影| 一区在线国产播放| 美女操逼福利视频| 乱伦图一区| 人妻精品视频一区二区三区| 欧美激情黑人| 99蜜桃臀亚洲成人在线观看| 亚洲欧美九九| 后入美女国产| 加勒比大香蕉视频在线| 丁香激情网| 曰韩成人免费视频| 亚洲无吗在线视频| 国产AV久久野战精品| 午夜国产成人精品视频| 天天视频黄| 午夜小电影在线插入淫高潮| 91亚洲欧美| 综合网 欧美| 91精品国产综合久久久蜜臀酒店| 欧美色棕合| 色婷网| 日韩欧美午夜视频在线| 伊人久久综合影院| 黄色大片免费在线| 国产理论视频在线播放| 青青操狠狠撩| 免费黄色片子| 97免费在线视频在线观看| 天天影视网综合少妇| 无码国产精品久久久久| www.夜夜操| 香蕉久久国产AV一区二区| 丁香五月激情综合国产| 色婷婷99| 色香阁在线| 日产国产精品中文久久婷婷| 蜜桃精久三区| 熟妇无码视频三区| 99色热| 97超碰超碰| 成人免费性爱视视| 国产女人和拘做爰视频| 久热9| 欧美制服另类丝袜| 亚洲综合骚逼| 国产精品丝袜在线| {男男暴菊gay无套网站| 日韩AV熟女乱伦| 丁香六月婷婷久久综合| juliaann精品熟女一区| 日韩少妇在线视频| 青青草好吊| 日韩欧美女求操每天更新| 日韩熟女无码| 色播综合| 国产又长又大又粗的视频| 欧美色图综合| 国产高清无码一区二区三区四区皇冠| 五月天伊人| 青青草中日韩在线| 狠狠91| 强奸乱伦大香蕉网| 97香蕉碰碰人妻国产欧美| 天天弄欧美| 国产97/欧美| 免费?级毛片无码?∨蜜芽试看| 成人午夜视频免费播放| 国产和美国毛片| 白嫩少妇| 九九热精品| 超碰久久网| 中国人高清www色视频免费| 中文字幕精品日韩中文字幕| av九九| 麻豆精品三区视频| 国产黄色小视频网站| 人妻嗯啊啊在线播放| 91N综合网在线| 翔田千里爆乳巨臀无码| 婷婷色综合| 全球成人中文在线| 九九精品美女高溯喷水| 欧美92| 婷婷久热| 久操频道免费在线呗看| 欧美精品自慰系列寂寞少妇| 97精品中文字幕| 国产午夜福利专区综合| 国产性刺激| 玖玖爱在线视频免费观看| 伊人AAA| 99re这里只有精品2| 日韩卡一卡二卡三在线| 中文字幕免费观看| 亚洲欧美成人网站AAA| 国语国产操逼伊人AV网| 亚洲天堂电影网| hd成人一区二区在线| 婷婷15月天青娱乐| 岛国免费黄色网址| 亚洲999综合| 美女视频尤物网在线看| 91啪9色| 一级做受视频免费是看美女| 五月天激情网图片| 欧美色涩| 国产精品视频播放| 无码聚合| 超碰色老头| 超碰97爽| 99久久亚洲精品无码毛片潘甜甜| 人妻密肉在线观看| 亚洲国产成人精品久久久国产成人一区二区| 亚洲青青青视频在线| 国产传媒午夜理伦精品| 国产蜜臀在线| 久久久久成人蜜桃精品| 爱逼综合| 好屌色综合| 久久人人舔人人爽舔人人av片| 精人妻无码一区二区三区伊人直播| 日本精品成人无码| 亚洲午夜未满十八勿入网站日本又色又爽又黄 | 大香蕉中文aV在线| 欧美色视频在线| KK色在线影院| 九九热超碰97亚洲最新香蕉| 久久香蕉国产线看观看猫咪av| 91制服丝袜中文字幕| 蜜桃传媒一区二区亚洲| 一起草日韩| 美女黄页网站| 东京热一区二区三区四区五区六区| 久久精品午夜国产亚洲AV无码| 91欧美偷拍| 蜜桃av综合网发布| 伊人五月天婷婷| 欧美性五月| 99国产精品人妻人伦| 午夜无码精品免费看性色| 中文字幕视频二区| julia在线观看久久| 免费观看国产小粉嫩喷水精品午| 国产午夜精品一区二区三区牛牛| 国产乱弄免费在线视频。| 亚洲图片偷拍视频区| 精品国产91内射久久| 亚洲欧美综合网 | 粉嫩av在线| 国产一区二区在线播放,久久亚洲精品中文字幕第一区,亚洲精品在线中文字幕视频 | 国产午夜精品理论片一二三区区| 九九这里只有精品| 日韩电影天堂视频二区三区| 免费夜夜爱黄色视频毛片| 综合欧美日韩在线观看| 精品一区二区三区免费古装毛片香港三级日本三级人妇 | 日韩美一区| 强歼乱伦资源网| 欧美色欧美| 亚洲天堂另类| 中韩中文字幕在线观看| 久久是精品| 97干色天堂| 午夜天堂精品久久久久91| 欧美性爱1080p| 操婢日韩| 五月天亚洲色图| 丝袜视频网国产90| 国产久9| 久久久男人的天堂| 欧美超碰96| 亚洲国产一区二区三区在线| 六月丁香啪啪| 黄片www.| 免费一级黄色录像影片| 18禁的网站在线| 玖玖爱在线视频免费观看| 97超碰站| 白嫩少妇| 天天看夜夜看日日干| 国产91美女视频| 日本高清视频在线观看黄已三辽| 欧美淫乱视频| 97超碰这里只有精品| 亚洲宗合网| 啊啊啊好疼| 无码日韩网站| 日本视频在线观看污污污| 色嗨嗨在线| 日日噜噜夜夜狠狠视频无| 人妻少妇被猛烈进入中| 在线看免费无码AV天堂的| 日韩精品一区的| 婷婷五月天成人网| 精品一区二区啪啪啪| 欧美丰满熟妇XXXX性ppX人交| 9999免费精彩视频| 日产国产精品中文久久婷婷| 青青伊人久久| 亚洲色性情三级| 亚洲春色欧美激情自拍| 啊啊啊啊,啊啊好多水| 免费男人的天堂| 国产999精品久久久| 60秒不遮不挡| 日本操逼aaaaa| 亚洲精品xxx| 中文字幕成人理论在线| 这里只有精品视频| 第二页中文字幕| 中文字幕一区 二 区 三 四 五 区日 日 骚 | 欧美熟女妇同| 天天性射网| 性一级黄色录像片网站导航 | 春色综合免费| 夜夜骑夜夜操| www.av在线视频| 日本中文字幕在线电影| 九久9热| 一区中文字幕二区日韩| 亚洲怡春院| 亚洲 日本 不卡| 日韩免费在线观看不卡| 三级网色| 欧插网站| 婷婷香网站| 蜜臀AV一区二区三区| 亚洲国产精品成人综合| 97色婷婷| 久久少妇人妻| 17c嫩草51久久91嫩草| 狼狼色丁香久久婷婷综合五月| 久久AV无码网址| 欧州色图区| 日韩资源网| 九九AV| 国产 日韩 欧美 中文 另类,国产 欧美 另类 制服 变态,高清 日韩 欧美 中文,高 | 校园春色亚洲欧洲| 试看60秒| 无码不卡亚洲成?人片| 视频分类 国内精品| 男人的天堂亚洲| 大乔未久88一区| 成人怡红院| 国产网站在线播放| 91视频观看网站| com 首页 18岁 禁区 女优 免费 精选 同城 | 91天天爽| 国产一区免费午夜视频| 三级三级三级日本99| 亚洲资源网| 91天天| 色小视频蜜乳| 亚洲素人网| 91丨国产丨白浆秘 洗澡动漫| 国产免费久久久久| 亚洲自拍一区夜夜操| 偷拍新久久| 八戒无码国产午夜福利| 天天透伊人| 亚洲欧美校园| 国岛片视频| 91丨国产丨白浆| 国产1769在线| 神马午夜久久久| 亚洲天堂欧美| 色色色热| 亚洲在线A| 久草视频在线视频在线视频在线观看| 七久久久| 亚洲黄色电影| 丁香婷婷九月| 97爱啪| 日韩极品无码B| 亚洲欧美一区二区三区在钱蜜桃 | 夜夜嗨一区二区| 啊啊啊啊啊啊啊啊要喷了| 在线亚洲 欧美 日本专区| 色综合久久888| 97爱啪| 麻豆天天躁天天揉揉AV| 欧美亚洲中文字幕| 一区二三区四区视频大全套| 色在线亚洲视频www| 中文字幕在线观看网页| 久久久亚洲| 久久性爱视频| 巨乳特殊服务按摩| 欧洲熟妇xxXx欧美老妇裸体| 91亚洲欧美综合高清在线| 97色伦97色伦国产欧美| 91女人的网站| 天天草天天日| 丰满人妻一区二区三区在线| 青青草中文字幕| 920日本午夜免费| 综合色区偷拍| 成人精品在线| 男人的天堂VA| 丁香五月性| 91在线观看,天天综合| 黑人精品成人一区二区三区 | 国产美女精品| 樱花蜜乳av| 午夜福利区| 乱伦色图网址是多少| 久超超碰| 操迟操逼在巾线Fre看| 久久国模av| 欧美不卡在线一区二区| 日本 免费 一区二区三区 久久香蕉 | 啊啊啊啊二区好大| 国产乱伦亚洲| 超碰午夜| 九九黄色视频在线观看| 亚州欧美在线| 99热| 天堂v无码免费视频| 精品久一区免费| 思思热在线视频免费| 熟女天天干| 1人人看人人摸人人操| 欧美性生活内射| 国产www色在线观看| 91美女国产在线| 抽插无码高清一区| 96久久久久久久| 成人五月香网在线| 三级精品三级在线观看| 2017超碰| 天天综合网站| 亚洲无码com| 婷婷香网站| 国产亚洲精品玖玖玖在线观看| 欧美最婬乱婬爆婬牲视频| 激情六月天| 亚洲视频中文一区| 熟妇国产免费一区| 久久久 国产精品| 国产国产亚洲一二三久久| 久久久九九网站| 91搡老女人老妇女老熟女歌词翻译| 国产精品久久久久久夜夜夜| 手机在线中文字幕国产| 九九热精品视频六| 爱欲AV| 亚欧成人中文字幕一区| 亚洲欧美日韩不卡人妻| 久久深夜无码| 黄色欧美性爱视频| 久久久久久久性爱| 午夜精品久久久久久久99热影院| 亚洲av淫乱| 中文久久久| 色偷偷色偷偷欧美日韩| 免费簧片在线观看| 综合欧美亚洲| 裸体1区| 久碰视频| 日韩欧美大力操| 粉嫩久久久久| 亚洲中文字幕97久久精品少妇| 丁香五六月啪啪| 久草线上视频免费看| 偷拍欧美综合| 欧美日韩在线国产在线| 国产极品馒头逼| 九九九九九九九九九九九九九九九女| 99热综合| 人人看欧美性爱| 99999re| 久久99草| 男人亚洲91首页在线| 逼逼逼逼操操操操操操操操操午夜剧场| 亚洲中字慕不卡| 爱干爱射网啊啊啊| 欧美中出1| 国产成人 综合亚洲 天堂| 丰满少妇精品一区二区| 亚洲精品骚逼| 人妻啊啊人妻啊啊| 国产精品亚洲天堂网址| 搡老女人老91二区| 欧美第二页午夜| 国产在线76页| 中文字幕丝袜国产第一页不卡| 久久超碰日韩精品| 超碰视97中文| 久久riav中文精品| 久久久久九九九| 狠狠干妹子| 久久亚洲天天做| 自拍大香蕉乱插| 一级二级三级黑人无码| 51一区二区三区| 中文字幕久久精视频久久大全| 五月丁香激情综合网| 久操com| 成人精品无码| 综合五月天| 九九九精品色乱九九九| 中文字幕88av在线| 国产精品天美传媒| 天天干夜夜一操| 午夜福利1区2区3区| 久九九九| 南澳成人一级片在线播放| 亚拍在线| 亚洲人在线成线成人| 国产 日韩 欧美 人妻 熟女 中文 69人妻精品一区二区绯色 | www欧美性爱| 国产精品黄色三级av| 久久免费99精品久久久久久| 亚洲?V高清一区二区三区尤物| 精品久久久久综合无码| 超碰97综合网| 少妇激情AV| 操91| 秋霞鲁丝午夜无码一区二区三| 国厂麻豆77q4| 蜜桃在线观看一区二区三区| 日本熟人妻中文字幕在线|...久久国产精品-国产精品_日本一区二区三区中文字幕 | 国产传媒美日韩av| 密臀在线免费观看| 久久9 9 9精品| 97九色人妻| 欧美78p| 精品国产乱码久久久久久久久1| 五月天激情小说网| 亚洲色色色| 激情四射五月天| 久久XX| 97婷婷色| 久久香蕉国产传媒一区剧情天美| 夜夜爽爽爽| 大胆91| 亚洲情色五月天 | 九久9精品| 欧美日韩亚洲天堂| 91精品网站| 欧美超碰在线| 亚洲高清自拍| 国产黄色剧情影片麻豆免费播放| 诱惑网综合| 色综合一区二区三区| 国产一级内射高清视频| 啪啪性爱免费视频| 亚洲,日韩,欧美,成人播放| 看免费的黄片| 91人妻中文| WWW黄片COM| 超碰99在线观看| 亚欧精品久久久久久久久久久| 七久久久| 91殴美大片| 裸体美女久久久| 熟女露脸激情自拍视频| 一本色道人妻久久| 色吧91| 国产精品视频自拍在线| 亚洲AV秘 精品久久老牛影视| 国语av最新自产拍在线观看| 中文字幕在线高清男人的天堂| 久久精品店| 亚洲天堂 视频你懂的| 免费观看欧美日韩操逼视频| 中文乱码99| 久久九精品| 超碰97极品9| 91性片| 一本色道久久天天射天天干| 久久无码成人| 成人性爱电影网| 日韩天美| 欧美久久婷婷| 国产91专区| 久久久久久九九九九九| 免费αV在线视频| 无码黑人精品一区二区三区三| 色色激情五月天| 亚洲限制级在线| 欧美在线 亚洲| 精品人妻丰满熟妇一区二区三| 欧美人黑A片无码免视费| 无码操逼网| 天天日天天插| 国产精品欧美激在线| 综合熟妇一区二区三区| 女人天堂av在线播放| 久久草草亚洲蜜桃臀| 欧亚乱色熟女一区二区| 中文字幕五区| 精品一二三区女同| 亚洲脚交| 国产精品一区二区久久精品| 秋霞视频一区二区 | 成人一二三区| 操www| 日日干夜夜干| juliaann丝袜大战黑鬼| 欧美激情在线观看视频| 秋霞成人一级在线观看| 亚洲综合小说另类图欧美视频激情小说色五月天 | 狼人久草| 伊人991| 唯美清纯 妖精视频| 国产欧美精选自拍一区| 成人日韩欧美| 久久草视频污视频| 人妻久久一区二区三区| 国产第25页在线观看| 国产精品久久久视频| 超碰到97情色| 三级日本一区二区三区| 免费综合亚洲中文| 久久久熟妇熟女国产| 欧洲综合色| 国产亚洲精品农村妇女| 久久久久国产亚洲一区欧美色图日韩 | 日韩人妻一区二区| 影音先锋国产精品| 国产少妇高潮| 久久男人的天堂| 中文字幕性感少妇av| 加勒比日本在线| 欧美性91| 免费一级欧美片片线观看| 亚洲丝袜B诱惑| 午夜在线播放| 欧美顶级黄片AAAAA在线免费看| 久插综合| 探花精品 一区二区| 一区二区三区四区免费视频| 久久国产视频专区一二三| 深夜视频| 日韩乱伦视频| 国产第11页| 一级性爱视频免费在线| 亚洲精品男人的天堂| 啊啊啊轻点在线观看| 无遮挡一级毛片视频免费的| 久久久蜜桃一区二区三区| 深夜激情| 欧美日韩一区二区三区四区蜜桃| wwe 天天干.com| 狠狠操狠狠操操| www.久久爱| 亚洲中字慕不卡| 在线观看中文av字幕| 91高跟美女在线播放| 日本爽爽爽爽爽爽免费视频| 超碰超碰欧美| 欧美天堂在线| 丁香五月偷拍| 爱丝福利| 亚洲蜜桃V妇女| 超碰在97| 95自拍视频在线观看| 青青操少妇| 国产兽交视频在线播放| 2001天天操| 三久久久四久久久久| 99在线精品视频| 久久精品国产97欧美精品亚洲| 大伊香蕉在线视频免费| 久久久成人免费av电影| 国产精品久久久久中文字幕| 黑人精品久久97| 亚洲一曲日韩精品| 在线视频五十市| 国产美女自拍AV| 神马午夜久久久| 18禁看网站一区| 欧美少妇第一页| 亚洲色交| 午夜男人天堂| A 天堂| 欧美熟妇乱码在线一区| 欧美日韩插逼视频| 夜夜狠狠躁日日躁色视频| 一本色道综合久久欧美| AV老汉| 久久性爱精品一区| 欧美国产有色电影| AAAAAAAAA黄片| 欧洲精品欧洲精品| 韩国一级做A片免费的| 亚洲好色人妻| 国产成人自拍视频在线| 精品美女少妇一区二区| 裸体美女免费看网站青草| 九热久| 啊啊啊啊视频免费| www.亚洲成人一区| 97色涩| 美中日韩无码| 久久99久久99精品天美传媒棢·纸:. | 好舒服视频| 日本性爱不卡视频| 校园春色 亚洲| 五月天久久久| 麻豆天美传媒毛片| 国产精品网站www| 激情抓乳插进去啪啪啪日韩| 狠狠爱夜夜干| 色色五月婷婷| 久草加勒比一区在线| 欧美综合色站| 国产区91柔拿会所技师| 爱丝福利| 台湾佬激情综合| 永久免费av无码网站国产app| 欧美性爱网97| 亚洲四虎熟女精品| 男人的天堂com| 一区=区三区视频| 亚洲最大成人a毛毛片| 一级免费精品| 天天添天天干电影| 日韩无码精品综合久久| 98福利在线视频| 久久婷婷五月天| 亚洲欧洲av影音| 色老牛| 久热婷婷| 国产精品第一区第一页| 久久精品人妻一区二区| 99re视频在线观看这里只有精品| 欧美日韩大香蕉| 中文字幕在线2| 色噜噜婷婷| 日韩有码 一区二区三区| 加勒比AV天堂| 色婷婷五月天| 大香蕉综合网| 亚洲乱色视频一区、二区在线| 一类无码操逼视频| 蜜桃天美传媒AV一区二区三区| 男人亚洲91首页在线| 国产精品爽爽v| 精品无码少妇| 91欧美成人色站| 亚洲乱熟女一区二区三区大香蕉| 精品国模无码| 欧美精品欧美精品系列 | 婷婷五月天色色| 91丨国产丨白浆秘 洗澡动漫| 免费看国产大AB| 九九无码久久精品视频| 欧美一区二区三区入口| 啊啊啊久久| 日日骚精品视频| 人人摸人人干| 家庭乱伦性爱av| 天天澡天天爽日日AV| 久久肏大逼| 亚洲本色精品一区二区久久| 中精品一区二区三区| 九九热免费国产视频婷婷伊人| 久久精品国产亚洲AV片多多 | 大香蕉性欧美| 午夜精品久久久久久久99热影院| 国模精品娜娜一二三区| 国产男女边吃边摸视频网站| 亚洲欧美骚| 超碰天天操你比| 97天天搞在线| 99婷婷一区二区| 四虎影视 亚洲无码| 97色色色综合网站| 日韩一级片在线看| 精品亚洲一区在线观看| 少妇无码999| 97人人爱人人做人人乐| 丁香五月天堂网| 国产 热久久久久国产精品| 精品九区| 国产外初女出血视频| 色五月天AV| 亚洲情色第一页| 人人天天干干| 日本成人A片免费看| 天天看天天日天天操| 亚洲熟女乱综合一区二区在线-...亚洲国产日韩欧美一区二区三区,久久久久久精 | 97国产人人| 欧美激情黑人| 操亚州| 欧美狠狠弄| 五月天婷婷影院| 日韩中文字幕在线视频观看| 亚洲图片激情综合另类| 亚洲全色网| 久久香蕉国产线看观看亚洲女人 | 97天天摸天天碰| 国产精品无码AV网站| 国产成人欧美一区二区三区的国产| 在线日韩日本亚洲国产| 精品人妻一区二区三区不卡断 | 无码精品久久久天天影视| 日韩操啪| 91丝袜在线观看| 蜜臀久久99精品久久久久久成人小说| 很狠操| 色情婷婷久久五月天| 青青草手机在线免费观看| 97玖玖人妻| 成人贴图日韩欧美| 五月天伊人| 国产农村一一级特黄毛片| 色婷婷九月天天综合| 一类无码操逼视频| 无码137片内射在线影院| 亚洲无992tv| 91青青草| 日韩在线电影| 啊啊啊啊啊啊在线| 大香蕉日韩| 韩国嫰模上门援交视频| 91n免费处女| 色在线69堂| 中文一区在线日| 婷婷香网站| 日本精品性生活久久久| 九九自拍伦理| m欧洲一级午老| 九一精品牛牛一区二区| 吉川爱美亚洲二区在线| 久久日本熟妇熟色高清 | 国产特级毛片AAAAAA高潮流水| 天天操人人操狠狠插| 日韩性爱1级片视频| 亚洲综合另类小说色区亚洲成av人片在www| 亚欧毛片基地国产毛片基地| 操操吧亚洲乱伦视频| 岛国毛片在线观看免费| 黄色AAAAA欧美| 国产 亚洲 丝袜 制服| 国产精品久久成人免费| 色婷婷五月综合激情中文字幕| 大香蕉丝袜一级片| 天天爽天天爽| 欧美黄色片AAAAA| 色播综合| 中亚精品极乱| 九九久久久九九| 亭亭丁香激情| 午夜福利区| 青青草无码视频| 97超级色碰碰| 嗯嗯不要 视频| 超碰97丝袜| 在线午夜成人无码视频| 老司机午夜精品视频| 天天谢天天干| 岛国黄色短视频| 免费A V在线播放| 91性高潮久久久久久久久| 国产精品麻豆成人AV艾秋| 99啪啪| 久热久一区二区三区| 欧美韩国你懂得在线 | 成人av性爱电影在线观看| 中文字幕日韩电影人妻| 自拍偷拍 高清无码| 毛片电影一区二区三区| 日本一级一级一级一级| 天天操天天射青青草| 操一区| 人澡逼| 好吊色综合| www.91人妻.com| 亚洲最大AV网| 色色婷婷五月天| 嗯嗯,啊啊,国产精品| 欧美性生活内射| 亚欧美色图| 丁香九月婷婷| 制度丝袜99| 亚洲色综合| 亚洲国产精品乱码在线观看| 日本男人插女人的逼黄色| 亚洲AV永久无码精品成人调教| 日韩啪啪视频| 日韩黄片视频试看| 亚洲欧洲综合视频在线| 丰满人妻一区二区三区在线| 西西美女视频网| 97人人夜| 伊人五月天婷婷| 97欧美性爱| 久操综合在线| 精品9区| 伊人九九九| 国内毛片热久久思思热| 人人操人人大香蕉| 日韩在线女优天天干| 婷婷五月天无码 | 超碰色综合| 成人a大片在线观看| 色色色综合| 日本99一区二区| 亚洲丝袜二区在线| 日韩精品在线放| 高清国产av无码| 91红杏| 熟女高潮精品一区二区| 超碰97人人cao| 国产高潮AA片免费看| 中文字幕一区 二 区 三 四 五 区日 日 骚| 久久精品视| 伊人国产成人av网站| 唐山老熟妇露脸啪啪叫| 亚洲色图久久成人| wuyechaopeng| 91网站视频在线观看| 97久久久网站| 日韩无码操逼片| 天天做天天爽| 欧美亚州色的图| 亚洲在线欧美| 亚洲少妇中文字幕网址| 欧美成人亚洲精品| 中文字幕福利视频一区二区三区在线观看| www久久国产精品| 国产成人网站在线观看| 美女AV一区二区| 91爱啪| 最近2019中文字幕国语免费版| 国产免费大片| 综合激情一一91| www.av家庭乱伦| 婷婷久草| 欲色啪| 五月天婷婷在线看| 亚洲中文字幕97久久精品少妇| 欧美极品少妇| 免费一级性爱久久| 黄色污污污污污污网站| 熟女久久| 国产一区二区精品久久99| 日韩影片中文字幕一区二区三区| 婷婷8月天青娱乐| 色乱二区| 玖玖爱一区在线| 国产成人亚洲精品无| 操碰91| 欧美在线|亚洲| 成人麻豆av电影网站| 亚洲国产综合久久久性感熟妇| 国产午夜精品一区二区三区牛牛| 青青久久手机线视频| 99国产精品久久久久久久成人热| 91亚洲综合| 九九色图| 久久久9 9 9精品| 亚洲天堂AV在线播放| 青青草伊人久久| 丰满人妻-区二区三区| 超碰人人干| 狠狠操狠狠燥| 无码黑人精品一区二区三区三| 91 国产丝袜在线放观看| 亚洲日韩美女丝袜美腿人妻视频| 2024人人操人人摸| 四虎影视永久在线观看精品免费网站| 国产av激情无码久久天堂| 婷婷三区| 久久日本熟妇熟色一区| 久久久A∨| 天天操天天干美女网址导航| AV无码久久久精品| 色呦色呦色精品| 亚洲国产尤物yw在线观看| 欧美激情 日韩精品| 欧差乱伦二三| 久久99国产综合精品女同| 天天综合欧美| 久久久久成人蜜桃精品| 国产午夜精品一区二区三区牛牛| 曰韩av中文字幕专区| 97人妻人人躁人人玩人人| 最近2019中文字幕国语免费版| 无码视频一区二区| 操www| 日本精品性生活久久久| 精品国产91av一区二区三区| 久久夜色一区二区| 91一区二区三区蜜桃| 九九热五区| 99久久久久久亚洲精品不卡| 久久久9视频| 欧美性爽xyxOOOO| 久久一二区四| 成年人黄色视频免费| 暖暖精品二区三区观看| 热思思免费视频| 久草资源在线视频官方总站日韩丝袜美腿| 久久国产在线一区二区| 久久99操天天日| 色97干| 精品视频日日夜夜| 美国日韩黄片| 上床不卡网站| A级毛片在线看免费| 99色日| 国产欧美一级在线观看| 国产外初女出血视频| 久久九九国产精品| 91中文字幕在线观看| 五月丁香影院| 婷婷久月| 五月丁香综合| 五月婷亚洲精品天堂| 欧美狠狠弄| 亚洲一曲日韩精品| 色香欲天天天天综合色| 中文字幕 国产 精品| 久热最新在线杭州| 99久久com免费视频′| 欧美视频一| 久久久18禁| 免费作爱一级视频| 99在线观看视频在线高清| 亚洲国产精品久久久久久久久久| 啪啪视频免费在线观看| 国内精品久久国产,www香蕉久久五月丁香,亚洲欧美日韩精品永久在线,日本精品一 | 日韩色欲久久一二三四区| q2午夜理论片夜色av| 九九在线视频| PMv在线观看| 亚洲人在线| 思思热久久成人| 久久婷婷苹果| 国产av高清版| 偷拍亚洲熟女视频播放| 秋霞福利网| 欧美日韩99| 凹凸视频在线一区二区| 欧美亚洲日韩16色| 日韩小电影| av在线免费一区二区| 99精品无码| 加勒比无码一区二区三区| 亚洲国产成人精品999| 亚洲国产中文字幕| www.婷婷五月天| 搡老女人老91妇女老熟女| 97国产天堂岛| 日本在线不卡一二区| 日韩视频中文字幕| 欧美在线色| 大香蕉丝袜一级片| 欧美亚洲自拍另类人妻| 91激情综合| 日韩精品 资源| 久久精品国产亚洲AV先锋| 亚洲天堂人人妻| 五月丁香六月婷| 狠狠色伊人亚洲综合网站色| 国产熟女自拍| 91色综| 日韩色欲久久一二三四区| 欧美劲爆第一页| 1204av韩国| 九月色婷婷| 黑人精品XXX一区一二区| 超碰9 7女人| 极品粉嫩一区二区| 极品白嫩美女白浆成人福利在线看| 久久精品国产亚洲AV先锋| 亚洲精品1区| 日韩免费人妻色情网站| 人妻81p| 97视频免费在线观看| 亚洲清纯唯美| 青青网三级视频| 美國A片| AV乱伦国产| 亚洲图片 欧美电影| 欧美熟女妇同| 99视频只有精品| 人干人人人操人人摸|