亚洲有码Av一区二区三区_国产高清啪啪免费视频_69色视频国产_国产成人人人爆出白浆_国产精品自在线拍国_一本久久伊人热热精品无码_午夜性刺激在线看免费带字幕_助力高品质欧美狂喷水_亚洲精品日韩无码_精品无码一区二区三区蜜臀_麻豆高清国产AV_熟妇人素无码中文字幕_亚洲a级片在线观看_国产欧美日韩三区_99国产成人高清在线观看

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

FPGA上位機SDK遷移實戰(zhàn):從API替換到適配層設(shè)計

FPGA上位機SDK遷移實戰(zhàn):從API替換到適配層設(shè)計 FPGA上位機開發(fā)里換底層通信庫算是我最不愿意輕易碰的活。之前一個FPGA采集卡項目把上位機控制通道從老供應(yīng)商的同步接口SDK遷到另一家供應(yīng)商的同類SDK項目標(biāo)題就叫“Opalkelly Frontpanel SDK到Pionway SDK的代碼遷移實例”。這名字聽起來像照著文檔改API就行真做起來完全是另一回事設(shè)備枚舉方式不同、管線下載時序不同、塊傳輸?shù)膶R要求不同連錯誤碼都沒法直接翻譯。這篇文章不點評具體廠商而是把這次代碼遷移的完整思路、API映射表、適配層設(shè)計、踩坑記錄和回歸測試方法整理出來。適合正在做FPGA上位機底層替換、或者準(zhǔn)備給項目加一層硬件無關(guān)抽象層的朋友參考。1. 為什么要做這次遷移不是閑得慌是硬件供應(yīng)變了1.1 表面是換接口實際上是重寫“邊界”這個項目原本的架構(gòu)非常典型上位機軟件通過USB 3.0跟FPGA采集卡通信采集卡里跑的是自己寫的邏輯上位機里則是廠商提供的動態(tài)庫。剛開始沒有想太遠(yuǎn)所有業(yè)務(wù)代碼都直接調(diào)用廠商SDK的函數(shù)比如枚舉設(shè)備、打開設(shè)備、下載管線的bit文件、讀寫寄存器、批量收發(fā)數(shù)據(jù)。項目跑起來之后功能確實沒問題但硬件方案一調(diào)整麻煩就來了原來那家供應(yīng)商的驅(qū)動和庫不能再繼續(xù)使用時上層業(yè)務(wù)代碼幾乎要到每個函數(shù)里改一遍。表面上這只是一個“換庫”的動作實際上等于把上位機與FPGA之間的邊界重寫一遍。因為兩家SDK雖然解決的是同一個問題但它們的抽象層級不一樣。老SDK把“設(shè)備”看成一套完整的FrontPanel工作環(huán)境打開設(shè)備之后要先初始化環(huán)境再下載bit流然后才能操作管線新SDK更偏向“命令式”的接口打開句柄、發(fā)送命令、關(guān)閉句柄沒有那么多隱含狀態(tài)。如果只是按函數(shù)名一一對應(yīng)替換很容易把A SDK里的隱式初始化邏輯丟掉結(jié)果就是設(shè)備打開成功、寄存器也能寫但數(shù)據(jù)通路完全不通。所以我的第一個結(jié)論是別急著寫代碼先承認(rèn)這是一次架構(gòu)層面的調(diào)整而不是文本替換。你需要重新梳理上位機軟件里所有跟硬件有關(guān)的操作把它們歸納為一組對上層穩(wěn)定的能力再在這組能力和具體SDK之間建立適配層。這么做的代價是前期多畫幾張圖、多建幾個類但好處是后續(xù)每換一次硬件只需要換一個適配器。1.2 三種遷移路線的對比直接替換、適配層、重寫針對這次遷移我認(rèn)真對比過三條路線結(jié)合實際項目情況才選了中間那條。第一條是全局替換API調(diào)用。把代碼里所有A_OpenDevice換成B_OpenDeviceA_WriteRegister換成B_WriteRegister看起來最省事。但這條路線的問題在于兩家SDK的調(diào)用上下文不一致。老的塊傳輸接口可能要求先打開一條管道并設(shè)置緩沖區(qū)新的接口卻是在調(diào)用時傳端點號老的上位機代碼里遍布各種A_GetLastError新的SDK卻直接返回布爾值把錯誤碼掛在另一個查詢函數(shù)里。全局替換下來改了一兩百處調(diào)用任何一處漏掉隱式依賴排查成本都會指數(shù)上升。第二條是做適配層也是我最后選的方案。定義一個中間接口把自己項目的語義放進去比如打開設(shè)備、配置FPGA、讀寄存器、寫寄存器、批量讀、批量寫。然后分別實現(xiàn)老SDK適配器和新SDK適配器業(yè)務(wù)代碼只依賴這個接口。這樣上層代碼幾乎不用動換SDK只是換一個工廠方法的事。第三條是重寫業(yè)務(wù)邏輯。如果項目本身就比較小功能就一個寄存器讀寫加一個中斷處理確實可以考慮直接在B SDK上重寫一套簡單的控制流程。但我們的采集卡項目涉及十幾個寄存器、三種以上的批量傳輸端點而且還帶一套內(nèi)部狀態(tài)機重寫業(yè)務(wù)的測試成本比寫適配層高得多。最終選適配層還有一個原因它可以跟舊代碼共存。遷移不是一天完成的老SDK的適配器先寫出來、先跑通業(yè)務(wù)層繼續(xù)用統(tǒng)一接口不會出現(xiàn)老代碼全部不可用的空窗期。2. 動手前的接口梳理先畫清楚映射再寫代碼2.1 端到端的最小調(diào)用鏈路在寫適配器之前我把現(xiàn)有上位機程序里所有跟FPGA有關(guān)的調(diào)用整理成了一條完整鏈路。最小調(diào)用鏈路大概是下面這樣枚舉設(shè)備拿到設(shè)備序列號列表。打開指定序列號的設(shè)備。如果固件不在Flash里就下載bit流文件到FPGA。讀取固件版本號等握手寄存器確認(rèn)固件已經(jīng)運行。寫采集控制寄存器啟動采集。通過批量傳輸端點讀回數(shù)據(jù)。停止采集關(guān)閉設(shè)備。這條鏈路看著簡單實際驗證時就會發(fā)現(xiàn)很多隱含動作。老SDK的設(shè)備枚舉返回的是一串字符串新SDK返回的是結(jié)構(gòu)體加索引兩者之間的對應(yīng)不是簡單的類型替換。固件版本這個動作也不僅僅是“讀0x10寄存器”因為新SDK可能要求在讀取之前先發(fā)一個同步命令。所以我在動手前做了一張“調(diào)用場景清單”把這條鏈路拆成六個業(yè)務(wù)場景初始化與枚舉、打開與關(guān)閉、固件配置、寄存器訪問、批量數(shù)據(jù)收發(fā)、錯誤處理。每個場景都標(biāo)注出老SDK的一份代碼路徑和新SDK應(yīng)有的對應(yīng)路徑。這張清單后來成了映射表的底稿也是回歸測試用例的來源。2.2 核心API對應(yīng)關(guān)系表映射表不需要覆蓋SDK的所有函數(shù)只需要覆蓋項目實際用到的部分。我們項目里用到的核心能力大概二十個我選其中最有代表性的放在下面功能層面老SDK接口新SDK接口需要重點關(guān)注的差異枚舉設(shè)備A_Enumerate()B_FindAll()序列號的格式與排序策略不同打開設(shè)備A_Open(serial)B_Open(index)一個用序列號字符串一個用索引號下載固件A_Configure(bitfile)B_LoadFirmware()新SDK不支持直接給bitfile需要先讀入內(nèi)存讀寄存器A_ReadRegister(addr, val)B_RegRead(addr, val)地址位寬和訪問對齊要求不同寫寄存器A_WriteRegister(addr, val)B_RegWrite(addr, val)寫后可能需要流水線同步批量寫A_PipeOut(ep, buf, len)B_BulkWrite(ep, buf, len)緩沖區(qū)對齊要求和超時語義不同批量讀A_PipeIn(ep, buf, len)B_BulkRead(ep, buf, len)一次請求中允許接收的數(shù)據(jù)量上限不同查詢錯誤A_GetLastError()B_ErrorString()錯誤碼體系完全不對應(yīng)必須包一層翻譯建這張表時最大的收獲是不要把老SDK的調(diào)用習(xí)慣帶到新SDK里去。比如老SDK里寫寄存器之前通常要調(diào)用一個“同步”函數(shù)新SDK沒有這個概念但新SDK要求所有寄存器寫入都帶一個明確的地址偏移不能直接傳邏輯地址。這些差異靠人肉記很容易漏落到表格里之后每個適配函數(shù)在實現(xiàn)前都能先找到對應(yīng)關(guān)系。3. 遷移落地的三步走分層、適配、逐模塊替換3.1 先定義自己的統(tǒng)一控制接口既然決定走適配層路線第一件事就是把統(tǒng)一接口設(shè)計出來。這個接口不應(yīng)該照著任何一家SDK的函數(shù)來而應(yīng)該照著項目業(yè)務(wù)來。我們的業(yè)務(wù)需求是上位機需要能夠打開一臺設(shè)備下載固件讀寫寄存器批量收數(shù)據(jù)。于是接口長這樣class IFpgaControl { public: virtual ~IFpgaControl() default; virtual bool OpenSerial(const std::string serial) 0; virtual void Close() 0; virtual bool Configure(const std::string bitFile) 0; virtual bool WriteRegister(uint32_t addr, uint32_t value) 0; virtual bool ReadRegister(uint32_t addr, uint32_t* value) 0; virtual bool BulkWrite(uint8_t endpoint, const void* data, size_t size) 0; virtual bool BulkRead(uint8_t endpoint, void* data, size_t size) 0; virtual const FpgaError GetLastError() const 0; virtual bool IsConnected() const 0; };這里有一個很容易踩的坑接口設(shè)計不要太厚不要一上來就想覆蓋SDK的所有能力。比如老SDK支持好幾種握手協(xié)議、支持通過寄存器動態(tài)改管腳電平新SDK也有類似功能但項目根本用不到。把用不到的功能塞進接口會讓每個適配器都背上沉重的實現(xiàn)負(fù)擔(dān)。我們只需要把現(xiàn)在和未來半年內(nèi)確定要用的能力放進來剩下的可以通過擴展接口再加。配套的錯誤信息結(jié)構(gòu)體我定義為struct FpgaError { bool hasError false; int32_t code 0; std::string message; };這個結(jié)構(gòu)體統(tǒng)一承載所有底層錯誤不管老SDK返回的是整型錯誤碼還是新SDK返回的是錯誤文本都在適配層里轉(zhuǎn)換好。上層業(yè)務(wù)不需要知道底層是哪家SDK。3.2 舊SDK適配器把A的調(diào)用包起來統(tǒng)一接口定義好之后先寫老SDK的適配器。這一步很有價值因為老SDK是已經(jīng)跑通的用它來驗證接口設(shè)計是否合理最省事。class AdapterOldSdk : public IFpgaControl { public: ~AdapterOldSdk() override { Close(); } bool OpenSerial(const std::string serial) override { uint32_t count 0; if (!A_GetDeviceCount(count) || count 0) { error_ { true, 0, no device found }; return false; } for (uint32_t i 0; i count; i) { char buf[64] {0}; if (A_GetDeviceSerial(i, buf, sizeof(buf)) serial buf) { device_ A_Open(buf); return device_ ! nullptr; } } error_ { true, 0, serial not found }; return false; } void Close() override { if (device_) { A_Close(device_); device_ nullptr; } } bool Configure(const std::string bitFile) override { if (!device_) return false; if (!A_Configure(device_, bitFile.c_str())) { error_ { true, A_GetLastError(device_), configure failed }; return false; } return true; } bool WriteRegister(uint32_t addr, uint32_t value) override { if (!device_) return false; if (!A_WriteRegister(device_, addr, value)) { error_ { true, A_GetLastError(device_), write reg failed }; return false; } return true; } bool BulkRead(uint8_t endpoint, void* data, size_t size) override { uint32_t transferred 0; bool ok A_PipeIn(device_, endpoint, data, (uint32_t)size, transferred, 2000); if (!ok || transferred ! size) { error_ { true, A_GetLastError(device_), bulk read failed }; return false; } return true; } const FpgaError GetLastError() const override { return error_; } bool IsConnected() const override { return device_ ! nullptr; } private: void* device_ nullptr; FpgaError error_{}; };寫老SDK適配器時確實會有一種“接口應(yīng)該有幾個參數(shù)”的糾結(jié)。比如老SDK的塊讀取函數(shù)需要傳入超時參數(shù)統(tǒng)一接口里要不要暴露超時我最后的做法是不暴露在適配器內(nèi)部給一個保守的默認(rèn)值。原因是上層業(yè)務(wù)大多不需要單獨控制超時真要控制超時是另外的接口設(shè)計問題不能讓每個調(diào)用點都背著參數(shù)。3.3 新SDK適配器別在老適配器上打補丁老適配器跑通之后新SDK的適配器就好寫了因為它要實現(xiàn)同樣的語義。很多人會在這一步偷懶想著在老適配器里加幾個#ifdef或者復(fù)制一份出來改成新調(diào)用。這兩種做法我都試過最終結(jié)論是老老實實新建一個類別在老適配器上打補丁。新SDK適配器的核心代碼長這樣class AdapterNewSdk : public IFpgaControl { public: ~AdapterNewSdk() override { Close(); } bool OpenSerial(const std::string serial) override { B_DeviceInfo info; uint32_t count 0; if (!B_FindAll(info, count) || count 0) { error_ { true, 0, no device found }; return false; } for (uint32_t i 0; i count; i) { if (serial std::string(info[i].serialNumber)) { handle_ B_Open(i, B_OPEN_FLAG_EXCLUSIVE); return handle_ 0; } } error_ { true, 0, serial not found }; return false; } void Close() override { if (handle_ 0) { B_Close(handle_); handle_ -1; } } bool Configure(const std::string bitFile) override { std::vectoruint8_t raw ReadFileAsBytes(bitFile); if (raw.empty()) return false; if (!B_LoadFirmware(handle_, raw.data(), raw.size())) { error_ { true, B_ErrorCode(handle_), firmware load failed }; return false; } return true; } bool WriteRegister(uint32_t addr, uint32_t value) override { if (addr 0x03) { error_ { true, 0, address should be 4-byte aligned }; return false; } if (!B_RegWrite(handle_, addr, value)) { error_ { true, B_ErrorCode(handle_), reg write failed }; return false; } return true; } bool BulkWrite(uint8_t endpoint, const void* data, size_t size) override { if (size % 16 ! 0) { error_ { true, 0, bulk size must be multiple of 16 }; return false; } uint32_t written 0; bool ok B_BulkWrite(handle_, endpoint, data, (uint32_t)size, written, 5000); if (!ok || written ! size) { error_ { true, B_ErrorCode(handle_), bulk write failed }; return false; } return true; } private: int32_t handle_ -1; FpgaError error_{}; };我在新適配器里加了幾個老適配器沒有的檢查比如寄存器地址必須4字節(jié)對齊、批量大小必須是16的整數(shù)倍。這些檢查來自新SDK固件的約束條件不是我想當(dāng)然加的。有一次我在新SDK上直接傳了一個奇數(shù)大小的緩沖給批量寫接口返回錯誤碼也很正常但FPGA那邊收到的數(shù)據(jù)整體錯位了兩字節(jié)。后來翻了固件源碼才發(fā)現(xiàn)新SDK的驅(qū)動內(nèi)核默認(rèn)把所有請求按整塊處理非對齊長度會被靜默處理成對齊值不會提示錯誤。新適配器剛寫好的時候不建議接入業(yè)務(wù)。先寫一個小測試程序直接調(diào)用新適配器的OpenSerial、Configure、WriteRegister、ReadRegister確認(rèn)能跑通最簡單的“寫一個寄存器再讀回來”流程。這一步通過之后再把它接到工廠方法里替換掉老適配器。3.4 業(yè)務(wù)層替換策略水管全換水龍頭不動適配器寫完之后業(yè)務(wù)層的替換其實是最簡單的。設(shè)計一個工廠函數(shù)std::unique_ptrIFpgaControl CreateControlDevice(DeviceKind kind) { switch (kind) { case DeviceKind::OldVendor: return std::make_uniqueAdapterOldSdk(); case DeviceKind::NewVendor: return std::make_uniqueAdapterNewSdk(); default: return nullptr; } }業(yè)務(wù)代碼只需要保證自己依賴的是IFpgaControl*指針不要直接依賴AdapterNewSdk內(nèi)部成員。初始化的地方從這一句std::unique_ptrIFpgaControl fpga CreateControlDevice(DeviceKind::OldVendor);改成std::unique_ptrIFpgaControl fpga CreateControlDevice(DeviceKind::NewVendor);然后把編譯錯誤一個個修掉絕大部分錯誤都是因為某個業(yè)務(wù)函數(shù)還在用老的裸調(diào)用。這個時候能明顯感受到適配層的好處修編譯錯誤是機械工不會出現(xiàn)“改完一處之后另一處設(shè)備狀態(tài)丟失”的問題。整個替換過程我分了三個批次推進。第一批只替換設(shè)備打開、關(guān)閉、握手保證程序能跑起來顯示“設(shè)備已連接”第二批替換寄存器讀寫第三批替換批量數(shù)據(jù)傳輸同時跑回環(huán)測試。每批都單獨提交代碼評審時目標(biāo)明確出了問題也能很快定位。4. 遷移過程中的真實踩坑記錄4.1 管線下載失敗不能只看返回碼第一個大坑出現(xiàn)在修改固件下載邏輯時。老適配器調(diào)用A_Configure把bitfile一次下載進去下載完畢之后FPGA自動進入運行狀態(tài)后續(xù)直接讀寫寄存器就能通。新SDK的B_LoadFirmware函數(shù)也是類似功能但下載完之后馬上讀寄存器發(fā)現(xiàn)讀回來的是全零。排查了很久才發(fā)現(xiàn)新SDK的下載函數(shù)只負(fù)責(zé)把bit流寫入FPGA并不會等待FPGA內(nèi)部的上電復(fù)位完成。老SDK在下載完之后內(nèi)部還有一步等待至少會打印出固件ID才能返回成功。新SDK則是下載命令發(fā)出后就返回如果立刻讀寄存器FPGA還在加載階段。這里得到的教訓(xùn)是下載完固件之后不要直接信任成功返回必須有一個“固件握手”動作。我在新適配器里添加了下載完成后的重試循環(huán)最多等2秒讀固件版本寄存器直到讀出非零值。這個動作不能放在業(yè)務(wù)代碼里否則每個用適配器的人都要記得。4.2 塊傳輸錯位對齊不是玄學(xué)是協(xié)議批量傳輸?shù)膶R問題是遷移中最隱蔽的坑。老SDK的批量寫函數(shù)對待緩沖區(qū)大小非常寬松傳500字節(jié)、傳512字節(jié)都能跑。新SDK底層驅(qū)動按塊設(shè)備處理緩沖區(qū)大小必須是16的整數(shù)倍而且緩沖區(qū)的內(nèi)存地址最好也做對齊。我們的業(yè)務(wù)里有幾種命令長度不是16倍數(shù)比如一條控制命令恰好是42字節(jié)。老SDK里直接調(diào)用A_PipeOut沒問題新SDK里寫42字節(jié)驅(qū)動返回成功但多包了14字節(jié)的空白填充FPGA那邊的狀態(tài)機把這個命令當(dāng)成兩條消息解析直接亂掉。解決辦法是在適配層加一層打包邏輯如果字節(jié)長度不是16的整數(shù)倍分配一個對齊后的緩沖前端填充原始數(shù)據(jù)剩余部分填0再告訴FPGA邏輯“實際有效長度”。這個邏輯必須和固件約定好固件端也要根據(jù)同樣的規(guī)則解包。如果不改固件也可以讓FPGA端自己按16字節(jié)對齊??傊畬R規(guī)則必須是兩端共同確認(rèn)的協(xié)議不是適配器單方面能定的。4.3 回調(diào)線程里干活輕則超時重則死鎖新SDK的批量讀取支持兩種模式同步阻塞和異步回調(diào)。我們最開始圖省事直接用異步回調(diào)模式在回調(diào)函數(shù)里把數(shù)據(jù)搬到應(yīng)用緩沖區(qū)順便更新UI狀態(tài)。結(jié)果程序跑一會兒就出現(xiàn)讀超時嚴(yán)重時整個上位機界面卡死。問題不在回調(diào)本身而在回調(diào)線程里做了太多事情?;卣{(diào)函數(shù)是SDK內(nèi)部驅(qū)動線程調(diào)用的如果我在里面加鎖保護共享數(shù)據(jù)而主線程同時也在等待這次讀取完成就會形成死鎖。正確做法是回調(diào)只做一件事——把數(shù)據(jù)推到一個無鎖隊列里然后讓業(yè)務(wù)工作線程去隊列里取數(shù)據(jù)。這樣回調(diào)線程永遠(yuǎn)不被阻塞業(yè)務(wù)線程有自己的節(jié)奏處理數(shù)據(jù)。這里補充一個實測經(jīng)驗異步回調(diào)模式下隊列長度要有上限。如果采集卡每毫秒產(chǎn)生一塊數(shù)據(jù)而業(yè)務(wù)層處理速度跟不上隊列會無限膨脹最終內(nèi)存暴漲。我給隊列加了最大深度限制滿了就直接丟包并統(tǒng)計丟包計數(shù)器寧可丟包也不能把系統(tǒng)拖死。4.4 超時參數(shù)不能拿來就用要重新標(biāo)定老SDK的很多接口有默認(rèn)超時參數(shù)1000毫秒是常見的。新SDK有些接口也有默認(rèn)值有些需要顯式傳入。我在遷移時第一版直接把老SDK的2000毫秒搬過來結(jié)果固件下載經(jīng)常超時因為新SDK的固件下載函數(shù)要先把1MB多一點的bit文件從用戶態(tài)拷貝到內(nèi)核態(tài)再通過USB控制器下發(fā)大文件傳輸需要的時間遠(yuǎn)超2000毫秒。不同操作的超時需求差異很大。寄存器讀寫這種短事務(wù)500毫秒都算寬裕批量傳輸則要基于數(shù)據(jù)量估算時間比如USB 3.0實際有效帶寬約300MB/s傳輸1MB數(shù)據(jù)大約需要3.5毫秒但驅(qū)動握手、端點調(diào)度、FPGA處理都可能增加額外延遲所以我把批量傳輸?shù)某瑫r設(shè)置為至少10毫秒基數(shù)加上按數(shù)據(jù)量線性增長的部分。固件下載我干脆設(shè)成了30秒因為還要考慮讀SD卡鏡像、校驗和等步驟。超時不應(yīng)該寫死應(yīng)該做成適配器的配置項至少支持從配置文件讀取。比如固件文件變大了、USB線質(zhì)量變差了可能需要調(diào)高閾值。4.5 熱拔插之后句柄說沒就沒設(shè)備熱拔插是采集卡項目里一定會遇到的場景。老SDK對熱拔插處理得比較好設(shè)備拔掉之后API調(diào)用會直接返回錯誤重插之后枚舉列表會自然更新。新SDK在這方面差一些拔掉設(shè)備后已經(jīng)打開的句柄仍然是“看起來有效”的狀態(tài)但任何讀寫操作都會失敗重插之后如果不再枚舉一次句柄也不會自動恢復(fù)。這個問題的根因是兩邊驅(qū)動的事件通知機制不同。老SDK會在設(shè)備拔插時主動觸發(fā)一個系統(tǒng)事件新SDK則依賴應(yīng)用層周期性輪詢。我的做法是寫了一個設(shè)備健康檢查線程每3秒調(diào)用一次B_CheckHandle(handle_)判斷設(shè)備是否還在線。如果檢查失敗自動關(guān)閉舊句柄并觸發(fā)重連邏輯重連時重新枚舉設(shè)備列表。這個健康檢查邏輯必須放在適配層里業(yè)務(wù)層不需要知道設(shè)備在不在它只需要在調(diào)用任何接口失敗之后拿到一個明確的錯誤然后決定是否重新打開設(shè)備。4.6 線程安全先串行化再談并發(fā)適配器要支持的并發(fā)訪問模式往往被忽視。老SDK內(nèi)部做了全局鎖所有API調(diào)用天然串行化同一時間只允許一個線程訪問設(shè)備。新SDK雖然線程安全但不同接口之間并不保證原子性比如一個線程正在下載固件另一個線程同時寫寄存器可能會出現(xiàn)不可預(yù)期的狀態(tài)。遷移一開始我就踩了一次這個坑業(yè)務(wù)層有采集線程在持續(xù)批量讀數(shù)據(jù)UI線程偶爾會寫寄存器調(diào)整增益。在老SDK下這個模式跑了一年多都沒事切到新SDK之后寫寄存器偶發(fā)失敗并且伴隨采集數(shù)據(jù)掉幀。解決辦法是在適配器內(nèi)部增加一個互斥鎖所有公開接口都先拿鎖再執(zhí)行底層調(diào)用。這個鎖粒度雖然粗但保證了一次完整操作不會被其他線程打斷。如果未來業(yè)務(wù)需要更細(xì)的并發(fā)比如同時讀多個端點再針對具體端點升級為讀寫鎖。先串行化是遷移階段最保險的做法性能上損失很小但穩(wěn)定性的收益非常大。5. 回歸測試怎么做遷移能不能交差的標(biāo)準(zhǔn)5.1 功能回歸用例清單適配層寫完、業(yè)務(wù)替換完之后最容易出現(xiàn)的錯覺是“程序能跑就說明遷移成功了”。我這邊踩過一次深淺不定的坑程序能跑只是表面功能細(xì)節(jié)可能還是錯的。于是這次我把回歸測試用例做成了一張表格每一條都對應(yīng)一個可觀測的檢查點。用例編號測試內(nèi)容操作步驟通過標(biāo)準(zhǔn)TC01設(shè)備枚舉插上設(shè)備后調(diào)用枚舉接口能列出正確序列號TC02固件下載下載標(biāo)準(zhǔn)bit文件返回成功且固件版本寄存器非零TC03寄存器讀寫掃描寫入0x5A5A5A5A到不同地址并讀回讀寫結(jié)果完全一致TC04批量數(shù)據(jù)寫讀回環(huán)FPGA內(nèi)部將寫數(shù)據(jù)回環(huán)返回讀出內(nèi)容與寫入內(nèi)容完全一致TC05多端點并發(fā)兩個端點同時進行批量傳輸兩邊數(shù)據(jù)均無錯位和丟包TC06異常拔插數(shù)據(jù)傳輸中拔出設(shè)備再插回上位機能檢測到掉線并完成重連TC07長時間運行持續(xù)采集72小時無死機、無數(shù)據(jù)中斷、無內(nèi)存增長TC04的回環(huán)測試是最重要的一道關(guān)卡。我在FPGA邏輯里加了一個簡單的FIFO回環(huán)模塊上位機往端點A寫入什么FPGA就從端點B返回什么。這個測試能同時驗證塊傳輸?shù)亩它c映射、數(shù)據(jù)寬度、字節(jié)序和打包邏輯。如果回環(huán)測試通過批量傳輸這塊基本就穩(wěn)了。5.2 性能和穩(wěn)定性指標(biāo)怎么定功能回歸通過后還需要對比性能指標(biāo)否則系統(tǒng)上線后遇到吞吐量不足的問題會非常被動。我定的指標(biāo)很簡單回環(huán)測試連續(xù)傳輸100MB數(shù)據(jù)統(tǒng)計平均吞吐量分別記錄遷移前老SDK的數(shù)據(jù)、遷移后新SDK的數(shù)據(jù)要求新SDK的吞吐不低于老SDK的95%。這個5%的容差不是拍腦袋想出來的USB協(xié)議本身的調(diào)度和驅(qū)動層緩沖策略會帶來微小波動真正的性能瓶頸在FPGA處理邏輯和上位機應(yīng)用層如果一個SDK的性能差到兩位數(shù)百分比說明驅(qū)動或固件配置有問題。CPU占用也要測。老SDK的塊傳輸在驅(qū)動層用了零拷貝新SDK在部分接口上有一次額外的內(nèi)存拷貝。實測下來新SDK在傳輸相同數(shù)據(jù)量時CPU占用高出約5個百分點可以接受但如果不再做適配層緩沖很可能高出更多。穩(wěn)定性測試則需要跑足夠長時間。USB接口設(shè)備最怕出現(xiàn)運行一段時間后句柄失效、驅(qū)動棧異常、帶寬被莫名占用的現(xiàn)象。我跑了三天三夜連續(xù)采集日志里沒有出現(xiàn)一次傳輸錯誤基本可以確認(rèn)適配層的鎖設(shè)計和超時策略是靠譜的。5.3 自動化回歸讓遷移結(jié)果可重復(fù)手工回歸做了兩輪之后我把測試用例腳本化。腳本不需要復(fù)雜主要就是把上面的操作步驟串起來記錄每個用例的執(zhí)行結(jié)果和耗時。自動化之后每次修改適配器代碼都能在一個小時內(nèi)跑完全部回歸。自動化回歸里有一個額外動作值得提一下每次跑測試之前強制重新枚舉設(shè)備并重新下載固件。這樣能確保每次測試的初始狀態(tài)一致不會出現(xiàn)上一次測試殘留的狀態(tài)影響結(jié)論。我遇到過最典型的例子是某次寄存器讀寫測試失敗是因為上一次用例把設(shè)備狀態(tài)寄存器改成了錯誤值沒有復(fù)位就接著跑下一個用例結(jié)果誤判成適配器有bug。6. 經(jīng)驗總結(jié)遷移過程中最有用的幾個習(xí)慣6.1 先梳理協(xié)議鏈路再寫適配代碼如果讓我重新做一次這個遷移我一定會更早在協(xié)議層面花時間。所謂協(xié)議鏈路就是從FPGA的寄存器地址表、命令碼表、端點定義出發(fā)把上位機每個操作和固件里的某個邏輯單元對應(yīng)起來。拿寄存器來說FPGA可能定義了0x00狀態(tài)寄存器、0x04控制寄存器、0x08數(shù)據(jù)長度寄存器但兩家SDK訪問這些寄存器時的地址變換不一樣。老SDK可能要求傳入物理地址新SDK要求傳入虛擬地址差一個偏移讀出來的數(shù)據(jù)就對不上。協(xié)議梳理最好的產(chǎn)出是一張“寄存器地址對照表”左邊寫FPGA邏輯里的寄存器名和地址右邊寫兩個SDK調(diào)用時實際傳的參數(shù)。這張表比代碼注釋可靠得多也方便固件工程師參與評審。6.2 第一個適配器版本不要帶過多功能新手寫適配器容易貪全覺得一次性把SDK所有函數(shù)都包進去才叫“適配”。我建議第一個版本只實現(xiàn)最小閉環(huán)枚舉、打開、下載、一個寄存器讀寫、一個批量傳輸。先把這條鏈路跑通證明適配器架構(gòu)可行再逐批增加功能。最小閉環(huán)還有一個額外價值可以盡早驗證新SDK本身在這套硬件上的穩(wěn)定性。如果新SDK連最小回環(huán)都跑不穩(wěn)那就應(yīng)該先解決硬件和驅(qū)動問題而不是繼續(xù)往上疊功能。我在這個項目里第一次用新SDK時就發(fā)現(xiàn)一個驅(qū)動bug在極小概率下枚舉列表會返回重復(fù)設(shè)備如果我一上來就寫滿所有功能這個問題會被淹沒在其他報錯里排查會痛苦得多。6.3 評審不能只盯上位機要帶著固件一起看代碼遷移通常被認(rèn)為是上位機的事但實際上它牽動的是整個系統(tǒng)。適配器怎么處理對齊、超時、下載后握手這些都需要固件工程師確認(rèn)。如果固件端的端點配置沒有根據(jù)SDK特性調(diào)整適配器寫得再對數(shù)據(jù)還是對不上。因此遷移適配器的代碼評審我堅持拉上固件工程師一起看。評審重點不在于代碼風(fēng)格而在于適配器里的每個數(shù)據(jù)操作是不是和FPGA頂層模塊里的對應(yīng)端口一致固件下載之后的握手寄存器是不是真的已經(jīng)實現(xiàn)了批量傳輸端點的最大包長是不是和適配器的分塊策略匹配。這三項確認(rèn)完代碼評審才算有意義。6.4 制作一張“遷移對照卡”后續(xù)維護全靠它最后分享一個小技巧。我把這次遷移過程中的API映射、寄存器地址變換、超時參數(shù)、對齊規(guī)則、錯誤翻譯表全部整理到了一張紙上掛在工位旁邊。這張“遷移對照卡”不僅遷移期間用后續(xù)雙版本維護也長期在用。每有新需求涉及底層數(shù)據(jù)通路我先在對照卡上標(biāo)出兩個SDK的對應(yīng)端點、包長度和超時語義再討論固件側(cè)怎么改。幾次下來團隊里新來的同事也能自己動手做后續(xù)適配不用每次都要找我核對一遍底層細(xì)節(jié)?;氐介_頭說的那句話換底層通信庫不是簡單的API替換。真正決定這次遷移成敗的是邊界畫得清不清楚、協(xié)議梳理得完不完整、回歸測得到不到位。把這些基礎(chǔ)工作做好換哪個SDK都只是適配器里的一段普通代碼。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久草这里只有精品| 亚洲一区二区三区春色| www.超碰| 婷婷五月天无码 | 99热综合| 免费在线看黄片av| 国产乱弄免费在线视频。 | 色综合91好| 这里只有精品视频在线| 插B在线观看| 69XX一中文字幕人妻91| 丁香九月婷婷| 午夜乱轮操逼视频免费看| 男人天堂站| 蜜臀久久99精品久久久久久婷婷| 午夜精品久久久久久久男人的天堂| av草草在线电影| 激情视频网址| 高清国产精品无码| 69视频入口| 美女性91| 欧美情色男人的天堂| 91久久久久久| 国产精品久久久鸭无码的功能| 欧美日韩97在线| AND人妻系列| 人人色97| 婷婷午夜| 精品国产网站| 激情综合网激情五月天| 亚洲欧美另类小说| 人妻熟女一区二区| 久久久99久9| 蜜桃臀av在线观看| 婷婷综合久久| 国产成人啪一区二区| 九九热精品免费视频| 国产无码高清操逼视频| 97在线免费观看视频| 97爱b| 亚洲黄日韩无码专区| 97这里都是精品| 国产探花精品在线| 国产精品午夜福利亚洲综合网| 淫乱图区 | 中文字幕蜜乳av| 欧美日韩大香蕉| 中日韩久久久| 在线强奷到舒服的无码视频| 9丨亚洲一区二区在线| 久思思热视频在线观看| 日韩精品一区二区高清| 久久直播国产| 骚女高跟AV在线| 久久这里都是精品| 熟妇视频一区二区三区在线观看| 伊人色综合欧美| 欧美人人天天网| 亚洲色婷婷综合久久久久中文| 老司机老司机午夜影院| 97干在线| 一区二区不卡免费| 国产大陆天天艹| 婷婷激情四射| 人妻丰满熟妇av无码区蜜桃| 欧美乱欲| 在线视频亚洲无码| 欧美91视频| 爱射综合| 中文久久久| 黄色视频特级毛片| 97WW精品| 国产色产精品在线观看| 日韩乱码av| 97在线观看播放视频| 久久亚洲中文字幕视频| 老鸭窝亚洲毛片| 91艹B视频| 国语人妻精彩刺激| 无码一区免费在线不卡| 国产婷婷一区| 97亚洲在线| 丁香五月激情综合国产| 日本五十路在线| 日韩熟女操逼| 超碰社区97| 亚洲αv一区二区三区| 清清草影| 亚洲av综合伊人久久| 成人无码专区精品视频| 免费观看国产小粉嫩喷水精品午| 2020视频1区2区3区| 久久高潮妇女视频| 欧洲亚洲人妻无码中字久久三区四区| 黑人精品XXX一区一二区| 亚洲情色在线| 国语精品内射在线观看| 久久女人| 人妻 丝袜美腿 中文字幕| 青青操视频在线| 亚洲精品国语在线播放| AV色五月天| 欧美一区二区情色| 色月天AV导航| 日本人妻伦在线中文字幕| 亚洲精品一区二区三区在线播放| 91网站18在线| 张柏芝国产一区在线观看| 97超碰人人操人人操| 亚洲欧美国产成人综合不卡| 天天影视91看看| 特级丰满少妇一级AAAA爱毛片| 99久久久| 射丝袜高跟鞋99| 久久精品国产亚洲AV高级北京| 丝袜亚洲91| 综合操逼| 国语精品内射在线观看| 操人人| 91熟女网| 欧在线一二区| 97色亚洲| 久久久成人免费av电影| 97一区二区三区视频| 嗯嗯啊啊亚欧精品| 中文字幕制服欧美久久一区| 四虎 精品 WWW| 久热在线精品免费观看| 亚洲成人在线高清| 神马久久久久久伦理片| 国产日韩欧美亚洲精品95 | 蜜臀久久99'精品久久久| 亚洲男人的天堂AV| 校园春色宗合网| 亚洲永久永久永久永久一级一级一级精品| 真实高潮91| 91九九九馒头| 欧美超碰人妻97| 小草av不卡亚洲二区 | 精品九九九九| 黄页大片在线观看| 欧美午夜视频免费观看| 色色色色网站| 黄色污污污污污污网站| 国产日韩人人| 国产超碰97| 热天堂一区二区| 伊蕉97蜜桃97狠狠综合干| 九九九九97| 午夜啊啊| 欧美精品xxxwww| 五月婷婷丁香中文字幕| 欧美日韩国产中文精品字幕自在自线| 国人欧美精品一区二区| 91在线美女| 人妻喷水| 国产成人一级av88| 天天狠| 亚洲美女黄色| 肏逼视频日本| 超碰狠狠操| 最新av在线| 91在线欧美| 中文字幕第23区| a级理论午夜日本| 激情 欧美 亚洲 小说| 欧美黄片视频在线观看免费| 综合色拍| 免费精品中文字幕| 青青草十区九区爱夜| 密臀在线视频| 久久婷五月| 九一国产精品| 天天色黄色影院天天操| 97超碰碰碰| 欧美黄色大片在线观看| 亚洲最大的综合性av| 人人爽天天爽| 免费伦费视频在线观看| 91亚州| 久九九九九九九热| 91丨九色丨大屁股| 操高情无码| 99无码| 骚货操死你| 九九九九九用不成了| 黑操B| 成人aⅴ一区二区三区| 99人妻| 亚洲欧美在线观看无码| 国产亚洲福利第一页丝袜| 欧美大片一区二区三区| 丝袜美腿射精91| 久悠悠av| 亚州情色j区| 午夜高清成人在线视频| 国产综合网站在线播放 | 久久99黄色卞西瓜| 五月激情视频| 男人综合网| 无码操逼天堂| 欧美性Fer办公室秘书| 超碰天天操你比| 综合网~91综合网| 加勒比五月天| 亚洲日韩乱码中文无码蜜桃臀网站| 色综合中文字幕不卡| 亚洲综合五月天| 久久综合99| 五月丁香激情综合网| 人人操人人摸人 | 亚洲天堂2020| 久久超碰爱| 自拍偷拍草一草| 日韩三级伊人| 欧美一区二区三区四区综合| 户外裸露刺激视频第一区| 久操网无码在线| 美女尤物人人操| 国产精品无码av| 性在久久久久久| 熟女乱伦A| 精品性爱无码在线播放| 亚洲综合五月天婷婷丁香| 射 色综合| 真实高潮91| 久久精品视频28| 欧美一区二区观看在线| 国产精品点击进入在线影院| 欧美成人A√在线一区二区| 色欧美天天| 国产97免费视频| 久久久久亚洲三级电影| 亚洲色性情三级| 成人女人国产| 99精品在线| 人人摸.人人色| 热热色色综合| 超碰久超碰久| 日韩精品作爱导航| 色哟哟av| 99热| 成人免费福利网站国产| 人澡逼| 亚洲免费精品一区| 亚洲色图综合网| 久久99干一本高清| 日本性感人妻91| 免费自拍三级综合| 九九色色| 欧美传媒一区| 香蕉欧美| 国产免费一区在线观看| 国产丰满熟夫69mpp| 欧美精品系列| 成人无遮挡毛片免费看| 91狠婷| 色综合久久夜色精品国产天堂| 欧美aaaaaaa| 囯产精品一区二区三区线|亚洲人成无码网WWW动漫|国产精品免费一级... | 97国产精选| 亚洲精品三| 欧美熟女丝袜| 97色97干| 任你爽视频| 久久国产精品m码| 大香蕉色欲AV| 国产精品成人久久一区二区三区| 91热爆在线| 日本天天干天天搞一区| 在线a亚洲视频播放在线| 久久性爱网站| 久久夜夜夜| 欧美色图亚洲色| 国产高清精品福利| 伦理弟一页| 97操| 少妇高潮99p| 91黄射| 综合久久六月久久婷婷| 久久精品视| 密乳AV免费观看| 国产性感骚丝袜在线| 亚洲天堂资源在线| 亚洲欧美国产其他二区| 婷婷丁香人妻| 熟女高潮合集-永久久久-成人AV| 亚州久久9| 国产一级内射高清视频| 私色综合网| 极品出轨视频网站| 日韩国产中文字幕| 成年人黄色| www久久久| 深夜激情| www.夜夜操| 亚洲欧洲日韩中文字幕一区| 色狠狠色| 亚洲影院成人| 午夜福利区| 亚洲,日韩,欧美,成人播放| 青青操在线亚洲视频观看欧美在线 | 色偷偷超碰亚洲| 色天使亚洲综合在线观看| 91高跟美女在线播放| 最新日日夜夜天天干干| 天天天天做夜夜夜夜做| 亚洲国产一级精品毛一级精品看免费视频| 天天插天天操天天摸天天射天天看| 国产中文大片资源中文字幕| 新视频sss国产| 中国少妇XXXX做受| 亚洲色图综合网| 岛园激情| 亚洲天堂2020| 九九成人精品| 国产亚州高清国产拍精| 色姑娘综合网| 欧美熟女逼久久久久久| 五月婷婷大香蕉| 蜜臀久久99精品久久久| 黑丝日韩av丝袜av| 成人开心网在线视频| 国产精品一区二区手机看片| 91精片| 亚洲欧美色图片| 丁香九月激情啪| 九九综合网| 丰满的三级少妇欧美久久久| 香伊人在线| 福利大香蕉| AV中文在线可看| 亚洲精品国产日韩无码AV永久免| 91国产伊人大香蕉| 日本熟女不卡视频| 久久精品无码不卡| 亚洲 国产 精品一区| 亚洲天堂一区二区久久| 99精品久久| 日本潮催一卡操| 亚洲天天操| 性性久久| 亚洲有薄码区日本系列中文字幕| 91在线超高颜值国产| 日曰骚久久精品| 日韩国产成人自拍视频| 91成人久久| 黄片视频观看| 国产做?爰片久久毛片?片美国| 亚洲图片 欧美电影| 大逼色网站| 黄色乱论网站| 免费观看啪视频| 18禁在线视频| 亚av顶级裸体一区二区三区四区五区 | 精品妇女一区二区三区| 宅男午夜在线视频| 一级性爱啪啪视频| 91亚洲欧美| …中文字幕亚洲乱,97人妻无码费视…| 99re视频在线观看这里只有精品| 2019久久久久久久久福利| 91老女人| 中文字幕亚洲永久精品| 性色aV一区二区三区噜噜| 久久久久人妻二区精品叶可怜| 人妻天天夜夜爽一区二区| 99999精品成人| 91啪啪视频| 欧美伦乱爱| 囯戸精品高潮呻吟旡码| 97这里只有精品| 人人摸人人干人人拍97| 国产AV天美| 国产欧美精品日韩区二区麻豆天美| 91三级理论片播放器| 午夜福利国产欧美日韩夜夜| 天天色播亚洲综合网站| 大香蕉123| 国产精品久久| 91欧洲入口| 久操不卡视频| 91亚·色| 欧美一二三级精品在线| 超碰97精品| 日韩三级一区 | 91人妻熟女| 欧美黄业| 2020久久免费视频| 国产亚洲精品美女久久久| 久久国产在线一区二区| 无码137片内射在线影院| 99色网| 成人小说另类在线| 国产最新小视频在线播放下载| 国语对白露脸XXXXXX| 欧美一区二区男人天堂| silk lablo在线观看一区二区| 嫩草 人人网精品| 91在线限制级| 941超碰| 少妇一线天久久久久久| 亚洲图片欧美91N| 91美女视屏| 熟啊v色欧美热| 91老熟女老女人国产老太| 欧美在线中M| 国产农村妇女毛片精品久久| 欧美黑人极品高潮喷吹熟女黑人性暴力日韩在线欧美极品一区二区老师黑人潮喷一 | 久久这里都是精品| 美女主播色欲91抠b在线播放| 欧美999999| 日韩欧美天堂| 91亚州| 一区操逼日比视频| 任你草| 亚洲aw毛茸茸在线| 99re在线视频| 大香蕉伊人色偷偷在线| 国产白领连续中出在线观看| 久久色人体| 欧美人妻一区| 啊啊啊操死我了| 亚洲熟久久| 国产白丝在线| 色五月AV| 综合久久9| 欧美色图20p| 无码不卡八戒| 一区二区三区激情在线观看| 欧美十八禁在线看| 男女91| 人妻 欧美亚洲| 欧美精品三级黄片| 日本肉体xxxx裸交| 欧美熟女妇同| 国产一国产一级毛片古装| 淫荡熟女乱伦网| 视频二区美腿丝袜制服人妻欧美| 好看的久久不射无码影视影院| 中文字幕视频二区| 久久精品毛片免费不卡| 日本九九久久99播| 男同专区一区二区三区在线| 日人妻视频91| www.男人天堂| 亚洲精品尤物yw在线影院| 天天舔天天 | 看免费一级在线播放毛片| 青娱乐日韩无码| 亚洲综合九| 1769一区| 91女神在线视频| 亚洲女人91| 久久精品国产72国产精品福利| 九九热这里只有在线精品视 伊人草 成人菠萝蜜视频在线观看 | 欧美78P| 探花激情视频| 久操| 簧片免费看视频| 韩日自拍| 日韩精品亚洲专区在线影视| 黄色av播放免不| 免费精品中文字幕| 骚女高跟AV在线| 岛国激情视频在线观看| 亚洲三级网址久久最新| 日产欧美电影一区二区三区| 99xav| 欧美不卡在线一区二区| 97色视频在线| 操逼啊啊啊91| av2014 日韩在线中文字幕| 国产乱码精品一区二区三区四川| 物业黑人 AV一区| 操逼逼中文字幕| 91在线/欧洲| 中文字幕亚洲永久精品| ...日韩成人一区二区三区字幕| 国产精品视频麻豆入口| 超碰视97中文| 五月天啪啪| 日韩精品人妻中文字幕不卡乱码| 91狠婷| 中文字幕一区二区三区50路| 日日爽夜夜爽| 无码国产精品午夜不卡(| 中国AAAAAA黄色片| 深田咏美亚洲精品福利社 | 久久久亚洲熟妇熟女| 亚洲精品久久久久久久久豆丁网| 亚洲性网| 天天看特黄的免费网站| 操逼操逼逼操操逼91| 997色在线| 久久激情视频| 人人摸人人干| 国产伦精品一区二区三区在线观 | 欧美伊人电影| 精品人妻一区二区三区-国产| 一本色道久久天天射天天干| 91久久国外网| 日韩在线视频1234| 青青操综合网| 中文字幕99999| 亚洲日韩东京热一区| 亚洲男人的天堂在线看| 日本狠狠干| AV色图| 日日干日日| 99re热有精品视频国产| 综合色区偷拍| 成人十八禁日韩欧美一二三| www99热| 国产多人在线观看视频| 午夜噜噜噜| 久偷拍| 综合色久| 操操逼操操逼操操逼逼| 97操| 亚洲毛片久久| 亚洲女人毛茸茸91| 欧美熟女妇同| 国产怡红院| 香蕉婷婷| 久久久久久亚洲Av无码| 五月综合久久| 婷婷五月激情综合| 大香蕉男人的天堂| 99久在线精品99re8热视频在线| 中文字幕国产精品1区| 亚洲日本韩国在线| 丁香九月激情| 91高潮| 色色丁香| 天堂69亚洲精品中文字| 伊人aaa| 亚洲中文字幕97久久精品少妇| 人人操肉肉| 白丝一区| 亚州一区二区| 亚洲欧美洲综合| 99热99re6国产在线播放| 欧美 传媒 麻豆 日韩 偷拍| 国产精品天美传媒| 激情五月综合网| 国产精品制服丝袜清纯唯美| 亚洲精品白浆高清久久久久久| 天天综合网~91| 久久风骚城市人| 极品色社| 性欧美另类高清| 日韩AV片| 欧美午夜精品久久久久久超碰| 亚洲一区日韩| 国产又粗又长又爽又色| 91丝袜| 久久爱97| 啊v在线观看视频| 大香蕉日韩| 久久黄人人爽视频| 中文字幕乱码在线| 久久青青草在线视频| 四虎影视精品| 超碰 av 女人天堂| 日本精品人妻少妇一区二区| 情色日播放AV| 操美女人妻| 欧美综合在线91| 性爱AV天堂| 久9爱经典视频| 日韩无码服务区| 97久久久久| 青草精品视频-日本久久久久网站| 中文字幕AV中出| 91春色| 综合国产影视三级| a v网站在线播放| 91粉嫩萝控精品福利网站_精品影音先锋国| 免费人成?大片在线播放| 狼人久草| 欧美大香蕉97| 拍拍拍拍大尺度黄色三级片拍拍拍拍拍照| 天堂亚洲精品| 精品一级毛片在线观看| 国产成人亚洲精品无码古代早漏男| jizzjizz欧美| 天天干天天干天天| 大香蕉欧美伊| 天堂精品一区| 久久精品一区二区| 噜噜噜在线视频| 啪啪啪大香蕉| 性色高清在线| 欧美综合亚洲| 国产又猛又粗又爽又黄| 伊人久久大香大香线蕉中文 | 无码视频黄色网战| 啊好大好舒服| 超碰在线在公开超碰在线在公开| 91老熟女| 日本女人操逼| 亚洲激情色片 | 久久极品一区二区| 激情五月天校园春色网| av九九| wwe 天天干.com| 国产搭汕a级片| 日韩精品在线视频在线观看| 嗯嗯啊啊视频在线看| 97视频www| 国产精品扒开腿做爽爽爽视频| 国产在线强奸视频| 丰满人妻-区二区三区免费| 性性欧美| 91社区伊人| 女人香蕉久久毛毛片精品| 久久久九精品| 在线岛国新天堂8| 天天爱天天操| 亚洲天堂久| 一级日本牲交大片好爽在线看| 五月综合视频| 2020天天色综合| 中文字幕一区二区在线日韩精品| 久久精品视频久久久| 欧美色图校园春色| 乱伦系列一区二区| 欧美熟女逼久久久久久| 久久久99999久网站| 久久精品国产亚洲AV嘿嘿| 欧美极品女人的天堂| 综合网亚洲1| 伊人久久综合影院| 午夜精品久久久99| 国产成人在线观看网址| 亚码激情| 97爱| 人妻少妇蜜桃视频欧美一区| 超碰色图| 亚洲天堂,男人| 久久精品无码一区二区三区| 九九久久精品| 不卡视频一区蜜桃视频| 婷婷五月av| 亚洲高清91| 激情综合五| 97视频在线观看免费高清| 91狠狠综合久久| 欧美78P| 日韩精品99999| 96久久久| 欧美少妇第一页| 日韩av性爱在线播放| 蜜桃中文字日产乱幕4区| 亚洲美女av无码| 欧美九九99久久精品| 欧美18 在线观看| 五十路熟女工口| 国产高清免费不卡av| 欧美玖玖爱免费玖玖| 嫖老熟女A片一二三区| 91痴汉| 国产 日韩 欧美 人妻 熟女 中文 69人妻精品一区二区绯色 | 激情开心五月天| 超碰95| 亚洲色图欧美另类在线| 性爱乱伦网址| 久久人| a人欧美综合天堂麻豆| 亚洲日韩美国人妻| 亚洲欧美清纯| 97视频在| 久热伊人| 十八禁视频一区二区| 亚洲日韩XXX| 超碰av在线| 日韩一级性爱无码| 91国产丝袜美女| 天天欧美欧美亚洲网| www.yeyecao| 亚洲AV永久无码精品成人调教| 亚洲欧洲小说图片视频 | 精品久久久久黄少妇| 福利在线观看一区二区| 欧美综合亚洲综合| 亚洲色图 图片| 久久久久成人蜜桃精品| 久久亚洲AV无码专区首页| 色九九久九九| 色情亚洲日本成人| 超碰精品在线| 亚洲囯产精品女人久久久| 欧成人精品一区二区三区| 青青草视频导航官网| 操人91| 欧美亚洲一级在线观看| 97精品在线视频| 男人精品天堂一区| 青青草视频爽一爽| 中文字幕 国产区| 精品国产无码中文| 91爱啪| 舔舔啊| 九九热视频这里只有精品| 九九热精品| 视频国产精品未满十八禁止在线观看| 青青在线视频日韩欧美| 俺也射| 麻豆成人av| 啪啪视频mP4| 1024人妻| 立川理惠加勒比无码| 91人妻最真实刺激绿帽| 一级毛片电影免费看| 久久婷婷一区| 九九九九九九九九九九九蜜桃| 中文字幕加勒比海高清无码免费视频 | 熟妇最新先锋一二三区| 伊人久久婷婷| 美女主播色欲91抠b在线播放| 亚瑟国产精品久久无码| 国产又黄又爽| 中文字幕99999| 国产91 丝袜在线播放| 好爽要喷了| 嗯嗯嗯啊啊啊干死我吧| 色大香蕉97N| 啊啊啊啊操死我了| 亚洲成人精品久久久| 亚洲精品一二三四区| 黄页18禁| 无码一区二区三区四区五区六区七区八区九区十区视频 | 丝袜内射| 不卡人妻少妇精品毛片一区23区视频| 天天综合精品| 天天日夜夜爽| 长长久久免费视频| 午夜天堂精品久久久久91| 婷婷五月成人| 中文字幕日韩综合| 无码99| 91扒丝袜综合在线| oumeisetupian| 天天天乱色综合全| 色综和网| 日韩特一级久久| 天美久久久久| 狠狠爱大香蕉| 伊人网免费视频| 综合国产影视三级| 亚洲第一狼人丝袜美女另类 | 国产精品久久久久久久久久久久久久久久| 久久久性爱视频| 久草综合视频| 美女天天干| 麻豆亚洲AV成人无码久久精品| 欧美翘臀视频网站一区二区三区| 亚洲欧美综合| 日韩操啪| 亚洲春色一区二区三区| 八戒午夜福利理论片| 精品国产91av一区二区三区| 日韩一级特黄av毛片| 国产亚洲禁久一区二区 | 欧美伦乱爱| 亚洲骚男同com| 9久久精品| 看免费的黄片| 国产欧美一区激情交| 欧美日韩超碰在线| 久久鲁夜| 南澳成人一级片在线播放| 欧美内射少妇| 97se综合网| 日韩二区三四区五区六区在线看| 国内一级精品| 国产福利视频精品视频| 99热只有这里有精品| 日本 成 人 小说 电影 一区二区| 歐美一級亂黃99在綫精品| 国产AV人人夜夜澡人人爽麻豆| 亚欧美综合网| 在线观看成人性爱免费小视频| 曰韩无码777| 亚洲AO在线| 天天亚洲综合| 久久宗合97| 秋霞操逼片| 成人婷婷丁香| 午夜性刺激视频免费观看| 欧美日韩国产另类综合| 色婷婷影院| 久久骚少妇| 亚洲天堂男人天堂网| 久久毛卡| 另类亚洲图色| 青草一区二区| 国产三级日产三级韩国三级| 高清不卡国产| 欧美丝袜中文字幕07在线| 2019久久久久久久久福利| 五月天婷婷欧美三区| 学生妹天天看| 91人妻精华帖| 四虎AV无码| 搡老女人老熟女91老熟女综合网| 久久久精品视频免费观看| 快灬快灬 一下爽蜜桃在线观看| 亚洲国产一级黄色视频| 九九九九九九九精品视频| 国产后入清纯| 色欲无码人妻日韩欧美精品| 青青草中文-久久青草精品一区二区三| 日本网色| 亚洲有码第一页| 日韩精品在线放| 九九精品美女高溯喷水| 亚洲熟女诱惑| 丁香五月天堂| 蜜桃香蕉久草精品在线| AV污污污污| 亚洲综合一| 国产一区二区三区视频在线看| 男人天堂站| 老司机福利青青草| 色欧美在线| 综合久久久久久久久91| 五月天激情小说| 97精品一区| 国产一区二区啪啪视频| 啊灬啊灬啊灬啊灬高潮奶出了免费视 | 亚洲第一黄色av网站| 色盈盈影院| 欧美性爱日韩高清| 大香蕉在线免| 亚洲另类小说卡通动漫| 欧美色日本| 欧美精品日韩久久久九| 亚洲综合九| 国产亚洲精品美女久久久m| 熟妇国产免费一区| 亚欧性爱ab| 韩日欧亚a级| 久久久久久亚洲精品不卡人乳| 好吊色综合| 啪啪视频mP4| 人妻精品免费一二三区| 欧美大香蕉97| 乱伦av麻豆| 大白逼三四级| 一二三区在线| 久久久性| 久久久久9| 99热只有这里有精品| 亚洲狠狠入| www.欧精品| 国产性爱在线视频一区二区| 1.igao73.com 加入收藏 免费专区 国产精品 中文字幕 日韩精品 欧美精品 精彩 | 亚洲.欧美.丝袜.中文.综合| 亚洲国产97| 九九热超碰97亚洲最新香蕉| 日韩国产在线观看av| 亚洲久草AV色图| 亚洲色偷偷色噜噜狠狠99网| 91视频精品| julia中文字幕在线观看| 久久久久久AV无码免费网站| 欧美在线天堂| juliaann丝袜大战黑鬼| www.人人cao| 精品无码欧美三级| 日产成人久久| 国语人妻精彩刺激| 日韩精品一区二区日韩| 亚洲第一视频 欧美风情 日韩| 国产女人高潮视频| 桃花色综合影院| 欧美色图小说综合| 狼人综合婷婷激情四射| 丰满人妻无码一区二区三区| 精品无码一区二区三区| 免费的很黄很污的全部视频| 欧美色图下一页| 激情五月天视频| 国产精品4p在线观看| 夜夜无码| 男人 天堂 日 亚洲| 婷婷中文字幕| 操逼操逼视频操逼| 欧美一二三| 打av高清| www.狠狠| 亚洲黄色网址视频| 欧美一二三级精品在线| 特污精品女优骚货黄色视频在线免费观看| 中文字日本乱码| 丁香六月婷婷| 五月天婷精品激情| 为用户提供免费看黄网址在线观看| 日韩欧美三级| 精品美女人人干| 偷拍超碰| 日日日啊啊啊| 亚洲丝袜色| 亚洲国产日韩欧美熟妇在线| 欧美精品成人在线播放| 日本αv| 丁香九月婷婷| 视频二区美腿制服人妻欧美| 久污| 色综合99999| 18岁禁 茉莉成人久久| 亚洲色图激情小说| 婷婷五月天综合网| 亚洲高清无码免费观看视频| 最好看的中文字幕在线2018| 99e久久国产精品| 天天影视色香欲综合网小说| 99精品人妻| 91殴美| 男人久久天堂| 啊啊啊啊操死我| 亚州色综合| 久久激情婷婷| 日韩精品人妻| 国产一区在线播放| 成人久久久| 蜜臀99久久| 农村女一级毛卡片| 激情小说在线视频| 女性91网站| 日本视频在线中文字幕| 久久久97| 久久婷婷电影网| 日韩一级欧美一级国产一级台湾| 蜜臀久久99精品久久久| 91亚洲网| 乱伦一二三区| 亚洲一区二区三区中文字幕| 色网在线视频观看免费| 东京热男人的天堂精品| 日韩欧美国产高清视频| 日本人人操人人操| a在线视频免费观看| 久久婷婷精品| 天美AV片| 无码人妻丰满熟妇奶水区毛片| 欧色综合| 色踪合AV| 亚洲精品国产拍免费91在线| 五月丁香网站| 色一射色一射| www.91欧美| 蜜臀av中文字幕| 天天影视综合色| 丝袜美腿av女优在线| 黄片视频观看| 国产成人一级av88| 日本3级一区二区免费| 精品一区二区三区蜜桃臀赵总 | 黑人美精品 A片| 可以在线观看的黄色网址| 精品一区二区综合熟妇| JULIA一区二区三区在线播放| 亚洲色五月| 欧美色图亚洲特色| 亚洲在钱| 思思热一热婷婷热一热| 超碰在线91| 久久综合精品一区二区三区| 大香蕉99999| 国产精品不卡av免费在线观看| a亚洲欧美色欲| 国产精品婬乱一级毛片彝族| 精品少妇一区二区三区在线视频| 国产熟女少妇一区| 日日做夜狠狠爱欧美黑人| 欧美色图片色哟哟| 日韩激情电影中文字幕| 日本色色的视频| 国产亚卅97| 亚洲国产丝袜在线观看| 97亚洲中文| 黄色激情电影在线观看| 九月婷婷综合| 国产五码丝袜屁眼| 欧美激情内射| 白天啪啪晚上啪啪视频| 欧美亚州色的图| 欧亚第一综合网| 亚洲性爱乱操x| 日韩激情啪啪| 国产农村妇女精品一| 久9久9久9久9久9久9| 在线午夜成人无码视频| 日本肏逼视频在线观看| 久久97资源 网| 欧美激情精品| 五月天玖玖资源站| 精品十三区| 九色黄站| 国产久久久久久久久一区二区| 欧美日韩电影一区二区| 男人天堂2019| 很很热性爱视频| 大香蕉在线视频重口味毛片在线| 91黄站| 国产精品久久久久久 百度| 成人日韩中文字幕| 91老熟女| 伊人五月天| 中文字幕精品三级久久久| 操操逼视频| 亚洲国产一区二区三区在线 | 欧美se综合| 亚洲乱码国产乱码精网站| 男人天堂日日夜夜| 天天草天天日| 欧美视频在线第3页| 日韩97超碰| 国产欧美日韩在线不卡第一页| 九九九九免费高| 精品亚洲成人免费在线| 九九精品美女高溯喷水| 97视频免费播放| 丁香五月婷婷五月| 国产9熟妇视频网站| 国产福利影视| 欧美淫乱视频| 新版天堂中文资源8在线| 超碰97久久国| 夜间福利片1000无码| 91路www| 免费精品中文字幕| 老女人老91妇女老热女| 岛国网址国产| 东方亚洲在线操逼天堂| 强奸乱伦Av网| 久久人体一区二区| 图片区小说区| 噜噜瑟| 婷婷久久综合久| 色色九区| 久久久精品国产亚洲伊人| 久久久久久久人妻丝袜| 欧美制服另类丝袜| 97免费视频在线观看| 麻豆久久久久久久久丝袜 | 四虎视频在线观看| 国产东北女人在线视频| 中文在线视频| 久久久久国产无av| 欧美东京热青青草| 久久久久久久少妇| 国产精品麻豆免费视频| 亚洲自拍欧美色综合| 欧亚乱色熟女一区二区| 亚洲激情欧美色图 | 国产精品美女| 性色国产东北露脸精品视频| 久久黄色性爱视频| 亚洲骚男同com| 亚洲激情网一二三四区| 亚洲啪啪视频免费| 色综合20p| 色婷五月| 日韩欧美亚洲自拍偷拍| 美欧老女人97| 狠狠激情综合狠狠操中文字幕| 亚洲综合在线91| 抽查国产福利主播| 午夜福利精品| 中文字幕三四五区| 加勒比日本在线| 国产欧美一区激情交| 中文字幕后石码三区四区| 欧美亚州综合图片| 99热官网| 涩涩涩综合| 这里都是精品| 综合天天网| 激情五月天综合网| 超碰人人操97碰| 亚州综| 欧天美中出| 中文字幕老熟妇黄色视频| 超碰在线香蕉| 人妻天堂网| 亚洲性感丝袜诱惑在线观看| 夜夜爽77777| 国产熟女乱论| 在线播放成人高清免费视频| 大香交| 伊人国产视频| 无码又爽又硬又激情免费视频| 大学生口爆吞精| 好爽视频在线观看视频| 亚洲丝袜制服国产91_国语字幕免费观看完整版下载第5集_ | 亚洲做性| 亚洲精品国产AV天美传媒| 中文字幕 国产区| 18啪啪手机免费性爱| 亚洲人久久久久日| 成年人免费观看网站| 青青草视频在线观看一区二区| 久久激情网| 日韩一级特黄av毛片| AVE乱伦| 成人国产二区三区在线,男女精品。| 欧美 日韩 另类 亚洲| 色老汉玖玖爱| 欧美中出1| 操高情无码| 热久久国产| 3PAV乱伦视频| 东京热,男人的天堂| AV中文字幕剧情1区2区3| 亚洲城人男人的天堂| 五月丁香六月婷| 少妇滛荡视频| 青草青草久热| 视频在线观看免费一区二区三区| 亚洲高清视频在线免费观看| 男人的天堂1024| 欧美97av| 亚州精品人妻一二三区| 欧美日韩人妻婷婷一区| 亚洲免费97免费| 亚洲av总站| 爱干爱射网啊啊啊| 18精品一区| 天天干一区二区| 午夜天天碰综合视频| 大香蕉97久久| 91oumei| 国产欧美日韩在线观看麻豆传媒公司| 国内精品久久久久影院亚洲| 日人妻视频91| 在线观看国产黄色| 亚洲码专区| 柠檬AV导航| 99久在线精品99re8| 偷窥自拍亚洲天堂网爆| 久久性爱城| 99热最新网址| 天天操狠狠日夜夜干超碰撸com视频在线观看 | 国产亚洲精品无码三区| 欧美福利视频啊啊啊啊| 立川理惠被中出无码| 51国产午夜精品视频| 国产精品久久aV| 日韩一区二区精彩视频| 日韩高清黄片| 亚洲暴力强奸AV| 久久久国产成人一区二区三区在线| 偷窥自拍亚洲天堂网爆| 天天爽天天干| 日本韩国一本产品小视频日本韩国一本产品久久久产品小视频日本韩国一本产品久 | 欧美亚洲尤物久久|