戰(zhàn)：FPGA連接、時(shí)序配置與設(shè)備樹驅(qū)動(dòng)調(diào)試)
在嵌入式圈子待久了你會(huì)發(fā)現(xiàn)一個(gè)規(guī)律只要是在TI的Sitara平臺AM335x、AM437x這些Cortex-A8/A9處理器上做過項(xiàng)目基本都繞不開GPMC這個(gè)名字。全稱General Purpose Memory Controller翻譯過來就是通用內(nèi)存控制器處理器的并行總線接口。它最典型的應(yīng)用場景就是用類似SRAM的時(shí)序去連接FPGA、并行AD/DA、NOR Flash或者SRAM這類外設(shè)。我最早接觸GPMC是被一個(gè)項(xiàng)目逼的FPGA和AM335x之間要高速交換數(shù)據(jù)SPI太慢UART更不用說最后只能老老實(shí)實(shí)把GPMC調(diào)通。這篇文章就把我在實(shí)際項(xiàng)目中啃GPMC的筆記整理出來包括硬件連接、設(shè)備樹時(shí)序參數(shù)、驅(qū)動(dòng)編寫和排錯(cuò)經(jīng)驗(yàn)適合正在調(diào)GPMC的同學(xué)也適合準(zhǔn)備在TI平臺接并行外設(shè)但還沒入門的開發(fā)者。1. GPMC到底是什么嵌入式工程師為什么繞不開它1.1 一句話講清GPMC的定位把GPMC想成處理器對外開放的一扇“內(nèi)存窗口”就好理解了。處理器內(nèi)部有一大片地址空間其中一塊被劃給了GPMC控制器。當(dāng)CPU訪問這塊地址空間時(shí)GPMC會(huì)把讀寫的請求自動(dòng)變成一組并行信號發(fā)送到外部引腳上。外部設(shè)備只要按SRAM接口的標(biāo)準(zhǔn)來響應(yīng)CPU就能用最簡單的方式讀寫它——不需要像I2C那樣先發(fā)設(shè)備地址、再發(fā)寄存器地址、再等應(yīng)答也不需要像SPI那樣一bit一bit地搬運(yùn)。CPU一條LDR指令下去數(shù)據(jù)就到寄存器里了整個(gè)過程對CPU來說是透明的。這也是GPMC和普通低速總線的本質(zhì)區(qū)別它的工作方式接近內(nèi)存總線而不是外設(shè)總線。對外部設(shè)備來說它像一顆SRAM對CPU來說它就是一塊可以隨機(jī)訪問的地址空間。你在代碼里寫*(volatile unsigned short *)0x08000000 0x55AA地址0x08000000正好落在GPMC的片選窗口上這行代碼就會(huì)觸發(fā)一次實(shí)實(shí)在在的并行總線寫周期。能像訪問內(nèi)存一樣訪問外部器件這是GPMC最迷人的地方。1.2 接FPGA為什么優(yōu)先選GPMC一次性把帶寬賬算明白很多人第一次選型時(shí)第一反應(yīng)是“FPGA不就是傳數(shù)據(jù)嗎用SPI不就行了”。這句話在數(shù)據(jù)量小的時(shí)候沒毛病但一旦涉及圖像采集、高速ADC采樣、基帶信號處理這類場景SPI立刻就成了瓶頸。算一筆賬假設(shè)SPI時(shí)鐘40MHz一個(gè)時(shí)鐘傳1bit8位數(shù)據(jù)就需要8個(gè)時(shí)鐘周期理論峰值也就5MB/s。再算上片選、命令開銷、軟硬件交互的間隙實(shí)際有效帶寬能到3MB/s就不錯(cuò)了。而GPMC走16位異步讀周期就算每個(gè)讀周期100ns理論帶寬已經(jīng)達(dá)到20MB/s——這還只是最普通的異步模式完全沒用到指令流水和突發(fā)機(jī)制。如果外設(shè)支持同步burst模式GPMC_CLK可以跑到100MHz16位總線一個(gè)周期傳2字節(jié)理論峰值直接跳到200MB/s的量級。這中間的差距不是一個(gè)量級而是幾十倍。當(dāng)然會(huì)有人說為什么不用DDR接口或者EMIF去擴(kuò)展存儲。這里要澄清一個(gè)概念GPMC和DDR控制器是兩套獨(dú)立的接口。DDR控制器走專用的DDR PHY時(shí)序訓(xùn)練、刷新管理都很復(fù)雜不是拿來隨便接FPGA的。GPMC是專用的并行外設(shè)總線時(shí)序可配置范圍廣、信號簡單、調(diào)試難度低最重要的是它不占DDR通道不會(huì)影響系統(tǒng)的內(nèi)存帶寬。所以在TI的Sitara平臺上接FPGA、并口AD/DA、NOR Flash這些場景GPMC幾乎是不可替代的存在。1.3 GPMC到底能接哪些設(shè)備按TI的官方定位GPMC支持以下類型的外設(shè)設(shè)備類型典型產(chǎn)品使用方式NOR Flash并口NOR、SPI轉(zhuǎn)并口芯片異步/同步讀地址隨機(jī)訪問NAND Flash大容量NANDGPMC內(nèi)置ECC/BCH引擎配合軟件做壞塊管理SRAM/PSRAM外部擴(kuò)展內(nèi)存最標(biāo)準(zhǔn)的異步SRAM時(shí)序FPGA/CPLDXilinx、Intel、紫光等把GPMC做成軟核外設(shè)的寄存器窗口最常見并行ADC/DAC高速AD/DA轉(zhuǎn)換器采樣數(shù)據(jù)可以直接被CPU信箱式讀取顯示控制器老式TFT LCD并口屏、LCD控制器利用GPMC作為顯示數(shù)據(jù)通道值得一提的是很多人以為GPMC只是拿來接NAND Flash的其實(shí)在工業(yè)控制和數(shù)據(jù)采集項(xiàng)目里GPMC接FPGA才是真正的重頭戲。FPGA內(nèi)部可以起一個(gè)SRAM接口的時(shí)序邏輯把采集到的數(shù)據(jù)放在一塊雙口RAM里CPU通過GPMC直接讀這塊RAM就完成了高帶寬的軟硬數(shù)據(jù)交換。后面要講的設(shè)備樹配置也主要以FPGA這個(gè)場景為例展開。2. 硬件設(shè)計(jì)先把引腳信號摸透再寫第一行代碼2.1 關(guān)鍵信號與連線原則GPMC的引腳非常多但如果把信號按功能分類其實(shí)很好記。地址總線GPMC_A[0:27]、數(shù)據(jù)總線GPMC_AD[0:15]這是最核心的兩組線。然后是控制信號nCS片選、nWE寫使能、nOE讀使能、nADV地址有效、nBE0/nBE1字節(jié)使能、WAIT等待信號。如果走同步burst模式還有一個(gè)GPMC_CLK時(shí)鐘輸出。連接層面的原則并不復(fù)雜片選信號nCS一個(gè)GPMC控制器最多支持8個(gè)片選CS0~CS7每個(gè)片選在地址空間中對應(yīng)一段獨(dú)立的窗口。接FPGA通常只用其中一個(gè)片選周圍的其它引腳可以保持懸空。nWE與nOE就是讀和寫的開關(guān)。外部設(shè)備必須根據(jù)這兩個(gè)引腳的時(shí)序來驅(qū)動(dòng)數(shù)據(jù)總線。FPGA側(cè)要特別注意三態(tài)控制本設(shè)備沒被選中時(shí)數(shù)據(jù)引腳必須處于高阻態(tài)否則會(huì)跟別的設(shè)備打架。nADV地址有效很多老式NOR和SRAM都靠這個(gè)信號鎖存地址。它在外設(shè)接口上不是必需的但對某些器件來說沒有nADV就沒辦法正常操作。WAIT信號這是GPMC的“剎車”機(jī)制。外部設(shè)備覺得處理不過來時(shí)可以拉低WAIT讓總線周期自動(dòng)延長。做FPGA連接時(shí)如果FPGA內(nèi)部RAM的響應(yīng)時(shí)間可能超過CPU配置的訪問周期建議一定要把WAIT用起來能省很多事。2.2 muxed和non-muxed選錯(cuò)了就是災(zāi)難GPMC的地址和數(shù)據(jù)線有兩種組織形式這在TI的寄存器里叫MUXADDDATA位。non-muxed模式下地址線是地址線數(shù)據(jù)線是數(shù)據(jù)線兩組信號完全獨(dú)立硬件設(shè)計(jì)最簡單。而muxed模式下低16位地址和數(shù)據(jù)公用同一組AD[0:15]引腳訪問時(shí)先輸出地址再由nADV鎖存然后切換成數(shù)據(jù)通道。這種模式能省引腳但時(shí)序復(fù)雜、需要外部鎖存對FPGA內(nèi)部邏輯的要求也更高。在我見過的問題里最多的一種就是硬件工程師畫板子時(shí)按muxed方式連軟件配置卻按non-muxed方式初始化。結(jié)果表現(xiàn)為每次讀寫數(shù)據(jù)都錯(cuò)位或者讀到的東西是地址信號和數(shù)據(jù)信號的混合體。排錯(cuò)時(shí)如果不先確認(rèn)軟硬件模式是否一致會(huì)繞非常大的彎子。我的建議很簡單項(xiàng)目不是特別缺引腳就一律用non-muxed模式。16位數(shù)據(jù)總線加上足夠多的地址線已經(jīng)能覆蓋絕大多數(shù)場景。muxed模式省下的那十幾個(gè)引腳通常會(huì)以幾倍的調(diào)試成本還回來。2.3 電平、上拉、走線這些“低級問題”反而最致命GPMC的I/O電壓在不同平臺上有差異AM335x的GPMC引腳電平由對應(yīng)的VDDS電源域決定可能是1.8V也可能是3.3V。接FPGA時(shí)FPGA的Bank電壓必須跟GPMC電平匹配否則輕則讀不到數(shù)據(jù)重則電流倒灌損傷器件。數(shù)據(jù)總線浮空是另一個(gè)高頻問題。如果外部設(shè)備沒有被使能數(shù)據(jù)線既沒人驅(qū)動(dòng)也沒人拉高讀回來的內(nèi)容就會(huì)是隨機(jī)電平反映在CPU眼里通常是一大片0xFF或者亂跳的數(shù)。解決方法是外加10k47k上拉電阻或者在FPGA內(nèi)部給數(shù)據(jù)IO配上弱上拉保證總線空閑時(shí)處于確定電平。PCB走線上不要大意。GPMC雖然不像DDR那樣嚴(yán)格但高速同步模式下地址線和數(shù)據(jù)線之間最好做等長處理至少不要出現(xiàn)某些線長了十幾厘米、某些線短到貼芯片這種極端不均衡的情況。地平面要連續(xù)別讓數(shù)據(jù)總線跨越分割線。異步模式可以寬松一些同步burst跑到100MHz時(shí)信號完整性就變得相當(dāng)重要了。真到了調(diào)不出來的時(shí)候先拿示波器看波形再回來審視板子設(shè)計(jì)往往比死磕代碼更快。3. 時(shí)序才是GPMC的靈魂寄存器與設(shè)備樹參數(shù)逐項(xiàng)拆解3.1 從一個(gè)具體讀周期看GPMC在干什么GPMC的整個(gè)動(dòng)作過程可以描述成一條嚴(yán)格的時(shí)間軸。以一次典型的異步讀為例地址和片選先有效。CPU發(fā)出訪問請求后GPMC把目標(biāo)地址放到地址總線上同時(shí)拉低對應(yīng)的nCS宣告“我要訪問掛在片選上的設(shè)備了”。nADV信號產(chǎn)生一個(gè)脈沖告訴外部設(shè)備“地址已經(jīng)準(zhǔn)備好”。對SRAM這類自帶鎖存的設(shè)備來說這個(gè)沿就是鎖存地址的時(shí)刻。nOE拉低讀使能生效。外部設(shè)備檢測到nOE有效后把目標(biāo)地址的數(shù)據(jù)放到數(shù)據(jù)總線上。等待一段固定的時(shí)間由access-ns等參數(shù)控制GPMC在某個(gè)采樣點(diǎn)把數(shù)據(jù)總線上的值鎖存進(jìn)內(nèi)部寄存器。nOE拉高nCS釋放一個(gè)讀周期結(jié)束。這個(gè)過程看起來很直觀但每個(gè)動(dòng)作前后的延遲都有對應(yīng)的可配置參數(shù)。嵌入式工程師做得最多的就是根據(jù)外部設(shè)備的數(shù)據(jù)手冊把這些“時(shí)間坐標(biāo)”一個(gè)一個(gè)填進(jìn)GPMC的時(shí)序寄存器。設(shè)備樹方式只是把寄存器換算成了更好讀的納秒單位。3.2 設(shè)備樹時(shí)序?qū)傩灾饌€(gè)說清楚在Linux設(shè)備樹里GPMC子節(jié)點(diǎn)的時(shí)序參數(shù)全部以gpmc,開頭后綴為納秒。下面這張表是我在實(shí)際項(xiàng)目里最常用的一組設(shè)備樹屬性作用參考設(shè)置原則gpmc,cs-on-ns片選信號建立時(shí)間一般設(shè)0片選和地址同時(shí)有效gpmc,cs-rd-off-ns讀周期片選釋放時(shí)間不能小于讀寫周期的外部響應(yīng)需求gpmc,cs-wr-off-ns寫周期片選釋放時(shí)間同上gpmc,adv-on-ns地址有效信號建立時(shí)間一般設(shè)0或很小gpmc,adv-rd-off-ns讀周期地址有效釋放時(shí)間留足地址保持時(shí)間gpmc,adv-wr-off-ns寫周期地址有效釋放時(shí)間同上gpmc,oe-on-ns讀使能拉低時(shí)間地址穩(wěn)定后再拉OEgpmc,oe-off-ns讀使能釋放時(shí)間保證OE低電平脈沖寬度gpmc,we-on-ns寫使能拉低時(shí)間地址穩(wěn)定后再拉WEgpmc,we-off-ns寫使能釋放時(shí)間保證WE低電平脈沖寬度gpmc,rd-cycle-ns讀周期總時(shí)間必須大于所有讀時(shí)序需求之和要留余量gpmc,wr-cycle-ns寫周期總時(shí)間同上寫周期同理gpmc,access-ns數(shù)據(jù)采樣點(diǎn)時(shí)間決定GPMC在哪一刻采集數(shù)據(jù)總線最關(guān)鍵gpmc,page-burst-access-ns頁/突發(fā)模式下每次額外訪問時(shí)間只有burst模式用到需要注意不同內(nèi)核版本對屬性的命名略有差異比如有些版本用gpmc,xxx-off-ns有些地方用ti,min-access-time-ns做輔助限制。以你手頭內(nèi)核Documentation里的omap-gpmc.txt為準(zhǔn)。但概念是共通的你要理解的是“這個(gè)參數(shù)決定哪個(gè)信號在哪個(gè)時(shí)刻動(dòng)作”而不是死記某一個(gè)字符串。3.3 手把手計(jì)算一組可用的時(shí)序參數(shù)假設(shè)FPGA側(cè)的數(shù)據(jù)手冊給了下面這組要求片選有效后地址穩(wěn)定地址建立時(shí)間最小10ns讀使能nOE有效后數(shù)據(jù)必須在60ns內(nèi)出現(xiàn)在總線上數(shù)據(jù)保持時(shí)間要求nOE釋放后5ns讀脈沖寬度OE低電平要求不低于40ns地址保持時(shí)間要求不低于5ns。現(xiàn)在要配置GPMC的讀周期我會(huì)這樣計(jì)算片選CS和地址同時(shí)有效所以gpmc,cs-on-ns 0。地址穩(wěn)定需要10ns讀使能不要拉得太早所以gpmc,oe-on-ns 10。讀脈沖寬度要40ns那么在OE有效40ns后釋放gpmc,oe-off-ns 50。數(shù)據(jù)從OE有效開始最長60ns出現(xiàn)而OE在50ns處就釋放了GPMC如果也在50ns處采樣就太早了。這里需要把采樣點(diǎn)gpmc,access-ns放到數(shù)據(jù)手冊允許的極限附近也就是60ns附近。但為了安全我通常會(huì)把OE釋放時(shí)間再往后推一點(diǎn)比如gpmc,oe-off-ns 80這樣采樣點(diǎn)設(shè)在gpmc,access-ns 70既能保證數(shù)據(jù)到位又有余量。讀周期總時(shí)間必須大于CS釋放時(shí)間gpmc,rd-cycle-ns 100留出20%以上的余量。所以初版配置會(huì)是gpmc,cs-on-ns 0; gpmc,cs-rd-off-ns 90; gpmc,adv-on-ns 0; gpmc,adv-rd-off-ns 20; gpmc,oe-on-ns 10; gpmc,oe-off-ns 80; gpmc,access-ns 70; gpmc,rd-cycle-ns 100;寫周期也是同理只不過關(guān)注的是WE脈沖寬度和數(shù)據(jù)建立時(shí)間。最后再強(qiáng)調(diào)一句初版參數(shù)一定不要追求極限。先把所有時(shí)間放寬一倍讓系統(tǒng)跑起來確認(rèn)軟硬件邏輯全部正確之后再拿示波器一點(diǎn)一點(diǎn)壓縮。很多項(xiàng)目調(diào)不出來不是因?yàn)榉桨覆恍卸且簧蟻砭桶芽偩€時(shí)序壓到了芯片的臨界值。4. 實(shí)操把設(shè)備樹和驅(qū)動(dòng)跑起來4.1 設(shè)備樹節(jié)點(diǎn)與pinctrl配置在Linux內(nèi)核里GPMC控制器本身是一個(gè)節(jié)點(diǎn)每個(gè)外部設(shè)備則是掛在它下面的子節(jié)點(diǎn)。拿AM335x舉個(gè)例子完整配置長這樣am33xx_pinmux { gpmc_pins: gpmc_pins { pinctrl-single,pins 0x30 0x38 /* GPMC_AD0 - MODE0, INPUT */ 0x34 0x38 /* GPMC_AD1 - MODE0, INPUT */ /* ... GPMC_AD2~AD15 同理 ... */ 0x78 0x28 /* GPMC_CSN0 - MODE0, OUTPUT */ 0x7c 0x28 /* GPMC_OEN_REN - MODE0, OUTPUT */ 0x80 0x28 /* GPMC_WEN - MODE0, OUTPUT */ 0x84 0x28 /* GPMC_ADVN_ALE - MODE0, OUTPUT */ ; }; }; gpmc { status okay; pinctrl-names default; pinctrl-0 gpmc_pins; /* CS0映射到CPU地址0x08000000范圍256MB */ ranges 0 0 0x08000000 0x10000000; fpga0,0 { compatible vendor,my-fpga; reg 0 0 0x10000; /* CS0偏移064KB空間 */ bank-width 2; /* 16位數(shù)據(jù)總線 */ gpmc,cs-on-ns 0; gpmc,cs-rd-off-ns 100; gpmc,cs-wr-off-ns 100; gpmc,adv-on-ns 0; gpmc,adv-rd-off-ns 30; gpmc,adv-wr-off-ns 30; gpmc,oe-on-ns 10; gpmc,oe-off-ns 80; gpmc,we-on-ns 10; gpmc,we-off-ns 80; gpmc,rd-cycle-ns 110; gpmc,wr-cycle-ns 110; gpmc,access-ns 80; gpmc,page-burst-access-ns 30; }; };這里ranges的意思是子節(jié)點(diǎn)訪問地址0x0時(shí)父總線看到的是0x08000000映射范圍0x10000000即256MB。FPGA子節(jié)點(diǎn)只在CS0窗口內(nèi)占64KB空間reg 0 0 0x10000的三個(gè)字段分別是片選號、片選內(nèi)偏移、空間長度。pinctrl的引腳偏移量每個(gè)平臺各不相同我給的0x30這類數(shù)值只是示意。實(shí)際做板子時(shí)必須對照對應(yīng)芯片的TRM翻出GPMC引腳的具體Pad配置然后再填寫。AM335x上GPMC相關(guān)引腳默認(rèn)就是模式0但有些引腳的上下拉和輸入輸出方向需要手動(dòng)設(shè)置好否則信號根本出不來。4.2 不寫驅(qū)動(dòng)先devmem驗(yàn)證硬件通路驅(qū)動(dòng)開發(fā)最忌諱的就是一上來就寫大段代碼然后出了問題不知道是設(shè)備樹錯(cuò)了、引腳配置錯(cuò)了還是驅(qū)動(dòng)邏輯錯(cuò)了。正確做法是先用devmem工具把整條通路打通。開發(fā)板正常啟動(dòng)進(jìn)入Linux后執(zhí)行下面的命令# 讀CS0首地址的16位數(shù)據(jù) devmem 0x08000000 16 # 向CS0首地址寫入0x55AA devmem 0x08000000 16 0x55AA # 再讀回來驗(yàn)證 devmem 0x08000000 16 # 連續(xù)讀幾個(gè)不同偏移驗(yàn)證地址譯碼 devmem 0x08000010 16 devmem 0x08000020 16驗(yàn)證的時(shí)候有幾點(diǎn)要注意剛上電時(shí)讀0x08000000如果讀回0xFFFF且后續(xù)一直不變大概率是數(shù)據(jù)總線浮空或者CS沒有正確映射。寫入0x55AA后再讀回0x55AA只能說明讀寫通路正常。想驗(yàn)證16根數(shù)據(jù)線是否全部連通建議寫0xAAAA、0x5555、0xF0F0這類交替方波數(shù)據(jù)。如果有某一位固定懸空讀回來的值會(huì)出現(xiàn)明顯的位模式異常。地址線是否連對可以間隔寫入不同偏移然后讀回確認(rèn)FPGA側(cè)抓到的地址和CPU發(fā)出去的一致。devmem讀不到數(shù)據(jù)不要急著去懷疑驅(qū)動(dòng)先用示波器掛在nCS和nOE引腳上看波形。一個(gè)正常的訪問周期應(yīng)該能觸發(fā)一次明確的片選和讀使能脈沖。如果CPU執(zhí)行了讀命令示波器上卻沒有任何波形那就是設(shè)備樹映射或引腳復(fù)用配置的問題如果波形有但數(shù)據(jù)不對再回頭檢查FPGA時(shí)序。4.3 一個(gè)最小字符設(shè)備驅(qū)動(dòng)模板devmem驗(yàn)證通過后基本可以確定硬件側(cè)沒大問題了。接下來就可以寫正式的驅(qū)動(dòng)。下面是我常用的一個(gè)最簡單模板直接通過platform_driver匹配設(shè)備樹中的FPGA節(jié)點(diǎn)#include linux/module.h #include linux/platform_device.h #include linux/io.h #include linux/of.h #include linux/of_address.h struct fpga_dev { void __iomem *base; }; static int fpga_probe(struct platform_device *pdev) { struct resource *res; struct fpga_dev *priv; priv devm_kzalloc(pdev-dev, sizeof(*priv), GFP_KERNEL); if (!priv) return -ENOMEM; res platform_get_resource(pdev, IORESOURCE_MEM, 0); priv-base devm_ioremap_resource(pdev-dev, res); if (IS_ERR(priv-base)) return PTR_ERR(priv-base); dev_info(pdev-dev, GPMC FPGA base: %pa\n, res-start); /* 測試讀寫 */ writew(0x55AA, priv-base 0x00); dev_info(pdev-dev, read back: 0x%04x\n, readw(priv-base 0x00)); platform_set_drvdata(pdev, priv); return 0; } static const struct of_device_id fpga_of_match[] { { .compatible vendor,my-fpga }, { } }; MODULE_DEVICE_TABLE(of, fpga_of_match); static struct platform_driver fpga_driver { .probe fpga_probe, .driver { .name my-fpga, .of_match_table fpga_of_match, }, }; module_platform_driver(fpga_driver); MODULE_LICENSE(GPL);這里有幾個(gè)容易踩的坑第一platform_get_resource(pdev, IORESOURCE_MEM, 0)拿到的資源對應(yīng)的是設(shè)備樹里reg屬性聲明的地址區(qū)間。所以reg描述的范圍一定要和FPGA實(shí)際占用的寄存器窗口一致。第二訪問GPMC映射后的地址一定要用readw、writew、readl、writel這一組訪問函數(shù)而不是直接解引用volatile指針。ioremap提供的內(nèi)存通常是strongly-ordered映射直接服用沒問題但用訪問函數(shù)能在不同ARM平臺上獲得更好的移植性和緩存一致性保障。第三讀寫時(shí)序上GPMC總線不存在cache一致性問題因?yàn)檫@塊地址是外設(shè)內(nèi)存映射不走CPU的DMA一致性協(xié)議。但如果后面引入了DMA傳輸就要用dma_alloc_coherent或dma_map_single來管理緩沖區(qū)不能直接把kmalloc的內(nèi)存丟給DMA。4.4 從異步到同步burst的提速思路異步模式下GPMC的帶寬再高也有上限因?yàn)槊總€(gè)周期都在等OE/WE的脈沖序列走完。想進(jìn)一步提速就要上同步burst模式。這時(shí)候GPMC輸出一個(gè)GPMC_CLK時(shí)鐘外設(shè)按照這個(gè)時(shí)鐘邊沿連續(xù)輸出或接收多個(gè)數(shù)據(jù)一次總線訪問就能搬運(yùn)一大塊數(shù)據(jù)。設(shè)備樹中開啟同步burst需要在子節(jié)點(diǎn)增加gpmc,sync-clk-ps等屬性把同步時(shí)鐘周期配好同時(shí)把gpmc,rd-cycle-ns等異步參數(shù)朝著burst時(shí)序方向調(diào)整。FPGA側(cè)的改動(dòng)也不小需要實(shí)現(xiàn)一個(gè)簡單的狀態(tài)機(jī)外部地址在nADV階段被鎖存之后每來一個(gè)時(shí)鐘沿FPGA內(nèi)部地址自增一次同時(shí)把數(shù)據(jù)放到總線或從總線采走。我的經(jīng)驗(yàn)是burst提速放在最后做。先把異步模式全部調(diào)通數(shù)據(jù)讀回穩(wěn)定然后才引入同步時(shí)鐘一次只改動(dòng)一個(gè)變量。這樣就算崩了也能快速定位是時(shí)鐘相位問題、burst長度配置問題還是FPGA狀態(tài)機(jī)bug。很多團(tuán)隊(duì)把異步和burst一起改出了錯(cuò)根本無從下手。5. 踩坑記錄與排查技巧5.1 讀回0xFF先查硬件再查軟件GPMC調(diào)試中讀回0xFF占掉了我至少三分之一的時(shí)間。這個(gè)錯(cuò)誤看似簡單背后原因卻五花八門。最常見的原因是數(shù)據(jù)總線浮空。外部設(shè)備沒有被片選選中或者FPGA內(nèi)部邏輯還沒起來總線上的引腳全部處于高阻態(tài)上拉電阻把電平拉高讀回來自然就是0xFF。排查方法是拿萬用表量GPMC_AD引腳的電平如果全是高電平說明總線空轉(zhuǎn)下一步要查CS信號有沒有確實(shí)拉低。第二個(gè)高發(fā)原因是設(shè)備樹里片選窗口配置錯(cuò)誤。子節(jié)點(diǎn)的reg和父節(jié)點(diǎn)的ranges對應(yīng)不上CPU訪問的地址根本沒映射到GPMC的CS上。這時(shí)候訪問地址時(shí)示波器上看不到任何CS脈沖讀操作實(shí)際訪問的是一段空洞內(nèi)存。還有一個(gè)容易被忽略的坑是FPGA側(cè)的片選譯碼。FPGA內(nèi)部如果只做了部分地址譯碼或者把CS0和CS1的窗口共用了也會(huì)出現(xiàn)某些偏移讀回固定值的情況。遇到這種問題我的做法是寫一個(gè)循環(huán)把CS0窗口內(nèi)前幾KB每個(gè)地址都讀一遍打印出數(shù)據(jù)分布。如果是全0xFF基本就是總線層問題如果有些地址有反應(yīng)、有些沒有那就是地址譯碼問題。5.2 偶發(fā)錯(cuò)值與時(shí)序余量有一個(gè)項(xiàng)目讓我印象特別深。板子正常起來后讀FPGA里的寄存器90%的時(shí)候值都是對的但偶爾會(huì)冒出一次錯(cuò)誤數(shù)據(jù)。最初的排錯(cuò)方向全錯(cuò)了懷疑FPGA邏輯bug懷疑數(shù)據(jù)線受干擾甚至懷疑電源紋波。最后拿示波器對比波形才發(fā)現(xiàn)問題純屬時(shí)序余量不足。當(dāng)時(shí)的gpmc,rd-cycle-ns配置成了80ns表面上看FPGA數(shù)據(jù)手冊寫的最大讀取時(shí)間是60ns80ns應(yīng)該夠。但實(shí)際電路里存在PCB走線延遲、FPGA內(nèi)部組合邏輯延遲、芯片溫度漂移所有因素疊加起來80ns就變得非常緊張。某個(gè)溫度點(diǎn)或者電壓波動(dòng)稍微大一點(diǎn)數(shù)據(jù)到達(dá)GPMC采樣點(diǎn)的時(shí)刻就晚了那么幾納秒于是偶發(fā)錯(cuò)值就出現(xiàn)了。解決方案很簡單把gpmc,rd-cycle-ns放寬到130nsgpmc,access-ns也同步后移。整條總線速度雖然降了但系統(tǒng)穩(wěn)定了。后來做性能優(yōu)化時(shí)才一檔一檔往回壓每壓一檔就做長時(shí)間加壓測試。這里有個(gè)經(jīng)驗(yàn)只要發(fā)現(xiàn)數(shù)據(jù)偶發(fā)錯(cuò)誤第一反應(yīng)應(yīng)該是放寬時(shí)序而不是去懷疑芯片壞了或者代碼邏輯錯(cuò)了?？偩€時(shí)序是物理信號偶發(fā)錯(cuò)誤絕大多數(shù)是建立時(shí)間或保持時(shí)間不夠。5.3 muxed模式的幾個(gè)翻車點(diǎn)上面提過muxed模式容易踩坑這里展開說幾個(gè)具體的翻車現(xiàn)場。第一個(gè)是地址鎖存時(shí)機(jī)不對。muxed模式下低16位地址在總線訪問最開始就出現(xiàn)在AD[0:15]上需要外部設(shè)備在合適的邊沿鎖存這個(gè)地址。如果FPGA側(cè)把鎖存邊沿選錯(cuò)了比如用了nADV上升沿而GPMC實(shí)際下降沿才撤走地址鎖存到的地址就會(huì)歪掉。排查時(shí)可以固定寫幾個(gè)不同的地址偏移讀數(shù)據(jù)看看地址錯(cuò)亂有沒有規(guī)律性。如果偏移0x00和0x01的數(shù)據(jù)一樣、0x02和0x03一樣那多半是LM位對不齊。第二個(gè)是總線方向切換。muxed模式里AD線既要輸出地址又要傳輸數(shù)據(jù)中間存在方向切換。如果切換間隙沒有留足時(shí)間地址線剛撤走馬上被外部設(shè)備驅(qū)動(dòng)數(shù)據(jù)兩條驅(qū)動(dòng)源就會(huì)短暫碰撞造成電流尖峰和邏輯混亂。GPMC內(nèi)部有bus turnaround機(jī)制但設(shè)備樹參數(shù)里要留好這個(gè)間隔比如在地址有效撤銷后、數(shù)據(jù)采樣前留出足夠的緩沖區(qū)。第三個(gè)是軟件和硬件模式不匹配。這個(gè)最無解因?yàn)榇a看起來完全正常讀數(shù)據(jù)卻怎么都不對。調(diào)試時(shí)先確認(rèn)設(shè)備樹里有沒有顯式配置muxed模式再看原理圖上的接線方式。GPMC寄存器里MUXADDDATA位和原理圖不一致一切分析都白搭。我的習(xí)慣是硬件設(shè)計(jì)評審時(shí)就把這個(gè)問題當(dāng)面和硬件工程師確認(rèn)好寫成會(huì)議紀(jì)要避免后面互相扯皮。5.4 當(dāng)FPGA工程師和驅(qū)動(dòng)工程師互相對峙時(shí)做GPMC聯(lián)調(diào)最經(jīng)典的場面就是FPGA工程師和驅(qū)動(dòng)工程師互相對峙。驅(qū)動(dòng)工程師拿著設(shè)備樹配置說“我這邊時(shí)序都是按手冊寫的沒問題?！盕PGA工程師拿著邏輯分析儀抓到的波形說“你看這個(gè)OE的下降沿和數(shù)據(jù)變化幾乎同時(shí)肯定是你驅(qū)動(dòng)配置不對?！边@種事我經(jīng)歷了幾輪后總結(jié)出一個(gè)順手的流程第一步先確認(rèn)過去的是否是“同一張波形圖”。GPMC時(shí)序參數(shù)以納秒為單位兩邊最好坐在一起把示波器的波形截圖放大到同一時(shí)間尺度把每個(gè)事件打上標(biāo)簽比如“CS有效”對應(yīng)時(shí)鐘t0“OE有效”對應(yīng)t1“數(shù)據(jù)出現(xiàn)”對應(yīng)t2“GPMC采樣點(diǎn)”對應(yīng)t3。一張圖把所有時(shí)間坐標(biāo)列出來矛盾立即清晰。第二步把驅(qū)動(dòng)實(shí)際的配置參數(shù)打印出來而不是看代碼里寫了什么。代碼里的值可能被內(nèi)核、bootloader或者pinctrl影響實(shí)際生效的可能不一樣。在fpga_probe里把讀回的GPMC_CONFIG寄存器全部打印出來和期望值對比一眼就能看出問題。第三步做一個(gè)“最小驗(yàn)證用例”。比如先讓驅(qū)動(dòng)只讀固定地址一個(gè)寄存器讓FPGA側(cè)只在那個(gè)地址上輸出固定常量0x5A5A。如果這樣都能讀錯(cuò)那說明總線物理層和時(shí)序問題如果固定地址讀對了但隨機(jī)地址會(huì)錯(cuò)那就是地址譯碼或bus turnaround問題。一個(gè)最小用例可以把聯(lián)調(diào)問題快速隔離。5.5 調(diào)試速查表把上面所有問題收斂成一張表掛在工位上非常管用現(xiàn)象可能原因排查方向讀回?cái)?shù)據(jù)全是0xFF數(shù)據(jù)總線浮空、外部設(shè)備未使能量AD引腳電平查nCS是否拉低查上拉電阻讀回?cái)?shù)據(jù)全是0x00數(shù)據(jù)線被強(qiáng)下拉或FPGA輸出驅(qū)動(dòng)能力不夠查FPGA IO驅(qū)動(dòng)強(qiáng)度、OE方向、外部下拉讀/寫偶發(fā)出錯(cuò)時(shí)序余量不足、電源波動(dòng)、信號質(zhì)量差放寬rd-cycle/wr-cycle觀察波形找臨界點(diǎn)寫入后讀回不變WE脈沖過窄、FPGA內(nèi)部鎖存沿不對加寬WE低電平時(shí)間核對FPGA握手邊沿地址錯(cuò)亂muxed/non-muxed模式不匹配、地址鎖存沿錯(cuò)誤核對原理圖與寄存器配置固定地址讀常量訪問時(shí)系統(tǒng)卡死地址映射越界、訪問了不存在的窗口嚴(yán)格檢查ranges和reg避免空洞訪問同一地址有時(shí)對有時(shí)錯(cuò)總線仲裁/方向切換未留間隔加大bus turnaround檢查FPGA三態(tài)控制與FPGA握手失敗WAIT信號沒接或沒配置啟用WAIT監(jiān)控降低同步時(shí)鐘關(guān)于調(diào)試習(xí)慣最后說兩句在GPMC上栽過跟頭之后我養(yǎng)成了兩個(gè)習(xí)慣。第一調(diào)GPMC一定先架好邏輯分析儀或者示波器再動(dòng)代碼不要憑感覺調(diào)參。第二調(diào)試初期所有時(shí)序全部放寬等全鏈路通了再一點(diǎn)一點(diǎn)壓。尤其是第一次做GPMC接FPGA的新項(xiàng)目先保證系統(tǒng)可靠再談性能永遠(yuǎn)比一開始就追求極限參數(shù)靠譜得多。TI的GPMC手冊內(nèi)容龐雜但核心就是那么幾個(gè)時(shí)間點(diǎn)把這些時(shí)間點(diǎn)吃透剩下的事情都會(huì)順利很多。 嵌入式GPMC總線實(shí)戰(zhàn)：FPGA連接、時(shí)序配置與設(shè)備樹驅(qū)動(dòng)調(diào)試
在嵌入式圈子待久了你會(huì)發(fā)現(xiàn)一個(gè)規(guī)律只要是在TI的Sitara平臺AM335x、AM437x這些Cortex-A8/A9處理器上做過項(xiàng)目基本都繞不開GPMC這個(gè)名字。全稱General Purpose Memory Controller翻譯過來就是通用內(nèi)存控制器處理器的并行總線接口。它最典型的應(yīng)用場景就是用類似SRAM的時(shí)序去連接FPGA、并行AD/DA、NOR Flash或者SRAM這類外設(shè)。我最早接觸GPMC是被一個(gè)項(xiàng)目逼的FPGA和AM335x之間要高速交換數(shù)據(jù)SPI太慢UART更不用說最后只能老老實(shí)實(shí)把GPMC調(diào)通。這篇文章就把我在實(shí)際項(xiàng)目中啃GPMC的筆記整理出來包括硬件連接、設(shè)備樹時(shí)序參數(shù)、驅(qū)動(dòng)編寫和排錯(cuò)經(jīng)驗(yàn)適合正在調(diào)GPMC的同學(xué)也適合準(zhǔn)備在TI平臺接并行外設(shè)但還沒入門的開發(fā)者。1. GPMC到底是什么嵌入式工程師為什么繞不開它1.1 一句話講清GPMC的定位把GPMC想成處理器對外開放的一扇“內(nèi)存窗口”就好理解了。處理器內(nèi)部有一大片地址空間其中一塊被劃給了GPMC控制器。當(dāng)CPU訪問這塊地址空間時(shí)GPMC會(huì)把讀寫的請求自動(dòng)變成一組并行信號發(fā)送到外部引腳上。外部設(shè)備只要按SRAM接口的標(biāo)準(zhǔn)來響應(yīng)CPU就能用最簡單的方式讀寫它——不需要像I2C那樣先發(fā)設(shè)備地址、再發(fā)寄存器地址、再等應(yīng)答也不需要像SPI那樣一bit一bit地搬運(yùn)。CPU一條LDR指令下去數(shù)據(jù)就到寄存器里了整個(gè)過程對CPU來說是透明的。這也是GPMC和普通低速總線的本質(zhì)區(qū)別它的工作方式接近內(nèi)存總線而不是外設(shè)總線。對外部設(shè)備來說它像一顆SRAM對CPU來說它就是一塊可以隨機(jī)訪問的地址空間。你在代碼里寫*(volatile unsigned short *)0x08000000 0x55AA地址0x08000000正好落在GPMC的片選窗口上這行代碼就會(huì)觸發(fā)一次實(shí)實(shí)在在的并行總線寫周期。能像訪問內(nèi)存一樣訪問外部器件這是GPMC最迷人的地方。1.2 接FPGA為什么優(yōu)先選GPMC一次性把帶寬賬算明白很多人第一次選型時(shí)第一反應(yīng)是“FPGA不就是傳數(shù)據(jù)嗎用SPI不就行了”。這句話在數(shù)據(jù)量小的時(shí)候沒毛病但一旦涉及圖像采集、高速ADC采樣、基帶信號處理這類場景SPI立刻就成了瓶頸。算一筆賬假設(shè)SPI時(shí)鐘40MHz一個(gè)時(shí)鐘傳1bit8位數(shù)據(jù)就需要8個(gè)時(shí)鐘周期理論峰值也就5MB/s。再算上片選、命令開銷、軟硬件交互的間隙實(shí)際有效帶寬能到3MB/s就不錯(cuò)了。而GPMC走16位異步讀周期就算每個(gè)讀周期100ns理論帶寬已經(jīng)達(dá)到20MB/s——這還只是最普通的異步模式完全沒用到指令流水和突發(fā)機(jī)制。如果外設(shè)支持同步burst模式GPMC_CLK可以跑到100MHz16位總線一個(gè)周期傳2字節(jié)理論峰值直接跳到200MB/s的量級。這中間的差距不是一個(gè)量級而是幾十倍。當(dāng)然會(huì)有人說為什么不用DDR接口或者EMIF去擴(kuò)展存儲。這里要澄清一個(gè)概念GPMC和DDR控制器是兩套獨(dú)立的接口。DDR控制器走專用的DDR PHY時(shí)序訓(xùn)練、刷新管理都很復(fù)雜不是拿來隨便接FPGA的。GPMC是專用的并行外設(shè)總線時(shí)序可配置范圍廣、信號簡單、調(diào)試難度低最重要的是它不占DDR通道不會(huì)影響系統(tǒng)的內(nèi)存帶寬。所以在TI的Sitara平臺上接FPGA、并口AD/DA、NOR Flash這些場景GPMC幾乎是不可替代的存在。1.3 GPMC到底能接哪些設(shè)備按TI的官方定位GPMC支持以下類型的外設(shè)設(shè)備類型典型產(chǎn)品使用方式NOR Flash并口NOR、SPI轉(zhuǎn)并口芯片異步/同步讀地址隨機(jī)訪問NAND Flash大容量NANDGPMC內(nèi)置ECC/BCH引擎配合軟件做壞塊管理SRAM/PSRAM外部擴(kuò)展內(nèi)存最標(biāo)準(zhǔn)的異步SRAM時(shí)序FPGA/CPLDXilinx、Intel、紫光等把GPMC做成軟核外設(shè)的寄存器窗口最常見并行ADC/DAC高速AD/DA轉(zhuǎn)換器采樣數(shù)據(jù)可以直接被CPU信箱式讀取顯示控制器老式TFT LCD并口屏、LCD控制器利用GPMC作為顯示數(shù)據(jù)通道值得一提的是很多人以為GPMC只是拿來接NAND Flash的其實(shí)在工業(yè)控制和數(shù)據(jù)采集項(xiàng)目里GPMC接FPGA才是真正的重頭戲。FPGA內(nèi)部可以起一個(gè)SRAM接口的時(shí)序邏輯把采集到的數(shù)據(jù)放在一塊雙口RAM里CPU通過GPMC直接讀這塊RAM就完成了高帶寬的軟硬數(shù)據(jù)交換。后面要講的設(shè)備樹配置也主要以FPGA這個(gè)場景為例展開。2. 硬件設(shè)計(jì)先把引腳信號摸透再寫第一行代碼2.1 關(guān)鍵信號與連線原則GPMC的引腳非常多但如果把信號按功能分類其實(shí)很好記。地址總線GPMC_A[0:27]、數(shù)據(jù)總線GPMC_AD[0:15]這是最核心的兩組線。然后是控制信號nCS片選、nWE寫使能、nOE讀使能、nADV地址有效、nBE0/nBE1字節(jié)使能、WAIT等待信號。如果走同步burst模式還有一個(gè)GPMC_CLK時(shí)鐘輸出。連接層面的原則并不復(fù)雜片選信號nCS一個(gè)GPMC控制器最多支持8個(gè)片選CS0~CS7每個(gè)片選在地址空間中對應(yīng)一段獨(dú)立的窗口。接FPGA通常只用其中一個(gè)片選周圍的其它引腳可以保持懸空。nWE與nOE就是讀和寫的開關(guān)。外部設(shè)備必須根據(jù)這兩個(gè)引腳的時(shí)序來驅(qū)動(dòng)數(shù)據(jù)總線。FPGA側(cè)要特別注意三態(tài)控制本設(shè)備沒被選中時(shí)數(shù)據(jù)引腳必須處于高阻態(tài)否則會(huì)跟別的設(shè)備打架。nADV地址有效很多老式NOR和SRAM都靠這個(gè)信號鎖存地址。它在外設(shè)接口上不是必需的但對某些器件來說沒有nADV就沒辦法正常操作。WAIT信號這是GPMC的“剎車”機(jī)制。外部設(shè)備覺得處理不過來時(shí)可以拉低WAIT讓總線周期自動(dòng)延長。做FPGA連接時(shí)如果FPGA內(nèi)部RAM的響應(yīng)時(shí)間可能超過CPU配置的訪問周期建議一定要把WAIT用起來能省很多事。2.2 muxed和non-muxed選錯(cuò)了就是災(zāi)難GPMC的地址和數(shù)據(jù)線有兩種組織形式這在TI的寄存器里叫MUXADDDATA位。non-muxed模式下地址線是地址線數(shù)據(jù)線是數(shù)據(jù)線兩組信號完全獨(dú)立硬件設(shè)計(jì)最簡單。而muxed模式下低16位地址和數(shù)據(jù)公用同一組AD[0:15]引腳訪問時(shí)先輸出地址再由nADV鎖存然后切換成數(shù)據(jù)通道。這種模式能省引腳但時(shí)序復(fù)雜、需要外部鎖存對FPGA內(nèi)部邏輯的要求也更高。在我見過的問題里最多的一種就是硬件工程師畫板子時(shí)按muxed方式連軟件配置卻按non-muxed方式初始化。結(jié)果表現(xiàn)為每次讀寫數(shù)據(jù)都錯(cuò)位或者讀到的東西是地址信號和數(shù)據(jù)信號的混合體。排錯(cuò)時(shí)如果不先確認(rèn)軟硬件模式是否一致會(huì)繞非常大的彎子。我的建議很簡單項(xiàng)目不是特別缺引腳就一律用non-muxed模式。16位數(shù)據(jù)總線加上足夠多的地址線已經(jīng)能覆蓋絕大多數(shù)場景。muxed模式省下的那十幾個(gè)引腳通常會(huì)以幾倍的調(diào)試成本還回來。2.3 電平、上拉、走線這些“低級問題”反而最致命GPMC的I/O電壓在不同平臺上有差異AM335x的GPMC引腳電平由對應(yīng)的VDDS電源域決定可能是1.8V也可能是3.3V。接FPGA時(shí)FPGA的Bank電壓必須跟GPMC電平匹配否則輕則讀不到數(shù)據(jù)重則電流倒灌損傷器件。數(shù)據(jù)總線浮空是另一個(gè)高頻問題。如果外部設(shè)備沒有被使能數(shù)據(jù)線既沒人驅(qū)動(dòng)也沒人拉高讀回來的內(nèi)容就會(huì)是隨機(jī)電平反映在CPU眼里通常是一大片0xFF或者亂跳的數(shù)。解決方法是外加10k47k上拉電阻或者在FPGA內(nèi)部給數(shù)據(jù)IO配上弱上拉保證總線空閑時(shí)處于確定電平。PCB走線上不要大意。GPMC雖然不像DDR那樣嚴(yán)格但高速同步模式下地址線和數(shù)據(jù)線之間最好做等長處理至少不要出現(xiàn)某些線長了十幾厘米、某些線短到貼芯片這種極端不均衡的情況。地平面要連續(xù)別讓數(shù)據(jù)總線跨越分割線。異步模式可以寬松一些同步burst跑到100MHz時(shí)信號完整性就變得相當(dāng)重要了。真到了調(diào)不出來的時(shí)候先拿示波器看波形再回來審視板子設(shè)計(jì)往往比死磕代碼更快。3. 時(shí)序才是GPMC的靈魂寄存器與設(shè)備樹參數(shù)逐項(xiàng)拆解3.1 從一個(gè)具體讀周期看GPMC在干什么GPMC的整個(gè)動(dòng)作過程可以描述成一條嚴(yán)格的時(shí)間軸。以一次典型的異步讀為例地址和片選先有效。CPU發(fā)出訪問請求后GPMC把目標(biāo)地址放到地址總線上同時(shí)拉低對應(yīng)的nCS宣告“我要訪問掛在片選上的設(shè)備了”。nADV信號產(chǎn)生一個(gè)脈沖告訴外部設(shè)備“地址已經(jīng)準(zhǔn)備好”。對SRAM這類自帶鎖存的設(shè)備來說這個(gè)沿就是鎖存地址的時(shí)刻。nOE拉低讀使能生效。外部設(shè)備檢測到nOE有效后把目標(biāo)地址的數(shù)據(jù)放到數(shù)據(jù)總線上。等待一段固定的時(shí)間由access-ns等參數(shù)控制GPMC在某個(gè)采樣點(diǎn)把數(shù)據(jù)總線上的值鎖存進(jìn)內(nèi)部寄存器。nOE拉高nCS釋放一個(gè)讀周期結(jié)束。這個(gè)過程看起來很直觀但每個(gè)動(dòng)作前后的延遲都有對應(yīng)的可配置參數(shù)。嵌入式工程師做得最多的就是根據(jù)外部設(shè)備的數(shù)據(jù)手冊把這些“時(shí)間坐標(biāo)”一個(gè)一個(gè)填進(jìn)GPMC的時(shí)序寄存器。設(shè)備樹方式只是把寄存器換算成了更好讀的納秒單位。3.2 設(shè)備樹時(shí)序?qū)傩灾饌€(gè)說清楚在Linux設(shè)備樹里GPMC子節(jié)點(diǎn)的時(shí)序參數(shù)全部以gpmc,開頭后綴為納秒。下面這張表是我在實(shí)際項(xiàng)目里最常用的一組設(shè)備樹屬性作用參考設(shè)置原則gpmc,cs-on-ns片選信號建立時(shí)間一般設(shè)0片選和地址同時(shí)有效gpmc,cs-rd-off-ns讀周期片選釋放時(shí)間不能小于讀寫周期的外部響應(yīng)需求gpmc,cs-wr-off-ns寫周期片選釋放時(shí)間同上gpmc,adv-on-ns地址有效信號建立時(shí)間一般設(shè)0或很小gpmc,adv-rd-off-ns讀周期地址有效釋放時(shí)間留足地址保持時(shí)間gpmc,adv-wr-off-ns寫周期地址有效釋放時(shí)間同上gpmc,oe-on-ns讀使能拉低時(shí)間地址穩(wěn)定后再拉OEgpmc,oe-off-ns讀使能釋放時(shí)間保證OE低電平脈沖寬度gpmc,we-on-ns寫使能拉低時(shí)間地址穩(wěn)定后再拉WEgpmc,we-off-ns寫使能釋放時(shí)間保證WE低電平脈沖寬度gpmc,rd-cycle-ns讀周期總時(shí)間必須大于所有讀時(shí)序需求之和要留余量gpmc,wr-cycle-ns寫周期總時(shí)間同上寫周期同理gpmc,access-ns數(shù)據(jù)采樣點(diǎn)時(shí)間決定GPMC在哪一刻采集數(shù)據(jù)總線最關(guān)鍵gpmc,page-burst-access-ns頁/突發(fā)模式下每次額外訪問時(shí)間只有burst模式用到需要注意不同內(nèi)核版本對屬性的命名略有差異比如有些版本用gpmc,xxx-off-ns有些地方用ti,min-access-time-ns做輔助限制。以你手頭內(nèi)核Documentation里的omap-gpmc.txt為準(zhǔn)。但概念是共通的你要理解的是“這個(gè)參數(shù)決定哪個(gè)信號在哪個(gè)時(shí)刻動(dòng)作”而不是死記某一個(gè)字符串。3.3 手把手計(jì)算一組可用的時(shí)序參數(shù)假設(shè)FPGA側(cè)的數(shù)據(jù)手冊給了下面這組要求片選有效后地址穩(wěn)定地址建立時(shí)間最小10ns讀使能nOE有效后數(shù)據(jù)必須在60ns內(nèi)出現(xiàn)在總線上數(shù)據(jù)保持時(shí)間要求nOE釋放后5ns讀脈沖寬度OE低電平要求不低于40ns地址保持時(shí)間要求不低于5ns。現(xiàn)在要配置GPMC的讀周期我會(huì)這樣計(jì)算片選CS和地址同時(shí)有效所以gpmc,cs-on-ns 0。地址穩(wěn)定需要10ns讀使能不要拉得太早所以gpmc,oe-on-ns 10。讀脈沖寬度要40ns那么在OE有效40ns后釋放gpmc,oe-off-ns 50。數(shù)據(jù)從OE有效開始最長60ns出現(xiàn)而OE在50ns處就釋放了GPMC如果也在50ns處采樣就太早了。這里需要把采樣點(diǎn)gpmc,access-ns放到數(shù)據(jù)手冊允許的極限附近也就是60ns附近。但為了安全我通常會(huì)把OE釋放時(shí)間再往后推一點(diǎn)比如gpmc,oe-off-ns 80這樣采樣點(diǎn)設(shè)在gpmc,access-ns 70既能保證數(shù)據(jù)到位又有余量。讀周期總時(shí)間必須大于CS釋放時(shí)間gpmc,rd-cycle-ns 100留出20%以上的余量。所以初版配置會(huì)是gpmc,cs-on-ns 0; gpmc,cs-rd-off-ns 90; gpmc,adv-on-ns 0; gpmc,adv-rd-off-ns 20; gpmc,oe-on-ns 10; gpmc,oe-off-ns 80; gpmc,access-ns 70; gpmc,rd-cycle-ns 100;寫周期也是同理只不過關(guān)注的是WE脈沖寬度和數(shù)據(jù)建立時(shí)間。最后再強(qiáng)調(diào)一句初版參數(shù)一定不要追求極限。先把所有時(shí)間放寬一倍讓系統(tǒng)跑起來確認(rèn)軟硬件邏輯全部正確之后再拿示波器一點(diǎn)一點(diǎn)壓縮。很多項(xiàng)目調(diào)不出來不是因?yàn)榉桨覆恍卸且簧蟻砭桶芽偩€時(shí)序壓到了芯片的臨界值。4. 實(shí)操把設(shè)備樹和驅(qū)動(dòng)跑起來4.1 設(shè)備樹節(jié)點(diǎn)與pinctrl配置在Linux內(nèi)核里GPMC控制器本身是一個(gè)節(jié)點(diǎn)每個(gè)外部設(shè)備則是掛在它下面的子節(jié)點(diǎn)。拿AM335x舉個(gè)例子完整配置長這樣am33xx_pinmux { gpmc_pins: gpmc_pins { pinctrl-single,pins 0x30 0x38 /* GPMC_AD0 - MODE0, INPUT */ 0x34 0x38 /* GPMC_AD1 - MODE0, INPUT */ /* ... GPMC_AD2~AD15 同理 ... */ 0x78 0x28 /* GPMC_CSN0 - MODE0, OUTPUT */ 0x7c 0x28 /* GPMC_OEN_REN - MODE0, OUTPUT */ 0x80 0x28 /* GPMC_WEN - MODE0, OUTPUT */ 0x84 0x28 /* GPMC_ADVN_ALE - MODE0, OUTPUT */ ; }; }; gpmc { status okay; pinctrl-names default; pinctrl-0 gpmc_pins; /* CS0映射到CPU地址0x08000000范圍256MB */ ranges 0 0 0x08000000 0x10000000; fpga0,0 { compatible vendor,my-fpga; reg 0 0 0x10000; /* CS0偏移064KB空間 */ bank-width 2; /* 16位數(shù)據(jù)總線 */ gpmc,cs-on-ns 0; gpmc,cs-rd-off-ns 100; gpmc,cs-wr-off-ns 100; gpmc,adv-on-ns 0; gpmc,adv-rd-off-ns 30; gpmc,adv-wr-off-ns 30; gpmc,oe-on-ns 10; gpmc,oe-off-ns 80; gpmc,we-on-ns 10; gpmc,we-off-ns 80; gpmc,rd-cycle-ns 110; gpmc,wr-cycle-ns 110; gpmc,access-ns 80; gpmc,page-burst-access-ns 30; }; };這里ranges的意思是子節(jié)點(diǎn)訪問地址0x0時(shí)父總線看到的是0x08000000映射范圍0x10000000即256MB。FPGA子節(jié)點(diǎn)只在CS0窗口內(nèi)占64KB空間reg 0 0 0x10000的三個(gè)字段分別是片選號、片選內(nèi)偏移、空間長度。pinctrl的引腳偏移量每個(gè)平臺各不相同我給的0x30這類數(shù)值只是示意。實(shí)際做板子時(shí)必須對照對應(yīng)芯片的TRM翻出GPMC引腳的具體Pad配置然后再填寫。AM335x上GPMC相關(guān)引腳默認(rèn)就是模式0但有些引腳的上下拉和輸入輸出方向需要手動(dòng)設(shè)置好否則信號根本出不來。4.2 不寫驅(qū)動(dòng)先devmem驗(yàn)證硬件通路驅(qū)動(dòng)開發(fā)最忌諱的就是一上來就寫大段代碼然后出了問題不知道是設(shè)備樹錯(cuò)了、引腳配置錯(cuò)了還是驅(qū)動(dòng)邏輯錯(cuò)了。正確做法是先用devmem工具把整條通路打通。開發(fā)板正常啟動(dòng)進(jìn)入Linux后執(zhí)行下面的命令# 讀CS0首地址的16位數(shù)據(jù) devmem 0x08000000 16 # 向CS0首地址寫入0x55AA devmem 0x08000000 16 0x55AA # 再讀回來驗(yàn)證 devmem 0x08000000 16 # 連續(xù)讀幾個(gè)不同偏移驗(yàn)證地址譯碼 devmem 0x08000010 16 devmem 0x08000020 16驗(yàn)證的時(shí)候有幾點(diǎn)要注意剛上電時(shí)讀0x08000000如果讀回0xFFFF且后續(xù)一直不變大概率是數(shù)據(jù)總線浮空或者CS沒有正確映射。寫入0x55AA后再讀回0x55AA只能說明讀寫通路正常。想驗(yàn)證16根數(shù)據(jù)線是否全部連通建議寫0xAAAA、0x5555、0xF0F0這類交替方波數(shù)據(jù)。如果有某一位固定懸空讀回來的值會(huì)出現(xiàn)明顯的位模式異常。地址線是否連對可以間隔寫入不同偏移然后讀回確認(rèn)FPGA側(cè)抓到的地址和CPU發(fā)出去的一致。devmem讀不到數(shù)據(jù)不要急著去懷疑驅(qū)動(dòng)先用示波器掛在nCS和nOE引腳上看波形。一個(gè)正常的訪問周期應(yīng)該能觸發(fā)一次明確的片選和讀使能脈沖。如果CPU執(zhí)行了讀命令示波器上卻沒有任何波形那就是設(shè)備樹映射或引腳復(fù)用配置的問題如果波形有但數(shù)據(jù)不對再回頭檢查FPGA時(shí)序。4.3 一個(gè)最小字符設(shè)備驅(qū)動(dòng)模板devmem驗(yàn)證通過后基本可以確定硬件側(cè)沒大問題了。接下來就可以寫正式的驅(qū)動(dòng)。下面是我常用的一個(gè)最簡單模板直接通過platform_driver匹配設(shè)備樹中的FPGA節(jié)點(diǎn)#include linux/module.h #include linux/platform_device.h #include linux/io.h #include linux/of.h #include linux/of_address.h struct fpga_dev { void __iomem *base; }; static int fpga_probe(struct platform_device *pdev) { struct resource *res; struct fpga_dev *priv; priv devm_kzalloc(pdev-dev, sizeof(*priv), GFP_KERNEL); if (!priv) return -ENOMEM; res platform_get_resource(pdev, IORESOURCE_MEM, 0); priv-base devm_ioremap_resource(pdev-dev, res); if (IS_ERR(priv-base)) return PTR_ERR(priv-base); dev_info(pdev-dev, GPMC FPGA base: %pa\n, res-start); /* 測試讀寫 */ writew(0x55AA, priv-base 0x00); dev_info(pdev-dev, read back: 0x%04x\n, readw(priv-base 0x00)); platform_set_drvdata(pdev, priv); return 0; } static const struct of_device_id fpga_of_match[] { { .compatible vendor,my-fpga }, { } }; MODULE_DEVICE_TABLE(of, fpga_of_match); static struct platform_driver fpga_driver { .probe fpga_probe, .driver { .name my-fpga, .of_match_table fpga_of_match, }, }; module_platform_driver(fpga_driver); MODULE_LICENSE(GPL);這里有幾個(gè)容易踩的坑第一platform_get_resource(pdev, IORESOURCE_MEM, 0)拿到的資源對應(yīng)的是設(shè)備樹里reg屬性聲明的地址區(qū)間。所以reg描述的范圍一定要和FPGA實(shí)際占用的寄存器窗口一致。第二訪問GPMC映射后的地址一定要用readw、writew、readl、writel這一組訪問函數(shù)而不是直接解引用volatile指針。ioremap提供的內(nèi)存通常是strongly-ordered映射直接服用沒問題但用訪問函數(shù)能在不同ARM平臺上獲得更好的移植性和緩存一致性保障。第三讀寫時(shí)序上GPMC總線不存在cache一致性問題因?yàn)檫@塊地址是外設(shè)內(nèi)存映射不走CPU的DMA一致性協(xié)議。但如果后面引入了DMA傳輸就要用dma_alloc_coherent或dma_map_single來管理緩沖區(qū)不能直接把kmalloc的內(nèi)存丟給DMA。4.4 從異步到同步burst的提速思路異步模式下GPMC的帶寬再高也有上限因?yàn)槊總€(gè)周期都在等OE/WE的脈沖序列走完。想進(jìn)一步提速就要上同步burst模式。這時(shí)候GPMC輸出一個(gè)GPMC_CLK時(shí)鐘外設(shè)按照這個(gè)時(shí)鐘邊沿連續(xù)輸出或接收多個(gè)數(shù)據(jù)一次總線訪問就能搬運(yùn)一大塊數(shù)據(jù)。設(shè)備樹中開啟同步burst需要在子節(jié)點(diǎn)增加gpmc,sync-clk-ps等屬性把同步時(shí)鐘周期配好同時(shí)把gpmc,rd-cycle-ns等異步參數(shù)朝著burst時(shí)序方向調(diào)整。FPGA側(cè)的改動(dòng)也不小需要實(shí)現(xiàn)一個(gè)簡單的狀態(tài)機(jī)外部地址在nADV階段被鎖存之后每來一個(gè)時(shí)鐘沿FPGA內(nèi)部地址自增一次同時(shí)把數(shù)據(jù)放到總線或從總線采走。我的經(jīng)驗(yàn)是burst提速放在最后做。先把異步模式全部調(diào)通數(shù)據(jù)讀回穩(wěn)定然后才引入同步時(shí)鐘一次只改動(dòng)一個(gè)變量。這樣就算崩了也能快速定位是時(shí)鐘相位問題、burst長度配置問題還是FPGA狀態(tài)機(jī)bug。很多團(tuán)隊(duì)把異步和burst一起改出了錯(cuò)根本無從下手。5. 踩坑記錄與排查技巧5.1 讀回0xFF先查硬件再查軟件GPMC調(diào)試中讀回0xFF占掉了我至少三分之一的時(shí)間。這個(gè)錯(cuò)誤看似簡單背后原因卻五花八門。最常見的原因是數(shù)據(jù)總線浮空。外部設(shè)備沒有被片選選中或者FPGA內(nèi)部邏輯還沒起來總線上的引腳全部處于高阻態(tài)上拉電阻把電平拉高讀回來自然就是0xFF。排查方法是拿萬用表量GPMC_AD引腳的電平如果全是高電平說明總線空轉(zhuǎn)下一步要查CS信號有沒有確實(shí)拉低。第二個(gè)高發(fā)原因是設(shè)備樹里片選窗口配置錯(cuò)誤。子節(jié)點(diǎn)的reg和父節(jié)點(diǎn)的ranges對應(yīng)不上CPU訪問的地址根本沒映射到GPMC的CS上。這時(shí)候訪問地址時(shí)示波器上看不到任何CS脈沖讀操作實(shí)際訪問的是一段空洞內(nèi)存。還有一個(gè)容易被忽略的坑是FPGA側(cè)的片選譯碼。FPGA內(nèi)部如果只做了部分地址譯碼或者把CS0和CS1的窗口共用了也會(huì)出現(xiàn)某些偏移讀回固定值的情況。遇到這種問題我的做法是寫一個(gè)循環(huán)把CS0窗口內(nèi)前幾KB每個(gè)地址都讀一遍打印出數(shù)據(jù)分布。如果是全0xFF基本就是總線層問題如果有些地址有反應(yīng)、有些沒有那就是地址譯碼問題。5.2 偶發(fā)錯(cuò)值與時(shí)序余量有一個(gè)項(xiàng)目讓我印象特別深。板子正常起來后讀FPGA里的寄存器90%的時(shí)候值都是對的但偶爾會(huì)冒出一次錯(cuò)誤數(shù)據(jù)。最初的排錯(cuò)方向全錯(cuò)了懷疑FPGA邏輯bug懷疑數(shù)據(jù)線受干擾甚至懷疑電源紋波。最后拿示波器對比波形才發(fā)現(xiàn)問題純屬時(shí)序余量不足。當(dāng)時(shí)的gpmc,rd-cycle-ns配置成了80ns表面上看FPGA數(shù)據(jù)手冊寫的最大讀取時(shí)間是60ns80ns應(yīng)該夠。但實(shí)際電路里存在PCB走線延遲、FPGA內(nèi)部組合邏輯延遲、芯片溫度漂移所有因素疊加起來80ns就變得非常緊張。某個(gè)溫度點(diǎn)或者電壓波動(dòng)稍微大一點(diǎn)數(shù)據(jù)到達(dá)GPMC采樣點(diǎn)的時(shí)刻就晚了那么幾納秒于是偶發(fā)錯(cuò)值就出現(xiàn)了。解決方案很簡單把gpmc,rd-cycle-ns放寬到130nsgpmc,access-ns也同步后移。整條總線速度雖然降了但系統(tǒng)穩(wěn)定了。后來做性能優(yōu)化時(shí)才一檔一檔往回壓每壓一檔就做長時(shí)間加壓測試。這里有個(gè)經(jīng)驗(yàn)只要發(fā)現(xiàn)數(shù)據(jù)偶發(fā)錯(cuò)誤第一反應(yīng)應(yīng)該是放寬時(shí)序而不是去懷疑芯片壞了或者代碼邏輯錯(cuò)了?？偩€時(shí)序是物理信號偶發(fā)錯(cuò)誤絕大多數(shù)是建立時(shí)間或保持時(shí)間不夠。5.3 muxed模式的幾個(gè)翻車點(diǎn)上面提過muxed模式容易踩坑這里展開說幾個(gè)具體的翻車現(xiàn)場。第一個(gè)是地址鎖存時(shí)機(jī)不對。muxed模式下低16位地址在總線訪問最開始就出現(xiàn)在AD[0:15]上需要外部設(shè)備在合適的邊沿鎖存這個(gè)地址。如果FPGA側(cè)把鎖存邊沿選錯(cuò)了比如用了nADV上升沿而GPMC實(shí)際下降沿才撤走地址鎖存到的地址就會(huì)歪掉。排查時(shí)可以固定寫幾個(gè)不同的地址偏移讀數(shù)據(jù)看看地址錯(cuò)亂有沒有規(guī)律性。如果偏移0x00和0x01的數(shù)據(jù)一樣、0x02和0x03一樣那多半是LM位對不齊。第二個(gè)是總線方向切換。muxed模式里AD線既要輸出地址又要傳輸數(shù)據(jù)中間存在方向切換。如果切換間隙沒有留足時(shí)間地址線剛撤走馬上被外部設(shè)備驅(qū)動(dòng)數(shù)據(jù)兩條驅(qū)動(dòng)源就會(huì)短暫碰撞造成電流尖峰和邏輯混亂。GPMC內(nèi)部有bus turnaround機(jī)制但設(shè)備樹參數(shù)里要留好這個(gè)間隔比如在地址有效撤銷后、數(shù)據(jù)采樣前留出足夠的緩沖區(qū)。第三個(gè)是軟件和硬件模式不匹配。這個(gè)最無解因?yàn)榇a看起來完全正常讀數(shù)據(jù)卻怎么都不對。調(diào)試時(shí)先確認(rèn)設(shè)備樹里有沒有顯式配置muxed模式再看原理圖上的接線方式。GPMC寄存器里MUXADDDATA位和原理圖不一致一切分析都白搭。我的習(xí)慣是硬件設(shè)計(jì)評審時(shí)就把這個(gè)問題當(dāng)面和硬件工程師確認(rèn)好寫成會(huì)議紀(jì)要避免后面互相扯皮。5.4 當(dāng)FPGA工程師和驅(qū)動(dòng)工程師互相對峙時(shí)做GPMC聯(lián)調(diào)最經(jīng)典的場面就是FPGA工程師和驅(qū)動(dòng)工程師互相對峙。驅(qū)動(dòng)工程師拿著設(shè)備樹配置說“我這邊時(shí)序都是按手冊寫的沒問題?！盕PGA工程師拿著邏輯分析儀抓到的波形說“你看這個(gè)OE的下降沿和數(shù)據(jù)變化幾乎同時(shí)肯定是你驅(qū)動(dòng)配置不對?！边@種事我經(jīng)歷了幾輪后總結(jié)出一個(gè)順手的流程第一步先確認(rèn)過去的是否是“同一張波形圖”。GPMC時(shí)序參數(shù)以納秒為單位兩邊最好坐在一起把示波器的波形截圖放大到同一時(shí)間尺度把每個(gè)事件打上標(biāo)簽比如“CS有效”對應(yīng)時(shí)鐘t0“OE有效”對應(yīng)t1“數(shù)據(jù)出現(xiàn)”對應(yīng)t2“GPMC采樣點(diǎn)”對應(yīng)t3。一張圖把所有時(shí)間坐標(biāo)列出來矛盾立即清晰。第二步把驅(qū)動(dòng)實(shí)際的配置參數(shù)打印出來而不是看代碼里寫了什么。代碼里的值可能被內(nèi)核、bootloader或者pinctrl影響實(shí)際生效的可能不一樣。在fpga_probe里把讀回的GPMC_CONFIG寄存器全部打印出來和期望值對比一眼就能看出問題。第三步做一個(gè)“最小驗(yàn)證用例”。比如先讓驅(qū)動(dòng)只讀固定地址一個(gè)寄存器讓FPGA側(cè)只在那個(gè)地址上輸出固定常量0x5A5A。如果這樣都能讀錯(cuò)那說明總線物理層和時(shí)序問題如果固定地址讀對了但隨機(jī)地址會(huì)錯(cuò)那就是地址譯碼或bus turnaround問題。一個(gè)最小用例可以把聯(lián)調(diào)問題快速隔離。5.5 調(diào)試速查表把上面所有問題收斂成一張表掛在工位上非常管用現(xiàn)象可能原因排查方向讀回?cái)?shù)據(jù)全是0xFF數(shù)據(jù)總線浮空、外部設(shè)備未使能量AD引腳電平查nCS是否拉低查上拉電阻讀回?cái)?shù)據(jù)全是0x00數(shù)據(jù)線被強(qiáng)下拉或FPGA輸出驅(qū)動(dòng)能力不夠查FPGA IO驅(qū)動(dòng)強(qiáng)度、OE方向、外部下拉讀/寫偶發(fā)出錯(cuò)時(shí)序余量不足、電源波動(dòng)、信號質(zhì)量差放寬rd-cycle/wr-cycle觀察波形找臨界點(diǎn)寫入后讀回不變WE脈沖過窄、FPGA內(nèi)部鎖存沿不對加寬WE低電平時(shí)間核對FPGA握手邊沿地址錯(cuò)亂muxed/non-muxed模式不匹配、地址鎖存沿錯(cuò)誤核對原理圖與寄存器配置固定地址讀常量訪問時(shí)系統(tǒng)卡死地址映射越界、訪問了不存在的窗口嚴(yán)格檢查ranges和reg避免空洞訪問同一地址有時(shí)對有時(shí)錯(cuò)總線仲裁/方向切換未留間隔加大bus turnaround檢查FPGA三態(tài)控制與FPGA握手失敗WAIT信號沒接或沒配置啟用WAIT監(jiān)控降低同步時(shí)鐘關(guān)于調(diào)試習(xí)慣最后說兩句在GPMC上栽過跟頭之后我養(yǎng)成了兩個(gè)習(xí)慣。第一調(diào)GPMC一定先架好邏輯分析儀或者示波器再動(dòng)代碼不要憑感覺調(diào)參。第二調(diào)試初期所有時(shí)序全部放寬等全鏈路通了再一點(diǎn)一點(diǎn)壓。尤其是第一次做GPMC接FPGA的新項(xiàng)目先保證系統(tǒng)可靠再談性能永遠(yuǎn)比一開始就追求極限參數(shù)靠譜得多。TI的GPMC手冊內(nèi)容龐雜但核心就是那么幾個(gè)時(shí)間點(diǎn)把這些時(shí)間點(diǎn)吃透剩下的事情都會(huì)順利很多。