:用Jpcap解析網(wǎng)絡(luò)數(shù)據(jù)包與HTTP流量統(tǒng)計)
寫Java寫過一陣子的人多少都會遇到一個尷尬時刻代碼調(diào)得沒問題但網(wǎng)絡(luò)請求就是不對懷疑數(shù)據(jù)發(fā)錯了、端口不對、報文沒出來可手里沒有趁手的工具。Wireshark能抓包可那玩意主要是給人交互分析的沒法直接集成到你自己的Java服務(wù)里。我之前接了一個校園網(wǎng)設(shè)備在線監(jiān)測的小工具需求是要實時看局域網(wǎng)內(nèi)哪些終端在向外發(fā)請求、訪問了哪些域名當(dāng)時第一反應(yīng)就是抓包分析但Wireshark把包抓下來還得人工看根本沒法跟后臺系統(tǒng)對接。后來翻了一圈發(fā)現(xiàn)Java生態(tài)里做抓包用得最多的就是Jpcap。這庫確實有些年頭了但勝在夠簡單、夠直接底層通過JNI調(diào)用libpcap/WinPcap上層直接給你封裝好的TCPPacket、UDPPacket、ARPPacket對象你不用手寫二進制報文解析拿包就能讀端口、讀IP、讀Host。這篇教程就是我一整周踩坑的經(jīng)驗匯總從環(huán)境搭建、網(wǎng)卡選擇到過濾規(guī)則、數(shù)據(jù)包解剖最后帶一個完整的HTTP Host統(tǒng)計器適合第一次接觸網(wǎng)絡(luò)抓包、想在Java程序里直接分析流量的開發(fā)者。內(nèi)容會比較長建議先收藏再照著敲。1. Java抓包為什么我會選Jpcap先把方案看明白1.1 Jpcap在技術(shù)棧里的位置計算機流量本質(zhì)上是網(wǎng)卡上流過的一串字節(jié)要拿到這串字節(jié)操作系統(tǒng)層面得提供抓包能力。Unix-like系統(tǒng)普遍支持libpcapWindows老牌方案是WinPcap后來Npcap接棒。但這些庫都是C寫的Java程序沒法直接調(diào)用必須有一層JNI橋接。Jpcap就是那個橋。它在Java側(cè)暴露出JpcapCaptor、JpcapSender、NetworkInterface、Packet這些類底層把libpcap/WinPcap的能力包了起來。你寫Java代碼時根本不用碰C只需要調(diào)用JpcapCaptor.getDeviceList()拿到網(wǎng)卡列表用openDevice打開某張網(wǎng)卡設(shè)置過濾條件在回調(diào)里接收Packet對象用instanceof判斷是TCP還是UDP直接讀字段也就是說Jpcap幫我們把“從網(wǎng)卡上扒原始字節(jié)”和“按協(xié)議棧解析字節(jié)”這兩件事都做了你拿到手的是已經(jīng)按協(xié)議分好類的Java對象。對于教學(xué)、快速原型、中小流量的業(yè)務(wù)工具來說這層封裝非常值。1.2 和Wireshark、tcpdump的定位差異很多人一聽說抓包就想到Wireshark但Wireshark解決的是“人工分析”問題它不適合你寫一段程序然后每天凌晨自動抓一段流量做統(tǒng)計。tcpdump適合命令行操作但你要把它嵌入到Java業(yè)務(wù)代碼里靠ProcessBuilder起子進程然后再去解析文本輸出又繞又脆報文里一個轉(zhuǎn)義字符就能把解析搞崩。Jpcap的正確使用場景是抓包邏輯是你自己程序的一部分。比如我在那個校園網(wǎng)工具里就是啟動一個后臺線程loopPacket持續(xù)抓包按目標(biāo)域名做計數(shù)再把結(jié)果寫進數(shù)據(jù)庫展示。這類需求用Wireshark根本沒法自動完成用tcpdump又要來回傳數(shù)據(jù)用Jpcap則一切都在JVM里閉環(huán)。1.3 同類庫對比為什么教學(xué)首選它Java抓包庫還有JNetPcap、Pcap4J等。Pcap4J確實更新、支持更多新特性但它的抽象層次更底層寫起來要關(guān)心很多pcap細節(jié)對新手并不友好。JNetPcap功能強但API復(fù)雜中文資料也少。Jpcap最大的優(yōu)勢是核心類很少全庫加起來幾十個類而已用到的就那幾個。對第一次接觸抓包的人來說心智負擔(dān)小一個下午就能跑通。網(wǎng)上相關(guān)例子非常多出了問題也好搜。等你會了Jpcap再去玩Pcap4J理解成本會低很多。2. 環(huán)境搭建是最容易翻車的環(huán)節(jié)驅(qū)動、dll、JDK版本逐項說很多新手抓包代碼明明照著抄的一運行就報UnsatisfiedLinkError問題基本都出在環(huán)境這一層。這一節(jié)把Windows環(huán)境下的搭建順序完整走一遍。2.1 裝驅(qū)動WinPcap還是NpcapJpcap底層依賴pcap接口Windows裝機必須裝一個抓包驅(qū)動。老教程都讓你裝WinPcap 4.1.3但WinPcap已經(jīng)停止維護很多年新系統(tǒng)上可能出現(xiàn)兼容問題?,F(xiàn)在更推薦裝Npcap但有一個關(guān)鍵選項安裝到最后一步時一定要勾選“Install Npcap in WinPcap API-compatible Mode”。Jpcap是通過WinPcap API去調(diào)用底層驅(qū)動的不勾這個兼容模式它可能根本找不到設(shè)備getDeviceList()返回空數(shù)組。這個坑我第一次裝的時候就踩了排查了半天最后發(fā)現(xiàn)是安裝選項的問題。裝完之后可以在命令行確認驅(qū)動狀態(tài)如果能看到網(wǎng)絡(luò)接口信息說明底層抓包能力已經(jīng)就緒。2.2 拿到j(luò)pcap.jar和jpcap.dll這兩個文件驅(qū)動搞定后需要準(zhǔn)備兩個東西Java代碼編譯運行要用的jpcap.jar以及JVM加載native方法時要用的jpcap.dll。網(wǎng)上能下載到官方發(fā)布的壓縮包里面通常包含jpcap.jar、jpcap.dll、示例代碼和文檔。注意版本號不用刻意追新老版本配合老驅(qū)動反而更穩(wěn)。下載后先解壓到一個固定目錄我習(xí)慣放在D:\lib\jpcap\下面后面配置和排查都方便。2.3 jpcap.dll加載的三種姿勢以及JDK版本的大坑Java代碼里想加載native動態(tài)庫可以用System.loadLibrary(jpcap)它會按java.library.path去搜索jpcap.dll。也可以直接用絕對路徑加載System.load(D:/lib/jpcap/jpcap.dll);這兩種寫法都行但實際用起來差別很大姿勢一把jpcap.dll復(fù)制到JAVA_HOME/jre/bin目錄下。JDK 8及以前可以這么干JDK 9之后默認沒有獨立的jre目錄了這個姿勢就廢了。姿勢二用System.load(完整路徑)。我推薦這種方式路徑寫在你自己的配置里換機器改一下配置就行不污染JDK目錄。姿勢三啟動參數(shù)加-Djava.library.pathD:/lib/jpcap然后代碼里System.loadLibrary(jpcap)。這種方式也靈活但要注意java.library.path如果沒設(shè)置好會覆蓋默認搜索路徑反而影響其他native庫加載。還有一個大坑Jpcap官方發(fā)布的dll是老古董很多是32位的。如果你本機裝的是64位JDK加載32位dll會直接報錯提示native library版本不匹配。穩(wěn)妥的做法是學(xué)習(xí)階段用32位JDK配合官方包全部按32位環(huán)境跑這樣最省心。如果你非要用64位JDK就得自己找第三方編譯的64位dll或者自己編譯Jpcap源碼難度直線上升新手不建議在這個階段搞。2.4 環(huán)境是否就緒一個10行的自檢程序配置完之后建議先跑一個最小驗證別急著寫抓包邏輯import jpcap.JpcapCaptor; import jpcap.NetworkInterface; public class JpcapEnvCheck { public static void main(String[] args) { try { System.load(D:/lib/jpcap/jpcap.dll); } catch (UnsatisfiedLinkError e) { System.out.println(dll路徑不對或位數(shù)不匹配: e.getMessage()); return; } NetworkInterface[] devices JpcapCaptor.getDeviceList(); System.out.println(發(fā)現(xiàn)網(wǎng)卡數(shù)量: devices.length); for (NetworkInterface nif : devices) { System.out.println(名稱: nif.name , 描述: nif.description); } } }如果能看到網(wǎng)卡數(shù)量大于0環(huán)境就通了。如果卡在第一步的異常上優(yōu)先檢查dll路徑和位數(shù)。3. 抓包前先搞清網(wǎng)卡NetworkInterface到底能告訴你什么許多初學(xué)者上來就抓包結(jié)果抓到一堆莫名其妙的流量或者干脆抓不到原因就是沒選對網(wǎng)卡。Jpcap把本機網(wǎng)卡抽象成NetworkInterface對象里面信息不少先看懂它再動手。3.1 一張網(wǎng)卡對象里有什么NetworkInterface的關(guān)鍵字段有name底層設(shè)備名Windows下通常類似\Device\NPF_{一段GUID}Linux下是eth0、ens33之類的。description驅(qū)動給的描述文案能看出是無線還是有線。mac_address網(wǎng)卡MAC地址就是一個byte數(shù)組打印時需要自己轉(zhuǎn)十六進制。addresses這個網(wǎng)卡上綁定的IP地址列表元素是NetworkInterfaceAddress對象。NetworkInterfaceAddress對象里包含addressIP地址、broadcast廣播地址、subnet子網(wǎng)掩碼三部分。注意一張網(wǎng)卡可能綁定多個IP遍歷時要全部看一遍。3.2 遍歷網(wǎng)卡并打印信息的完整代碼import jpcap.JpcapCaptor; import jpcap.NetworkInterface; import jpcap.NetworkInterfaceAddress; public class ListDevices { public static void main(String[] args) { System.load(D:/lib/jpcap/jpcap.dll); NetworkInterface[] devices JpcapCaptor.getDeviceList(); System.out.println(本機網(wǎng)卡數(shù)量: devices.length); for (int i 0; i devices.length; i) { NetworkInterface nif devices[i]; System.out.println(索引: i); System.out.println( 名稱: nif.name); System.out.println( 描述: nif.description); System.out.println( MAC: bytesToHex(nif.mac_address)); for (NetworkInterfaceAddress addr : nif.addresses) { if (addr.address ! null) { System.out.println( IP: addr.address.getHostAddress() 廣播: (addr.broadcast null ? 無 : addr.broadcast.getHostAddress()) 掩碼: (addr.subnet null ? 無 : addr.subnet.getHostAddress())); } } } } private static String bytesToHex(byte[] bytes) { if (bytes null) { return 未知; } StringBuilder sb new StringBuilder(); for (byte b : bytes) { sb.append(String.format(%02X, b)); if (sb.length() bytes.length * 3 - 1) { sb.append(:); } } return sb.toString(); } }實際輸出會類似這樣本機網(wǎng)卡數(shù)量: 3 索引: 0 名稱: \Device\NPF_{...} 描述: 有線網(wǎng)卡設(shè)備 MAC: AA:BB:CC:DD:EE:FF IP: 192.168.1.101 廣播: 192.168.1.255 掩碼: 255.255.255.0在多網(wǎng)卡機器上這個列表尤其重要因為VBox虛擬網(wǎng)卡、Docker虛擬網(wǎng)卡、藍牙網(wǎng)卡都會占一個索引抓錯網(wǎng)卡要么什么都抓不到要么抓到一堆虛擬化流量。3.3 代碼里自動選擇網(wǎng)卡的正確姿勢人工看索引可以但程序里不可能每次啟動都讓你手輸。我常用的選擇思路是按IP前綴匹配比如只關(guān)心192.168.x.x內(nèi)網(wǎng)流量就遍歷網(wǎng)卡找第一個攜帶這個網(wǎng)段IP的設(shè)備。NetworkInterface target null; for (NetworkInterface nif : JpcapCaptor.getDeviceList()) { for (NetworkInterfaceAddress addr : nif.addresses) { if (addr.address ! null addr.address.getHostAddress().startsWith(192.168.)) { target nif; break; } } if (target ! null) { break; } } if (target null) { System.out.println(沒找到內(nèi)網(wǎng)網(wǎng)卡); return; }這個邏輯很土但很實用。真在云服務(wù)器上跑的時候網(wǎng)卡可能是內(nèi)網(wǎng)地址也可能是公網(wǎng)直通你需要根據(jù)實際環(huán)境改成匹配規(guī)則但思路是一致的別讓用戶切網(wǎng)卡讓代碼自己認。4. 打開設(shè)備開始收包openDevice參數(shù)、三種取包方式、過濾規(guī)則4.1 openDevice的四個參數(shù)怎么給選好網(wǎng)卡后下一步就是通過JpcapCaptor.openDevice打開它。方法簽名大概是JpcapCaptor captor JpcapCaptor.openDevice( NetworkInterface intf, // 網(wǎng)卡對象 int snaplen, // 抓取的最大字節(jié)數(shù) boolean promisc, // 是否混雜模式 int to_ms // 超時時間毫秒 );四個參數(shù)里最需要注意的是snaplen和promisc。snaplen是“快照長度”意思是每個包最多抓前多少字節(jié)。如果不關(guān)心應(yīng)用層載荷只要TCP/IP頭抓個前64字節(jié)就夠了效率高。但如果要解析HTTP Host就得抓全包我一般直接給65535這是以太網(wǎng)MTU加協(xié)議頭后的常見上限基本能保證一個包完整拿下來。promisc是混雜模式true表示網(wǎng)卡會接收所有經(jīng)過它的包而不僅僅發(fā)給本機的包。讀取真正的流量時開true才能看到局域網(wǎng)內(nèi)其他終端的包只分析本機自己訪問外網(wǎng)的流量開不開都行但為了通用性我還是習(xí)慣開true。to_ms是超時時間單位毫秒。這個值太小可能導(dǎo)致抓包函數(shù)頻繁返回太大會讓程序響應(yīng)遲鈍。我常用50到100兼顧實時性和CPU占用。4.2 用processPacket抓指定數(shù)量的包最簡單的一次性抓包是用processPacket傳入數(shù)量和一個回調(diào)接口Jpcap收到指定數(shù)量的包后自動停止JpcapCaptor captor JpcapCaptor.openDevice(target, 65535, true, 50); captor.setFilter(tcp and dst port 80, true); captor.processPacket(10, packet - { System.out.println(抓到第 count.incrementAndGet() 個包類名: packet.getClass().getName()); }); captor.close();注意這里的回調(diào)是PacketReceiver接口寫成lambda完全沒問題。processPacket是阻塞方法在它返回之前只會回調(diào)你傳進來的次數(shù)上限個包。適合做“抓幾個看看”的驗證場景。4.3 用loopPacket持續(xù)抓包但如果要做監(jiān)控工具processPacket顯然不夠你必須讓程序一直掛著收包。這時用loopPacket傳-1表示無限循環(huán)JpcapCaptor captor JpcapCaptor.openDevice(target, 65535, true, 50); captor.setFilter(udp port 53, true); captor.loopPacket(-1, packet - { // 每收到一個包都會走到這里 }); // loopPacket也是阻塞的后面的代碼不會立即執(zhí)行l(wèi)oopPacket阻塞在當(dāng)前線程里所以一般會單獨起一個線程跑主線程負責(zé)UI、控制臺輸出或者其他業(yè)務(wù)邏輯。想停止時調(diào)用captor.close()或者中斷線程具體看你的設(shè)計方式。4.4 過濾規(guī)則別亂寫B(tài)PF表達式是效率關(guān)鍵抓包最怕流量太大Java層處理不過來。Jpcap底層支持BPF過濾器也就是setFilter的第一個參數(shù)用好了能擋掉90%的無關(guān)流量。常用過濾器表達式我列了一個表需求BPF表達式只看IP包ip只看TCP包tcp只看UDP的53端口包udp port 53只看訪問本機80端口的TCP包tcp and dst port 80只看與某個IP有關(guān)聯(lián)的包host 192.168.1.1排除ARP包not arp組合條件tcp and dst port 80 and host 192.168.1.1setFilter的第二個參數(shù)是optimizebool類型我一般直接傳true讓底層優(yōu)化表達式。過濾器是在內(nèi)核驅(qū)動層執(zhí)行的不是先抓上來再丟棄所以能大幅降低用戶態(tài)處理壓力。寫監(jiān)控工具時能過濾的盡量過濾別貪多否則后端的packet回調(diào)會瞬間被刷爆。5. 數(shù)據(jù)包解剖課從IP到端口再到HTTP載荷逐層拆拿到Packet對象后很多人會不知所措不知道這個對象到底是什么。Jpcap的回調(diào)返回的其實是一個已經(jīng)被解析過的最內(nèi)層協(xié)議對象不像Wireshark那樣給你一棵完整的協(xié)議樹。你需要通過instanceof逐層判斷。5.1 從instanceof開始TCP、UDP、ICMP怎么區(qū)分Jpcap的協(xié)議類之間是有繼承關(guān)系的TCPPacket和UDPPacket都繼承自IPPacketIPPacket本身又是一種網(wǎng)絡(luò)層包。所以判斷順序一定要先特殊后通用if (packet instanceof TCPPacket) { TCPPacket tcp (TCPPacket) packet; System.out.println(TCP包: tcp.src_ip.getHostAddress() : tcp.src_port - tcp.dst_ip.getHostAddress() : tcp.dst_port); } else if (packet instanceof UDPPacket) { UDPPacket udp (UDPPacket) packet; System.out.println(UDP包: udp.src_ip.getHostAddress() : udp.src_port - udp.dst_ip.getHostAddress() : udp.dst_port); } else if (packet instanceof ICMPPacket) { ICMPPacket icmp (ICMPPacket) packet; System.out.println(ICMP包: icmp.src_ip.getHostAddress() - icmp.dst_ip.getHostAddress()); } else if (packet instanceof ARPPacket) { ARPPacket arp (ARPPacket) packet; System.out.println(ARP包: 請求或者應(yīng)答); }TCPPacket和UDPPacket上直接有src_port和dst_port字段類型是int用起來非常直觀。IP層的ttl、protocol、length這些字段也都掛在IPPacket上不用自己解析二進制頭。5.2 以太網(wǎng)幀的問題回調(diào)里為什么拿不到MAC地址很多新手會問那源MAC地址、目的MAC地址呢這正是Jpcap一個容易讓人困惑的地方?;卣{(diào)返回的已經(jīng)是網(wǎng)絡(luò)層或傳輸層對象鏈路層的以太網(wǎng)頭被Jpcap內(nèi)部處理掉了不像某些庫會把整個鏈路層對象包裹在最外層。所以你直接看TCPPacket是拿不到MAC地址的。如果想拿MAC一般有兩個思路一是抓到ARPPacket里面天然有MAC和IP的映射二是用鏈路層原始數(shù)據(jù)重新自行解析。保姆級入門階段我建議先別糾結(jié)MAC先把IP、端口、協(xié)議類型玩明白后面做局域網(wǎng)設(shè)備探測時自然會在ARP里見到MAC。5.3 從TCP載荷里摳出HTTP請求的Host抓包最實用的場景之一就是看本機或局域網(wǎng)設(shè)備訪問了哪些域名。HTTP請求是明文協(xié)議TCP包里的data字段就是應(yīng)用層載荷我們可以直接按字符串搜。TCPPacket繼承自Packetdata字段就是TCP payload的字節(jié)數(shù)組。完整解析HTTP報文涉及TCP粘包、分片和亂序但最簡單的場景——一個請求剛好落在一個包里——可以直接這么干if (packet instanceof TCPPacket) { TCPPacket tcp (TCPPacket) packet; byte[] data tcp.data; if (data null || data.length 0) { return; // ACK包沒有載荷 } String payload new String(data, StandardCharsets.UTF_8); if (payload.startsWith(GET ) || payload.startsWith(POST ) || payload.startsWith(HEAD ) || payload.startsWith(PUT )) { String[] lines payload.split(\\r?\\n); for (String line : lines) { if (line.toLowerCase().startsWith(host:)) { System.out.println(訪問域名: line.substring(5).trim()); } } } }這里有個經(jīng)驗不要用contains去搜“Host:”萬一HTTP響應(yīng)頭里也帶了這個字段會把響應(yīng)包誤判成請求。我上面的寫法先判斷payload是不是以HTTP方法開頭再逐行找Host準(zhǔn)確性高很多。5.4 ARP包局域網(wǎng)設(shè)備探測的基礎(chǔ)局域網(wǎng)內(nèi)要檢測誰在線最常用的手段是發(fā)ARP請求。Jpcap的ARPPacket把ARP協(xié)議的字段直接暴露出來了if (packet instanceof ARPPacket) { ARPPacket arp (ARPPacket) packet; System.out.println(操作類型: (arp.operation ARPPacket.ARP_REQUEST ? 請求 : 應(yīng)答)); System.out.println(源IP: arp.getSenderProtocolAddress()); System.out.println(源MAC: arp.getSenderHardwareAddress()); System.out.println(目標(biāo)IP: arp.getTargetProtocolAddress()); System.out.println(目標(biāo)MAC: arp.getTargetHardwareAddress()); }那段打印MAC的代碼我寫的是方法形式實際Jpcap的ARPPacket確實提供了類似getSenderHardwareAddress這樣的方法也會用byte數(shù)組存儲打印時注意轉(zhuǎn)成十六進制。ARP能反映局域網(wǎng)里誰在互相找誰比單純的IP掃描更接近真實網(wǎng)絡(luò)行為。6. 綜合實戰(zhàn)寫一個本機HTTP請求Host統(tǒng)計器講到這里知識點已經(jīng)鋪開了但很多觀眾反饋“單獨看都會合起來不知道怎么寫”。所以我把之前給校園網(wǎng)工具做的簡化版拿過來完整展示一個能用的小工具統(tǒng)計本機所有訪問外網(wǎng)的HTTP請求按Host排序輸出。6.1 需求拆解與設(shè)計思路這個工具要解決三個問題啟動后自動選擇內(nèi)網(wǎng)網(wǎng)卡不靠人工輸入索引。持續(xù)抓取TCP請求包從payload里提取Host。每5秒打印一次統(tǒng)計結(jié)果Host出現(xiàn)次數(shù)越多排越前。關(guān)鍵過濾條件為什么是tcp and dst port 80因為HTTP請求從本機出去時目的端口是80而響應(yīng)包回來時目的端口是本機高位端口。只看dst port 80等于只抓請求方向流量這樣既能減少處理量又天然規(guī)避了把響應(yīng)包里的“Host”字段統(tǒng)計進去的問題。設(shè)計過濾器時先想清楚方向能省不少事。6.2 完整代碼import jpcap.JpcapCaptor; import jpcap.NetworkInterface; import jpcap.NetworkInterfaceAddress; import jpcap.packet.TCPPacket; import java.nio.charset.StandardCharsets; import java.util.HashMap; import java.util.Map; public class HttpHostStat { private static final MapString, Integer HOST_COUNT new HashMap(); public static void main(String[] args) throws Exception { System.load(D:/lib/jpcap/jpcap.dll); NetworkInterface target findInternalInterface(); if (target null) { System.err.println(未找到內(nèi)網(wǎng)網(wǎng)卡請檢查網(wǎng)卡IP是否為192.168.x.x); return; } JpcapCaptor captor JpcapCaptor.openDevice(target, 65535, true, 100); captor.setFilter(tcp and dst port 80, true); Thread timerThread new Thread(() - { while (true) { try { Thread.sleep(5000); } catch (InterruptedException e) { return; } System.out.println( HTTP Host 統(tǒng)計 Top 10 ); HOST_COUNT.entrySet().stream() .sorted(Map.Entry.String, IntegercomparingByValue().reversed()) .limit(10) .forEach(e - System.out.println(e.getKey() - e.getValue() 次)); } }); timerThread.setDaemon(true); timerThread.start(); captor.loopPacket(-1, packet - { if (packet instanceof TCPPacket) { TCPPacket tcp (TCPPacket) packet; byte[] data tcp.data; if (data null || data.length 0) { return; } String payload new String(data, StandardCharsets.UTF_8); if (isHttpRequest(payload)) { String host extractHost(payload); if (host ! null !host.isEmpty()) { HOST_COUNT.merge(host, 1, Integer::sum); } } } }); } private static NetworkInterface findInternalInterface() { for (NetworkInterface nif : JpcapCaptor.getDeviceList()) { for (NetworkInterfaceAddress addr : nif.addresses) { if (addr.address ! null addr.address.getHostAddress().startsWith(192.168.)) { return nif; } } } return null; } private static boolean isHttpRequest(String payload) { return payload.startsWith(GET ) || payload.startsWith(POST ) || payload.startsWith(HEAD ) || payload.startsWith(PUT ) || payload.startsWith(DELETE ); } private static String extractHost(String payload) { String[] lines payload.split(\\r?\\n); for (String line : lines) { String lower line.toLowerCase(); if (lower.startsWith(host:)) { return line.substring(5).trim(); } } return null; } }這段代碼本身可以直接跑但請注意我寫死的dll路徑到你機器上需要改成你自己的路徑。另外loopPacket是阻塞的所以統(tǒng)計線程用Daemon方式提前啟動避免主線程卡死。6.3 跑起來后的現(xiàn)象和幾個值得注意的點運行后每5秒會輸出一次統(tǒng)計效果類似 HTTP Host 統(tǒng)計 Top 10 www.abc.com - 12 次 api.example.org - 8 次 cdn.news-site.net - 5 次第一個要注意的點HTTPS流量看不到Host。因為HTTP over TLS之后TCP payload里全是密文只有通過TLS握手時的SNI擴展才能看到域名但那需要額外解析不在本文范圍內(nèi)。所以這個工具只能統(tǒng)計明文HTTP站點。第二個要注意的點如果本機開了代理Host字段可能不是目標(biāo)站點域名而是代理服務(wù)器的域名因為HTTP請求里的URL是完整路徑Host寫的是代理地址。這在企業(yè)代理環(huán)境下很常見。第三個要注意的點TCP分段和粘包。如果請求很大一個包沒裝完你可能只拿到了HTTP請求頭的一部分Host那一行可能沒到如果多個小請求拼在一個包又可能一個payload里出現(xiàn)多個Host行。Jpcap本身不做TCP流重組我上面這段只是教學(xué)級簡化實現(xiàn)。真要做完整的流量分析得自己維護一個按四元組區(qū)分的TCP流緩沖區(qū)把亂序和分段數(shù)據(jù)拼起來再解析。7. 實戰(zhàn)排錯與性能邊界那些坑我替你踩過了7.1 高頻報錯速查表報錯信息最常見原因解決思路no jpcap in java.library.pathdll沒有加入加載路徑用System.load絕對路徑加載或把dll放到JAVA_HOME/jre/binUnsatisfiedLinkError ... 32-bitdll位數(shù)和JDK位數(shù)不匹配統(tǒng)一用32位JDK官方dll或?qū)ふ铱捎玫?4位編譯包getDeviceList返回長度為0驅(qū)動沒裝好或Npcap沒勾兼容模式重裝驅(qū)動確認WinPcap API兼容選項被勾選openDevice拋出NoSuchDevice網(wǎng)卡索引填寫不對或網(wǎng)卡被禁用先跑一遍ListDevices打印索引再填processPacket回調(diào)里包數(shù)量很少過濾條件太嚴(yán)格或網(wǎng)卡選錯先不過濾抓幾個包看網(wǎng)卡是否正確程序內(nèi)存漲得很快回調(diào)里處理太慢包被堆積增強過濾、降低抓包范圍、簡化業(yè)務(wù)邏輯7.2 為什么你抓到的包經(jīng)常沒有應(yīng)用層數(shù)據(jù)這個問題幾乎每個用Jpcap的人都遇到過。TCPPacket的data字段為空或者只有幾字節(jié)就以為代碼寫錯了。其實這是TCP機制的正?,F(xiàn)象三次握手里的純ACK包根本沒有載荷大請求被拆成多個TCP段你抓到的某個包可能只包含一段數(shù)據(jù)包在網(wǎng)絡(luò)中亂序到達也會出現(xiàn)先抓到的包不完整。所以判斷數(shù)據(jù)完整性的經(jīng)驗法則是先過濾那些data為空或長度小于20字節(jié)的包再看前幾個字節(jié)是不是可打印的HTTP方法名。如果一整個請求頭都不在同一個包里就得搬出前文說的TCP流重組方案那已經(jīng)不是入門內(nèi)容了。7.3 什么時候Jpcap該退場我做過一個壓力測試在百兆流量的局域網(wǎng)里用Jpcap連續(xù)抓包回調(diào)里只做統(tǒng)計不做復(fù)雜解析底層有時候還會丟包。用JpcapCaptor的統(tǒng)計接口能看到已接收包數(shù)和丟包數(shù)差距大的時候就要警惕了。Jpcap適合的場景是個人電腦上分析自己的流量、校園網(wǎng)/辦公網(wǎng)里小規(guī)模流量統(tǒng)計、教學(xué)實驗、協(xié)議學(xué)習(xí)。它不適合做核心交換機上的全量流量分析也不適合做生產(chǎn)級安全監(jiān)控。真要上量級建議去看Pcap4J或者直接用C語言寫采集端數(shù)據(jù)先落盤再分析。工具選型要量力而行這是做抓包項目最重要的一點。7.4 我自己的一個工作習(xí)慣最后分享一個讓抓包效率翻倍的習(xí)慣寫代碼前先用Wireshark抓一段真實流量確認目標(biāo)端口、協(xié)議特征、Host所在位置然后再寫Jpcap的過濾條件和解析邏輯。不知道為什么很多人會跳過人工觀察這一步直接上代碼抓然后又回來調(diào)半天。先看先想再寫能省至少一半時間。我現(xiàn)在做任何抓包小工具都是這個流程已經(jīng)成肌肉記憶了。另外抓包分析涉及網(wǎng)絡(luò)隱私練習(xí)時盡量用自己的流量、自己的設(shè)備別拿這套能力去抓別人網(wǎng)絡(luò)里的數(shù)據(jù)。技術(shù)本身是用來做事和解決問題的這底線得守住。