戰(zhàn)：流式讀取與 Buffer 操作快速上手指南)
scriptc 文件處理實(shí)戰(zhàn)流式讀取與 Buffer 操作快速上手指南【免費(fèi)下載鏈接】scriptcTypeScript-to-Native Compiler項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/scriptcscriptc 是一個(gè)TypeScript 到原生的編譯器它能把 TypeScript/JavaScript 直接編譯成可執(zhí)行的原生二進(jìn)制文件產(chǎn)物不需要 Node 運(yùn)行時(shí)。用它寫(xiě)文件處理工具你既能用上 Node 生態(tài)的stream、Buffer、fs全套 API又能得到一個(gè)零依賴(lài)、秒啟動(dòng)的獨(dú)立程序——這正是本文要解決的如何用 scriptc 構(gòu)建文件處理工具掌握流式讀取與 Buffer 二進(jìn)制操作。為什么用 scriptc 寫(xiě)文件處理工具傳統(tǒng)做法寫(xiě)一個(gè) Node 腳本分發(fā)給別人時(shí)還得要求對(duì)方裝 Node.js。scriptc 的做法$ npm install -g scriptc $ scriptc build my-tool.ts -o my-tool $ ./my-tool # 獨(dú)立可執(zhí)行文件無(wú)需 Node關(guān)鍵特性產(chǎn)物是原生二進(jìn)制啟動(dòng)快、體積小stream/fs/crypto等受支持的 Node API 會(huì)直接編譯進(jìn)原生運(yùn)行時(shí)靜態(tài)覆蓋率檢查scriptc coverage xxx.ts能告訴你哪些代碼 100% 靜態(tài)編譯、哪些走動(dòng)態(tài)回退npm 包也能嵌入加--dynamic即可把第三方 JS 庫(kù)打進(jìn)可執(zhí)行文件。原生運(yùn)行時(shí)中流與字節(jié)操作分別由 scr_stream.c 和 scr_bytes.c 等 C 源碼實(shí)現(xiàn)——這是 scriptc 文件處理能力的底座。流式讀取pipe 三連擊處理大文件時(shí)永遠(yuǎn)不要一次性讀進(jìn)內(nèi)存而是用流stream逐塊處理。scriptc 完整支持node:stream的Readable/PassThrough/Writable核心就是三件事push 數(shù)據(jù)、pipe 串聯(lián)、end 收尾。項(xiàng)目自帶的回歸語(yǔ)料 1685-stream-readable-basics.ts 演示了最典型的 Readable 用法import { Readable } from node:stream; const r new Readable({ read() {} }); r.on(data, (chunk: Buffer) console.log(data:, chunk.toString(), chunk.length)); r.on(end, () console.log(end)); r.push(hello ); // 向流中推入數(shù)據(jù)塊 r.push(Buffer.from(world)); r.push(null); // push(null) 表示流結(jié)束而 1692-stream-pipe.ts 展示了pipe的經(jīng)典管道形態(tài)——src.pipe(mid).pipe(sink)數(shù)據(jù)自動(dòng)從源頭流向終點(diǎn)中途還能用PassThrough做轉(zhuǎn)手src.pipe(mid).pipe(sink); // 數(shù)據(jù)沿管道自動(dòng)流動(dòng) src.push(first); src.push(null); // 源頭結(jié)束會(huì)向下游傳播別忘了背壓Backpressure當(dāng)消費(fèi)端處理慢時(shí)流會(huì)自動(dòng)暫停生產(chǎn)端等待drain事件保證每個(gè)字節(jié)都按序到達(dá)。語(yǔ)料 1693-stream-pipe-backpressure.ts 用一個(gè)極小的highWaterMark: 3制造了慢速目的地驗(yàn)證背壓機(jī)制正確工作const dst new Writable({ highWaterMark: 3, write(chunk, enc, callback) { // 慢處理比如寫(xiě)磁盤(pán)延遲回調(diào)即可觸發(fā)背壓 setTimeout(() callback(), 1); }, }); src.pipe(dst);寫(xiě)文件工具時(shí)這個(gè)模式可以直接套用可讀端讀文件 → 管道 → 可寫(xiě)端寫(xiě)磁盤(pán)內(nèi)存占用恒定處理 10GB 文件也沒(méi)壓力。Buffer 操作二進(jìn)制世界的瑞士軍刀文件底層都是字節(jié)Buffer是操作字節(jié)的標(biāo)配。以下技巧全部在 scriptc 中可用且行為與 Node 完全一致測(cè)試語(yǔ)料逐字節(jié)對(duì)比過(guò)輸出。1?? 編碼往返utf8 / hex / base641402-buffer-encodings.ts 覆蓋了編碼往返的邊界情況const b Buffer.from(héllo , utf8); b.toString(hex); // 轉(zhuǎn)十六進(jìn)制 b.toString(base64); // 轉(zhuǎn) base64 Buffer.from(b.toString(base64), base64); // 無(wú)損還原一個(gè)實(shí)用的細(xì)節(jié)非法 UTF-8 字節(jié)序列會(huì)按最大子部分替換為 UFFFD替換字符與 Node 行為精確一致——解析不可信的二進(jìn)制文件時(shí)這個(gè)細(xì)節(jié)很重要。2?? 二進(jìn)制讀寫(xiě)數(shù)值與偏移處理文件格式圖片、協(xié)議包、序列化數(shù)據(jù)離不開(kāi)按整數(shù)讀寫(xiě)const w Buffer.alloc(8); w.writeUInt32BE(3735928559, 1); // 從偏移 1 寫(xiě) 4 字節(jié)大端整數(shù) w.readUInt32BE(1); // 再讀回來(lái)注意越界會(huì)拋RangeError見(jiàn) 1402-buffer-encodings.ts 中的三段 try/catch寫(xiě)協(xié)議解析器時(shí)記得做邊界防御。3?? 搜索與比較equals / indexOf / fill1663-buffer-compare-search-fill.ts 是 Buffer 搜索接口的完整演示const h Buffer.from(abcabcabc); h.indexOf(bc); // 字符串搜索 h.indexOf(98); // 按字節(jié)值搜索98 b h.includes(Buffer.from(ca)); // 用 Buffer 做針 h.lastIndexOf(bc, 4); // 反向搜索 Buffer.alloc(5).fill(ab).toString(); // 填充重復(fù)模式 a.equals(b); // 逐字節(jié)比較 a.compare(b, 1, 3, 0, 2); // 區(qū)間比較返回 -1/0/1indexOf還支持傳入hex、base64、utf16le編碼的針甚至負(fù)數(shù)偏移——在二進(jìn)制文件里定位魔數(shù)magic number非常順手。組合實(shí)戰(zhàn)fd Buffer 讀取真實(shí)文件把兩塊拼圖合起來(lái)就是最硬核的文件處理姿勢(shì)fs.readSync把字節(jié)直接讀進(jìn)自己分配的 Buffer。語(yǔ)料 1640-fd-read-decode.ts 展示了完整流程import * as fs from node:fs; import * as os from node:os; import * as path from node:path; const scratch path.join(os.tmpdir(), scr-${process.pid}.txt); fs.writeFileSync(scratch, 0123456789abcdefghijklmnopqrstuvwxyz.repeat(6)); const buffer Buffer.allocUnsafe(64); // 復(fù)用緩沖區(qū) const fd fs.openSync(scratch, r); const bytesRead fs.readSync(fd, buffer, 0, 64); fs.closeSync(fd);這段代碼還有兩個(gè)進(jìn)階點(diǎn)值得學(xué)習(xí)position參數(shù)fs.readSync(fd, buf, 0, 5, 10)從字節(jié) 10 開(kāi)始讀且不移動(dòng)文件指針傳null或-1則從當(dāng)前位置讀并推進(jìn)——做隨機(jī)訪(fǎng)問(wèn)seek-like 讀取時(shí)非常有用范圍解碼buffer.toString(utf8, 6, 999)對(duì)越界偏移做了與 Node 一致的鉗制clamp不會(huì)崩潰。編譯運(yùn)行它$ scriptc build tool.ts -o tool $ ./tool收尾用 coverage 驗(yàn)證你的工具寫(xiě)完文件處理工具后跑一下靜態(tài)覆蓋率檢查確認(rèn)沒(méi)有意外落入動(dòng)態(tài)回退的代碼$ scriptc coverage tool.ts statements analyzed 42 compile statically 42 (100%)更多 API 邊界行為可以參考 coverage-fixtures 目錄以及語(yǔ)料庫(kù) tests/corpus 中 1600 編號(hào)的測(cè)試場(chǎng)景——它們本身就是最好的Node API 行為手冊(cè)?？偨Y(jié)能力核心 API參考語(yǔ)料流式讀取Readable/pipe/push(null)1685管道串聯(lián)src.pipe(mid).pipe(sink)1692背壓控制highWaterMark 延遲callback1693編碼往返from/toStringutf8/hex/base641402二進(jìn)制搜索indexOf/equals/fill1663隨機(jī)讀取readSyncBuffer.allocUnsafe1640一句話(huà)記住流管數(shù)據(jù)流動(dòng)Buffer 管字節(jié)細(xì)節(jié)scriptc 負(fù)責(zé)把兩者打包成一個(gè)零依賴(lài)的原生文件處理工具 。【免費(fèi)下載鏈接】scriptcTypeScript-to-Native Compiler項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/scriptc創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 scriptc 文件處理實(shí)戰(zhàn)：流式讀取與 Buffer 操作快速上手指南
scriptc 文件處理實(shí)戰(zhàn)流式讀取與 Buffer 操作快速上手指南【免費(fèi)下載鏈接】scriptcTypeScript-to-Native Compiler項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/scriptcscriptc 是一個(gè)TypeScript 到原生的編譯器它能把 TypeScript/JavaScript 直接編譯成可執(zhí)行的原生二進(jìn)制文件產(chǎn)物不需要 Node 運(yùn)行時(shí)。用它寫(xiě)文件處理工具你既能用上 Node 生態(tài)的stream、Buffer、fs全套 API又能得到一個(gè)零依賴(lài)、秒啟動(dòng)的獨(dú)立程序——這正是本文要解決的如何用 scriptc 構(gòu)建文件處理工具掌握流式讀取與 Buffer 二進(jìn)制操作。為什么用 scriptc 寫(xiě)文件處理工具傳統(tǒng)做法寫(xiě)一個(gè) Node 腳本分發(fā)給別人時(shí)還得要求對(duì)方裝 Node.js。scriptc 的做法$ npm install -g scriptc $ scriptc build my-tool.ts -o my-tool $ ./my-tool # 獨(dú)立可執(zhí)行文件無(wú)需 Node關(guān)鍵特性產(chǎn)物是原生二進(jìn)制啟動(dòng)快、體積小stream/fs/crypto等受支持的 Node API 會(huì)直接編譯進(jìn)原生運(yùn)行時(shí)靜態(tài)覆蓋率檢查scriptc coverage xxx.ts能告訴你哪些代碼 100% 靜態(tài)編譯、哪些走動(dòng)態(tài)回退npm 包也能嵌入加--dynamic即可把第三方 JS 庫(kù)打進(jìn)可執(zhí)行文件。原生運(yùn)行時(shí)中流與字節(jié)操作分別由 scr_stream.c 和 scr_bytes.c 等 C 源碼實(shí)現(xiàn)——這是 scriptc 文件處理能力的底座。流式讀取pipe 三連擊處理大文件時(shí)永遠(yuǎn)不要一次性讀進(jìn)內(nèi)存而是用流stream逐塊處理。scriptc 完整支持node:stream的Readable/PassThrough/Writable核心就是三件事push 數(shù)據(jù)、pipe 串聯(lián)、end 收尾。項(xiàng)目自帶的回歸語(yǔ)料 1685-stream-readable-basics.ts 演示了最典型的 Readable 用法import { Readable } from node:stream; const r new Readable({ read() {} }); r.on(data, (chunk: Buffer) console.log(data:, chunk.toString(), chunk.length)); r.on(end, () console.log(end)); r.push(hello ); // 向流中推入數(shù)據(jù)塊 r.push(Buffer.from(world)); r.push(null); // push(null) 表示流結(jié)束而 1692-stream-pipe.ts 展示了pipe的經(jīng)典管道形態(tài)——src.pipe(mid).pipe(sink)數(shù)據(jù)自動(dòng)從源頭流向終點(diǎn)中途還能用PassThrough做轉(zhuǎn)手src.pipe(mid).pipe(sink); // 數(shù)據(jù)沿管道自動(dòng)流動(dòng) src.push(first); src.push(null); // 源頭結(jié)束會(huì)向下游傳播別忘了背壓Backpressure當(dāng)消費(fèi)端處理慢時(shí)流會(huì)自動(dòng)暫停生產(chǎn)端等待drain事件保證每個(gè)字節(jié)都按序到達(dá)。語(yǔ)料 1693-stream-pipe-backpressure.ts 用一個(gè)極小的highWaterMark: 3制造了慢速目的地驗(yàn)證背壓機(jī)制正確工作const dst new Writable({ highWaterMark: 3, write(chunk, enc, callback) { // 慢處理比如寫(xiě)磁盤(pán)延遲回調(diào)即可觸發(fā)背壓 setTimeout(() callback(), 1); }, }); src.pipe(dst);寫(xiě)文件工具時(shí)這個(gè)模式可以直接套用可讀端讀文件 → 管道 → 可寫(xiě)端寫(xiě)磁盤(pán)內(nèi)存占用恒定處理 10GB 文件也沒(méi)壓力。Buffer 操作二進(jìn)制世界的瑞士軍刀文件底層都是字節(jié)Buffer是操作字節(jié)的標(biāo)配。以下技巧全部在 scriptc 中可用且行為與 Node 完全一致測(cè)試語(yǔ)料逐字節(jié)對(duì)比過(guò)輸出。1?? 編碼往返utf8 / hex / base641402-buffer-encodings.ts 覆蓋了編碼往返的邊界情況const b Buffer.from(héllo , utf8); b.toString(hex); // 轉(zhuǎn)十六進(jìn)制 b.toString(base64); // 轉(zhuǎn) base64 Buffer.from(b.toString(base64), base64); // 無(wú)損還原一個(gè)實(shí)用的細(xì)節(jié)非法 UTF-8 字節(jié)序列會(huì)按最大子部分替換為 UFFFD替換字符與 Node 行為精確一致——解析不可信的二進(jìn)制文件時(shí)這個(gè)細(xì)節(jié)很重要。2?? 二進(jìn)制讀寫(xiě)數(shù)值與偏移處理文件格式圖片、協(xié)議包、序列化數(shù)據(jù)離不開(kāi)按整數(shù)讀寫(xiě)const w Buffer.alloc(8); w.writeUInt32BE(3735928559, 1); // 從偏移 1 寫(xiě) 4 字節(jié)大端整數(shù) w.readUInt32BE(1); // 再讀回來(lái)注意越界會(huì)拋RangeError見(jiàn) 1402-buffer-encodings.ts 中的三段 try/catch寫(xiě)協(xié)議解析器時(shí)記得做邊界防御。3?? 搜索與比較equals / indexOf / fill1663-buffer-compare-search-fill.ts 是 Buffer 搜索接口的完整演示const h Buffer.from(abcabcabc); h.indexOf(bc); // 字符串搜索 h.indexOf(98); // 按字節(jié)值搜索98 b h.includes(Buffer.from(ca)); // 用 Buffer 做針 h.lastIndexOf(bc, 4); // 反向搜索 Buffer.alloc(5).fill(ab).toString(); // 填充重復(fù)模式 a.equals(b); // 逐字節(jié)比較 a.compare(b, 1, 3, 0, 2); // 區(qū)間比較返回 -1/0/1indexOf還支持傳入hex、base64、utf16le編碼的針甚至負(fù)數(shù)偏移——在二進(jìn)制文件里定位魔數(shù)magic number非常順手。組合實(shí)戰(zhàn)fd Buffer 讀取真實(shí)文件把兩塊拼圖合起來(lái)就是最硬核的文件處理姿勢(shì)fs.readSync把字節(jié)直接讀進(jìn)自己分配的 Buffer。語(yǔ)料 1640-fd-read-decode.ts 展示了完整流程import * as fs from node:fs; import * as os from node:os; import * as path from node:path; const scratch path.join(os.tmpdir(), scr-${process.pid}.txt); fs.writeFileSync(scratch, 0123456789abcdefghijklmnopqrstuvwxyz.repeat(6)); const buffer Buffer.allocUnsafe(64); // 復(fù)用緩沖區(qū) const fd fs.openSync(scratch, r); const bytesRead fs.readSync(fd, buffer, 0, 64); fs.closeSync(fd);這段代碼還有兩個(gè)進(jìn)階點(diǎn)值得學(xué)習(xí)position參數(shù)fs.readSync(fd, buf, 0, 5, 10)從字節(jié) 10 開(kāi)始讀且不移動(dòng)文件指針傳null或-1則從當(dāng)前位置讀并推進(jìn)——做隨機(jī)訪(fǎng)問(wèn)seek-like 讀取時(shí)非常有用范圍解碼buffer.toString(utf8, 6, 999)對(duì)越界偏移做了與 Node 一致的鉗制clamp不會(huì)崩潰。編譯運(yùn)行它$ scriptc build tool.ts -o tool $ ./tool收尾用 coverage 驗(yàn)證你的工具寫(xiě)完文件處理工具后跑一下靜態(tài)覆蓋率檢查確認(rèn)沒(méi)有意外落入動(dòng)態(tài)回退的代碼$ scriptc coverage tool.ts statements analyzed 42 compile statically 42 (100%)更多 API 邊界行為可以參考 coverage-fixtures 目錄以及語(yǔ)料庫(kù) tests/corpus 中 1600 編號(hào)的測(cè)試場(chǎng)景——它們本身就是最好的Node API 行為手冊(cè)?？偨Y(jié)能力核心 API參考語(yǔ)料流式讀取Readable/pipe/push(null)1685管道串聯(lián)src.pipe(mid).pipe(sink)1692背壓控制highWaterMark 延遲callback1693編碼往返from/toStringutf8/hex/base641402二進(jìn)制搜索indexOf/equals/fill1663隨機(jī)讀取readSyncBuffer.allocUnsafe1640一句話(huà)記住流管數(shù)據(jù)流動(dòng)Buffer 管字節(jié)細(xì)節(jié)scriptc 負(fù)責(zé)把兩者打包成一個(gè)零依賴(lài)的原生文件處理工具 。【免費(fèi)下載鏈接】scriptcTypeScript-to-Native Compiler項(xiàng)目地址: https://gitcode.com/GitHub_Trending/sc/scriptc創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考