1. 引言電子書EPUB是許多人閱讀和學(xué)習(xí)的重要載體但面對動輒幾百頁的書籍想快速找到某個問題的答案并不容易。傳統(tǒng)的關(guān)鍵詞搜索只能做字面匹配無法理解語義而把整本書丟給大模型直接提問又會超出上下文窗口限制回答質(zhì)量也難以保證。RAGRetrieval-Augmented Generation檢索增強生成正是解決這一問題的經(jīng)典方案先把書籍內(nèi)容切片并向量化存入數(shù)據(jù)庫提問時先檢索出最相關(guān)的片段再把這些片段作為上下文交給大模型生成答案。本文將用 Node.js 從零搭建一個 EPUB 問答助手完整走通「文本切片 → 向量檢索 → RAG 生成」的流程。2. 整體架構(gòu)在動手寫代碼之前先明確整個系統(tǒng)的組成部分。一個完整的 EPUB 問答助手包含以下模塊EPUB 解析讀取.epub文件提取其中的 HTML 內(nèi)容并轉(zhuǎn)為純文本。文本切片將長文本按章節(jié)或固定長度切分成小塊便于向量化和檢索。向量化將每個文本塊轉(zhuǎn)換為向量Embedding存入向量數(shù)據(jù)庫。向量檢索用戶提問時將問題向量化并在庫中檢索最相似的文本塊。RAG 生成把檢索到的文本塊拼入 Prompt交給大模型生成答案。整體流程如下圖所示EPUB 文件解析提取文本文本切片向量化 Embedding存入向量數(shù)據(jù)庫用戶提問問題向量化向量檢索 TopK拼接 Prompt大模型生成答案返回回答3. 技術(shù)選型本項目采用以下技術(shù)棧均為 Node.js 生態(tài)中成熟且易用的方案模塊選型說明EPUB 解析epub2輕量解析 EPUB 文件提取章節(jié) HTMLHTML 轉(zhuǎn)文本html-to-text將 HTML 轉(zhuǎn)為純文本向量數(shù)據(jù)庫sqlite-vec基于 SQLite 的向量擴展零部署成本向量化OpenAI Embedding API使用text-embedding-3-small模型大模型OpenAI Chat Completions使用gpt-4o-mini生成回答開發(fā)語言Node.js 20使用 ES Module 語法選擇sqlite-vec而非專門的向量數(shù)據(jù)庫如 Milvus、Pinecone是為了讓示例更輕量——無需額外部署服務(wù)一個本地文件即可完成全部存儲與檢索非常適合個人工具和教學(xué)場景。4. 項目初始化首先創(chuàng)建項目并安裝依賴mkdirepub-qa-assistantcdepub-qa-assistantnpminit-ynpminstallepub2 html-to-text sqlite-vec openai在package.json中確認(rèn)type: module已設(shè)置以便使用 ES Module 語法{name:epub-qa-assistant,type:module,scripts:{index:node src/index.js,query:node src/query.js}}項目目錄結(jié)構(gòu)如下epub-qa-assistant/ ├── src/ │ ├── extract.js # EPUB 解析與文本提取 │ ├── chunk.js # 文本切片 │ ├── embed.js # 向量化 │ ├── store.js # 向量存儲與檢索 │ ├── index.js # 建庫入口 │ └── query.js # 問答入口 ├── books/ # 存放 EPUB 文件 └── data/ # 存放向量數(shù)據(jù)庫文件5. EPUB 解析與文本提取EPUB 文件本質(zhì)上是 ZIP 壓縮包內(nèi)部包含多個 XHTML 文件。epub2庫可以幫我們解壓并讀取每個章節(jié)的內(nèi)容。創(chuàng)建src/extract.jsimport{EPub}fromepub2;import{convert}fromhtml-to-text;exportasyncfunctionextractEpub(filePath){constepubawaitEPub.createAsync(filePath);constchapters[];for(constchapterofepub.flow){consthtmlawaitnewPromise((resolve,reject){epub.getChapter(chapter.id,(err,text){if(err)reject(err);elseresolve(text);});});consttextconvert(html,{wordwrap:false,selectors:[{selector:img,format:skip},{selector:script,format:skip},{selector:style,format:skip},],});chapters.push({title:chapter.title||Chapter${chapters.length1},text:text.trim(),});}returnchapters.filter((c)c.text.length0);}這里做了兩件事一是遍歷epub.flow獲取所有章節(jié)的 HTML 內(nèi)容二是用html-to-text把 HTML 轉(zhuǎn)為純文本同時跳過圖片、腳本和樣式標(biāo)簽避免噪聲進入后續(xù)的向量化流程。6. 文本切片大模型的上下文窗口有限向量檢索的粒度也需要控制。切片太大會稀釋語義、浪費 token切片太小則可能截斷完整語義。這里采用「按章節(jié)優(yōu)先、超長再切」的策略章節(jié)文本不超過maxChunkSize時整章作為一個切片超過時按段落邊界切分盡量保持語義完整。創(chuàng)建src/chunk.jsconstMAX_CHUNK_SIZE800;// 單塊最大字符數(shù)constOVERLAP_SIZE100;// 相鄰塊重疊字符數(shù)exportfunctionchunkText(text,maxSizeMAX_CHUNK_SIZE,overlapOVERLAP_SIZE){if(text.lengthmaxSize){return[text];}constchunks[];letstart0;while(starttext.length){letendMath.min(startmaxSize,text.length);// 盡量在段落邊界處斷開if(endtext.length){constboundarytext.lastIndexOf(\n\n,end);if(boundarystartmaxSize*0.5){endboundary;}}chunks.push(text.slice(start,end).trim());startend-overlap;}returnchunks.filter((c)c.length0);}exportfunctionchunkChapters(chapters){constchunks[];for(constchapterofchapters){constpartschunkText(chapter.text);parts.forEach((part,i){chunks.push({id:${chunks.length},title:chapter.title,index:i,text:part,});});}returnchunks;}重疊overlap的設(shè)計很關(guān)鍵它讓相鄰切片之間保留一部分重復(fù)內(nèi)容避免一個完整句子或概念恰好被切斷在邊界上從而提升檢索召回率。7. 向量化與存儲向量化是把文本變成高維數(shù)值數(shù)組的過程語義相近的文本在向量空間中距離更近。這里使用 OpenAI 的 Embedding API。創(chuàng)建src/embed.jsimportOpenAIfromopenai;constopenainewOpenAI();exportasyncfunctionembedTexts(texts){constresponseawaitopenai.embeddings.create({model:text-embedding-3-small,input:texts,});returnresponse.data.map((d)d.embedding);}text-embedding-3-small模型性價比高默認(rèn)輸出 1536 維向量足以支撐語義檢索。批量傳入文本可以顯著減少 API 調(diào)用次數(shù)。接下來創(chuàng)建src/store.js使用sqlite-vec完成向量表的創(chuàng)建、寫入和檢索importsqlite3fromsqlite3;import{createRequire}frommodule;constrequirecreateRequire(import.meta.url);const{Vector}require(sqlite-vec);constDB_PATH./data/vectors.db;exportfunctioninitStore(){constdbnewsqlite3.Database(DB_PATH);db.loadExtension(Vector.getLoadablePath());db.exec(CREATE VIRTUAL TABLE IF NOT EXISTS chunks USING vec0( id INTEGER PRIMARY KEY, text TEXT, title TEXT, embedding FLOAT[1536] ););returndb;}exportfunctioninsertChunks(db,chunks,embeddings){conststmtdb.prepare(INSERT INTO chunks (id, text, title, embedding) VALUES (?, ?, ?, ?));chunks.forEach((chunk,i){stmt.run(chunk.id,chunk.text,chunk.title,JSON.stringify(embeddings[i]));});stmt.finalize();}exportasyncfunctionsearchChunks(db,queryEmbedding,topK5){constrowsawaitnewPromise((resolve,reject){db.all(SELECT id, text, title, distance FROM chunks WHERE embedding MATCH ? ORDER BY distance LIMIT ?,[JSON.stringify(queryEmbedding),topK],(err,rows)(err?reject(err):resolve(rows)));});returnrows;}sqlite-vec使用虛擬表vec0存儲向量MATCH語法執(zhí)行 KNN 檢索distance越小表示越相似。8. 建庫入口把以上模塊串起來創(chuàng)建src/index.js作為建庫入口import{extractEpub}from./extract.js;import{chunkChapters}from./chunk.js;import{embedTexts}from./embed.js;import{initStore,insertChunks}from./store.js;constEPUB_PATHprocess.argv[2]||./books/example.epub;asyncfunctionmain(){console.log( 解析 EPUB...);constchaptersawaitextractEpub(EPUB_PATH);console.log(共提取${chapters.length}個章節(jié));console.log(?? 文本切片...);constchunkschunkChapters(chapters);console.log(共生成${chunks.length}個文本塊);console.log( 向量化...);constembeddingsawaitembedTexts(chunks.map((c)c.text));console.log( 寫入向量庫...);constdbinitStore();insertChunks(db,chunks,embeddings);db.close();console.log(? 建庫完成);}main().catch((err){console.error(建庫失敗:,err);process.exit(1);});運行建庫命令nodesrc/index.js ./books/your-book.epub9. 問答查詢RAG 生成建庫完成后就可以實現(xiàn)問答了。查詢流程分為三步問題向量化 → 向量檢索 → 拼接 Prompt 交給大模型。創(chuàng)建src/query.jsimportOpenAIfromopenai;import{embedTexts}from./embed.js;import{initStore,searchChunks}from./store.js;constopenainewOpenAI();constTOP_K5;asyncfunctionanswer(question){// 1. 問題向量化const[queryEmbedding]awaitembedTexts([question]);// 2. 向量檢索constdbinitStore();constresultsawaitsearchChunks(db,queryEmbedding,TOP_K);db.close();if(results.length0){return抱歉在書中沒有找到相關(guān)內(nèi)容。;}// 3. 拼接上下文constcontextresults.map((r)【${r.title}】\n${r.text}).join(\n\n---\n\n);// 4. 交給大模型生成constresponseawaitopenai.chat.completions.create({model:gpt-4o-mini,messages:[{role:system,content:你是一個嚴(yán)謹(jǐn)?shù)拈喿x助手。請僅根據(jù)提供的書籍片段回答問題如果片段中沒有答案請明確說明。引用內(nèi)容時標(biāo)注來源章節(jié)。,},{role:user,content:書籍片段如下\n\n${context}\n\n問題${question},},],});returnresponse.choices[0].message.content;}constquestionprocess.argv[2]||這本書主要講了什么;answer(question).then((res){console.log(?${question}\n\n${res});});運行問答nodesrc/query.js作者對時間管理提出了哪些建議10. 效果與優(yōu)化方向這套方案在幾百頁的 EPUB 上通常能取得不錯的效果檢索階段能準(zhǔn)確召回與問題語義相關(guān)的片段生成階段則基于這些片段給出有出處的回答有效緩解了大模型的幻覺問題。如果希望進一步提升效果可以從以下幾個方向優(yōu)化切片策略根據(jù)書籍類型調(diào)整塊大小與重疊度對代碼類書籍可按代碼塊邊界切分?；旌蠙z索在向量檢索之外疊加關(guān)鍵詞 BM25 檢索再做結(jié)果融合兼顧語義與字面匹配。重排序Rerank對 TopK 結(jié)果用交叉編碼器重排把最相關(guān)的片段排到最前。增量更新監(jiān)聽書籍目錄新增章節(jié)時只對增量部分做向量化入庫。多輪對話把歷史對話也拼入 Prompt支持追問與上下文理解。11. 總結(jié)本文從零搭建了一個基于 Node.js 的 EPUB 問答助手完整覆蓋了 RAG 的核心鏈路EPUB 解析提取文本、按章節(jié)與段落切片、Embedding 向量化、sqlite-vec存儲與檢索最后把檢索結(jié)果交給大模型生成帶出處的回答。整套代碼輕量、可本地運行適合作為學(xué)習(xí) RAG 的起點也可以在此基礎(chǔ)上擴展成更完整的個人知識庫問答工具。 用 Node.js 搭建 EPUB 問答助手：從文本切片、向量檢索到 RAG
1. 引言電子書EPUB是許多人閱讀和學(xué)習(xí)的重要載體但面對動輒幾百頁的書籍想快速找到某個問題的答案并不容易。傳統(tǒng)的關(guān)鍵詞搜索只能做字面匹配無法理解語義而把整本書丟給大模型直接提問又會超出上下文窗口限制回答質(zhì)量也難以保證。RAGRetrieval-Augmented Generation檢索增強生成正是解決這一問題的經(jīng)典方案先把書籍內(nèi)容切片并向量化存入數(shù)據(jù)庫提問時先檢索出最相關(guān)的片段再把這些片段作為上下文交給大模型生成答案。本文將用 Node.js 從零搭建一個 EPUB 問答助手完整走通「文本切片 → 向量檢索 → RAG 生成」的流程。2. 整體架構(gòu)在動手寫代碼之前先明確整個系統(tǒng)的組成部分。一個完整的 EPUB 問答助手包含以下模塊EPUB 解析讀取.epub文件提取其中的 HTML 內(nèi)容并轉(zhuǎn)為純文本。文本切片將長文本按章節(jié)或固定長度切分成小塊便于向量化和檢索。向量化將每個文本塊轉(zhuǎn)換為向量Embedding存入向量數(shù)據(jù)庫。向量檢索用戶提問時將問題向量化并在庫中檢索最相似的文本塊。RAG 生成把檢索到的文本塊拼入 Prompt交給大模型生成答案。整體流程如下圖所示EPUB 文件解析提取文本文本切片向量化 Embedding存入向量數(shù)據(jù)庫用戶提問問題向量化向量檢索 TopK拼接 Prompt大模型生成答案返回回答3. 技術(shù)選型本項目采用以下技術(shù)棧均為 Node.js 生態(tài)中成熟且易用的方案模塊選型說明EPUB 解析epub2輕量解析 EPUB 文件提取章節(jié) HTMLHTML 轉(zhuǎn)文本html-to-text將 HTML 轉(zhuǎn)為純文本向量數(shù)據(jù)庫sqlite-vec基于 SQLite 的向量擴展零部署成本向量化OpenAI Embedding API使用text-embedding-3-small模型大模型OpenAI Chat Completions使用gpt-4o-mini生成回答開發(fā)語言Node.js 20使用 ES Module 語法選擇sqlite-vec而非專門的向量數(shù)據(jù)庫如 Milvus、Pinecone是為了讓示例更輕量——無需額外部署服務(wù)一個本地文件即可完成全部存儲與檢索非常適合個人工具和教學(xué)場景。4. 項目初始化首先創(chuàng)建項目并安裝依賴mkdirepub-qa-assistantcdepub-qa-assistantnpminit-ynpminstallepub2 html-to-text sqlite-vec openai在package.json中確認(rèn)type: module已設(shè)置以便使用 ES Module 語法{name:epub-qa-assistant,type:module,scripts:{index:node src/index.js,query:node src/query.js}}項目目錄結(jié)構(gòu)如下epub-qa-assistant/ ├── src/ │ ├── extract.js # EPUB 解析與文本提取 │ ├── chunk.js # 文本切片 │ ├── embed.js # 向量化 │ ├── store.js # 向量存儲與檢索 │ ├── index.js # 建庫入口 │ └── query.js # 問答入口 ├── books/ # 存放 EPUB 文件 └── data/ # 存放向量數(shù)據(jù)庫文件5. EPUB 解析與文本提取EPUB 文件本質(zhì)上是 ZIP 壓縮包內(nèi)部包含多個 XHTML 文件。epub2庫可以幫我們解壓并讀取每個章節(jié)的內(nèi)容。創(chuàng)建src/extract.jsimport{EPub}fromepub2;import{convert}fromhtml-to-text;exportasyncfunctionextractEpub(filePath){constepubawaitEPub.createAsync(filePath);constchapters[];for(constchapterofepub.flow){consthtmlawaitnewPromise((resolve,reject){epub.getChapter(chapter.id,(err,text){if(err)reject(err);elseresolve(text);});});consttextconvert(html,{wordwrap:false,selectors:[{selector:img,format:skip},{selector:script,format:skip},{selector:style,format:skip},],});chapters.push({title:chapter.title||Chapter${chapters.length1},text:text.trim(),});}returnchapters.filter((c)c.text.length0);}這里做了兩件事一是遍歷epub.flow獲取所有章節(jié)的 HTML 內(nèi)容二是用html-to-text把 HTML 轉(zhuǎn)為純文本同時跳過圖片、腳本和樣式標(biāo)簽避免噪聲進入后續(xù)的向量化流程。6. 文本切片大模型的上下文窗口有限向量檢索的粒度也需要控制。切片太大會稀釋語義、浪費 token切片太小則可能截斷完整語義。這里采用「按章節(jié)優(yōu)先、超長再切」的策略章節(jié)文本不超過maxChunkSize時整章作為一個切片超過時按段落邊界切分盡量保持語義完整。創(chuàng)建src/chunk.jsconstMAX_CHUNK_SIZE800;// 單塊最大字符數(shù)constOVERLAP_SIZE100;// 相鄰塊重疊字符數(shù)exportfunctionchunkText(text,maxSizeMAX_CHUNK_SIZE,overlapOVERLAP_SIZE){if(text.lengthmaxSize){return[text];}constchunks[];letstart0;while(starttext.length){letendMath.min(startmaxSize,text.length);// 盡量在段落邊界處斷開if(endtext.length){constboundarytext.lastIndexOf(\n\n,end);if(boundarystartmaxSize*0.5){endboundary;}}chunks.push(text.slice(start,end).trim());startend-overlap;}returnchunks.filter((c)c.length0);}exportfunctionchunkChapters(chapters){constchunks[];for(constchapterofchapters){constpartschunkText(chapter.text);parts.forEach((part,i){chunks.push({id:${chunks.length},title:chapter.title,index:i,text:part,});});}returnchunks;}重疊overlap的設(shè)計很關(guān)鍵它讓相鄰切片之間保留一部分重復(fù)內(nèi)容避免一個完整句子或概念恰好被切斷在邊界上從而提升檢索召回率。7. 向量化與存儲向量化是把文本變成高維數(shù)值數(shù)組的過程語義相近的文本在向量空間中距離更近。這里使用 OpenAI 的 Embedding API。創(chuàng)建src/embed.jsimportOpenAIfromopenai;constopenainewOpenAI();exportasyncfunctionembedTexts(texts){constresponseawaitopenai.embeddings.create({model:text-embedding-3-small,input:texts,});returnresponse.data.map((d)d.embedding);}text-embedding-3-small模型性價比高默認(rèn)輸出 1536 維向量足以支撐語義檢索。批量傳入文本可以顯著減少 API 調(diào)用次數(shù)。接下來創(chuàng)建src/store.js使用sqlite-vec完成向量表的創(chuàng)建、寫入和檢索importsqlite3fromsqlite3;import{createRequire}frommodule;constrequirecreateRequire(import.meta.url);const{Vector}require(sqlite-vec);constDB_PATH./data/vectors.db;exportfunctioninitStore(){constdbnewsqlite3.Database(DB_PATH);db.loadExtension(Vector.getLoadablePath());db.exec(CREATE VIRTUAL TABLE IF NOT EXISTS chunks USING vec0( id INTEGER PRIMARY KEY, text TEXT, title TEXT, embedding FLOAT[1536] ););returndb;}exportfunctioninsertChunks(db,chunks,embeddings){conststmtdb.prepare(INSERT INTO chunks (id, text, title, embedding) VALUES (?, ?, ?, ?));chunks.forEach((chunk,i){stmt.run(chunk.id,chunk.text,chunk.title,JSON.stringify(embeddings[i]));});stmt.finalize();}exportasyncfunctionsearchChunks(db,queryEmbedding,topK5){constrowsawaitnewPromise((resolve,reject){db.all(SELECT id, text, title, distance FROM chunks WHERE embedding MATCH ? ORDER BY distance LIMIT ?,[JSON.stringify(queryEmbedding),topK],(err,rows)(err?reject(err):resolve(rows)));});returnrows;}sqlite-vec使用虛擬表vec0存儲向量MATCH語法執(zhí)行 KNN 檢索distance越小表示越相似。8. 建庫入口把以上模塊串起來創(chuàng)建src/index.js作為建庫入口import{extractEpub}from./extract.js;import{chunkChapters}from./chunk.js;import{embedTexts}from./embed.js;import{initStore,insertChunks}from./store.js;constEPUB_PATHprocess.argv[2]||./books/example.epub;asyncfunctionmain(){console.log( 解析 EPUB...);constchaptersawaitextractEpub(EPUB_PATH);console.log(共提取${chapters.length}個章節(jié));console.log(?? 文本切片...);constchunkschunkChapters(chapters);console.log(共生成${chunks.length}個文本塊);console.log( 向量化...);constembeddingsawaitembedTexts(chunks.map((c)c.text));console.log( 寫入向量庫...);constdbinitStore();insertChunks(db,chunks,embeddings);db.close();console.log(? 建庫完成);}main().catch((err){console.error(建庫失敗:,err);process.exit(1);});運行建庫命令nodesrc/index.js ./books/your-book.epub9. 問答查詢RAG 生成建庫完成后就可以實現(xiàn)問答了。查詢流程分為三步問題向量化 → 向量檢索 → 拼接 Prompt 交給大模型。創(chuàng)建src/query.jsimportOpenAIfromopenai;import{embedTexts}from./embed.js;import{initStore,searchChunks}from./store.js;constopenainewOpenAI();constTOP_K5;asyncfunctionanswer(question){// 1. 問題向量化const[queryEmbedding]awaitembedTexts([question]);// 2. 向量檢索constdbinitStore();constresultsawaitsearchChunks(db,queryEmbedding,TOP_K);db.close();if(results.length0){return抱歉在書中沒有找到相關(guān)內(nèi)容。;}// 3. 拼接上下文constcontextresults.map((r)【${r.title}】\n${r.text}).join(\n\n---\n\n);// 4. 交給大模型生成constresponseawaitopenai.chat.completions.create({model:gpt-4o-mini,messages:[{role:system,content:你是一個嚴(yán)謹(jǐn)?shù)拈喿x助手。請僅根據(jù)提供的書籍片段回答問題如果片段中沒有答案請明確說明。引用內(nèi)容時標(biāo)注來源章節(jié)。,},{role:user,content:書籍片段如下\n\n${context}\n\n問題${question},},],});returnresponse.choices[0].message.content;}constquestionprocess.argv[2]||這本書主要講了什么;answer(question).then((res){console.log(?${question}\n\n${res});});運行問答nodesrc/query.js作者對時間管理提出了哪些建議10. 效果與優(yōu)化方向這套方案在幾百頁的 EPUB 上通常能取得不錯的效果檢索階段能準(zhǔn)確召回與問題語義相關(guān)的片段生成階段則基于這些片段給出有出處的回答有效緩解了大模型的幻覺問題。如果希望進一步提升效果可以從以下幾個方向優(yōu)化切片策略根據(jù)書籍類型調(diào)整塊大小與重疊度對代碼類書籍可按代碼塊邊界切分?；旌蠙z索在向量檢索之外疊加關(guān)鍵詞 BM25 檢索再做結(jié)果融合兼顧語義與字面匹配。重排序Rerank對 TopK 結(jié)果用交叉編碼器重排把最相關(guān)的片段排到最前。增量更新監(jiān)聽書籍目錄新增章節(jié)時只對增量部分做向量化入庫。多輪對話把歷史對話也拼入 Prompt支持追問與上下文理解。11. 總結(jié)本文從零搭建了一個基于 Node.js 的 EPUB 問答助手完整覆蓋了 RAG 的核心鏈路EPUB 解析提取文本、按章節(jié)與段落切片、Embedding 向量化、sqlite-vec存儲與檢索最后把檢索結(jié)果交給大模型生成帶出處的回答。整套代碼輕量、可本地運行適合作為學(xué)習(xí) RAG 的起點也可以在此基礎(chǔ)上擴展成更完整的個人知識庫問答工具。