先機(jī)制在會(huì)話推薦中的落地實(shí)踐)
1. 從一次線上推薦效果回退說起STAMP 到底解決什么問題如果你做過電商或內(nèi)容平臺(tái)的推薦系統(tǒng)大概率遇到過這種場(chǎng)景用戶剛點(diǎn)進(jìn)來時(shí)推薦還算準(zhǔn)但點(diǎn)了三四個(gè)商品之后推薦結(jié)果開始跑偏越推越像用戶很久以前的興趣而不是他此刻正在逛的東西。這個(gè)問題在 Session-based Recommendation基于會(huì)話的推薦里特別典型因?yàn)闀?huì)話本身很短用戶沒有歷史畫像模型只能靠這一次點(diǎn)擊序列來猜他下一步想要什么。STAMPShort-Term Attention/Memory Priority Model就是沖著這個(gè)痛點(diǎn)來的。它的核心主張很直接用戶的興趣由兩部分組成一部分是這次會(huì)話里累積出來的整體興趣general interest另一部分是他最后一次點(diǎn)擊所代表的當(dāng)前興趣current interest。傳統(tǒng)做法用 LSTM 把整個(gè)序列編碼成一個(gè)隱狀態(tài)理論上能記住長(zhǎng)期依賴但作者在論文里指出LSTM 對(duì)長(zhǎng)會(huì)話的建模其實(shí)并不夠有效——序列一長(zhǎng)早期信息被稀釋最后那個(gè)隱狀態(tài)未必能準(zhǔn)確反映用戶現(xiàn)在想要什么。STAMP 的解法是不再只依賴 LSTM 的最終隱狀態(tài)而是顯式地把會(huì)話平均表示和最后一次點(diǎn)擊表示都拿出來用一個(gè)注意力網(wǎng)絡(luò)去算每個(gè)歷史 item 對(duì)當(dāng)前興趣的貢獻(xiàn)權(quán)重再加權(quán)求和。這樣既保留了整體興趣的穩(wěn)定性又強(qiáng)化了短期興趣的優(yōu)先級(jí)。適合誰看如果你正在做推薦系統(tǒng)、想復(fù)現(xiàn)一個(gè)結(jié)構(gòu)不復(fù)雜但效果扎實(shí)的 baseline或者你已經(jīng)在用 LSTM/GRU 做序列推薦但效果卡住了這篇的配置和驗(yàn)證步驟可以直接拿去跑。我試過在公開數(shù)據(jù)集上把 STAMP 和純 LSTM 版本做對(duì)照差距在短會(huì)話上尤其明顯。下面從模型結(jié)構(gòu)、配置、訓(xùn)練到排障一步步拆開講。2. 環(huán)境與依賴準(zhǔn)備TaoToken 接入前的模型側(cè)配置在真正寫 STAMP 之前先把運(yùn)行環(huán)境和依賴?yán)砬宄?。STAMP 本身是一個(gè)相對(duì)輕量的模型核心就是 embedding 層、注意力層和 MLP 打分層不需要特別重的框架。我一般用 PyTorch 來復(fù)現(xiàn)因?yàn)樽⒁饬?quán)重的調(diào)試比較直觀。先建一個(gè)干凈的虛擬環(huán)境把依賴固定下來。這里給出一個(gè)可復(fù)制的 requirements 片段路徑按你自己的項(xiàng)目根目錄來# requirements.txt torch2.1.0 numpy1.24.3 pandas2.0.3 scikit-learn1.3.0 tqdm4.66.1安裝命令python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt數(shù)據(jù)集方面Session-based Recommendation 最常用的兩個(gè)公開數(shù)據(jù)集是 Diginetica 和 Yoochoose現(xiàn)在多叫 RetailRocket 的變體。它們都是會(huì)話-點(diǎn)擊序列-下一個(gè)點(diǎn)擊的格式。預(yù)處理要做的事很固定按時(shí)間戳切會(huì)話、過濾掉長(zhǎng)度小于 2 的會(huì)話、把 item id 重映射成從 1 開始的連續(xù)整數(shù)0 留給 padding。這里有個(gè)容易踩的坑item 重映射一定要在切完訓(xùn)練/測(cè)試集之后統(tǒng)一做否則訓(xùn)練集和測(cè)試集的 id 空間對(duì)不上模型跑起來 loss 會(huì)莫名其妙地不降。我一般寫一個(gè)build_vocab函數(shù)先掃全量數(shù)據(jù)建映射表再分別處理各集合。如果你在團(tuán)隊(duì)里做協(xié)作模型代碼和配置建議放到一個(gè)統(tǒng)一的地方管理。我平時(shí)會(huì)把實(shí)驗(yàn)配置、模型權(quán)重路徑、日志目錄都寫進(jìn)一個(gè)config.yaml這樣換數(shù)據(jù)集時(shí)只改配置不改代碼。至于模型訓(xùn)練本身STAMP 對(duì)顯存要求不高單卡 8G 就能跑中等規(guī)模數(shù)據(jù)集batch size 設(shè) 128 或 256 都行。環(huán)境準(zhǔn)備好之后下一步就是真正把 STAMP 的結(jié)構(gòu)寫出來。這里要特別注意STAMP 有兩個(gè)版本一個(gè)是 STMP不帶注意力一個(gè)是 STAMP帶注意力。很多人復(fù)現(xiàn)時(shí)直接上 STAMP結(jié)果發(fā)現(xiàn)和論文對(duì)不上其實(shí)是因?yàn)闆]先跑通 STMP 做對(duì)照。建議兩個(gè)都實(shí)現(xiàn)方便驗(yàn)證注意力層到底帶來了多少提升。3. 可復(fù)制的 STAMP 模型結(jié)構(gòu)與訓(xùn)練配置這一節(jié)是核心直接給可運(yùn)行的模型定義和訓(xùn)練參數(shù)。先看 STAMP 的結(jié)構(gòu)邏輯輸入是一個(gè)會(huì)話的 item 序列經(jīng)過 embedding 層得到每個(gè) item 的向量然后分兩路一路對(duì)序列做平均得到整體興趣表示一路取最后一個(gè) item 的向量作為當(dāng)前興趣表示接著用注意力機(jī)制計(jì)算每個(gè)歷史 item 對(duì)當(dāng)前興趣的權(quán)重加權(quán)求和得到短期興趣表示最后把整體興趣、當(dāng)前興趣、短期興趣拼接或相加后送入 MLP輸出每個(gè)候選 item 的得分。下面是一個(gè)精簡(jiǎn)但完整的 PyTorch 實(shí)現(xiàn)你可以直接復(fù)制到model.pyimport torch import torch.nn as nn import torch.nn.functional as F class STAMP(nn.Module): def __init__(self, num_items, embed_dim100, hidden_dim100): super(STAMP, self).__init__() self.embedding nn.Embedding(num_items 1, embed_dim, padding_idx0) self.attn_mlp nn.Sequential( nn.Linear(embed_dim * 2, hidden_dim), nn.Sigmoid() ) self.fc1 nn.Linear(embed_dim * 3, hidden_dim) self.fc2 nn.Linear(hidden_dim, embed_dim) def forward(self, seq, mask): # seq: [batch, seq_len], mask: [batch, seq_len] emb self.embedding(seq) # [B, L, D] last emb[:, -1, :] # 當(dāng)前興趣 [B, D] avg (emb * mask.unsqueeze(-1)).sum(1) / mask.sum(1, keepdimTrue) # 整體興趣 # 注意力每個(gè)歷史 item 與當(dāng)前興趣的交互 last_exp last.unsqueeze(1).expand_as(emb) # [B, L, D] attn_input torch.cat([emb, last_exp], dim-1) attn_score self.attn_mlp(attn_input).sum(-1) # [B, L] attn_score attn_score.masked_fill(mask 0, -1e9) attn_weight F.softmax(attn_score, dim-1) # [B, L] short (emb * attn_weight.unsqueeze(-1)).sum(1) # 短期興趣 [B, D] concat torch.cat([avg, last, short], dim-1) out self.fc2(F.relu(self.fc1(concat))) return out, attn_weight對(duì)應(yīng)的訓(xùn)練配置我一般寫成一個(gè)config.yaml路徑和參數(shù)都固定下來方便復(fù)現(xiàn)data: train_path: ./data/train.txt test_path: ./data/test.txt max_seq_len: 50 model: embed_dim: 100 hidden_dim: 100 train: batch_size: 256 lr: 0.001 epochs: 30 optimizer: Adam loss: CrossEntropyLoss weight_decay: 0.00001訓(xùn)練循環(huán)里有個(gè)細(xì)節(jié)要注意STAMP 的損失函數(shù)是標(biāo)準(zhǔn)的交叉熵但負(fù)樣本的構(gòu)造方式會(huì)影響效果。論文里用的是對(duì)每個(gè)正樣本隨機(jī)采樣若干負(fù)樣本的方式我實(shí)測(cè)下來如果直接用全量 item 做 softmax計(jì)算量大且收斂慢建議先用負(fù)采樣跑通再考慮全量。另外注意力權(quán)重的可視化對(duì)調(diào)試很有幫助。你可以在驗(yàn)證階段把a(bǔ)ttn_weight存下來看看模型是不是真的把高權(quán)重給了最近幾個(gè)點(diǎn)擊。如果權(quán)重分布很均勻說明注意力層沒學(xué)到東西可能是學(xué)習(xí)率太大或者 embedding 維度太小。4. 驗(yàn)證請(qǐng)求與成功結(jié)果離線評(píng)估怎么跑模型訓(xùn)練完之后必須做離線評(píng)估否則你不知道它到底有沒有比 baseline 好。Session-based Recommendation 最常用的指標(biāo)是 Recall20 和 MRR20這兩個(gè)指標(biāo)在論文里也是主要對(duì)比項(xiàng)。評(píng)估流程是這樣的對(duì)測(cè)試集里的每個(gè)會(huì)話取前 n-1 個(gè) item 作為輸入預(yù)測(cè)第 n 個(gè) item模型輸出所有候選 item 的得分取 top-20看真實(shí) item 是否在里面。代碼大致如下def evaluate(model, test_loader, topk20): model.eval() recall, mrr, total 0.0, 0.0, 0 with torch.no_grad(): for seq, mask, target in test_loader: scores, _ model(seq, mask) _, topk_idx torch.topk(scores, topk, dim-1) for i in range(target.size(0)): total 1 rank (topk_idx[i] target[i]).nonzero() if rank.numel() 0: recall 1 mrr 1.0 / (rank.item() 1) return recall / total, mrr / total跑通之后你會(huì)看到類似這樣的輸出Epoch 30 | Loss: 2.134 | Recall20: 0.512 | MRR20: 0.221這個(gè)數(shù)字在 Diginetica 上屬于正常范圍。如果你跑出來 Recall20 只有 0.1 左右大概率是數(shù)據(jù)預(yù)處理出了問題比如 item id 映射錯(cuò)位或者 padding 沒處理好。驗(yàn)證階段還有一個(gè)實(shí)用技巧把 STAMP 和 STMP 的評(píng)估結(jié)果放在一起對(duì)比。如果 STAMP 的 Recall20 比 STMP 高 3-5 個(gè)點(diǎn)說明注意力層確實(shí)起作用了如果兩者差不多那就要檢查注意力權(quán)重是不是退化了。另外評(píng)估時(shí)要注意測(cè)試集的會(huì)話長(zhǎng)度分布。如果大部分會(huì)話都很短比如只有 2-3 個(gè) item那 STAMP 的優(yōu)勢(shì)可能不明顯因?yàn)槎唐谂d趣和整體興趣幾乎重合。這種情況下可以單獨(dú)統(tǒng)計(jì)長(zhǎng)會(huì)話長(zhǎng)度大于 10上的指標(biāo)更能看出模型差異。5. 本篇常見錯(cuò)排查從 401 到注意力權(quán)重異常復(fù)現(xiàn) STAMP 的過程中報(bào)錯(cuò)主要集中在幾個(gè)地方。我把自己踩過的坑列出來對(duì)照著排查會(huì)快很多。第一個(gè)常見錯(cuò)誤是RuntimeError: expected scalar type Long but found Float。這通常是因?yàn)?embedding 層的輸入要求是整數(shù)類型的 item id但你在預(yù)處理時(shí)把 id 轉(zhuǎn)成了 float。解決辦法是檢查seq的數(shù)據(jù)類型確保它是torch.long。在 DataLoader 里加一句seq seq.long()就能解決。第二個(gè)是IndexError: index out of range in self。這是 embedding 的經(jīng)典問題你的 item id 最大值超過了num_items。比如你建 vocab 時(shí)統(tǒng)計(jì)的是訓(xùn)練集但測(cè)試集里出現(xiàn)了訓(xùn)練集沒有的 item。解決辦法是在預(yù)處理階段統(tǒng)一建 vocab或者給未知 item 留一個(gè)專門的 id。第三個(gè)是注意力權(quán)重全為 0 或者全相等。這通常發(fā)生在 mask 處理不當(dāng)?shù)臅r(shí)候。如果你的mask是 bool 類型masked_fill要用mask 0如果是 float 類型要確保 padding 位置確實(shí)是 0。我一般會(huì)在 forward 里打印一次attn_weight的均值和方差確認(rèn)它不是一個(gè)常數(shù)。第四個(gè)是 loss 不下降或者震蕩。除了學(xué)習(xí)率太大之外還有一個(gè)容易被忽略的原因負(fù)采樣數(shù)量太少。如果每個(gè)正樣本只采 1 個(gè)負(fù)樣本梯度噪聲會(huì)很大。建議至少采 5-10 個(gè)或者直接用全量 softmax 跑小數(shù)據(jù)集驗(yàn)證。第五個(gè)是評(píng)估指標(biāo)異常低。除了數(shù)據(jù)預(yù)處理問題還要檢查評(píng)估時(shí)是不是把 padding 也當(dāng)成了候選 item。正確的做法是在計(jì)算 top-k 時(shí)把 padding 位置的得分設(shè)為負(fù)無窮。如果你在接入外部服務(wù)做實(shí)驗(yàn)管理時(shí)遇到401 Unauthorized或local proxy failed這類報(bào)錯(cuò)通常是鑒權(quán)信息沒配對(duì)。這時(shí)候可以檢查一下 API Key 是否寫進(jìn)了環(huán)境變量以及 Base URL 是否指向了正確的地址。模型側(cè)和平臺(tái)側(cè)的配置要分開排查別混在一起調(diào)。6. 語義一致的接入與后續(xù)實(shí)驗(yàn)建議把 STAMP 跑通之后下一步通常是把它接入到實(shí)際的實(shí)驗(yàn)流程里。如果你需要統(tǒng)一管理模型對(duì)話、API Key 和編碼計(jì)劃可以按下面的路徑操作模型對(duì)話調(diào)試入口https://taotoken.net/api?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteAPI Key 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite接入文檔https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite如果你打算長(zhǎng)期做編碼和 Agent 相關(guān)的實(shí)驗(yàn)Coding Plan 入口在這里https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite控制臺(tái)地址https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite官網(wǎng)首頁https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite回到模型本身STAMP 之后可以嘗試的改進(jìn)方向有幾個(gè)一是把注意力機(jī)制換成多頭注意力看能不能捕捉更細(xì)的短期興趣二是把 item 的 side information比如類別、價(jià)格拼進(jìn) embedding緩解冷啟動(dòng)三是把 STAMP 和 GRU4Rec 做 ensemble取長(zhǎng)補(bǔ)短。這些實(shí)驗(yàn)都可以在現(xiàn)有代碼基礎(chǔ)上改不需要重寫整個(gè)框架。最后提醒一句復(fù)現(xiàn)論文模型時(shí)別急著追 SOTA先把 baseline 跑穩(wěn)。STAMP 的價(jià)值不在于它有多復(fù)雜而在于它用很輕的結(jié)構(gòu)把短期興趣優(yōu)先這個(gè)直覺落到了實(shí)處。你把 STMP 和 STAMP 的對(duì)照實(shí)驗(yàn)做扎實(shí)比盲目堆模塊有用得多。 STAMP 模型解析：短期注意力與記憶優(yōu)先機(jī)制在會(huì)話推薦中的落地實(shí)踐
1. 從一次線上推薦效果回退說起STAMP 到底解決什么問題如果你做過電商或內(nèi)容平臺(tái)的推薦系統(tǒng)大概率遇到過這種場(chǎng)景用戶剛點(diǎn)進(jìn)來時(shí)推薦還算準(zhǔn)但點(diǎn)了三四個(gè)商品之后推薦結(jié)果開始跑偏越推越像用戶很久以前的興趣而不是他此刻正在逛的東西。這個(gè)問題在 Session-based Recommendation基于會(huì)話的推薦里特別典型因?yàn)闀?huì)話本身很短用戶沒有歷史畫像模型只能靠這一次點(diǎn)擊序列來猜他下一步想要什么。STAMPShort-Term Attention/Memory Priority Model就是沖著這個(gè)痛點(diǎn)來的。它的核心主張很直接用戶的興趣由兩部分組成一部分是這次會(huì)話里累積出來的整體興趣general interest另一部分是他最后一次點(diǎn)擊所代表的當(dāng)前興趣current interest。傳統(tǒng)做法用 LSTM 把整個(gè)序列編碼成一個(gè)隱狀態(tài)理論上能記住長(zhǎng)期依賴但作者在論文里指出LSTM 對(duì)長(zhǎng)會(huì)話的建模其實(shí)并不夠有效——序列一長(zhǎng)早期信息被稀釋最后那個(gè)隱狀態(tài)未必能準(zhǔn)確反映用戶現(xiàn)在想要什么。STAMP 的解法是不再只依賴 LSTM 的最終隱狀態(tài)而是顯式地把會(huì)話平均表示和最后一次點(diǎn)擊表示都拿出來用一個(gè)注意力網(wǎng)絡(luò)去算每個(gè)歷史 item 對(duì)當(dāng)前興趣的貢獻(xiàn)權(quán)重再加權(quán)求和。這樣既保留了整體興趣的穩(wěn)定性又強(qiáng)化了短期興趣的優(yōu)先級(jí)。適合誰看如果你正在做推薦系統(tǒng)、想復(fù)現(xiàn)一個(gè)結(jié)構(gòu)不復(fù)雜但效果扎實(shí)的 baseline或者你已經(jīng)在用 LSTM/GRU 做序列推薦但效果卡住了這篇的配置和驗(yàn)證步驟可以直接拿去跑。我試過在公開數(shù)據(jù)集上把 STAMP 和純 LSTM 版本做對(duì)照差距在短會(huì)話上尤其明顯。下面從模型結(jié)構(gòu)、配置、訓(xùn)練到排障一步步拆開講。2. 環(huán)境與依賴準(zhǔn)備TaoToken 接入前的模型側(cè)配置在真正寫 STAMP 之前先把運(yùn)行環(huán)境和依賴?yán)砬宄?。STAMP 本身是一個(gè)相對(duì)輕量的模型核心就是 embedding 層、注意力層和 MLP 打分層不需要特別重的框架。我一般用 PyTorch 來復(fù)現(xiàn)因?yàn)樽⒁饬?quán)重的調(diào)試比較直觀。先建一個(gè)干凈的虛擬環(huán)境把依賴固定下來。這里給出一個(gè)可復(fù)制的 requirements 片段路徑按你自己的項(xiàng)目根目錄來# requirements.txt torch2.1.0 numpy1.24.3 pandas2.0.3 scikit-learn1.3.0 tqdm4.66.1安裝命令python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate pip install -r requirements.txt數(shù)據(jù)集方面Session-based Recommendation 最常用的兩個(gè)公開數(shù)據(jù)集是 Diginetica 和 Yoochoose現(xiàn)在多叫 RetailRocket 的變體。它們都是會(huì)話-點(diǎn)擊序列-下一個(gè)點(diǎn)擊的格式。預(yù)處理要做的事很固定按時(shí)間戳切會(huì)話、過濾掉長(zhǎng)度小于 2 的會(huì)話、把 item id 重映射成從 1 開始的連續(xù)整數(shù)0 留給 padding。這里有個(gè)容易踩的坑item 重映射一定要在切完訓(xùn)練/測(cè)試集之后統(tǒng)一做否則訓(xùn)練集和測(cè)試集的 id 空間對(duì)不上模型跑起來 loss 會(huì)莫名其妙地不降。我一般寫一個(gè)build_vocab函數(shù)先掃全量數(shù)據(jù)建映射表再分別處理各集合。如果你在團(tuán)隊(duì)里做協(xié)作模型代碼和配置建議放到一個(gè)統(tǒng)一的地方管理。我平時(shí)會(huì)把實(shí)驗(yàn)配置、模型權(quán)重路徑、日志目錄都寫進(jìn)一個(gè)config.yaml這樣換數(shù)據(jù)集時(shí)只改配置不改代碼。至于模型訓(xùn)練本身STAMP 對(duì)顯存要求不高單卡 8G 就能跑中等規(guī)模數(shù)據(jù)集batch size 設(shè) 128 或 256 都行。環(huán)境準(zhǔn)備好之后下一步就是真正把 STAMP 的結(jié)構(gòu)寫出來。這里要特別注意STAMP 有兩個(gè)版本一個(gè)是 STMP不帶注意力一個(gè)是 STAMP帶注意力。很多人復(fù)現(xiàn)時(shí)直接上 STAMP結(jié)果發(fā)現(xiàn)和論文對(duì)不上其實(shí)是因?yàn)闆]先跑通 STMP 做對(duì)照。建議兩個(gè)都實(shí)現(xiàn)方便驗(yàn)證注意力層到底帶來了多少提升。3. 可復(fù)制的 STAMP 模型結(jié)構(gòu)與訓(xùn)練配置這一節(jié)是核心直接給可運(yùn)行的模型定義和訓(xùn)練參數(shù)。先看 STAMP 的結(jié)構(gòu)邏輯輸入是一個(gè)會(huì)話的 item 序列經(jīng)過 embedding 層得到每個(gè) item 的向量然后分兩路一路對(duì)序列做平均得到整體興趣表示一路取最后一個(gè) item 的向量作為當(dāng)前興趣表示接著用注意力機(jī)制計(jì)算每個(gè)歷史 item 對(duì)當(dāng)前興趣的權(quán)重加權(quán)求和得到短期興趣表示最后把整體興趣、當(dāng)前興趣、短期興趣拼接或相加后送入 MLP輸出每個(gè)候選 item 的得分。下面是一個(gè)精簡(jiǎn)但完整的 PyTorch 實(shí)現(xiàn)你可以直接復(fù)制到model.pyimport torch import torch.nn as nn import torch.nn.functional as F class STAMP(nn.Module): def __init__(self, num_items, embed_dim100, hidden_dim100): super(STAMP, self).__init__() self.embedding nn.Embedding(num_items 1, embed_dim, padding_idx0) self.attn_mlp nn.Sequential( nn.Linear(embed_dim * 2, hidden_dim), nn.Sigmoid() ) self.fc1 nn.Linear(embed_dim * 3, hidden_dim) self.fc2 nn.Linear(hidden_dim, embed_dim) def forward(self, seq, mask): # seq: [batch, seq_len], mask: [batch, seq_len] emb self.embedding(seq) # [B, L, D] last emb[:, -1, :] # 當(dāng)前興趣 [B, D] avg (emb * mask.unsqueeze(-1)).sum(1) / mask.sum(1, keepdimTrue) # 整體興趣 # 注意力每個(gè)歷史 item 與當(dāng)前興趣的交互 last_exp last.unsqueeze(1).expand_as(emb) # [B, L, D] attn_input torch.cat([emb, last_exp], dim-1) attn_score self.attn_mlp(attn_input).sum(-1) # [B, L] attn_score attn_score.masked_fill(mask 0, -1e9) attn_weight F.softmax(attn_score, dim-1) # [B, L] short (emb * attn_weight.unsqueeze(-1)).sum(1) # 短期興趣 [B, D] concat torch.cat([avg, last, short], dim-1) out self.fc2(F.relu(self.fc1(concat))) return out, attn_weight對(duì)應(yīng)的訓(xùn)練配置我一般寫成一個(gè)config.yaml路徑和參數(shù)都固定下來方便復(fù)現(xiàn)data: train_path: ./data/train.txt test_path: ./data/test.txt max_seq_len: 50 model: embed_dim: 100 hidden_dim: 100 train: batch_size: 256 lr: 0.001 epochs: 30 optimizer: Adam loss: CrossEntropyLoss weight_decay: 0.00001訓(xùn)練循環(huán)里有個(gè)細(xì)節(jié)要注意STAMP 的損失函數(shù)是標(biāo)準(zhǔn)的交叉熵但負(fù)樣本的構(gòu)造方式會(huì)影響效果。論文里用的是對(duì)每個(gè)正樣本隨機(jī)采樣若干負(fù)樣本的方式我實(shí)測(cè)下來如果直接用全量 item 做 softmax計(jì)算量大且收斂慢建議先用負(fù)采樣跑通再考慮全量。另外注意力權(quán)重的可視化對(duì)調(diào)試很有幫助。你可以在驗(yàn)證階段把a(bǔ)ttn_weight存下來看看模型是不是真的把高權(quán)重給了最近幾個(gè)點(diǎn)擊。如果權(quán)重分布很均勻說明注意力層沒學(xué)到東西可能是學(xué)習(xí)率太大或者 embedding 維度太小。4. 驗(yàn)證請(qǐng)求與成功結(jié)果離線評(píng)估怎么跑模型訓(xùn)練完之后必須做離線評(píng)估否則你不知道它到底有沒有比 baseline 好。Session-based Recommendation 最常用的指標(biāo)是 Recall20 和 MRR20這兩個(gè)指標(biāo)在論文里也是主要對(duì)比項(xiàng)。評(píng)估流程是這樣的對(duì)測(cè)試集里的每個(gè)會(huì)話取前 n-1 個(gè) item 作為輸入預(yù)測(cè)第 n 個(gè) item模型輸出所有候選 item 的得分取 top-20看真實(shí) item 是否在里面。代碼大致如下def evaluate(model, test_loader, topk20): model.eval() recall, mrr, total 0.0, 0.0, 0 with torch.no_grad(): for seq, mask, target in test_loader: scores, _ model(seq, mask) _, topk_idx torch.topk(scores, topk, dim-1) for i in range(target.size(0)): total 1 rank (topk_idx[i] target[i]).nonzero() if rank.numel() 0: recall 1 mrr 1.0 / (rank.item() 1) return recall / total, mrr / total跑通之后你會(huì)看到類似這樣的輸出Epoch 30 | Loss: 2.134 | Recall20: 0.512 | MRR20: 0.221這個(gè)數(shù)字在 Diginetica 上屬于正常范圍。如果你跑出來 Recall20 只有 0.1 左右大概率是數(shù)據(jù)預(yù)處理出了問題比如 item id 映射錯(cuò)位或者 padding 沒處理好。驗(yàn)證階段還有一個(gè)實(shí)用技巧把 STAMP 和 STMP 的評(píng)估結(jié)果放在一起對(duì)比。如果 STAMP 的 Recall20 比 STMP 高 3-5 個(gè)點(diǎn)說明注意力層確實(shí)起作用了如果兩者差不多那就要檢查注意力權(quán)重是不是退化了。另外評(píng)估時(shí)要注意測(cè)試集的會(huì)話長(zhǎng)度分布。如果大部分會(huì)話都很短比如只有 2-3 個(gè) item那 STAMP 的優(yōu)勢(shì)可能不明顯因?yàn)槎唐谂d趣和整體興趣幾乎重合。這種情況下可以單獨(dú)統(tǒng)計(jì)長(zhǎng)會(huì)話長(zhǎng)度大于 10上的指標(biāo)更能看出模型差異。5. 本篇常見錯(cuò)排查從 401 到注意力權(quán)重異常復(fù)現(xiàn) STAMP 的過程中報(bào)錯(cuò)主要集中在幾個(gè)地方。我把自己踩過的坑列出來對(duì)照著排查會(huì)快很多。第一個(gè)常見錯(cuò)誤是RuntimeError: expected scalar type Long but found Float。這通常是因?yàn)?embedding 層的輸入要求是整數(shù)類型的 item id但你在預(yù)處理時(shí)把 id 轉(zhuǎn)成了 float。解決辦法是檢查seq的數(shù)據(jù)類型確保它是torch.long。在 DataLoader 里加一句seq seq.long()就能解決。第二個(gè)是IndexError: index out of range in self。這是 embedding 的經(jīng)典問題你的 item id 最大值超過了num_items。比如你建 vocab 時(shí)統(tǒng)計(jì)的是訓(xùn)練集但測(cè)試集里出現(xiàn)了訓(xùn)練集沒有的 item。解決辦法是在預(yù)處理階段統(tǒng)一建 vocab或者給未知 item 留一個(gè)專門的 id。第三個(gè)是注意力權(quán)重全為 0 或者全相等。這通常發(fā)生在 mask 處理不當(dāng)?shù)臅r(shí)候。如果你的mask是 bool 類型masked_fill要用mask 0如果是 float 類型要確保 padding 位置確實(shí)是 0。我一般會(huì)在 forward 里打印一次attn_weight的均值和方差確認(rèn)它不是一個(gè)常數(shù)。第四個(gè)是 loss 不下降或者震蕩。除了學(xué)習(xí)率太大之外還有一個(gè)容易被忽略的原因負(fù)采樣數(shù)量太少。如果每個(gè)正樣本只采 1 個(gè)負(fù)樣本梯度噪聲會(huì)很大。建議至少采 5-10 個(gè)或者直接用全量 softmax 跑小數(shù)據(jù)集驗(yàn)證。第五個(gè)是評(píng)估指標(biāo)異常低。除了數(shù)據(jù)預(yù)處理問題還要檢查評(píng)估時(shí)是不是把 padding 也當(dāng)成了候選 item。正確的做法是在計(jì)算 top-k 時(shí)把 padding 位置的得分設(shè)為負(fù)無窮。如果你在接入外部服務(wù)做實(shí)驗(yàn)管理時(shí)遇到401 Unauthorized或local proxy failed這類報(bào)錯(cuò)通常是鑒權(quán)信息沒配對(duì)。這時(shí)候可以檢查一下 API Key 是否寫進(jìn)了環(huán)境變量以及 Base URL 是否指向了正確的地址。模型側(cè)和平臺(tái)側(cè)的配置要分開排查別混在一起調(diào)。6. 語義一致的接入與后續(xù)實(shí)驗(yàn)建議把 STAMP 跑通之后下一步通常是把它接入到實(shí)際的實(shí)驗(yàn)流程里。如果你需要統(tǒng)一管理模型對(duì)話、API Key 和編碼計(jì)劃可以按下面的路徑操作模型對(duì)話調(diào)試入口https://taotoken.net/api?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteAPI Key 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite接入文檔https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite如果你打算長(zhǎng)期做編碼和 Agent 相關(guān)的實(shí)驗(yàn)Coding Plan 入口在這里https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite控制臺(tái)地址https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite官網(wǎng)首頁https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewrite回到模型本身STAMP 之后可以嘗試的改進(jìn)方向有幾個(gè)一是把注意力機(jī)制換成多頭注意力看能不能捕捉更細(xì)的短期興趣二是把 item 的 side information比如類別、價(jià)格拼進(jìn) embedding緩解冷啟動(dòng)三是把 STAMP 和 GRU4Rec 做 ensemble取長(zhǎng)補(bǔ)短。這些實(shí)驗(yàn)都可以在現(xiàn)有代碼基礎(chǔ)上改不需要重寫整個(gè)框架。最后提醒一句復(fù)現(xiàn)論文模型時(shí)別急著追 SOTA先把 baseline 跑穩(wěn)。STAMP 的價(jià)值不在于它有多復(fù)雜而在于它用很輕的結(jié)構(gòu)把短期興趣優(yōu)先這個(gè)直覺落到了實(shí)處。你把 STMP 和 STAMP 的對(duì)照實(shí)驗(yàn)做扎實(shí)比盲目堆模塊有用得多。