簡(jiǎn)介面向計(jì)算機(jī)相關(guān)專(zhuān)業(yè)畢業(yè)設(shè)計(jì)的開(kāi)題報(bào)告文檔圍繞“短視頻內(nèi)容理解與推薦系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)”展開(kāi)基于Python、Hadoop、Flask和Vue技術(shù)棧針對(duì)短視頻平臺(tái)內(nèi)容過(guò)載、用戶(hù)難以發(fā)現(xiàn)興趣內(nèi)容的問(wèn)題提出個(gè)性化推薦系統(tǒng)設(shè)計(jì)方案。報(bào)告涵蓋選題背景與意義、國(guó)內(nèi)外研究現(xiàn)狀、系統(tǒng)功能模塊、研究思路與方法等完整章節(jié)并具體介紹了深度學(xué)習(xí)模型如CNN、RNN、Transformer的視頻特征提取協(xié)同過(guò)濾、基于內(nèi)容與混合推薦算法以及Hadoop分布式計(jì)算框架下的HDFS存儲(chǔ)與MapReduce并行計(jì)算同時(shí)提及管理員管理、用戶(hù)管理、短視頻管理、個(gè)人中心、交流論壇等功能模塊。內(nèi)容從問(wèn)題分析、技術(shù)選型到功能規(guī)劃層層遞進(jìn)可直接作為畢業(yè)設(shè)計(jì)開(kāi)題報(bào)告的參考框架和改寫(xiě)模板。資料包僅含1個(gè)docx文件壓縮包大小約121KB屬于Word格式結(jié)構(gòu)完整、邏輯清晰。目前已有75人學(xué)習(xí)下載適合正在選題或撰寫(xiě)開(kāi)題報(bào)告、需要快速了解視頻推薦系統(tǒng)技術(shù)路線的學(xué)生使用。1. 短視頻推薦為什么不能只看行為內(nèi)容理解才是短視頻推薦系統(tǒng)的勝負(fù)手同樣是刷短視頻用戶(hù)點(diǎn)不點(diǎn)擊、看不看完、愿不愿意點(diǎn)贊很大程度上在視頻被刷出來(lái)的前 3 秒就決定了。傳統(tǒng)推薦系統(tǒng)靠用戶(hù)歷史行為做協(xié)同過(guò)濾在圖文場(chǎng)景還能湊合到了短視頻這里就集體失靈——新視頻每小時(shí)上萬(wàn)條入庫(kù)根本沒(méi)有足夠的行為數(shù)據(jù)喂給模型用戶(hù)興趣變化又快又碎昨天看美食今天就想看裝修行為序列還沒(méi)攢夠興趣已經(jīng)換了方向。這個(gè)落差正是「Python 短視頻內(nèi)容理解與推薦系統(tǒng)」這個(gè)開(kāi)題要解決的核心問(wèn)題用內(nèi)容理解把視頻本身的畫(huà)面、文本、音頻轉(zhuǎn)成結(jié)構(gòu)化特征讓推薦系統(tǒng)在用戶(hù)點(diǎn)擊之前就知道這條視頻大概在講什么、適合誰(shuí)看。內(nèi)容理解不是替代推薦算法而是給推薦系統(tǒng)補(bǔ)上「睜眼看清視頻」的能力。整個(gè)系統(tǒng)分兩條線離線把視頻抽幀、轉(zhuǎn)寫(xiě)、提取特征存成向量庫(kù)在線把用戶(hù)過(guò)往看過(guò)的視頻特征聚合成用戶(hù)向量再走召回、排序、重排這條標(biāo)準(zhǔn)鏈路。Python 在這套方案里幾乎是唯一選擇——OpenCV 處理視頻幀、Transformers 跑文本和視覺(jué)模型、FAISS 做向量檢索生態(tài)完整到不需要寫(xiě)一行 C。本文按開(kāi)題報(bào)告的推進(jìn)路徑來(lái)寫(xiě)先講多模態(tài)特征怎么提再講特征怎么變成推薦服務(wù)最后把冷啟動(dòng)和踩坑講透讓這份開(kāi)題不只是能答辯而是照著做真能跑出一個(gè)最小可用系統(tǒng)。2. 從視頻文件到特征向量短視頻內(nèi)容理解的多模態(tài)拆解2.1 視頻幀采樣與視覺(jué)特征不是每一幀都值得送進(jìn)模型短視頻內(nèi)容理解的第一步是把視頻變成模型能吃的輸入。視頻本質(zhì)是每秒 24 到 30 幀的連續(xù)圖像加上音頻軌道和可能的字幕文本。如果每一幀都送進(jìn)視覺(jué)模型一條 60 秒的視頻就要處理 1800 張圖離線特征提取的時(shí)間比視頻時(shí)長(zhǎng)還長(zhǎng)在線根本扛不住。所以第一步不是提特征而是決定哪些幀值得提。最常見(jiàn)的做法是均勻采樣加場(chǎng)景突變檢測(cè)結(jié)合先按每秒 1 幀的密度均勻抽幀再用幀間差分檢測(cè)鏡頭切換點(diǎn)在切換點(diǎn)附近額外補(bǔ)采 1 到 2 幀。短視頻雖然短但節(jié)奏快一個(gè) 15 秒的視頻可能切了 5 個(gè)鏡頭均勻采樣容易漏掉關(guān)鍵畫(huà)面場(chǎng)景突變檢測(cè)能把這部分補(bǔ)回來(lái)。具體用 OpenCV 實(shí)現(xiàn)核心代碼如下import cv2 import numpy as np def extract_keyframes(video_path, sample_fps1.0, diff_threshold30): cap cv2.VideoCapture(video_path) fps cap.get(cv2.CAP_PROP_FPS) total_frames int(cap.get(cv2.CAP_PROP_FRAME_COUNT)) keyframes [] prev_gray None frame_idx 0 while True: ret, frame cap.read() if not ret: break current_ts frame_idx / fps # 每秒抽一幀保證基礎(chǔ)覆蓋率 if frame_idx % int(fps / sample_fps) 0: keyframes.append((current_ts, frame)) # 場(chǎng)景切換檢測(cè)計(jì)算當(dāng)前幀與上一幀的灰度差異 gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) if prev_gray is not None: diff cv2.absdiff(gray, prev_gray) mean_diff np.mean(diff) if mean_diff diff_threshold: # 避免重復(fù)添加同一個(gè)鏡頭切換點(diǎn)的幀 if not keyframes or abs(keyframes[-1][0] - current_ts) 0.5: keyframes.append((current_ts, frame)) prev_gray gray frame_idx 1 cap.release() return keyframes這段代碼的采樣思路是「均勻兜底、突變補(bǔ)漏」。sample_fps1.0表示每秒至少采 1 幀diff_threshold30是灰度差分均值閾值超過(guò)這個(gè)值判定為鏡頭切換。閾值需要根據(jù)視頻類(lèi)型調(diào)動(dòng)畫(huà)片畫(huà)面顏色跳躍大閾值可以放到 40 以上實(shí)拍視頻畫(huà)面過(guò)渡平滑25 到 30 比較合適。注意keyframes[-1][0]那個(gè)判斷是防止在同一個(gè)鏡頭切換點(diǎn)附近重復(fù)采幀否則一個(gè)快速剪輯的視頻能采出幾十幀冗余。抽完幀后視覺(jué)特征提取我一般用預(yù)訓(xùn)練的 CLIP 視覺(jué)編碼器而不是從零訓(xùn)練一個(gè)分類(lèi)模型。原因是短視頻內(nèi)容類(lèi)別太雜從零訓(xùn)練需要標(biāo)注大量數(shù)據(jù)而 CLIP 已經(jīng)在數(shù)億圖文對(duì)上訓(xùn)練過(guò)能直接輸出 512 維或 768 維的語(yǔ)義向量而且對(duì)「賽博朋克」「露營(yíng)裝備」「廚房收納」這種開(kāi)放詞匯有不錯(cuò)的區(qū)分度。提取出的幀向量按時(shí)間順序排列再用平均池化或注意力池化聚合成視頻級(jí)視覺(jué)特征。from open_clip import create_model_and_transforms, tokenize import torch from PIL import Image model, _, preprocess create_model_and_transforms( ViT-B-32, pretrainedlaion2b_s34b_b79k) model.eval() frame_vectors [] for ts, frame in keyframes: pil_img Image.fromarray(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)) inputs preprocess(pil_img).unsqueeze(0) with torch.no_grad(): vec model.encode_image(inputs) frame_vectors.append(vec.squeeze().cpu().numpy()) # 視頻級(jí)特征對(duì)幀向量做平均 L2 歸一化 video_vector np.mean(frame_vectors, axis0) video_vector video_vector / np.linalg.norm(video_vector)laion2b_s34b_b79k是預(yù)訓(xùn)練權(quán)重來(lái)源ViT-B-32是模型結(jié)構(gòu)輸出 512 維向量。這里的關(guān)鍵參數(shù)是歸一化向量不做 L2 歸一化后續(xù)做余弦相似度檢索時(shí)會(huì)出現(xiàn)「長(zhǎng)視頻特征模長(zhǎng)大、短視頻特征模長(zhǎng)小」的系統(tǒng)性偏差召回結(jié)果偏好長(zhǎng)視頻。平均池化是最保守的聚合方式如果視頻主題前后變化大可以換成加權(quán)池化權(quán)重由幀與視頻整體的相似度決定但工程復(fù)雜度會(huì)高不少。2.2 ASR文本與OCR字幕短視頻里被浪費(fèi)的「文本富礦」短視頻的視覺(jué)信息只占內(nèi)容理解的一部分真正信息密度最高的是兩個(gè)文本來(lái)源口播語(yǔ)音轉(zhuǎn)寫(xiě)出來(lái)的 ASR 文本以及視頻畫(huà)面里疊的字幕和貼紙文字。做過(guò)視頻推薦的人都知道一條美食教程視頻的畫(huà)面可能很普通但臺(tái)詞里全是「三分鐘搞定」「懶人版」「空氣炸鍋」這些強(qiáng)意圖詞直接決定這條視頻會(huì)被推給哪類(lèi)用戶(hù)。ASR 轉(zhuǎn)寫(xiě)我用 whisper 系列模型中文場(chǎng)景用large-v3或蒸餾版本來(lái)平衡速度和精度。短視頻普遍在 15 到 60 秒一條視頻的轉(zhuǎn)寫(xiě)時(shí)間控制在 2 到 5 秒內(nèi)才算能上線所以一般不用large跑整條視頻而是先用 VAD語(yǔ)音活動(dòng)檢測(cè)切出有效語(yǔ)音段再逐段轉(zhuǎn)寫(xiě)。OCR 部分則用 PaddleOCR它對(duì)中文豎屏字幕的識(shí)別效果比 Tesseract 好很多特別是帶描邊、帶背景色的字幕。import whisper from paddlex import create_pipeline # ASR加載模型并轉(zhuǎn)寫(xiě) asr_model whisper.load_model(medium) result asr_model.transcribe(video_001.mp4, languagezh, fp16False) asr_text .join([seg[text] for seg in result[segments]]) # OCR抽取視頻中第 N 幀畫(huà)面的文字 ocr_pipeline create_pipeline(ocr) frame_path keyframe_003.jpg ocr_result ocr_pipeline.predict(frame_path) ocr_texts [item[rec_text] for item in ocr_result[0]] ocr_text .join(ocr_texts)whisper的medium模型在中文上的 WER詞錯(cuò)誤率大約在 10% 到 15%比large略差但速度快一倍以上。fp16False是為了在無(wú) GPU 的 CPU 機(jī)器上穩(wěn)定運(yùn)行如果有 GPU 可以打開(kāi)提高速度。OCR 的keyframe_003.jpg不是任意幀我一般取視頻前 5 秒內(nèi)的關(guān)鍵幀——短視頻的標(biāo)題字幕、口播核心信息通常集中在開(kāi)頭后面都是展示畫(huà)面。ASR 文本和 OCR 文本提取出來(lái)后需要拼在一起過(guò)一遍文本清洗去掉語(yǔ)氣詞、重復(fù)詞和無(wú)意義的口頭禪「然后」「就是」「那個(gè)」再送進(jìn)文本編碼器。文本特征提取同樣復(fù)用 CLIP 的文本編碼器和視覺(jué)編碼器是同一個(gè)模型里配套的這樣文本向量和視覺(jué)向量天然在一個(gè)語(yǔ)義空間里后續(xù)做多模態(tài)融合或跨模態(tài)檢索不需要額外對(duì)齊。2.3 音頻特征與多模態(tài)融合一個(gè)最小可跑的融合策略視覺(jué)特征和文本特征已經(jīng)覆蓋了大部分內(nèi)容理解需求但音頻特征在特定場(chǎng)景里仍是關(guān)鍵信號(hào)——比如純音樂(lè)類(lèi)視頻、ASR 轉(zhuǎn)寫(xiě)失敗的口音視頻、以及靠背景音樂(lè)氛圍取勝的卡點(diǎn)視頻。音頻特征我用 OpenL3 或預(yù)訓(xùn)練的音色嵌入模型提取 512 維的音頻語(yǔ)義向量主要捕捉「這是人聲、是樂(lè)器、是笑聲還是環(huán)境音」這些高層語(yǔ)義。多模態(tài)融合是這個(gè)環(huán)節(jié)最容易翻車(chē)的地方。很多開(kāi)題報(bào)告寫(xiě)到這里就說(shuō)「拼接后送入全連接層」實(shí)際這么做出來(lái)的特征向量在推薦系統(tǒng)里表現(xiàn)很差——視覺(jué)、文本、音頻三個(gè)異構(gòu)向量拼接后的維度可能上千大部分維度是噪聲還破壞了各模態(tài)原有的語(yǔ)義幾何結(jié)構(gòu)。我一般用兩種方案第一種是投影拼接。三個(gè)模態(tài)向量分別過(guò)一層線性投影壓到同一個(gè)維度比如 256 維然后拼接成 768 維向量。優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單、訓(xùn)練穩(wěn)定缺點(diǎn)是需要有監(jiān)督信號(hào)才能把投影層訓(xùn)好離線階段沒(méi)有標(biāo)注時(shí)只能隨機(jī)初始化效果打折。import torch.nn as nn import torch class MultiModalFusion(nn.Module): def __init__(self, vis_dim512, txt_dim512, aud_dim512, proj_dim256): super().__init__() self.vis_proj nn.Linear(vis_dim, proj_dim) self.txt_proj nn.Linear(txt_dim, proj_dim) self.aud_proj nn.Linear(aud_dim, proj_dim) self.fusion_norm nn.LayerNorm(proj_dim * 3) def forward(self, vis_vec, txt_vec, aud_vec): vis self.vis_proj(vis_vec) txt self.txt_proj(txt_vec) aud self.aud_proj(aud_vec) # 拼接后過(guò) LayerNorm穩(wěn)定訓(xùn)練 fused torch.cat([vis, txt, aud], dim-1) return self.fusion_norm(fused)第二種是模態(tài)加權(quán)融合對(duì)三個(gè)模態(tài)分別計(jì)算與場(chǎng)景的匹配度權(quán)重權(quán)重大的模態(tài)在最終向量里占主導(dǎo)。這種方式適合視頻內(nèi)容模態(tài)差異大的場(chǎng)景——一條口播視頻文本權(quán)重高一條風(fēng)景視頻視覺(jué)權(quán)重高。缺點(diǎn)是權(quán)重需要額外模型預(yù)測(cè)離線階段不容易收斂。對(duì)于開(kāi)題階段的最小閉環(huán)我建議先用投影拼接方案它不需要額外標(biāo)注就能跑通全鏈路等后續(xù)有真實(shí)用戶(hù)行為數(shù)據(jù)了再換成加權(quán)方案。融合后的向量就是「視頻內(nèi)容向量」它是整個(gè)推薦系統(tǒng)的核心資產(chǎn)后面召回和排序都用它。提取完成后存入向量數(shù)據(jù)庫(kù)同時(shí)掛上視頻的元數(shù)據(jù)標(biāo)簽時(shí)長(zhǎng)、發(fā)布時(shí)間、作者分類(lèi)供推薦系統(tǒng)在線調(diào)用。3. 用Python把內(nèi)容特征變成推薦服務(wù)召回與排序的落地結(jié)構(gòu)3.1 雙塔召回把視頻和用戶(hù)映射到同一向量空間內(nèi)容理解產(chǎn)出的視頻向量解決了「每條視頻是什么」的問(wèn)題但推薦系統(tǒng)還需要解決「這個(gè)用戶(hù)喜歡什么」。雙塔召回是當(dāng)前工業(yè)界主流方案一個(gè)塔編碼用戶(hù)特征一個(gè)塔編碼視頻特征兩個(gè)塔的輸出向量做內(nèi)積或余弦相似度相似度高的視頻進(jìn)入候選池。內(nèi)容理解在這里的價(jià)值是給視頻塔提供了強(qiáng)特征——純行為特征的視頻塔對(duì)冷啟動(dòng)視頻完全沒(méi)有區(qū)分能力而有了內(nèi)容向量后新視頻一入庫(kù)就能參與召回。雙塔模型的結(jié)構(gòu)不復(fù)雜。用戶(hù)塔的輸入是用戶(hù)歷史看過(guò)的視頻內(nèi)容向量序列做法是對(duì)序列內(nèi)的向量做加權(quán)平均權(quán)重由視頻與用戶(hù)當(dāng)前興趣的相關(guān)性決定。視頻塔的輸入就是內(nèi)容理解產(chǎn)出的融合向量也可以拼接一些視頻側(cè)的靜態(tài)特征。兩個(gè)塔的輸出分別是用戶(hù)向量和視頻向量訓(xùn)練目標(biāo)是讓用戶(hù)點(diǎn)擊過(guò)的視頻對(duì)相似度高、未點(diǎn)擊過(guò)的對(duì)相似度低。import torch import torch.nn as nn class TwoTowerModel(nn.Module): def __init__(self, video_dim768, user_dim768, embed_dim128): super().__init__() # 視頻塔內(nèi)容向量 - 低維向量 self.video_tower nn.Sequential( nn.Linear(video_dim, 512), nn.ReLU(), nn.Linear(512, embed_dim) ) # 用戶(hù)塔歷史視頻向量序列 - 低維向量 self.user_tower nn.Sequential( nn.Linear(user_dim, 512), nn.ReLU(), nn.Linear(512, embed_dim) ) def forward(self, video_vec, user_hist_vecs): # user_hist_vecs: [batch, seq_len, dim] user_hist_mean user_hist_vecs.mean(dim1) user_vec self.user_tower(user_hist_mean) video_vec self.video_tower(video_vec) # 內(nèi)積相似度 return (user_vec * video_vec).sum(dim-1)用戶(hù)塔這里用了最簡(jiǎn)單的均值池化實(shí)際效果已經(jīng)比純行為特征好不少因?yàn)橐曨l內(nèi)容向量本身信息密度高。如果要進(jìn)一步優(yōu)化可以換成注意力池化——給歷史視頻學(xué)一組權(quán)重權(quán)重高的視頻對(duì)用戶(hù)當(dāng)前興趣影響大。但注意力機(jī)制在用戶(hù)歷史行為少的時(shí)候容易過(guò)擬合短視頻場(chǎng)景用戶(hù)兩天沒(méi)登錄歷史序列就空了均值池化的穩(wěn)定性更好。訓(xùn)練雙塔模型的數(shù)據(jù)來(lái)自用戶(hù)行為日志。正樣本是用戶(hù)完整看完播放完成度超過(guò) 80%的視頻負(fù)樣本從曝光未點(diǎn)擊的視頻里隨機(jī)采樣一個(gè)正樣本配 4 到 8 個(gè)負(fù)樣本。訓(xùn)練目標(biāo)是優(yōu)化正樣本對(duì)相似度高于負(fù)樣本對(duì)用 BPR Loss 或者 InfoNCE Loss 都可以。這個(gè)階段不需要精排那么復(fù)雜的特征工程雙塔本質(zhì)上是粗篩把候選集從十萬(wàn)量級(jí)壓到幾千量級(jí)。3.2 排序模型的輸入構(gòu)造特征拼接不是concat一下那么簡(jiǎn)單召回階段產(chǎn)出的候選視頻數(shù)量在千級(jí)別排序模型需要從中選出用戶(hù)最可能點(diǎn)擊的 Top 幾十條。排序階段的特征是稠密特征加稀疏特征的組合稠密特征包括視頻內(nèi)容向量的各維度分量、視頻時(shí)長(zhǎng)、用戶(hù)對(duì)相似視頻的點(diǎn)擊率等稀疏特征包括視頻的分類(lèi)標(biāo)簽、作者 ID、用戶(hù)的興趣標(biāo)簽等。這一步最常見(jiàn)的錯(cuò)誤是把所有特征 concat 成一個(gè)巨長(zhǎng)的向量直接喂給模型。稠密特征和稀疏特征的數(shù)據(jù)分布完全不在一個(gè)量級(jí)——內(nèi)容向量的分量值大多在 -1 到 1 之間而稀疏特征的 embedding 輸出是訓(xùn)練出來(lái)的初始范圍不可控。正確的做法是把特征分組class RankModel(nn.Module): def __init__(self, dense_dim, sparse_embeddings, hidden_dim256): super().__init__() # 稀疏特征各自過(guò) embedding self.sparse_emb_layers nn.ModuleDict({ name: nn.Embedding(num_ids, emb_dim) for name, (num_ids, emb_dim) in sparse_embeddings.items() }) # 稠密特征獨(dú)立過(guò)一層 BN穩(wěn)定分布 self.dense_bn nn.BatchNorm1d(dense_dim) # 拼接后過(guò) MLP self.mlp nn.Sequential( nn.Linear(dense_dim sum(emb for _, emb in sparse_embeddings.values()), hidden_dim), nn.ReLU(), nn.Dropout(0.3), nn.Linear(hidden_dim, 1), nn.Sigmoid() ) def forward(self, dense_feats, sparse_feats): dense_out self.dense_bn(dense_feats) sparse_out [emb(sparse_feats[name]) for name, emb in self.sparse_emb_layers.items()] sparse_cat torch.cat(sparse_out, dim-1) x torch.cat([dense_out, sparse_cat], dim-1) return self.mlp(x)這里BatchNorm1d是關(guān)鍵它把稠密特征做了標(biāo)準(zhǔn)化防止某些特征維度數(shù)值過(guò)大把梯度帶偏。Dropout(0.3)防止稀疏特征的 embedding 過(guò)擬合——短視頻場(chǎng)景的標(biāo)簽分布極度不均衡頭部標(biāo)簽出現(xiàn)的頻率是長(zhǎng)尾標(biāo)簽的上百倍embedding 容易對(duì)頭部過(guò)擬合。排序模型的訓(xùn)練樣本和召回不一樣正樣本是曝光后點(diǎn)擊且播放超過(guò) 5 秒的視頻負(fù)樣本是曝光但未點(diǎn)擊的視頻。這種樣本定義和召回階段的「完整看完」不同因?yàn)榕判螂A段要模擬用戶(hù)「看到封面和標(biāo)題后是否點(diǎn)擊」的決策而不是「看完后是否滿(mǎn)意」。開(kāi)題報(bào)告里很多把這個(gè)混淆了導(dǎo)致排序模型訓(xùn)練出來(lái)和召回模型行為趨同線上實(shí)驗(yàn)沒(méi)有任何提升。3.3 特征存儲(chǔ)與在線服務(wù)內(nèi)容理解結(jié)果怎么供推薦系統(tǒng)調(diào)用內(nèi)容理解產(chǎn)出的視頻向量、文本向量和標(biāo)簽只是離線資產(chǎn)要讓推薦系統(tǒng)用起來(lái)還需要一套存儲(chǔ)和在線服務(wù)方案。視頻向量存到向量數(shù)據(jù)庫(kù)里供召回階段檢索稠密特征和稀疏特征存到特征服務(wù)里供排序模型在線讀取。向量數(shù)據(jù)庫(kù)的選擇上FAISS 適合離線評(píng)估和小流量場(chǎng)景Milvus 適合線上服務(wù)。FAISS 的優(yōu)點(diǎn)是輕量、Python 直接調(diào)用、單機(jī)性能足夠缺點(diǎn)是分布式和動(dòng)態(tài)增刪能力弱。短視頻場(chǎng)景每天新增上萬(wàn)條視頻需要支持「新視頻入庫(kù)后幾分鐘內(nèi)可被召回」這塊 FAISS 的增量索引更新會(huì)有些吃力需要自己維護(hù)索引重建流程。import faiss import numpy as np # 建立索引用 IVF 索引加速檢索 dim 768 nlist 100 # 聚類(lèi)中心數(shù)量 quantizer faiss.IndexFlatIP(dim) # 內(nèi)積索引配合歸一化向量使用 index faiss.IndexIVFFlat(quantizer, dim, nlist, faiss.METRIC_INNER_PRODUCT) # 訓(xùn)練索引并添加視頻向量 video_vectors np.array(all_video_vectors).astype(float32) # 已做L2歸一化 index.train(video_vectors) index.add(video_vectors) # 在線召回給定用戶(hù)向量返回 Top K 視頻 user_vec get_user_vector(user_id) D, I index.search(user_vec.reshape(1, -1), k100) candidate_video_ids I[0].tolist()IVF索引先對(duì)全量向量做聚類(lèi)檢索時(shí)只在最近的幾個(gè)聚類(lèi)里搜索大幅減少計(jì)算量。nlist是聚類(lèi)數(shù)量一般取向量總數(shù)的平方根量級(jí)十萬(wàn)條視頻設(shè) 300 到 500 比較合適。注意METRIC_INNER_PRODUCT必須配合 L2 歸一化使用否則內(nèi)積的大小受向量模長(zhǎng)影響召回結(jié)果會(huì)有偏差。在線服務(wù)的鏈路我一般拆成三步第一步從特征服務(wù)取用戶(hù)的歷史視頻向量算用戶(hù)向量第二步用用戶(hù)向量在向量數(shù)據(jù)庫(kù)中召回候選視頻第三步把候選視頻的稠密和稀疏特征拼接起來(lái)送進(jìn)排序模型打分按分?jǐn)?shù)取 Top 50 返回。這套鏈路用 Python 的 FastAPI 就能撐住每秒幾百 QPS 的小流量場(chǎng)景開(kāi)題答辯時(shí)演示完全夠用。4. 冷啟動(dòng)和新熱內(nèi)容內(nèi)容理解在推薦系統(tǒng)里的真正價(jià)值4.1 用戶(hù)冷啟動(dòng)沒(méi)有行為數(shù)據(jù)時(shí)用內(nèi)容特征做初版興趣畫(huà)像短視頻 App 的新用戶(hù)冷啟動(dòng)比圖文場(chǎng)景難得多。圖文新用戶(hù)至少可以通過(guò)注冊(cè)時(shí)選擇的興趣標(biāo)簽做推薦短視頻用戶(hù)注冊(cè)時(shí)往往什么也不選打開(kāi) App 就是刷。如果純靠行為數(shù)據(jù)新用戶(hù)的前幾十條推薦就是瞎猜體驗(yàn)差到留不住人。內(nèi)容理解給用戶(hù)冷啟動(dòng)提供了一條新路徑讓用戶(hù)先授權(quán)訪問(wèn)相冊(cè)或者直接使用語(yǔ)音輸入「隨便聊聊感興趣的話題」從這些主動(dòng)提供的信息里提煉關(guān)鍵詞映射到視頻內(nèi)容向量空間。更常見(jiàn)且合規(guī)的做法是做一個(gè)「興趣探索頁(yè)」讓用戶(hù)點(diǎn)幾個(gè)感興趣的視頻封面每個(gè)封面對(duì)應(yīng)一條視頻的內(nèi)容向量把這幾條向量做加權(quán)平均就是用戶(hù)初版興趣向量。def cold_start_user_vector(selected_video_ids, video_embedding_map): 用戶(hù)點(diǎn)選感興趣的短視頻封面圖用選中視頻的內(nèi)容向量構(gòu)造初始用戶(hù)向量 selected_vecs [] for vid in selected_video_ids: vec video_embedding_map[vid] # 用戶(hù)點(diǎn)選的視頻越靠前權(quán)重越高 selected_vecs.append(vec) user_vec np.mean(selected_vecs, axis0) user_vec user_vec / np.linalg.norm(user_vec) return user_vec這里的關(guān)鍵是點(diǎn)選視頻的多樣性。用戶(hù)點(diǎn)了 3 條全是美食視頻出來(lái)的用戶(hù)向量就鎖死在美食方向接下來(lái)推薦的全是美食用戶(hù)視角會(huì)覺(jué)得平臺(tái)「只會(huì)推吃的」。我一般會(huì)在點(diǎn)選頁(yè)面按內(nèi)容聚類(lèi)結(jié)果做分層采樣讓用戶(hù)看到的候選封面覆蓋美食、旅行、游戲、萌寵等七八個(gè)一級(jí)類(lèi)目每個(gè)類(lèi)目最多出現(xiàn) 2 條這樣構(gòu)造出的初始用戶(hù)向量不會(huì)過(guò)早收斂。用戶(hù)產(chǎn)生 20 到 30 條真實(shí)觀看行為后用行為序列向量替換掉這個(gè)冷啟動(dòng)向量完成冷啟動(dòng)的過(guò)渡。冷啟動(dòng)向量在這批用戶(hù)的行為數(shù)據(jù)積累期仍然參與召回避免行為序列太短導(dǎo)致推薦搖擺不定。4.2 視頻冷啟動(dòng)新視頻怎么通過(guò)內(nèi)容相似度快速跑出第一輪流量池視頻冷啟動(dòng)和用戶(hù)冷啟動(dòng)同樣棘手。一條新視頻入庫(kù)時(shí)沒(méi)有播放、點(diǎn)贊、評(píng)論任何行為數(shù)據(jù)協(xié)同過(guò)濾類(lèi)算法里它就是個(gè)「透明人」不會(huì)被任何召回通道撈出來(lái)。但內(nèi)容理解不一樣——新視頻的視覺(jué)向量、ASR 文本向量、音頻向量是入庫(kù)時(shí)就有的它可以通過(guò)內(nèi)容相似度找到「歷史上被用戶(hù)喜歡過(guò)的相似視頻」。具體做法是新視頻入庫(kù)時(shí)用它的內(nèi)容向量在向量數(shù)據(jù)庫(kù)里檢索出 Top 50 條最相似的舊視頻把這些舊視頻的歷史表現(xiàn)點(diǎn)擊率、完播率、點(diǎn)贊率做加權(quán)平均作為新視頻的預(yù)估表現(xiàn)給一個(gè)初始的推薦概率。推薦概率決定了新視頻進(jìn)入多少用戶(hù)的推薦流——預(yù)估表現(xiàn)好的新視頻可以進(jìn)入更多用戶(hù)的候選池表現(xiàn)差的少推甚至不推。def estimate_new_video_performance(new_video_vec, video_index, historical_stats): # 檢索最相似的舊視頻 D, I video_index.search(np.array([new_video_vec]), k50) sim_scores D[0] similar_video_ids I[0] # 以相似度為權(quán)重加權(quán)平均歷史表現(xiàn) weighted_ctr 0.0 weight_sum 0.0 for vid, sim in zip(similar_video_ids, sim_scores): if vid in historical_stats: weighted_ctr sim * historical_stats[vid][ctr] weight_sum sim estimated_ctr weighted_ctr / max(weight_sum, 1e-6) # 加一個(gè)探索系數(shù)保證新視頻有一定的基礎(chǔ)曝光 explore_prob 0.05 0.1 * estimated_ctr return explore_probexplore_prob是這條新視頻進(jìn)入用戶(hù)推薦流的概率0.05是基礎(chǔ)探索率保證再差的新視頻也有少量曝光機(jī)會(huì)0.1 * estimated_ctr是表現(xiàn)加成。這個(gè)策略的坑在于舊視頻的歷史表現(xiàn)有馬太效應(yīng)——頭部視頻 CTR 高導(dǎo)致與其相似的新視頻永遠(yuǎn)獲得高初始概率長(zhǎng)尾內(nèi)容更難被探索。緩解辦法是引入時(shí)間衰減舊視頻的歷史表現(xiàn)只統(tǒng)計(jì)近 7 天的數(shù)據(jù)且新視頻的初始概率在前 24 小時(shí)之后根據(jù)真實(shí)反饋快速調(diào)整真實(shí)點(diǎn)擊率超過(guò)預(yù)估就加大探索量低于預(yù)估就削減。5. 短視頻理解與推薦落地避坑從特征失效到線上效果回退5.1 現(xiàn)象ASR文本質(zhì)量差推薦結(jié)果飄到完全無(wú)關(guān)的內(nèi)容某次離線評(píng)估時(shí)發(fā)現(xiàn)推薦結(jié)果里頻繁出現(xiàn)和視頻畫(huà)面毫無(wú)關(guān)系的文本標(biāo)簽比如一條風(fēng)景視頻被推給了喜歡編程教程的用戶(hù)。排查后發(fā)現(xiàn) ASR 轉(zhuǎn)寫(xiě)文本里混入了大量背景音樂(lè)歌詞還有推薦視頻里的口播廣告詞。原因有兩個(gè)一是視頻人聲和背景音樂(lè)混合時(shí) whisper 會(huì)把歌詞也轉(zhuǎn)寫(xiě)進(jìn)來(lái)二是短視頻里常見(jiàn)的「口播廣告」干擾了真實(shí)內(nèi)容判斷。解決方法是加一道音頻分離。轉(zhuǎn)寫(xiě)前先用 demucs 或類(lèi)似工具把人聲和伴奏分離只對(duì)分離后的人聲軌道做 ASR。這樣處理速度慢了 20% 左右但文本質(zhì)量提升非常明顯。另外在文本清洗時(shí)過(guò)濾掉「點(diǎn)擊下方鏈接」「關(guān)注我」這類(lèi)廣告模板句可以準(zhǔn)備一個(gè)規(guī)則列表直接命中刪除。5.2 現(xiàn)象視頻拆幀太密離線特征計(jì)算慢到?jīng)]法上線開(kāi)發(fā)初期為了不漏信息按每 0.5 秒一幀采樣一條 60 秒的視頻抽出 120 幀每幀過(guò)一遍 CLIP 視覺(jué)編碼器單條視頻的特征提取耗時(shí)接近 2 分鐘。算一下賬每天入庫(kù) 1 萬(wàn)條新視頻光特征提取就需要 2 萬(wàn)分鐘的 GPU 時(shí)間完全不可接受。解決方法是先量一下關(guān)鍵幀的信息冗余度。實(shí)驗(yàn)把采樣密度從每秒 2 幀降到每秒 0.5 幀特征向量的聚類(lèi)結(jié)果和推薦效果幾乎沒(méi)有變化因?yàn)槎桃曨l的畫(huà)面重復(fù)度極高大量鏡頭是固定機(jī)位拍攝相鄰幀的視覺(jué)特征余弦相似度超過(guò) 0.98。最終采用「每秒 0.5 幀均勻采樣 場(chǎng)景切換補(bǔ)幀」的方案單條視頻的幀數(shù)控制在 10 到 30 幀特征提取時(shí)間降到 10 秒以?xún)?nèi)。5.3 現(xiàn)象雙塔召回里的「熱門(mén)坍縮」推薦來(lái)推薦去都是頭部視頻雙塔模型訓(xùn)練后召回結(jié)果里前 100 名中超過(guò) 70 條是同一批頭部熱門(mén)視頻。原因是熱門(mén)視頻曝光量遠(yuǎn)大于長(zhǎng)尾視頻訓(xùn)練樣本里熱門(mén)視頻作為正樣本和負(fù)樣本的數(shù)量都遠(yuǎn)高于長(zhǎng)尾模型學(xué)會(huì)了對(duì)熱門(mén)視頻輸出更高的相似度分?jǐn)?shù)長(zhǎng)尾視頻幾乎沒(méi)有出頭機(jī)會(huì)。這不是內(nèi)容理解的特征問(wèn)題而是雙塔模型訓(xùn)練時(shí)的樣本偏差問(wèn)題。解決方法是負(fù)采樣時(shí)做熱度校正負(fù)樣本不從曝光日志里均勻采樣而是按視頻熱度做降權(quán)采樣——熱度越高的視頻被采樣為負(fù)樣本的概率越低因?yàn)橛脩?hù)沒(méi)點(diǎn)擊它可能只是沒(méi)看到而不是不喜歡。同時(shí)在 Loss 里加入對(duì)視頻熱度的正則項(xiàng)懲罰模型對(duì)熱門(mén)視頻輸出過(guò)高分?jǐn)?shù)。熱度校正之后長(zhǎng)尾視頻的召回占比從不到 10% 提升到 35% 左右推薦多樣性明顯改善。5.4 現(xiàn)象離線指標(biāo)漲了線上CTR反而降了最痛苦的坑離線評(píng)估時(shí)加入內(nèi)容特征后 AUC 提升了 2 個(gè)百分點(diǎn)按道理線上應(yīng)該更好結(jié)果線上 CTR 下降了 8%。排查了很久發(fā)現(xiàn)是特征體系沖突——排序模型的稀疏特征里已經(jīng)有一個(gè)「視頻分類(lèi) ID」內(nèi)容理解產(chǎn)出的「內(nèi)容標(biāo)簽」和這個(gè)分類(lèi) ID 高度相關(guān)但又不完全一致兩個(gè)特征同時(shí)進(jìn)模型后互相干擾模型學(xué)出來(lái)的權(quán)重分布變得不穩(wěn)定。解決方法是做特征冗余分析。把內(nèi)容理解標(biāo)簽和現(xiàn)有的稀疏特征算相關(guān)性相關(guān)性超過(guò) 0.7 的特征只保留解釋性更強(qiáng)的那個(gè)。內(nèi)容標(biāo)簽的優(yōu)勢(shì)是細(xì)粒度比如分類(lèi) ID 只能分到「美食」內(nèi)容標(biāo)簽?zāi)軈^(qū)分「川菜」「烘焙」「減脂餐」那么分類(lèi) ID 就可以從特征里去掉換成內(nèi)容標(biāo)簽的 embedding。如果兩者粒度差不多就只保留訓(xùn)練更穩(wěn)定的那個(gè)。6. 開(kāi)題里最該寫(xiě)透的一個(gè)驗(yàn)證如何用評(píng)估口徑證明內(nèi)容理解的價(jià)值開(kāi)題答辯和論文評(píng)審最看重的不是系統(tǒng)做了多少功能而是你如何證明「內(nèi)容理解對(duì)推薦系統(tǒng)確實(shí)有正收益」。這塊建議在開(kāi)題時(shí)就設(shè)計(jì)清楚評(píng)估口徑不要等到系統(tǒng)做完了才補(bǔ)實(shí)驗(yàn)方案。評(píng)估方案分離線在線兩層。離線評(píng)估的核心指標(biāo)是召回通道的命中率和排序模型 AUC。具體做法取過(guò)去 7 天的用戶(hù)真實(shí)點(diǎn)擊數(shù)據(jù)把用戶(hù)點(diǎn)擊過(guò)的視頻作為正樣本看雙塔召回能否在 Top 100 候選里召回這些視頻計(jì)算 Recall100。然后對(duì)比兩組配置一組只用行為特征做召回一組加入內(nèi)容向量做召回觀察 Recall100 的變化。排序?qū)用鎸?duì)比加入內(nèi)容特征前后的 AUC。這里有個(gè)關(guān)鍵點(diǎn)離線評(píng)估只能證明特征有效不能證明線上體驗(yàn)好因?yàn)殡x線評(píng)估用的樣本本身就是歷史行為天然偏向成熟內(nèi)容。線上評(píng)估建議用以下表格設(shè)計(jì)分組分組召回階段排序階段衡量指標(biāo)對(duì)照組 A純行為召回基礎(chǔ)排序模型CTR、人均時(shí)長(zhǎng)、次留實(shí)驗(yàn)組 B行為內(nèi)容召回基礎(chǔ)排序模型CTR、人均時(shí)長(zhǎng)、次留實(shí)驗(yàn)組 C行為內(nèi)容召回內(nèi)容增強(qiáng)排序CTR、人均時(shí)長(zhǎng)、次留B 組和 A 組對(duì)比驗(yàn)證內(nèi)容理解在召回階段的增量C 組和 B 組對(duì)比驗(yàn)證內(nèi)容特征在排序階段的增量。指標(biāo)上除了 CTR 還要看人均觀看時(shí)長(zhǎng)和次日留存率——內(nèi)容理解提升的往往不是點(diǎn)擊率而是觀看深度用戶(hù)被推薦了更對(duì)味的內(nèi)容停留時(shí)長(zhǎng)應(yīng)該漲。如果只盯 CTR可能內(nèi)容理解帶來(lái)的長(zhǎng)尾探索被誤判為負(fù)收益。每組實(shí)驗(yàn)跑 7 天以上用小流量比如總流量的 5% 到 10%跑避免新策略對(duì)大盤(pán)造成不可逆影響。計(jì)算置信區(qū)間時(shí)用 t 檢驗(yàn)或置換檢驗(yàn)樣本量不夠時(shí)不要急著下結(jié)論——某次實(shí)驗(yàn) CTR 漲了 3% 但 p 值 0.2多跑了三天就回落了后來(lái)發(fā)現(xiàn)是某位頭部創(chuàng)作者的爆款視頻帶來(lái)的流量波動(dòng)。所以線上評(píng)估至少跑兩個(gè)完整自然周覆蓋工作日和周末的流量差異。驗(yàn)證的最終產(chǎn)出物建議做成一張「內(nèi)容理解收益歸因表」把視頻冷啟動(dòng)的曝光量增速、新用戶(hù) 7 日留存、長(zhǎng)尾視頻的曝光占比三個(gè)指標(biāo)拆開(kāi)量化。某次做這個(gè)方案時(shí)內(nèi)容理解讓新視頻進(jìn)入首輪流量池的時(shí)間從 4 小時(shí)縮短到 15 分鐘長(zhǎng)尾視頻曝光占比從 18% 提升到 29%這兩個(gè)數(shù)字比 CTR 更能說(shuō)明問(wèn)題。寫(xiě)開(kāi)題報(bào)告時(shí)把評(píng)估方案和預(yù)期收益寫(xiě)清楚評(píng)審老師會(huì)認(rèn)為你在動(dòng)手之前就想透了驗(yàn)證路徑這比堆砌技術(shù)名詞更能加分。最后說(shuō)一個(gè)做內(nèi)容理解推薦系統(tǒng)養(yǎng)成的小習(xí)慣每次調(diào)整特征或模型后在用戶(hù)反饋數(shù)據(jù)里挑幾條「推薦結(jié)果變好」和「變差」的具體案例存下來(lái)定期翻看。模型指標(biāo)只能告訴你好壞案例能告訴你為什么。某次調(diào)整視覺(jué)特征池化方式后整體指標(biāo)沒(méi)變但翻案例發(fā)現(xiàn)所有寵物視頻的推薦結(jié)果都變好了而音樂(lè)視頻的全變差了順著這個(gè)線索優(yōu)化了音頻特征的融合權(quán)重。這個(gè)習(xí)慣在一次次的迭代里幫我避開(kāi)了很多黑匣子式的調(diào)試希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取