簡介這份資源是面向計算機相關(guān)專業(yè)學(xué)生與項目實戰(zhàn)學(xué)習(xí)者的Python人工智能大作業(yè)完整資料包聚焦網(wǎng)絡(luò)輿情分析系統(tǒng)的設(shè)計與實現(xiàn)適合正在準備期末大作業(yè)、畢業(yè)設(shè)計或需要積累AI項目經(jīng)驗的人群。壓縮包共118個文件約45.2MB以27個py源碼文件為核心輔以36個txt說明、12個jar與10個class等Java組件、7個java與6個xml配置以及ipynb實驗筆記、json數(shù)據(jù)、xlsx表格和少量md文檔覆蓋從數(shù)據(jù)采集、中文NLP處理到可視化展示的完整鏈路。內(nèi)容預(yù)覽中可見AipNLP、BarChart、PieChart、InitialUIDesign等類說明系統(tǒng)包含情感傾向分析與圖表界面模塊。該資源經(jīng)導(dǎo)師指導(dǎo)并獲評審98分源碼均本地編譯調(diào)試可運行已有144人學(xué)習(xí)。讀者可獲得可復(fù)用的輿情分析代碼框架、界面與算法實現(xiàn)思路及配套資料便于快速搭建與二次開發(fā)。1. 輿情分析大作業(yè)為什么總在“情感分類”這一步翻車做課程大作業(yè)時很多同學(xué)把網(wǎng)絡(luò)輿情分析系統(tǒng)理解成“爬蟲 詞云 情感餅圖”三件套結(jié)果代碼跑通了報告卻拿不到高分。問題不在工具而在鏈路原始文本沒清洗、情感標簽靠拍腦袋、時間序列只畫一條折線最后系統(tǒng)只能演示不能解釋?；?Python 的人工智能大作業(yè)網(wǎng)絡(luò)輿情分析系統(tǒng)真正要解決的是從非結(jié)構(gòu)化文本里提取可驗證的輿情信號并讓每一步都有參數(shù)可調(diào)、有指標可看。它適合正在趕大作業(yè)的本科生、需要快速搭原型的開發(fā)者以及想用一套完整源碼理解 NLP 落地流程的從業(yè)者。下面按“數(shù)據(jù)進來、模型跑通、結(jié)果可信”的順序拆開講中間會給出可直接抄的代碼和參數(shù)表。2. 先定數(shù)據(jù)管道從采集到存儲的四個關(guān)鍵字段2.1 為什么不能直接拿原始評論喂模型輿情系統(tǒng)的輸入通常來自公開討論區(qū)、新聞評論或模擬生成的 JSON 文件。原始文本里混著表情符號、URL、重復(fù)刷屏和廣告直接送進模型會讓準確率掉 10 到 20 個百分點。常見做法是先把每條記錄壓成四個字段doc_id、publish_time、raw_text、source。doc_id用哈?；蜃栽稣麛?shù)都行但必須唯一publish_time統(tǒng)一轉(zhuǎn)成YYYY-MM-DD HH:MM:SS后面做時間窗口聚合全靠它raw_text保留原文方便回溯source標記渠道用于分組對比。清洗階段只做三件事去掉 URL 和 提及、把連續(xù)空格壓成一個、過濾長度小于 5 的短文本。不要在這一步做分詞或去停用詞因為后續(xù)可能換模型保留原始字符更安全。import re import pandas as pd def clean_text(text: str) - str: # 去掉 URL 和 提及保留中文、英文、數(shù)字和基本標點 text re.sub(rhttps?://\S|www\.\S, , text) text re.sub(r\w, , text) text re.sub(r\s, , text).strip() return text def build_pipeline(raw_df: pd.DataFrame) - pd.DataFrame: df raw_df.copy() df[clean_text] df[raw_text].astype(str).apply(clean_text) df[publish_time] pd.to_datetime(df[publish_time], errorscoerce) # 丟棄時間解析失敗和過短文本 df df.dropna(subset[publish_time]) df df[df[clean_text].str.len() 5] df[date] df[publish_time].dt.date return df[[doc_id, publish_time, date, clean_text, source]]這段代碼里errorscoerce會把無法解析的時間變成NaT避免后續(xù)聚合報錯長度閾值 5 是經(jīng)驗值低于 5 個字符的文本通常是“頂”“贊”這類無信息內(nèi)容。date字段單獨抽出來是為了按天做輿情熱度曲線不用每次重算。2.2 存儲選型SQLite 夠用別急著上 MongoDB大作業(yè)的數(shù)據(jù)量一般在幾千到幾萬條SQLite 完全能扛住而且單文件方便打包進源碼。建表時把doc_id設(shè)為主鍵publish_time和source建索引查詢速度足夠。如果非要用 MongoDB注意默認端口和認證配置否則演示時連不上會非常尷尬。下面是一個最小建表語句CREATE TABLE IF NOT EXISTS posts ( doc_id TEXT PRIMARY KEY, publish_time TEXT NOT NULL, clean_text TEXT NOT NULL, source TEXT, sentiment_label INTEGER, sentiment_score REAL ); CREATE INDEX IF NOT EXISTS idx_publish_time ON posts(publish_time); CREATE INDEX IF NOT EXISTS idx_source ON posts(source);sentiment_label和sentiment_score先留空等模型跑完再回填。這樣數(shù)據(jù)管道和模型解耦換模型不用重建表。2.3 參數(shù)怎么設(shè)清洗閾值與時間窗口清洗階段有兩個參數(shù)容易拍腦袋最小文本長度和去重策略。最小長度建議 5 到 8 個字符太短沒信息太長會誤刪有效短評。去重按clean_text的 MD5 哈希做保留最早出現(xiàn)的那條避免刷屏影響熱度統(tǒng)計。時間窗口按小時或按天聚合取決于數(shù)據(jù)密度一天超過 500 條就按小時否則按天。這些參數(shù)沒有絕對最優(yōu)但要在報告里寫清楚否則復(fù)現(xiàn)時會被質(zhì)疑。3. 情感分類模型從樸素貝葉斯到預(yù)訓(xùn)練模型的取舍3.1 三條技術(shù)路線的適用邊界做輿情情感分類常見三條路樸素貝葉斯 TF-IDF、LSTM 詞向量、預(yù)訓(xùn)練模型微調(diào)。樸素貝葉斯訓(xùn)練快幾千條數(shù)據(jù)幾分鐘出結(jié)果適合作為基線LSTM 能捕捉語序但需要更多數(shù)據(jù)和調(diào)參時間預(yù)訓(xùn)練模型準確率最高但顯存和時間成本也最高。大作業(yè)如果只有 CPU建議先跑樸素貝葉斯再用預(yù)訓(xùn)練模型做對比實驗報告里放兩張混淆矩陣分數(shù)立刻上去。選型時看三個指標準確率、訓(xùn)練時間、可解釋性。輿情場景往往需要解釋“為什么判為負面”樸素貝葉斯的特征權(quán)重反而比黑盒模型更好寫分析。3.2 用 TF-IDF 樸素貝葉斯跑通最小閉環(huán)下面這段代碼假設(shè)你已經(jīng)有一個帶clean_text和sentiment_label的 DataFrame標簽 0 為負面、1 為中性、2 為正面。先劃分訓(xùn)練集和測試集再建管道。from sklearn.model_selection import train_test_split from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.pipeline import Pipeline from sklearn.metrics import classification_report, confusion_matrix # 假設(shè) df 已包含 clean_text 和 sentiment_label X_train, X_test, y_train, y_test train_test_split( df[clean_text], df[sentiment_label], test_size0.2, random_state42, stratifydf[sentiment_label] ) pipe Pipeline([ (tfidf, TfidfVectorizer( max_features5000, # 控制特征維度防止過擬合 ngram_range(1, 2), # 一元和二元詞組捕捉“不 滿意”這類否定 min_df2, # 至少出現(xiàn)兩次才保留過濾噪聲 max_df0.9 # 出現(xiàn)在 90% 以上文檔的詞直接丟棄 )), (clf, MultinomialNB(alpha0.1)) # alpha 是平滑系數(shù)越小越依賴數(shù)據(jù) ]) pipe.fit(X_train, y_train) y_pred pipe.predict(X_test) print(classification_report(y_test, y_pred, digits4)) print(confusion_matrix(y_test, y_pred))max_features5000是平衡內(nèi)存和效果的常用值數(shù)據(jù)量超過 5 萬條可以提到 10000。ngram_range(1,2)能抓到“不 滿意”“很 好”這類組合對輿情情感很關(guān)鍵。alpha0.1比默認的 1.0 更激進如果數(shù)據(jù)干凈且標注一致效果更好如果噪聲大調(diào)回 0.5 到 1.0。跑完看classification_report如果中性類 F1 明顯低說明中性樣本定義模糊需要回頭檢查標注規(guī)則。3.3 預(yù)訓(xùn)練模型微調(diào)時的顯存與學(xué)習(xí)率如果要用預(yù)訓(xùn)練模型先確認環(huán)境有 GPU。常見做法是加載中文預(yù)訓(xùn)練權(quán)重接一個分類頭用 AdamW 優(yōu)化器學(xué)習(xí)率設(shè) 2e-5 到 5e-5批次大小 16 或 32。顯存不夠就減小批次并開啟梯度累積。訓(xùn)練輪數(shù) 3 到 5 輪足夠太多會過擬合。下面是一個訓(xùn)練循環(huán)的關(guān)鍵參數(shù)片段from transformers import AdamW, get_linear_schedule_with_warmup optimizer AdamW(model.parameters(), lr3e-5, weight_decay0.01) epochs 4 total_steps len(train_loader) * epochs scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(0.1 * total_steps), # 前 10% 步數(shù)做 warmup num_training_stepstotal_steps )weight_decay0.01是常規(guī)正則化warmup防止初期梯度爆炸。如果訓(xùn)練損失震蕩先把學(xué)習(xí)率降到 1e-5如果損失下降太慢檢查數(shù)據(jù)標簽是否平衡。預(yù)訓(xùn)練模型跑完后把預(yù)測結(jié)果回填到 SQLite 的sentiment_label和sentiment_score字段后續(xù)分析直接查表。4. 輿情熱度與趨勢時間序列聚合的三種口徑4.1 按小時聚合還是按天聚合聚合口徑?jīng)Q定趨勢圖能不能看出突發(fā)點。數(shù)據(jù)密度高時按小時能捕捉“某事件兩小時內(nèi)爆發(fā)”數(shù)據(jù)稀疏時按天否則曲線全是零。計算熱度可以用三個指標發(fā)帖量、負面占比、平均情感得分。發(fā)帖量反映關(guān)注度負面占比反映風(fēng)險平均情感得分反映整體傾向。下面是一個按天聚合的示例def daily_aggregate(df: pd.DataFrame) - pd.DataFrame: grouped df.groupby(date).agg( post_count(doc_id, count), neg_ratio(sentiment_label, lambda x: (x 0).mean()), avg_score(sentiment_score, mean) ).reset_index() # 補全缺失日期避免折線斷裂 full_range pd.date_range(grouped[date].min(), grouped[date].max(), freqD) grouped grouped.set_index(date).reindex(full_range.date, fill_value0).reset_index() grouped.columns [date, post_count, neg_ratio, avg_score] return groupedreindex補全缺失日期很重要否則折線圖會跳過沒有數(shù)據(jù)的日期視覺上誤導(dǎo)。neg_ratio用(x 0).mean()計算前提是標簽 0 代表負面。如果標簽編碼不同改成對應(yīng)值即可。4.2 突發(fā)檢測滑動窗口與閾值報警輿情系統(tǒng)的高分點往往在“突發(fā)檢測”。簡單做法是計算過去 7 天同一時段的均值和標準差當天發(fā)帖量超過均值加 2 倍標準差就標記為突發(fā)。這個邏輯可以用 pandas 滾動窗口實現(xiàn)grouped[rolling_mean] grouped[post_count].rolling(window7, min_periods3).mean() grouped[rolling_std] grouped[post_count].rolling(window7, min_periods3).std() grouped[is_burst] grouped[post_count] (grouped[rolling_mean] 2 * grouped[rolling_std])window7是經(jīng)驗值數(shù)據(jù)少于 14 天可以改成 3。min_periods3保證前三天也有值。is_burst為 True 的日期在報告里單獨列出來配上當天高頻詞分析說服力會強很多。4.3 高頻詞與情感詞的交叉分析只放詞云不夠要把高頻詞和情感標簽交叉。比如“退款”這個詞在負面樣本里出現(xiàn)頻率是正面的 5 倍那它就是風(fēng)險信號。實現(xiàn)時先分詞再按標簽分組統(tǒng)計詞頻最后算每個詞在不同標簽下的頻率比。分詞工具選常見的中文分詞庫即可停用詞表用公開的通用表再手動加幾個領(lǐng)域詞。交叉分析的結(jié)果用表格呈現(xiàn)比詞云更硬核。5. 避坑與排查大作業(yè)里最容易翻車的五個點5.1 標簽泄露測試集里混進了訓(xùn)練集文本現(xiàn)象測試準確率 0.98換一批數(shù)據(jù)掉到 0.6。原因去重沒做好同一條文本既在訓(xùn)練集又在測試集。解決在劃分數(shù)據(jù)集之前先按clean_text的哈希去重確保每個文本只出現(xiàn)一次。如果同一條文本有多個標簽保留多數(shù)投票結(jié)果或直接丟棄。5.2 時間解析失敗導(dǎo)致聚合為空現(xiàn)象按天聚合后所有日期都是NaT折線圖畫不出來。原因原始時間格式不統(tǒng)一比如混了“2024/01/01”和“2024-01-01”。解決在pd.to_datetime里加formatmixed或先用正則統(tǒng)一分隔符。更穩(wěn)妥的做法是寫一個解析函數(shù)依次嘗試幾種常見格式全部失敗再丟棄。5.3 類別不平衡讓模型只會猜多數(shù)類現(xiàn)象負面樣本占 80%模型把所有文本都判為負面準確率 0.8 但 F1 很低。原因訓(xùn)練時沒有處理不平衡。解決在MultinomialNB里設(shè)class_prior或在劃分時用stratify保證每類比例一致。更直接的辦法是對少數(shù)類過采樣但要注意過采樣只在訓(xùn)練集做測試集保持原始分布。5.4 預(yù)訓(xùn)練模型顯存溢出現(xiàn)象訓(xùn)練到一半報CUDA out of memory。原因批次太大或序列太長。解決把批次從 32 降到 16 或 8同時開啟梯度累積累積步數(shù)設(shè)為 2 或 4。序列長度截斷到 128 或 256不要直接設(shè) 512。如果還是溢出換用更小的預(yù)訓(xùn)練模型。5.5 報告里只放準確率不放混淆矩陣現(xiàn)象老師問“中性類識別怎么樣”答不上來。原因只看了整體準確率。解決每次實驗都輸出混淆矩陣和分類報告重點看每一類的精確率和召回率。輿情場景里負面類的召回率比整體準確率更重要漏掉一條負面輿情可能比誤判一條正面更嚴重。6. 把系統(tǒng)跑成可演示的閉環(huán)一個最小 Web 界面與驗證習(xí)慣最后一章落到怎么把上面這些串成一個能演示的東西。不需要復(fù)雜前端用 Streamlit 或 Flask 寫一個單頁就夠。頁面分三塊頂部輸入框粘貼一條新文本中間顯示情感預(yù)測結(jié)果和置信度底部展示歷史趨勢圖。Streamlit 的好處是代碼量少適合大作業(yè)演示。下面是一個最小示例import streamlit as st import pandas as pd import joblib # 加載訓(xùn)練好的管道 pipe joblib.load(sentiment_pipe.pkl) st.title(輿情分析演示) text st.text_area(輸入一條評論文本) if st.button(分析): pred pipe.predict([text])[0] proba pipe.predict_proba([text]).max() label_map {0: 負面, 1: 中性, 2: 正面} st.write(f情感傾向{label_map[pred]}置信度{proba:.2f}) # 展示歷史趨勢 df pd.read_csv(daily_aggregate.csv) st.line_chart(df.set_index(date)[post_count])joblib.load加載的是之前訓(xùn)練好的管道注意保存時用joblib.dump(pipe, sentiment_pipe.pkl)。predict_proba返回最大概率作為置信度低于 0.6 的可以標為“不確定”避免誤導(dǎo)。趨勢圖直接讀聚合后的 CSV不用每次重算。驗證習(xí)慣方面我一般會做三件事第一每次改完清洗規(guī)則或模型參數(shù)重新跑一遍測試集記錄準確率和負面類召回率第二把預(yù)測錯誤的樣本單獨導(dǎo)出人工看 20 條找規(guī)律第三在報告里寫清楚每個參數(shù)的取值理由而不是只貼結(jié)果。這套流程跑下來大作業(yè)的分數(shù)不會低更重要的是你真正理解了從文本到?jīng)Q策的每一步。希望幫到你。本文還有配套的精品資源點擊獲取