簡介這是一套基于Python實現(xiàn)的輿情監(jiān)控分析與預(yù)測系統(tǒng)完整源碼包面向計算機、電子信息工程、數(shù)學(xué)等專業(yè)的大學(xué)生適用于課程設(shè)計、期末大作業(yè)或畢業(yè)設(shè)計參考也可作為數(shù)據(jù)分析與可視化方向的實戰(zhàn)練習(xí)項目。壓縮包共118個文件約45.23MB包含27個py源碼文件、36個txt說明與數(shù)據(jù)文件、12個jar及10個class等Java組件、7個java文件、6個xml配置、2個ipynb筆記本、1個xlsx數(shù)據(jù)集和若干json、md文檔覆蓋數(shù)據(jù)采集、文本處理、情感分析、圖表展示等模塊。內(nèi)容預(yù)覽可見柱狀圖、餅圖、界面初始化及NLP相關(guān)類說明系統(tǒng)兼具可視化界面與自然語言處理能力。該資源經(jīng)導(dǎo)師指導(dǎo)并獲98分認可已有361人學(xué)習(xí)適合需要完整項目結(jié)構(gòu)、可運行代碼與配套數(shù)據(jù)集的學(xué)習(xí)者參考借鑒。1. 輿情監(jiān)控系統(tǒng)到底在監(jiān)控什么從一條負評到一張趨勢圖一條負評出現(xiàn)在某個公開討論區(qū)兩小時后被轉(zhuǎn)進三個社群第二天早上變成搜索框里的聯(lián)想詞——這個過程里真正值得盯住的不是那條評論本身而是它擴散的斜率。基于 Python 實現(xiàn)的輿情監(jiān)控分析與預(yù)測系統(tǒng)干的就是把這種「斜率」變成可量化、可回看、可預(yù)警的東西。它適合兩類人一類是手里已經(jīng)有一批公開文本數(shù)據(jù)、想搭一套能跑起來的分析流水線的開發(fā)者另一類是需要在本地復(fù)現(xiàn)一套完整鏈路、從采集清洗一路做到可視化與趨勢預(yù)測的學(xué)生或研究者。標題里帶數(shù)據(jù)集和可視化意味著這套東西不是空殼而是有輸入、有中間產(chǎn)物、有最終圖表出口的閉環(huán)。下面按「數(shù)據(jù)怎么進來、特征怎么算、模型怎么選、圖怎么畫、坑在哪」的順序拆開講每一步都給到能直接抄的代碼和參數(shù)。2. 數(shù)據(jù)管道從原始文本到可建模的輿情樣本2.1 數(shù)據(jù)集長什么樣先做字段體檢拿到一份輿情數(shù)據(jù)集第一件事不是急著建模而是把字段結(jié)構(gòu)摸清楚。常見做法是至少包含時間戳、文本內(nèi)容、來源渠道、互動量點贊/轉(zhuǎn)發(fā)/評論這幾列有的還會帶情感標簽或主題標簽。先跑一段體檢腳本看缺失率、時間跨度、文本長度分布這三項直接決定后面清洗策略。import pandas as pd # 讀取數(shù)據(jù)集常見格式為 csv 或 xlsx df pd.read_csv(opinion_data.csv, encodingutf-8) # 字段體檢缺失率、時間范圍、文本長度 print(字段列表:, df.columns.tolist()) print(缺失率:\n, df.isnull().mean().round(4)) print(時間范圍:, df[timestamp].min(), -, df[timestamp].max()) # 文本長度分布判斷是否需要截斷 df[text_len] df[content].astype(str).str.len() print(df[text_len].describe())這段代碼的邏輯是先確認列名對不對再算每列缺失比例最后看文本長度。參數(shù)上encoding要跟文件實際編碼一致中文數(shù)據(jù)常見 utf-8 和 gbk 兩種讀出來亂碼就換。text_len的 describe 結(jié)果里如果 75 分位超過 512后面做向量化時就要考慮截斷否則顯存或內(nèi)存會吃不消。時間范圍決定你能不能做按天聚合的趨勢圖跨度太短比如只有三天就不適合做預(yù)測只能做描述性分析。2.2 清洗與去重三個必須處理的臟數(shù)據(jù)形態(tài)輿情數(shù)據(jù)最臟的地方集中在三類重復(fù)轉(zhuǎn)發(fā)、廣告灌水、純符號無意義文本。重復(fù)轉(zhuǎn)發(fā)會讓某條內(nèi)容的熱度虛高廣告灌水會污染情感判斷純符號文本會讓分詞器報錯。處理順序建議先去重、再過濾、最后做長度截斷。import re def clean_text(text): text str(text) # 去掉 URL 和 提及這兩類對情感判斷貢獻極低 text re.sub(rhttp\S|www\.\S, , text) text re.sub(r\w, , text) # 只保留中文、英文、數(shù)字和基本標點 text re.sub(r[^\u4e00-\u9fa5a-zA-Z0-9。、], , text) # 壓縮連續(xù)空格 text re.sub(r\s, , text).strip() return text df[clean_content] df[content].apply(clean_text) # 去重完全相同的文本只保留最早一條 df df.sort_values(timestamp).drop_duplicates(subset[clean_content], keepfirst) # 過濾長度小于 5 的短文本 df df[df[clean_content].str.len() 5] print(清洗后樣本量:, len(df))clean_text里那條正則[^\u4e00-\u9fa5a-zA-Z0-9。、]是關(guān)鍵它把表情符號、特殊字符全部替換成空格避免后續(xù)分詞器遇到未知字符拋異常。去重時用keepfirst配合時間排序保留最早出現(xiàn)的那條這樣熱度統(tǒng)計不會因為重復(fù)轉(zhuǎn)發(fā)而失真。長度閾值設(shè) 5 是個經(jīng)驗值低于 5 個字的文本基本沒有分析價值設(shè)太高又會誤殺「太差了」這種短而有效的負評。2.3 中文分詞與停用詞jieba 的三種加載模式中文輿情分析繞不開分詞。jieba 提供三種模式精確模式、全模式、搜索引擎模式。輿情場景我一般用搜索引擎模式因為它會把長詞再切出短詞召回率更高適合后面做關(guān)鍵詞提取。import jieba import jieba.analyse # 加載自定義詞典把領(lǐng)域詞加進去避免被切碎 jieba.load_userdict(domain_dict.txt) # 每行一個詞可帶詞頻 # 搜索引擎模式分詞 def cut_words(text): return jieba.lcut_for_search(text) df[words] df[clean_content].apply(cut_words) # 加載停用詞表 with open(stopwords.txt, encodingutf-8) as f: stopwords set(line.strip() for line in f) df[words_filtered] df[words].apply( lambda ws: [w for w in ws if w not in stopwords and len(w) 1] ) print(df[words_filtered].head(3))load_userdict加載的自定義詞典是提升分詞質(zhì)量最有效的手段把「退款流程」「客服響應(yīng)」這類領(lǐng)域短語加進去能避免被切成「退款」「流程」兩個詞。停用詞表里除了「的」「了」「是」這類通用詞還要加上本數(shù)據(jù)集里高頻但無意義的詞比如平臺名、固定話題標簽。len(w) 1過濾掉單字單字在輿情分析里噪聲太大。3. 情感分析與主題提取把文本變成可計算的指標3.1 情感打分SnowNLP 與規(guī)則詞典的取舍情感分析有兩條路一條是用 SnowNLP 這類現(xiàn)成庫直接出 0 到 1 的情感分另一條是自建情感詞典做加權(quán)打分。前者上手快后者可控性強。輿情監(jiān)控里我一般先用 SnowNLP 跑一版基線再用詞典法做校正因為 SnowNLP 在反諷和雙重否定上容易翻車。from snownlp import SnowNLP def sentiment_score(text): try: return SnowNLP(text).sentiments # 返回 0~1越接近 1 越正面 except Exception: return 0.5 # 異常時給中性值避免整條流水線中斷 df[sentiment] df[clean_content].apply(sentiment_score) # 按天聚合平均情感分 df[date] pd.to_datetime(df[timestamp]).dt.date daily_sentiment df.groupby(date)[sentiment].mean() print(daily_sentiment.tail())sentiments返回的是概率值0.5 附近代表中性。異常處理里返回 0.5 是個兜底策略防止某條文本讓整個 apply 中斷。按天聚合后的daily_sentiment就是趨勢圖的縱軸數(shù)據(jù)。這里要注意SnowNLP 對長文本的判斷會偏向中性因為它是按整句概率累乘的文本越長越容易趨近 0.5所以如果數(shù)據(jù)里長文本多建議先分句再取平均。3.2 關(guān)鍵詞提取TF-IDF 與 TextRank 的適用邊界關(guān)鍵詞提取用來回答「大家在討論什么」。TF-IDF 偏向高頻且獨特的詞TextRank 偏向在共現(xiàn)網(wǎng)絡(luò)里中心性高的詞。輿情場景里TF-IDF 適合找突發(fā)話題TextRank 適合找核心議題。import jieba.analyse # TF-IDF 提取 Top20 關(guān)鍵詞 tfidf_kw jieba.analyse.extract_tags( .join(df[clean_content].tolist()), topK20, withWeightTrue ) # TextRank 提取 Top20 關(guān)鍵詞 textrank_kw jieba.analyse.textrank( .join(df[clean_content].tolist()), topK20, withWeightTrue ) print(TF-IDF:, tfidf_kw[:10]) print(TextRank:, textrank_kw[:10])extract_tags的withWeightTrue會返回權(quán)重方便后面做詞云時按權(quán)重調(diào)字號。topK設(shè) 20 是個平衡值太少看不出主題分布太多會混入噪聲詞。兩個方法的結(jié)果可以取交集交集詞往往是既高頻又核心的議題詞適合放進預(yù)警規(guī)則里。3.3 主題聚類LDA 的 topic 數(shù)怎么定當關(guān)鍵詞不足以概括議題時用 LDA 做主題聚類。LDA 最大的坑是 topic 數(shù)拍腦袋定。我的做法是先跑 2 到 10 個 topic看困惑度perplexity曲線的拐點再結(jié)合人工可解釋性定最終值。from sklearn.feature_extraction.text import CountVectorizer from sklearn.decomposition import LatentDirichletAllocation # 構(gòu)建詞頻矩陣限制最大特征數(shù)和文檔頻率 vectorizer CountVectorizer( max_features2000, max_df0.8, # 出現(xiàn)在 80% 以上文檔的詞丟掉 min_df5 # 出現(xiàn)在少于 5 篇文檔的詞丟掉 ) doc_term vectorizer.fit_transform(df[clean_content]) # 跑多個 topic 數(shù)看困惑度 for n in [3, 5, 7, 10]: lda LatentDirichletAllocation(n_componentsn, random_state42, max_iter20) lda.fit(doc_term) print(ftopic{n}, perplexity{lda.perplexity(doc_term):.2f})max_df0.8和min_df5是過濾極端詞的常用組合前者去掉「今天」「大家」這類幾乎每篇都有的詞后者去掉只出現(xiàn)一兩次的生僻詞。困惑度越低越好但不要只看數(shù)值還要把每個 topic 的 top 詞打印出來人工判斷是否可解釋。random_state42固定隨機種子保證每次跑結(jié)果一致方便復(fù)現(xiàn)。4. 趨勢預(yù)測與可視化從歷史曲線到未來三天4.1 時間序列建模ARIMA 的階數(shù)怎么選輿情熱度按天聚合后就是一條時間序列。ARIMA 是最常用的基線模型難點在 p、d、q 三個階數(shù)的確定。d 看差分次數(shù)p 和 q 看自相關(guān)和偏自相關(guān)圖。import pandas as pd from statsmodels.tsa.arima.model import ARIMA # 構(gòu)造熱度序列每天文本量 daily_count df.groupby(date).size().reset_index(namecount) daily_count[date] pd.to_datetime(daily_count[date]) series daily_count.set_index(date)[count] # 一階差分看平穩(wěn)性 diff series.diff().dropna() print(差分后均值:, diff.mean().round(4), 方差:, diff.var().round(4)) # 擬合 ARIMA(1,1,1) 作為基線 model ARIMA(series, order(1, 1, 1)) result model.fit() print(result.summary()) # 預(yù)測未來 3 天 forecast result.forecast(steps3) print(未來三天預(yù)測:, forecast.values)order(1,1,1)里的三個參數(shù)分別是 AR 階數(shù)、差分次數(shù)、MA 階數(shù)。差分后方差明顯變小說明 d1 合適。forecast(steps3)輸出未來三天的點預(yù)測實際用的時候還要看置信區(qū)間result.get_forecast(steps3).conf_int()能拿到上下界。輿情數(shù)據(jù)波動大ARIMA 適合做短期基線超過一周的預(yù)測誤差會明顯放大。4.2 可視化情感趨勢與關(guān)鍵詞詞云可視化分兩塊一塊是時間維度的情感和熱度曲線一塊是關(guān)鍵詞詞云。曲線用 matplotlib詞云用 wordcloud中文字體要單獨指定否則會顯示成方塊。import matplotlib.pyplot as plt from wordcloud import WordCloud plt.rcParams[font.sans-serif] [SimHei] # 指定中文字體 plt.rcParams[axes.unicode_minus] False fig, ax1 plt.subplots(figsize(12, 5)) ax1.plot(daily_sentiment.index, daily_sentiment.values, colortab:blue, label情感均值) ax1.set_ylabel(情感分, colortab:blue) ax1.tick_params(axisy, labelcolortab:blue) ax2 ax1.twinx() ax2.bar(daily_count[date], daily_count[count], alpha0.3, colortab:orange, label文本量) ax2.set_ylabel(文本量, colortab:orange) plt.title(輿情情感與熱度趨勢) plt.tight_layout() plt.savefig(trend.png, dpi150) # 詞云 word_freq dict(tfidf_kw) wc WordCloud( font_pathSimHei.ttf, width800, height400, background_colorwhite ).generate_from_frequencies(word_freq) wc.to_file(wordcloud.png)font.sans-serif設(shè)成 SimHei 是解決中文亂碼的關(guān)鍵Linux 環(huán)境下如果沒有這個字體要換成系統(tǒng)里實際存在的中文字體路徑。雙軸圖里左軸畫情感曲線、右軸畫文本量柱狀圖能直觀看出「熱度漲但情感跌」這種危險信號。詞云的generate_from_frequencies直接吃 TF-IDF 的權(quán)重字典字號自動按權(quán)重分配。4.3 預(yù)警規(guī)則把閾值寫成可配置的字典預(yù)警不要硬編碼在代碼里抽成一個配置字典方便調(diào)整。常見規(guī)則有三條單日負評比例超過閾值、情感均值連續(xù)下降、關(guān)鍵詞突增。ALERT_RULES { negative_ratio: 0.4, # 負評占比超過 40% 觸發(fā) sentiment_drop_days: 3, # 情感連續(xù)下降 3 天觸發(fā) keyword_spike: 3.0 # 某關(guān)鍵詞出現(xiàn)頻率是均值 3 倍觸發(fā) } def check_alerts(daily_df, sentiment_series): alerts [] neg_ratio (daily_df[sentiment] 0.3).mean() if neg_ratio ALERT_RULES[negative_ratio]: alerts.append(f負評占比 {neg_ratio:.2%} 超閾值) # 連續(xù)下降判斷 recent sentiment_series.tail(ALERT_RULES[sentiment_drop_days] 1) if all(recent.diff().dropna() 0): alerts.append(情感連續(xù)下降) return alertsnegative_ratio設(shè) 0.4 是經(jīng)驗值低于 0.3 的情感分算負評。連續(xù)下降判斷用diff()看每天的變化量是否都為負。這套規(guī)則的好處是閾值集中管理改一個數(shù)字就能調(diào)整靈敏度不用翻代碼。5. 避坑與排查五個讓流水線跑不通的典型問題5.1 中文亂碼編碼不一致導(dǎo)致讀取失敗現(xiàn)象是讀進來的文本全是問號或方塊。原因是文件編碼和read_csv的encoding參數(shù)不匹配。解決辦法是先探測編碼用chardet檢測后再讀或者直接試 utf-8 和 gbk 兩種哪個不亂碼用哪個。寫文件時統(tǒng)一用encodingutf-8-sig帶 BOM 頭Excel 打開不亂碼。5.2 分詞結(jié)果全是單字自定義詞典沒加載成功現(xiàn)象是「退款流程」被切成「退」「款」「流」「程」。原因是load_userdict的路徑不對或者詞典文件編碼不是 utf-8。解決辦法是打印jieba.lcut(退款流程)驗證如果還是單字檢查詞典文件每行格式是否為「詞 詞頻 詞性」最簡單的格式是每行一個詞。加載后要重新初始化分詞器或者把load_userdict放在所有分詞操作之前。5.3 情感分全是 0.5SnowNLP 遇到空文本或純符號現(xiàn)象是大量文本情感分卡在 0.5。原因是清洗不徹底傳入了空字符串或純符號。解決辦法是在sentiment_score里加長度判斷l(xiāng)en(text.strip()) 2直接返回 0.5 并跳過。另外 SnowNLP 對繁體中文支持差如果數(shù)據(jù)里有繁體要先做簡繁轉(zhuǎn)換。5.4 ARIMA 報錯「矩陣奇異」序列太短或全為常數(shù)現(xiàn)象是model.fit()拋 LinAlgError。原因是序列長度不夠少于 10 個點或者值幾乎不變。解決辦法是先檢查series.nunique()如果小于 3 就沒法建模改用移動平均做平滑展示。序列太短就降低階數(shù)用order(0,1,0)即一階差分當基線。5.5 詞云中文顯示方塊字體路徑?jīng)]指定或字體不存在現(xiàn)象是詞云圖里中文全是方框。原因是font_path沒設(shè)或指向的字體文件不存在。解決辦法是在系統(tǒng)里找中文字體Linux 下常見路徑是/usr/share/fonts/下Windows 下是C:/Windows/Fonts/simhei.ttf。設(shè)完路徑后先用os.path.exists驗證文件存在再傳給 WordCloud。6. 把預(yù)測結(jié)果接回業(yè)務(wù)一個可復(fù)用的日報生成技巧前面五章把數(shù)據(jù)管道、情感分析、主題提取、趨勢預(yù)測和可視化都跑通了最后一章講怎么把這些串成一個每天自動跑的日報。核心思路是把所有中間結(jié)果落成文件再用模板拼裝這樣任何一步出問題都能單獨重跑不用整條鏈路重來。我一般會建一個output/目錄按日期分子目錄存當天的清洗數(shù)據(jù)、情感聚合、關(guān)鍵詞和圖表。日報正文用字符串模板生成關(guān)鍵指標用 f-string 填進去。下面是一個最小可用的日報生成腳本。import os from datetime import date def generate_daily_report(target_date, daily_sentiment, daily_count, keywords, alerts): report_dir foutput/{target_date} os.makedirs(report_dir, exist_okTrue) # 落盤中間結(jié)果方便回溯 daily_sentiment.to_csv(f{report_dir}/sentiment.csv) daily_count.to_csv(f{report_dir}/count.csv, indexFalse) # 拼裝日報正文 avg_sent daily_sentiment.loc[target_date] if target_date in daily_sentiment.index else 0.5 total daily_count[daily_count[date] target_date][count].sum() top_kw 、.join([w for w, _ in keywords[:5]]) report f輿情日報 {target_date} 樣本總量{total} 平均情感分{avg_sent:.3f} 高頻關(guān)鍵詞{top_kw} 預(yù)警信息{.join(alerts) if alerts else 無} with open(f{report_dir}/report.txt, w, encodingutf-8) as f: f.write(report) return report # 調(diào)用示例 today date.today() print(generate_daily_report(today, daily_sentiment, daily_count, tfidf_kw, [負評占比超閾值]))這段腳本的關(guān)鍵設(shè)計是「先落盤、再拼裝」。daily_sentiment.to_csv和daily_count.to_csv把中間結(jié)果存下來后面如果要查某天的原始數(shù)據(jù)直接讀 csv 就行不用重跑整個流水線。日報正文用 f-string 拼avg_sent用.3f保留三位小數(shù)避免輸出一長串浮點數(shù)。alerts為空時輸出「無」保證格式統(tǒng)一。參數(shù)上target_date建議用datetime.date對象而不是字符串這樣和 pandas 的日期索引能直接對齊。如果數(shù)據(jù)里時間戳帶時區(qū)要先統(tǒng)一轉(zhuǎn)成同一時區(qū)再取 date否則跨天聚合會錯位。top_kw取前 5 個詞太多會撐爆一行太少又看不出主題。進階用法有兩個方向。一是把日報生成掛到定時任務(wù)上每天固定時間跑一次輸出目錄按日期歸檔一個月后就能回看整月的情感走勢。二是把預(yù)警規(guī)則和日報結(jié)合當alerts非空時在日報標題前加一個標記方便快速篩選出需要人工介入的日子。我自己的習(xí)慣是每周回看一次預(yù)警記錄把誤報的規(guī)則閾值調(diào)一調(diào)跑上一個月閾值基本就貼合自己的數(shù)據(jù)分布了。血淚經(jīng)驗是不要等到所有模塊都完美了才串流水線。先把清洗、情感、日報這三步跑通哪怕預(yù)測模塊還是空的日報里先放情感和關(guān)鍵詞也能用起來。后面再逐步把 ARIMA 預(yù)測和詞云加進去每加一個模塊就單獨驗證一次輸出比一次性全串起來再調(diào)試省太多時間。希望幫到你。本文還有配套的精品資源點擊獲取