簡(jiǎn)介這份文檔面向數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)初學(xué)者系統(tǒng)講解WEKA這一公開(kāi)數(shù)據(jù)挖掘工作平臺(tái)的操作入門(mén)知識(shí)幫助讀者快速理解平臺(tái)的數(shù)據(jù)組織方式與核心功能。內(nèi)容圍繞WEKA的數(shù)據(jù)格式與術(shù)語(yǔ)展開(kāi)涵蓋實(shí)例、屬性、關(guān)系等基本概念并詳細(xì)說(shuō)明ARFF文件的頭信息與數(shù)據(jù)信息結(jié)構(gòu)包括關(guān)系聲明、屬性聲明及numeric、nominal、string、date四種數(shù)據(jù)類(lèi)型同時(shí)介紹從CSV、Excel、Matlab等格式準(zhǔn)備數(shù)據(jù)的思路。資源包為1個(gè)doc文檔大小約172KB便于下載后離線(xiàn)閱讀與查閱。WEKA集合了數(shù)據(jù)預(yù)處理、分類(lèi)、回歸、聚類(lèi)、關(guān)聯(lián)規(guī)則與可視化等算法接口開(kāi)放可集成自定義算法或借鑒其方法實(shí)現(xiàn)可視化工具曾獲ACM SIGKDD數(shù)據(jù)挖掘與知識(shí)探索最高服務(wù)獎(jiǎng)。目前已有791人學(xué)習(xí)適合希望以WEKA為工具入門(mén)數(shù)據(jù)挖掘?qū)嵺`、需要一份簡(jiǎn)明操作指引的讀者參考。1. 從一份 weather.arff 說(shuō)起WEKA 到底能幫你把數(shù)據(jù)挖到什么程度很多人第一次打開(kāi) WEKA看到那個(gè)鳥(niǎo)標(biāo)和一堆按鈕心里是發(fā)懵的。我當(dāng)年也是手里攥著一份 CSV想跑個(gè)分類(lèi)看看效果結(jié)果卡在“數(shù)據(jù)怎么進(jìn)去”這一步整整一個(gè)下午。WEKA 的全稱(chēng)是懷卡托智能分析環(huán)境Waikato Environment for Knowledge Analysis由新西蘭懷卡托大學(xué)開(kāi)發(fā)2005 年在第 11 屆 ACM SIGKDD 國(guó)際會(huì)議上拿了數(shù)據(jù)挖掘和知識(shí)探索領(lǐng)域的最高服務(wù)獎(jiǎng)算下來(lái)發(fā)展歷史已經(jīng)超過(guò)二十年。它把分類(lèi)、回歸、聚類(lèi)、關(guān)聯(lián)規(guī)則、數(shù)據(jù)預(yù)處理和可視化全部塞進(jìn)一個(gè)圖形界面里而且接口開(kāi)放你能看它的接口文檔也能把自己的算法集成進(jìn)去。這篇文章不講空泛的“數(shù)據(jù)挖掘概論”只講一件事拿到一份 CSV 或 Excel怎么一步步變成 WEKA 能吃的 ARFF怎么在 Explorer 里做預(yù)處理怎么避開(kāi)那些讓人想砸鍵盤(pán)的坑。適合手里有數(shù)據(jù)、想快速驗(yàn)證想法、又不想一上來(lái)就寫(xiě)幾百行 Python 的從業(yè)者。2. ARFF 文件結(jié)構(gòu)拆解從 relation 到 data 的每一行2.1 頭信息與數(shù)據(jù)信息的分界線(xiàn)WEKA 處理的數(shù)據(jù)集在邏輯上就是一張二維表格一行叫一個(gè)實(shí)例Instance一列叫一個(gè)屬性Attribute整張表呈現(xiàn)的關(guān)系叫 Relation。它存儲(chǔ)數(shù)據(jù)的格式是 ARFFAttribute-Relation File Format本質(zhì)是一個(gè) ASCII 文本文件。以 WEKA 安裝目錄data子目錄下的weather.arff為例去掉以%開(kāi)頭的注釋行之后整個(gè)文件被data標(biāo)記切成兩半上半部分是頭信息Head information負(fù)責(zé)聲明關(guān)系名稱(chēng)和屬性定義下半部分是數(shù)據(jù)信息Data information就是逗號(hào)分隔的實(shí)際數(shù)值。關(guān)系聲明必須是第一個(gè)有效行格式是relation relation-name。如果名稱(chēng)里帶空格必須用英文單引號(hào)或雙引號(hào)包起來(lái)否則 WEKA 解析直接報(bào)錯(cuò)。屬性聲明用attribute開(kāi)頭每個(gè)屬性一行順序極其重要——它決定了數(shù)據(jù)部分每一列對(duì)應(yīng)哪個(gè)屬性。比如humidity是第三個(gè)被聲明的屬性那數(shù)據(jù)部分每行用逗號(hào)切開(kāi)后的第三個(gè)數(shù)就是 humidity 的值。最后一個(gè)聲明的屬性默認(rèn)被當(dāng)作 class 屬性在分類(lèi)或回歸任務(wù)里就是目標(biāo)變量。2.2 四種數(shù)據(jù)類(lèi)型與日期格式的寫(xiě)法WEKA 支持的屬性類(lèi)型有四種numeric數(shù)值型、nominal-specification分類(lèi)型用花括號(hào)列出所有可能取值、string字符串型、date [date-format]日期時(shí)間型。分類(lèi)型的寫(xiě)法是attribute outlook {sunny, overcast, rainy}花括號(hào)里的值區(qū)分大小寫(xiě)。日期型稍微特殊格式是attribute name date [date-format]默認(rèn)格式是 ISO-8601 的yyyy-MM-ddTHH:mm:ss。如果你數(shù)據(jù)里的日期是2024/01/15這種斜杠分隔的寫(xiě)法就必須在聲明里顯式指定date yyyy/MM/dd否則 WEKA 會(huì)把它當(dāng)成字符串或者直接解析失敗。下面是一個(gè)最小可用的 ARFF 模板你可以直接抄去改relation my_dataset attribute age numeric attribute income numeric attribute student {yes, no} attribute credit_rating {fair, excellent} attribute buys_computer {yes, no} data 25,50000,yes,fair,no 30,80000,no,excellent,yes 35,60000,yes,fair,yes這段聲明里age和income是數(shù)值型student、credit_rating、buys_computer是分類(lèi)型。buys_computer放在最后自動(dòng)成為目標(biāo)變量。數(shù)據(jù)部分每行五個(gè)值順序必須和屬性聲明完全一致少一個(gè)逗號(hào)或者多一個(gè)空格都可能讓 WEKA 讀出一堆問(wèn)號(hào)。注意ARFF 文件里不要用中文標(biāo)點(diǎn)逗號(hào)必須是英文逗號(hào)花括號(hào)和引號(hào)也必須是英文半角。我見(jiàn)過(guò)有人從 Word 里復(fù)制屬性名結(jié)果引號(hào)是彎的WEKA 直接報(bào)Unable to determine structure as arff。3. 把 CSV 和 Excel 喂給 WEKA轉(zhuǎn)換命令與 Explorer 預(yù)處理實(shí)操3.1 CSV 轉(zhuǎn) ARFF 的兩條路WEKA 原生支持 CSV但有個(gè)硬性要求CSV 第一行必須是屬性名。很多從 Matlab 導(dǎo)出的 CSV 沒(méi)有表頭Excel 另存為 CSV 時(shí)也可能丟掉表頭這時(shí)候直接丟給 WEKA它會(huì)把第一行數(shù)據(jù)當(dāng)成變量名后面全亂套。常見(jiàn)做法是先用 UltraEdit 或 VS Code 打開(kāi) CSV手工補(bǔ)一行屬性名屬性個(gè)數(shù)必須和數(shù)據(jù)列數(shù)一致用英文逗號(hào)隔開(kāi)。補(bǔ)好表頭之后轉(zhuǎn)換最快的方式是走 WEKA 的 Simple CLI。啟動(dòng) WEKA 主程序點(diǎn)下方Simple CLI按鈕在窗口最下方的輸入框里敲java weka.core.converters.CSVLoader bank-data.csv bank-data.arff這條命令調(diào)用CSVLoader類(lèi)讀取bank-data.csv把標(biāo)準(zhǔn)輸出重定向到bank-data.arff。注意路徑問(wèn)題如果 CSV 不在 WEKA 當(dāng)前工作目錄下要么寫(xiě)絕對(duì)路徑要么先cd過(guò)去。轉(zhuǎn)換完成后用文本編輯器打開(kāi) ARFF 檢查一下重點(diǎn)看attribute的類(lèi)型是不是合理——WEKA 會(huì)自動(dòng)推斷數(shù)值列給numeric文本列給nominal但有時(shí)候會(huì)把本該是分類(lèi)的列推斷成string那就需要手動(dòng)改。另一條路是在 Explorer 里操作打開(kāi) WEKA進(jìn)Explorer點(diǎn)Open file選 CSVWEKA 會(huì)彈窗問(wèn)你是否轉(zhuǎn)換確認(rèn)后直接加載。然后點(diǎn)Save按鈕在保存類(lèi)型里選.arff就能存成 ARFF。這條路適合不習(xí)慣命令行的新手但批量轉(zhuǎn)換時(shí)還是 CLI 更省事。3.2 Explorer 界面八個(gè)區(qū)域的分工Explorer 是 WEKA 用得最多的模塊界面可以分成八個(gè)區(qū)域來(lái)理解。區(qū)域 1 是頂部選項(xiàng)卡切換 Preprocess、Classify、Cluster、Associate、Select attributes、Visualize 等不同任務(wù)面板。區(qū)域 2 是常用按鈕包括打開(kāi)數(shù)據(jù)、保存、編輯、Undo。區(qū)域 3 是 Filter 選擇區(qū)點(diǎn)Choose會(huì)彈出一棵 Filter 樹(shù)數(shù)據(jù)預(yù)處理主要靠它。區(qū)域 4 顯示數(shù)據(jù)集的基本情況比如實(shí)例數(shù)、屬性數(shù)。區(qū)域 5 列出所有屬性勾選后點(diǎn)Remove可以刪列刪錯(cuò)了用區(qū)域 2 的Undo找回。區(qū)域 6 顯示選中屬性的摘要數(shù)值屬性和分類(lèi)屬性的摘要形式不一樣。區(qū)域 7 是直方圖如果最后一個(gè)屬性是分類(lèi)變量直方圖會(huì)按類(lèi)別比例分色。區(qū)域 8 是狀態(tài)欄右邊的 WEKA 鳥(niǎo)在動(dòng)說(shuō)明正在執(zhí)行任務(wù)右鍵狀態(tài)欄可以觸發(fā) Java 內(nèi)存垃圾回收。以bank-data.csv為例這個(gè)數(shù)據(jù)集有 id、age、sex、region、income、married、children、car、save_acct、current_acct、mortgage、pep 這些列。id 是唯一標(biāo)識(shí)對(duì)挖掘任務(wù)沒(méi)用在區(qū)域 5 勾選id然后點(diǎn)Remove刪掉。刪完后保存一次用文本編輯器打開(kāi) ARFF你會(huì)看到 WEKA 已經(jīng)為每個(gè)屬性自動(dòng)選好了類(lèi)型。3.3 數(shù)值屬性離散化Discretize Filter 的參數(shù)怎么設(shè)有些算法只能處理分類(lèi)型屬性比如 Apriori 關(guān)聯(lián)規(guī)則。bank-data里有三個(gè)數(shù)值型變量age、income、children。其中children只有 0、1、2、3 四個(gè)取值直接在 ARFF 文件里把a(bǔ)ttribute children numeric改成attribute children {0,1,2,3}就行改完在 Explorer 里重新打開(kāi)選中children看區(qū)域 6 的 Type 是不是變成了Nominal。age和income的離散化用DiscretizeFilter。在區(qū)域 3 點(diǎn)Choose逐級(jí)找到weka.filters.unsupervised.attribute.Discretize點(diǎn)擊后 Choose 旁邊的文本框會(huì)顯示Discretize -B 10 -M -0.1 -R first-last。點(diǎn)這個(gè)文本框彈出參數(shù)窗口把a(bǔ)ttributeIndices改成1,4對(duì)應(yīng) age 和 income 在屬性列表里的位置把bins改成3其他不動(dòng)點(diǎn) OK 回到 Explorer再點(diǎn)Apply。區(qū)域 5 里 age 和 income 就變成分類(lèi)屬性了取值形如(-inf-34.333333]。如果嫌這種區(qū)間標(biāo)識(shí)太晦澀保存 ARFF 后用文本編輯器把所有(-inf-34.333333]替換成0_34其他區(qū)間類(lèi)似處理。替換時(shí)注意引號(hào)ARFF 里帶特殊字符的 nominal 值需要用單引號(hào)包起來(lái)。attribute age {0_34,34_50,50_inf} attribute income {0_30k,30k_60k,60k_inf}這樣改完可讀性提升一大截后續(xù)看規(guī)則輸出也舒服得多。提示Discretize 的-M參數(shù)是useEqualFrequency默認(rèn)-M -0.1表示不啟用等頻分箱。如果你希望每個(gè)區(qū)間樣本數(shù)盡量均勻把-M勾上-0.1改成-1。4. 避坑與排查ARFF 讀取失敗、類(lèi)型推斷錯(cuò)誤和內(nèi)存溢出4.1 現(xiàn)象打開(kāi) ARFF 報(bào) “Unable to determine structure as arff”原因通常有三個(gè)文件里有中文標(biāo)點(diǎn)或不可見(jiàn)字符屬性聲明順序和數(shù)據(jù)列數(shù)對(duì)不上data后面有空行或者行尾有多余逗號(hào)。解決方法是先用文本編輯器的“顯示不可見(jiàn)字符”功能檢查一遍確保所有分隔符都是英文半角。然后數(shù)一下attribute的行數(shù)和數(shù)據(jù)部分每行的逗號(hào)數(shù)屬性數(shù)應(yīng)該等于逗號(hào)數(shù)加一。如果數(shù)據(jù)行末尾多了一個(gè)逗號(hào)WEKA 會(huì)認(rèn)為多了一列直接報(bào)錯(cuò)。4.2 現(xiàn)象CSV 轉(zhuǎn)換后第一行變成了屬性名數(shù)據(jù)少了一行原因就是 CSV 沒(méi)有表頭WEKA 把第一行數(shù)據(jù)當(dāng)成了屬性名。解決方法是手工補(bǔ)一行屬性名或者在轉(zhuǎn)換時(shí)用-H參數(shù)指定不把第一行當(dāng)表頭但這樣屬性名會(huì)變成att1、att2這種默認(rèn)名后續(xù)還得改。我一般直接補(bǔ)表頭雖然多一步但屬性名可控。4.3 現(xiàn)象數(shù)值列被推斷成 nominal或者 nominal 列被推斷成 stringWEKA 的自動(dòng)推斷基于采樣數(shù)據(jù)量小或者取值特殊時(shí)容易翻車(chē)。比如income列如果前幾行都是整數(shù)WEKA 給numeric但如果中間混了一個(gè)N/A就可能變成string。解決方法是轉(zhuǎn)換后打開(kāi) ARFF 手動(dòng)改attribute的類(lèi)型聲明。改完保存在 Explorer 里重新加載驗(yàn)證。4.4 現(xiàn)象Explorer 跑算法時(shí)卡死狀態(tài)欄的鳥(niǎo)一直動(dòng)但不出結(jié)果大概率是 Java 堆內(nèi)存不夠。WEKA 默認(rèn)堆內(nèi)存可能只有 512MB數(shù)據(jù)量稍大就撐不住。解決辦法是啟動(dòng) WEKA 時(shí)加-Xmx參數(shù)比如java -Xmx4g -jar weka.jar把最大堆內(nèi)存調(diào)到 4GB。Windows 下可以改RunWeka.ini里的maxheap值。另外右鍵狀態(tài)欄觸發(fā)垃圾回收只能臨時(shí)緩解根治還是得加內(nèi)存。4.5 現(xiàn)象Discretize 之后屬性值變成All或者只有一個(gè)區(qū)間原因通常是attributeIndices設(shè)錯(cuò)了或者選中的屬性本身就是 nominal 類(lèi)型。Discretize 只對(duì) numeric 屬性生效如果屬性已經(jīng)是 nominalFilter 會(huì)把它所有值歸到一個(gè)區(qū)間。解決方法是先確認(rèn)屬性類(lèi)型只對(duì) numeric 列做離散化并且attributeIndices用屬性在列表里的序號(hào)不是屬性名。5. 進(jìn)階技巧用 UltraEdit 批量改 ARFF 與交叉驗(yàn)證的實(shí)操細(xì)節(jié)5.1 批量替換 nominal 區(qū)間標(biāo)識(shí)的腳本化思路手工替換幾十個(gè)區(qū)間標(biāo)識(shí)很痛苦我一般用 UltraEdit 的“在文件中替換”功能或者寫(xiě)個(gè)簡(jiǎn)單的 Python 腳本處理。思路是讀入 ARFF 文件用正則匹配\(-inf-([\d.])\]這種模式替換成可讀的區(qū)間名。下面是一個(gè)示例腳本import re def simplify_arff_intervals(filepath): with open(filepath, r, encodingutf-8) as f: content f.read() # 匹配形如 (-inf-34.333333] 的區(qū)間標(biāo)識(shí) pattern r\(-inf-([\d.])\] def repl(match): upper float(match.group(1)) return f0_{int(upper)} content re.sub(pattern, repl, content) # 匹配形如 (34.333333-50] 的中間區(qū)間 pattern2 r\(([\d.])-([\d.])\] def repl2(match): lower int(float(match.group(1))) upper int(float(match.group(2))) return f{lower}_{upper} content re.sub(pattern2, repl2, content) with open(filepath, w, encodingutf-8) as f: f.write(content) simplify_arff_intervals(bank-data.arff)這段代碼先處理(-inf-上限]形式的下界無(wú)窮區(qū)間再處理(下限-上限]形式的中間區(qū)間。替換后的值不帶引號(hào)因?yàn)?_34這種字符串不包含特殊字符ARFF 解析器能直接識(shí)別。注意替換前備份原文件正則匹配不到的情況要人工檢查。5.2 在 Explorer 里跑交叉驗(yàn)證與查看規(guī)則輸出預(yù)處理完的數(shù)據(jù)可以直接在 Explorer 的 Classify 面板跑分類(lèi)。選一個(gè)算法比如trees.J48Test options 里選Cross-validationFolds 設(shè) 10點(diǎn)Start。右側(cè) Classifier output 會(huì)顯示準(zhǔn)確率、混淆矩陣和決策樹(shù)。如果跑的是 Associate 面板的 Apriori輸出的是關(guān)聯(lián)規(guī)則這時(shí)候之前離散化并簡(jiǎn)化過(guò)的區(qū)間名就派上用場(chǎng)了規(guī)則像age0_34 income0_30k buys_computerno這樣讀起來(lái)一目了然。我自己的習(xí)慣是每次拿到新數(shù)據(jù)先補(bǔ)表頭轉(zhuǎn) ARFF再刪 ID 列然后對(duì)數(shù)值列做 Discretize最后用腳本簡(jiǎn)化區(qū)間名。這套流程走完再跑算法基本不會(huì)在數(shù)據(jù)格式上翻車(chē)。從那以后我每次處理新數(shù)據(jù)集都強(qiáng)制走一遍這個(gè)檢查清單省下來(lái)的調(diào)試時(shí)間夠跑好幾輪實(shí)驗(yàn)了。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取