簡(jiǎn)介面向大數(shù)據(jù)課程實(shí)驗(yàn)七的 Spark 初級(jí)編程實(shí)踐完整報(bào)告適合正在學(xué)習(xí) Hadoop/Spark 環(huán)境搭建與 Scala 獨(dú)立應(yīng)用開發(fā)的本科學(xué)生。文檔基于 Ubuntu Kylin 16.04 虛擬機(jī)、Hadoop 3.1.3、JDK 1.8 和 Spark 環(huán)境完整記錄從安裝啟動(dòng)到編程驗(yàn)證的過程包括通過 spark-shell 讀取本地文件與 HDFS 文件并統(tǒng)計(jì)行數(shù)以及實(shí)現(xiàn) SimpleApp、RemDup、AvgScore 三個(gè) Scala 獨(dú)立應(yīng)用覆蓋 sbt 打包、spark-submit 提交運(yùn)行和結(jié)果輸出。資源包為 1 個(gè) docx 文檔大小約 1.9MB正文包含實(shí)驗(yàn)環(huán)境、代碼清單、運(yùn)行截圖及常見問題排查對(duì)提交課程實(shí)驗(yàn)報(bào)告或復(fù)習(xí) Spark 入門操作有直接參考價(jià)值。已有 8345 人瀏覽學(xué)習(xí)適合按步驟對(duì)照復(fù)現(xiàn)。1. Spark初級(jí)編程實(shí)踐最值錢的不是代碼是三條文件路徑一份Spark初級(jí)編程實(shí)踐的實(shí)驗(yàn)記錄通常被當(dāng)成課程作業(yè)看待裝好Hadoop和Spark啟動(dòng)spark-shell寫幾個(gè)Scala獨(dú)立應(yīng)用跑完交差。但這份實(shí)驗(yàn)記錄真正值錢的部分藏在出現(xiàn)的問題那一節(jié)里——三個(gè)報(bào)錯(cuò)全部指向同一個(gè)大坑文件路徑寫錯(cuò)。file:///少打一個(gè)斜杠、把HDFS根目錄當(dāng)成~、URL前面多了個(gè)空格每一個(gè)都能讓新手卡半小時(shí)以上。這篇文章把環(huán)境搭建、Spark讀取本地與HDFS文件、數(shù)據(jù)去重、求平均值整條鏈路拆開講保留完整可復(fù)現(xiàn)的代碼和踩坑記錄適合正在做類似課程實(shí)驗(yàn)、或者剛接觸Spark想獨(dú)立跑通一個(gè)Scala項(xiàng)目的開發(fā)者。2. 環(huán)境安裝與Scala項(xiàng)目骨架sbt spark-submit 這套組合為什么繞不開2.1 版本搭配Hadoop 3.1.3 配 JDK 1.8 是最省事的組合先看清楚這份實(shí)驗(yàn)的運(yùn)行底座主機(jī)Windows 10虛擬機(jī)Ubuntu 16.04ubuntukylin上面裝Hadoop 3.1.3和SparkJDK用1.8。這套組合是很多高校大數(shù)據(jù)課程的標(biāo)準(zhǔn)配置。JDK必須用1.8因?yàn)镾park 2.x依賴Java 8的運(yùn)行時(shí)特性裝更高版本反而會(huì)碰到模塊化訪問限制之類的兼容問題。裝Hadoop和Spark的路徑要固定下來后續(xù)所有命令都依賴這兩個(gè)位置。常見布局是# 解壓到固定路徑 tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local tar -zxvf spark-*.tgz -C /usr/local # 重命名方便管理 mv /usr/local/hadoop-3.1.3 /usr/local/hadoop mv /usr/local/spark-* /usr/local/spark # 配置環(huán)境變量寫入 ~/.bashrc export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME/usr/local/hadoop export SPARK_HOME/usr/local/spark export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SPARK_HOME/binsource ~/.bashrc之后用hadoop version和spark-shell --version驗(yàn)證變量是否生效。注意Spark本身不強(qiáng)制依賴Hadoop啟動(dòng)但讀寫HDFS時(shí)必須能找到Hadoop配置。所以實(shí)驗(yàn)里Spark的HDFS訪問依賴Hadoop的core-site.xml和hdfs-site.xml這兩個(gè)文件不配好后續(xù)sc.textFile(hdfs://...)會(huì)報(bào)錯(cuò)找不到文件系統(tǒng)。2.2 用 ./bin/spark-shell 驗(yàn)證安裝但別只把它當(dāng)驗(yàn)證工具安裝完成后實(shí)驗(yàn)記錄里的第一個(gè)命令是cd /usr/local/spark ./bin/spark-shell看到一堆日志后進(jìn)入scala提示符就算成功了。spark-shell本質(zhì)是Spark的交互式客戶端它啟動(dòng)的時(shí)候會(huì)自動(dòng)創(chuàng)建SparkContext對(duì)象sc所以你不需要自己寫new SparkContext(conf)就能直接調(diào)sc.textFile。新手很容易把spark-shell當(dāng)成命令行工具來用但它真正的價(jià)值是快速驗(yàn)證一段數(shù)據(jù)處理的邏輯對(duì)不對(duì)——比如你想確認(rèn)某個(gè)文件路徑寫法是否合法、某種RDD轉(zhuǎn)換是否報(bào)錯(cuò)先在spark-shell里敲一遍比寫了完整應(yīng)用再打包提交快得多。我自己做開發(fā)時(shí)凡是涉及新路徑、新數(shù)據(jù)源一定先在spark-shell里做冒煙測(cè)試。2.3 sbt 最小配置三行必填項(xiàng)之外還有一個(gè)關(guān)鍵參數(shù)獨(dú)立應(yīng)用必須用sbt打包這是Spark官方推薦的Scala構(gòu)建方式。實(shí)驗(yàn)里simple.sbt的內(nèi)容是最小配置我把它拆開解釋name : SimpleProject version : 1.0 scalaVersion : 2.11.8 libraryDependencies org.apache.spark %% spark-core % 2.1.0name決定JAR包文件名前綴scalaVersion必須和Spark編譯時(shí)用的Scala版本一致比如Spark 2.x通常配Scala 2.11版本不一致會(huì)出現(xiàn)NoSuchMethodErrorlibraryDependencies里的%%表示sbt會(huì)自動(dòng)追加Scala版本號(hào)到依賴坐標(biāo)比如實(shí)際解析成spark-core_2.11。提示spark-core的版本號(hào)應(yīng)該和你安裝的Spark版本嚴(yán)格對(duì)應(yīng)。實(shí)驗(yàn)用的Spark如果解壓后目錄名里帶版本號(hào)比如spark-2.1.0-bin-hadoop2.7那么這里就寫2.1.0。版本對(duì)不上打包能過運(yùn)行時(shí)會(huì)拋ClassNotFoundException。代碼目錄結(jié)構(gòu)必須是sbt標(biāo)準(zhǔn)布局項(xiàng)目根目錄/ ├── simple.sbt └── src/ └── main/ └── scala/ └── SimpleApp.scala在項(xiàng)目根目錄執(zhí)行/usr/local/sbt/sbt package執(zhí)行完會(huì)在target/scala-2.11/下生成JAR包。sbt首次運(yùn)行會(huì)下載依賴慢是正常的耐心等。如果卡住檢查網(wǎng)絡(luò)或者換成國內(nèi)鏡像倉庫。2.4 spark-submit 提交參數(shù)--class 后面跟的是全限定類名打包之后用spark-submit提交/usr/local/spark/bin/spark-submit --class SimpleApp \ /usr/local/spark/mycode/HDFStest/target/scala-2.11/a-simple-hdfs-test_2.11-1.0.jar--class后面是Scala對(duì)象名對(duì)應(yīng)代碼里的object SimpleApp注意不帶.scala后綴也不帶包名時(shí)直接寫類名。JAR包路徑要寫成實(shí)際生成的文件名如果simple.sbt里的name定義成了a-simple-hdfs-test那么JAR就是a-simple-hdfs-test_2.11-1.0.jar。這里有個(gè)容易翻車的地方spark-submit執(zhí)行時(shí)當(dāng)前Shell會(huì)把命令行里的路徑做一次轉(zhuǎn)義路徑里如果混入空格或者引號(hào)沒配對(duì)提交后報(bào)的錯(cuò)誤會(huì)非常難排查。實(shí)驗(yàn)記錄里URISyntaxException那條就是這么來的后面避坑章節(jié)細(xì)說。3. 數(shù)據(jù)讀取與行數(shù)統(tǒng)計(jì)本地文件和HDFS的兩條路徑差異3.1 讀取本地文件file:/// 三個(gè)斜杠一個(gè)都不能少打開spark-shell讀取Linux本地文件并統(tǒng)計(jì)行數(shù)正確寫法如下val textFile sc.textFile(file:///home/hadoop/test.txt) textFile.count()這里file:///是三個(gè)斜杠協(xié)議是file后面跟絕對(duì)路徑。很多人寫成file://home/hadoop/test.txt兩個(gè)斜杠或直接寫/home/hadoop/test.txt都會(huì)出問題。直接寫絕對(duì)路徑時(shí)Spark默認(rèn)把它當(dāng)HDFS路徑處理本地模式下有時(shí)能蒙混過關(guān)但如果你同時(shí)配了Hadoop集群配置就會(huì)被解析成hdfs://localhost:9000/home/hadoop/test.txt文件不存在就報(bào)錯(cuò)。實(shí)驗(yàn)里還出現(xiàn)了一個(gè)特例sc.textFile(file:///usr/local/hadoop/1.txt)這個(gè)寫法和你當(dāng)前登錄用戶無關(guān)只要這個(gè)文件對(duì)當(dāng)前進(jìn)程有讀權(quán)限就能讀。用戶是hadoop文件在hadoop用戶目錄下權(quán)限天然滿足。3.2 讀取HDFS文件根目錄不是 ~而是 /user/hadoopHDFS的讀取先要保證文件已經(jīng)上傳。先在Linux終端準(zhǔn)備數(shù)據(jù)echo 這是第一行 test.txt echo 這是第二行 test.txt hdfs dfs -mkdir -p /user/hadoop hdfs dfs -put test.txt /user/hadoop/test.txt上傳后建議先用hdfs dfs -ls /user/hadoop確認(rèn)文件真的存在再進(jìn)spark-shellval hdfsFile sc.textFile(/user/hadoop/test.txt) hdfsFile.count()這里的路徑為什么不是~因?yàn)閪是Shell層面的概念展開后是/home/hadoop而HDFS是獨(dú)立文件系統(tǒng)它的根目錄是/。對(duì)于Hadoop用戶名hadoopHDFS默認(rèn)用戶目錄是/user/hadoop。如果直接用sc.textFile(~/test.txt)Spark根本不會(huì)做Shell式展開它會(huì)原樣把~/test.txt當(dāng)成路徑去NameNode查詢結(jié)果自然是InvalidInputException: Input path does not exist。如果HDFS的默認(rèn)塊大小、副本數(shù)都配好了也可以寫完整HDFS協(xié)議路徑val hdfsFile sc.textFile(hdfs://localhost:9000/user/hadoop/test.txt)端口號(hào)要和core-site.xml里fs.defaultFS的一致默認(rèn)單機(jī)偽分布式是hdfs://localhost:9000。3.3 獨(dú)立應(yīng)用讀取HDFSSimpleApp 從源碼到運(yùn)行全流程spark-shell里適合做驗(yàn)證但正式交付要用獨(dú)立應(yīng)用。SimpleApp.scala的完整代碼如下import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object SimpleApp { def main(args: Array[String]) { val conf new SparkConf().setAppName(Simple Application) val sc new SparkContext(conf) val textFile sc.textFile(hdfs://localhost:9000/user/hadoop/test.txt) println(文件行數(shù) textFile.count()) sc.stop() } }代碼邏輯拆解第1步創(chuàng)建SparkConf并設(shè)置應(yīng)用名這個(gè)名字會(huì)顯示在Spark Web UI的Application列表里方便查看運(yùn)行狀態(tài)和日志第2步基于conf創(chuàng)建SparkContext它是所有RDD操作的入口第3步用hdfs://localhost:9000前綴顯式指定文件系統(tǒng)避免依賴默認(rèn)配置第4步count()是一個(gè)行動(dòng)算子觸發(fā)真正的分布式計(jì)算。注意sc.stop()必須寫在最后。不釋放SparkContext任務(wù)結(jié)束后JVM不會(huì)退出spark-submit會(huì)一直掛在那里。配套的simple.sbt如下name : a-simple-hdfs-test version : 1.0 scalaVersion : 2.11.8 libraryDependencies org.apache.spark %% spark-core % 2.1.0打包提交命令和上一章一致。運(yùn)行成功后終端會(huì)輸出文件行數(shù)4這里的4是實(shí)驗(yàn)里test.txt的實(shí)際行數(shù)。3.4 三種路徑寫法對(duì)比到底什么時(shí)候用哪種整理成一張表遇到路徑問題先查這張表寫法適用場(chǎng)景常見錯(cuò)誤file:///home/hadoop/test.txt讀取Linux本地文件少寫一個(gè)/報(bào)IllegalArgumentException/user/hadoop/test.txt讀取HDFS文件走默認(rèn)配置誤用~/報(bào)InvalidInputExceptionhdfs://localhost:9000/user/hadoop/test.txt顯式指定HDFS協(xié)議和端口端口號(hào)不匹配報(bào)連接失敗/home/hadoop/test.txtSpark可同時(shí)訪問本地和HDFS默認(rèn)解析邏輯取決于配置配置了HDFS后會(huì)被解析到HDFS路徑最后一種寫法最迷惑人sc.textFile(/home/hadoop/test.txt)在沒裝Hadoop的機(jī)器上讀本地文件沒問題但一旦Spark知道HDFS地址同樣的代碼就會(huì)去HDFS找路徑行為完全變了。所以我的習(xí)慣是本地文件永遠(yuǎn)帶file:///前綴HDFS文件永遠(yuǎn)寫/user/開頭的完整路徑不做任何省略。4. 數(shù)據(jù)去重與平均值計(jì)算兩個(gè)獨(dú)立應(yīng)用帶你走通完整開發(fā)流程4.1 文件合并去重union 和 distinct 的配合數(shù)據(jù)去重的需求很典型文件A和文件B各有若干行日期 事件記錄合并后去掉完全重復(fù)的行。輸入樣例里A有6行、B有5行合并后共11行其中20170102 y和20170103 x在兩文件里都有去重后剩9行。RemDup.scala的完整實(shí)現(xiàn)import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object RemDup { def main(args: Array[String]) { val conf new SparkConf().setAppName(Remove Duplication) val sc new SparkContext(conf) val fileA sc.textFile(file:///home/hadoop/A.txt) val fileB sc.textFile(file:///home/hadoop/B.txt) val lines fileA.union(fileB) val distinctLines lines.distinct() distinctLines.saveAsTextFile(file:///home/hadoop/C_result) sc.stop() } }逐行說邏輯textFile讀入后每個(gè)RDD的元素就是一行字符串union把兩個(gè)RDD縱向拼接成10個(gè)元素的RDD只做合并不做任何去重distinct()對(duì)全部行做shuffle去重把完全相同的文本行去掉saveAsTextFile把結(jié)果寫入目標(biāo)目錄。saveAsTextFile有一個(gè)非常隱蔽的坑它要求目標(biāo)目錄在HDFS上不存在或者本地文件系統(tǒng)目錄不存在。如果C_result已經(jīng)存在Spark會(huì)直接拋FileAlreadyExistsException。所以每次重跑之前必須先手工刪除舊輸出目錄rm -rf /home/hadoop/C_result如果輸出是寫到HDFS的/user/hadoop/C_result刪除命令就換成hdfs dfs -rm -r /user/hadoop/C_result。提到輸出結(jié)果的排序問題使用distinct()之后數(shù)據(jù)的順序是無保證的。實(shí)驗(yàn)樣例里的輸出看起來是按日期排列的那是因?yàn)檩斎胛募旧碛行騯nion之后shuffle量小碰巧保留了大致順序。如果你需要精確的排序結(jié)果必須在distinct()之后加一次sortByval sortedLines distinctLines.sortBy(line line.split( )(0))4.2 求平均值groupByKey 和 mapValues 的分組聚合寫法平均值案例是三個(gè)文件Algorithm、Database、Python每行格式都是姓名 成績(jī)。要求輸出每個(gè)學(xué)生的平均成績(jī)并保留兩位小數(shù)。先把數(shù)據(jù)文件放進(jìn)同一個(gè)目錄mkdir -p /home/hadoop/datas echo 小明 92 /home/hadoop/datas/Algorithm.txt echo 小紅 87 /home/hadoop/datas/Algorithm.txt # 其他成績(jī)行省略AvgScore.scala完整代碼import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object AvgScore { def main(args: Array[String]) { val conf new SparkConf().setAppName(Average Score) val sc new SparkContext(conf) val data sc.textFile(file:///home/hadoop/datas) val lines data.map(line line.split( )) val scores lines.map(arr (arr(0), arr(1).toInt)) val avgScores scores.groupByKey().mapValues(iter { val sum iter.sum val count iter.size math.round(sum.toDouble / count * 100.0) / 100.0 }) val result avgScores.map(x ( x._1 , x._2 )) result.saveAsTextFile(file:///home/hadoop/avg_result) sc.stop() } }數(shù)據(jù)處理鏈路拆開講textFile讀取目錄時(shí)Spark會(huì)把datas目錄下的所有文件作為輸入每個(gè)文件的行都會(huì)進(jìn)入同一個(gè)RDD所以不需要手動(dòng)union三個(gè)文件第一段map用空格split切出兩個(gè)字段第二段map把成績(jī)字段從字符串轉(zhuǎn)成Int同時(shí)構(gòu)造出(name, score)鍵值對(duì)groupByKey()把相同姓名的所有成績(jī)歸并到一個(gè)迭代器mapValues對(duì)整個(gè)成績(jī)序列求和、計(jì)數(shù)并計(jì)算平均值。保留兩位小數(shù)的寫法有講究。math.round(x * 100.0) / 100.0在Scala里返回的是Double比如83.6666會(huì)變成83.67但要注意它做的是四舍五入而不是截?cái)?。如果想?yán)格用截?cái)嗄Ｊ娇梢杂肂igDecimal的setScale(2, BigDecimal.RoundingMode.HALF_UP)。另一個(gè)細(xì)節(jié)sc.textFile讀目錄而不指定具體文件時(shí)Spark只認(rèn)這個(gè)目錄下的文件不遞歸讀子目錄。如果你的成績(jī)數(shù)據(jù)分散在嵌套目錄里要用data.map配合通配符或者改用wholeTextFiles。4.3 兩個(gè)獨(dú)立應(yīng)用的共性套路讀-轉(zhuǎn)-聚合-寫走到這一步能發(fā)現(xiàn)Spark獨(dú)立應(yīng)用的骨架高度統(tǒng)一創(chuàng)建上下文讀入數(shù)據(jù)用map逐行解析成結(jié)構(gòu)化鍵值對(duì)再用groupByKey或reduceByKey這類聚合算子完成核心邏輯最后saveAsTextFile落盤。這個(gè)套路覆蓋了大部分課程實(shí)驗(yàn)和入門項(xiàng)目。reduceByKey和groupByKey的選擇值得多說一句。實(shí)驗(yàn)里用groupByKey實(shí)現(xiàn)平均值性能上有隱患同一個(gè)key的所有value會(huì)被全部拉到同一個(gè)節(jié)點(diǎn)如果某位學(xué)生的成績(jī)記錄特別多可能出現(xiàn)數(shù)據(jù)傾斜。對(duì)平均值這種可以先局部求和再全局合并的場(chǎng)景combineByKey和reduceByKey是更好的選擇。不過課程實(shí)驗(yàn)的數(shù)據(jù)量小groupByKey邏輯直觀優(yōu)先保證跑通優(yōu)化留到真實(shí)場(chǎng)景。5. 避坑手冊(cè)三個(gè)真實(shí)異常的排查記錄5.1 IllegalArgumentExceptionfile:/// 少打了一個(gè)斜杠現(xiàn)象在spark-shell里用sc.textFile(file:///home/hadoop/test.txt)統(tǒng)計(jì)行數(shù)結(jié)果報(bào)IllegalArgumentException異常信息指向URI解析失敗。原因把file:///寫成了file://。file://這種寫法在URI標(biāo)準(zhǔn)里表示協(xié)議后跟一個(gè)空authoritySpark解析時(shí)會(huì)認(rèn)為URI格式不合法。實(shí)驗(yàn)記錄里當(dāng)事人寫的錯(cuò)誤路徑是file:///usr/local/hadoop/1.txt少了一個(gè)斜杠實(shí)際正確寫法是file:///usr/local/hadoop/1.txt三個(gè)斜杠里第三個(gè)是根目錄/的開始。解決數(shù)清楚斜杠數(shù)量。file:///home/hadoop/test.txt從右往左拆解file:是協(xié)議//是分隔符/home/hadoop/test.txt是絕對(duì)路徑所以協(xié)議后一共是三個(gè)斜杠。不放心的話在Spark Shell里先打印路徑確認(rèn)val p new java.net.URI(file:///home/hadoop/test.txt) println(p.getPath)如果輸出的是/home/hadoop/test.txt說明解析正確如果報(bào)錯(cuò)或者getPath和預(yù)期不符就是斜杠數(shù)量有問題。5.2 InvalidInputExceptionHDFS 根目錄不是 ~現(xiàn)象讀取HDFS文件時(shí)執(zhí)行sc.textFile(~/test.txt)或sc.textFile(hdfs://localhost:9000/~/test.txt)報(bào)InvalidInputException提示Input path does not exist。原因把Linux Shell里的~符號(hào)直接套在了HDFS路徑上。~是Bash的展開語法HDFS的路徑解析器不認(rèn)識(shí)它。正確路徑應(yīng)該是/user/hadoop/test.txt因?yàn)镠adoop用戶hadoop在HDFS上的home目錄就是/user/hadoop而這個(gè)/user/hadoop和Linux的/home/hadoop完全無關(guān)它是HDFS命名空間里的一個(gè)邏輯目錄。解決先確認(rèn)文件在HDFS的真實(shí)位置再寫路徑。hdfs dfs -ls /user/hadoop/看輸出結(jié)果里有沒有test.txt。同時(shí)可以用hdfs dfs -pwd查看當(dāng)前HDFS路徑不過新版Hadoop里這個(gè)命令改名了最保險(xiǎn)的做法是hdfs dfs -ls /一級(jí)一級(jí)往里找。找到真實(shí)路徑后改寫Spark代碼里的路徑參數(shù)。5.3 URISyntaxException路徑里藏了一個(gè)空格現(xiàn)象運(yùn)行RemDup或AvgScore的JAR包時(shí)報(bào)java.net.URISyntaxException: Illegal character in scheme name at index 0然后定位到textFile調(diào)用那一行。原因這一條最隱蔽。異常信息里的at index 0說明URI字符串的第一個(gè)字符就非法——實(shí)際原因是路徑字符串最前面有一個(gè)不可見或可見的空格導(dǎo)致Spark把hdfs://...整體當(dāng)成一個(gè)scheme去解析。這通常發(fā)生在復(fù)制粘貼代碼時(shí)引號(hào)前不小心帶了空格或者命令行傳參時(shí)URL前多敲了一個(gè)空格。解決肉眼檢查代碼里所有字符串常量前后有沒有多余空白特別是在textFile(...)的引號(hào)內(nèi)。用編輯器開啟顯示空白字符功能最直觀。我在自己的開發(fā)環(huán)境里配置了保存時(shí)自動(dòng)去掉行尾空格這類問題就被直接消滅了。5.4 三類問題背后的通用排查規(guī)律這三個(gè)異常放在一起看本質(zhì)都是URI/路徑字符串不符合Spark解析器的預(yù)期格式。排查順序總結(jié)如下第1步用println把傳給textFile的完整字符串打出來肉眼核對(duì)有沒有空格、斜杠數(shù)量、協(xié)議前綴第2步確認(rèn)目標(biāo)文件在對(duì)應(yīng)文件系統(tǒng)里真實(shí)存在本地用ls -l、HDFS用hdfs dfs -ls第3步如果報(bào)錯(cuò)信息里有at index N的數(shù)字直接數(shù)那一位是什么字符往往就是答案。6. 驗(yàn)證結(jié)果與提交習(xí)慣每次跑完Spark作業(yè)后我必做的三件事6.1 用系統(tǒng)命令交叉驗(yàn)證Spark輸出Spark的count()結(jié)果到底準(zhǔn)不準(zhǔn)我從第1次實(shí)驗(yàn)開始就不敢全信每次都用Linux原生命令交叉驗(yàn)證。本地文件用wc -l /home/hadoop/test.txtHDFS文件用hdfs dfs -cat /user/hadoop/test.txt | wc -l兩個(gè)數(shù)字對(duì)得上才敢繼續(xù)往下走。去重和平均值任務(wù)直接查看輸出目錄里的part文件cat /home/hadoop/C_result/part-00000 cat /home/hadoop/avg_result/part-00000看到的結(jié)果如果和預(yù)期一致這個(gè)作業(yè)才算真正跑通。6.2 輸出目錄的先刪后跑習(xí)慣saveAsTextFile不能覆蓋已存在目錄這個(gè)限制讓很多人第二次運(yùn)行同一個(gè)JAR包時(shí)直接翻車。我養(yǎng)成的習(xí)慣是在每條spark-submit命令前加一個(gè)刪除命令rm -rf /home/hadoop/C_result /usr/local/spark/bin/spark-submit --class RemDup \ /home/hadoop/sparkapp2/RemDup/target/scala-2.11/remove-duplication_2.11-1.0.jar這樣保證了無論上一次運(yùn)行結(jié)果是成功還是失敗輸出目錄一定是干凈的。6.3 提交前先走一遍路徑三連查寫這份實(shí)驗(yàn)記錄的人踩了三次路徑坑而真實(shí)的項(xiàng)目環(huán)境里路徑問題出現(xiàn)的概率比這還高。從那以后我每次執(zhí)行spark-submit之前都會(huì)強(qiáng)制自己走一遍三連查第一步查輸入路徑本地文件用ls、HDFS文件用hdfs dfs -ls確認(rèn)文件在第二步查輸出路徑確認(rèn)目錄不存在或者已刪除第三步查提交命令里的JAR包路徑直接復(fù)制target/scala-2.11/目錄下的實(shí)際文件名不手敲。三連查全程不超過30秒但幫我省下過無數(shù)次定位為什么找不到文件的遠(yuǎn)程調(diào)試。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取