簡(jiǎn)介這份PPT課件面向Python數(shù)據(jù)分析初學(xué)者與高校學(xué)生系統(tǒng)梳理數(shù)據(jù)分析的概念、流程、應(yīng)用場(chǎng)景與常用工具幫助讀者建立完整的入門(mén)知識(shí)框架。課件共1個(gè)PPT文件壓縮包約4.07MB內(nèi)容以圖文并茂的幻燈片形式呈現(xiàn)便于課堂講解與自學(xué)翻閱。目前已有138人學(xué)習(xí)下載適合作為課程配套資料或自學(xué)參考。內(nèi)容涵蓋狹義數(shù)據(jù)分析與數(shù)據(jù)挖掘的區(qū)別、需求分析到部署的六步流程、客戶與營(yíng)銷(xiāo)及社交媒體等七類(lèi)應(yīng)用場(chǎng)景并對(duì)比R、Python、MATLAB三種語(yǔ)言的難易程度與適用領(lǐng)域介紹NumPy、Pandas、Matplotlib、Scikit-learn等核心庫(kù)及Anaconda發(fā)行版與Jupyter Notebook的安裝使用。讀者可借此快速掌握Python數(shù)據(jù)分析的整體脈絡(luò)為后續(xù)動(dòng)手實(shí)踐打下理論基礎(chǔ)。1. 數(shù)據(jù)分析知識(shí)地圖從概念到工具鏈的全景速覽很多人第一次翻開(kāi) Python 數(shù)據(jù)分析的教材看到的是「對(duì)比分析、分組分析、交叉分析、回歸分析」這一串名詞然后就開(kāi)始背概念。但真正梳理下來(lái)會(huì)發(fā)現(xiàn)這門(mén)課的知識(shí)地圖其實(shí)只有四條主線概念邊界、流程步驟、應(yīng)用場(chǎng)景、工具生態(tài)。概念邊界解決的是「數(shù)據(jù)分析到底在做什么」流程步驟解決的是「一個(gè)分析項(xiàng)目從哪開(kāi)始到哪結(jié)束」應(yīng)用場(chǎng)景解決的是「這些方法用在什么地方」工具生態(tài)解決的是「用什么語(yǔ)言、什么庫(kù)、什么環(huán)境去落地」。四條線串起來(lái)才是一張完整的復(fù)習(xí)地圖。這份筆記適合兩類(lèi)人一類(lèi)是正在系統(tǒng)學(xué) Python 數(shù)據(jù)分析、需要一份結(jié)構(gòu)化提綱來(lái)對(duì)照教材的人另一類(lèi)是已經(jīng)學(xué)過(guò)一輪、考前或面試前想快速查漏補(bǔ)缺的人。下面按模塊拆開(kāi)每個(gè)模塊都落到具體的知識(shí)點(diǎn)、易錯(cuò)點(diǎn)和復(fù)習(xí)動(dòng)作上不泛泛而談。2. 概念與流程數(shù)據(jù)分析的定義邊界和六步主線2.1 廣義數(shù)據(jù)分析的兩層結(jié)構(gòu)數(shù)據(jù)分析這個(gè)概念最容易翻車(chē)的地方是把「狹義數(shù)據(jù)分析」和「數(shù)據(jù)挖掘」混為一談。梳理下來(lái)會(huì)發(fā)現(xiàn)廣義的數(shù)據(jù)分析其實(shí)是一個(gè)包含關(guān)系層次核心動(dòng)作典型方法輸出狹義數(shù)據(jù)分析對(duì)已有數(shù)據(jù)做處理與分析對(duì)比分析、分組分析、交叉分析、回歸分析特征統(tǒng)計(jì)量結(jié)果數(shù)據(jù)挖掘從大量數(shù)據(jù)中挖掘潛在價(jià)值聚類(lèi)、分類(lèi)、回歸、關(guān)聯(lián)規(guī)則潛在模式與知識(shí)兩者的關(guān)鍵差別在于數(shù)據(jù)質(zhì)量前提和目標(biāo)。狹義數(shù)據(jù)分析面對(duì)的數(shù)據(jù)通常是已經(jīng)收集好的、相對(duì)規(guī)整的數(shù)據(jù)目標(biāo)是提取有價(jià)值的信息、得到一個(gè)特征統(tǒng)計(jì)量結(jié)果數(shù)據(jù)挖掘面對(duì)的是大量的、不完全的、有噪聲的、模糊的、隨機(jī)的實(shí)際應(yīng)用數(shù)據(jù)目標(biāo)是從中挖掘出潛在價(jià)值?？荚?yán)锝?jīng)常出的一道辨析題就是「對(duì)比分析屬于數(shù)據(jù)分析還是數(shù)據(jù)挖掘」答案是狹義數(shù)據(jù)分析因?yàn)樗歉鶕?jù)分析目的對(duì)收集來(lái)的數(shù)據(jù)進(jìn)行處理與分析不涉及從噪聲數(shù)據(jù)中挖掘模式。注意回歸分析在兩層里都出現(xiàn)了。作為狹義數(shù)據(jù)分析方法時(shí)它側(cè)重?cái)M合變量關(guān)系、得到統(tǒng)計(jì)量作為數(shù)據(jù)挖掘技術(shù)時(shí)它側(cè)重預(yù)測(cè)和模式發(fā)現(xiàn)。同一個(gè)詞在不同語(yǔ)境下的定位不同這是最容易混淆的考點(diǎn)之一。2.2 六步流程的先后邏輯典型的數(shù)據(jù)分析流程是六個(gè)步驟順序不能亂因?yàn)槊恳徊降妮斎胍蕾嚿弦徊降妮敵鲂枨蠓治龃_定分析的方向和方法。這是第一步也是最重要的步驟之一決定了后續(xù)所有工作的走向。數(shù)據(jù)獲取根據(jù)需求分析的結(jié)果提取、收集數(shù)據(jù)。數(shù)據(jù)是分析工作的基礎(chǔ)。數(shù)據(jù)預(yù)處理對(duì)數(shù)據(jù)進(jìn)行合并、清洗、變換和標(biāo)準(zhǔn)化使整體數(shù)據(jù)變?yōu)楦蓛粽R、可直接用于分析建模的狀態(tài)。分析與建模通過(guò)對(duì)比分析、分組分析、交叉分析、回歸分析等方法以及聚類(lèi)、分類(lèi)、關(guān)聯(lián)規(guī)則、智能推薦等模型與算法發(fā)現(xiàn)數(shù)據(jù)中的有價(jià)值信息并得出結(jié)論。模型評(píng)價(jià)與優(yōu)化根據(jù)模型的類(lèi)別使用不同的指標(biāo)評(píng)價(jià)其性能優(yōu)劣。部署將通過(guò)驗(yàn)證的數(shù)據(jù)分析結(jié)果與結(jié)論應(yīng)用至實(shí)際生產(chǎn)系統(tǒng)。這六步里復(fù)習(xí)時(shí)最容易被輕視的是需求分析和數(shù)據(jù)預(yù)處理。需求分析看起來(lái)像「廢話步驟」但它決定了你后面用什么方法、取什么數(shù)據(jù)、建什么模型。數(shù)據(jù)預(yù)處理看起來(lái)像「臟活累活」但它直接決定模型能不能跑、結(jié)果可不可信。實(shí)際項(xiàng)目里數(shù)據(jù)預(yù)處理往往占整個(gè)流程 60% 以上的時(shí)間這個(gè)比例在選擇題里也?？?。2.3 流程中的關(guān)鍵判斷點(diǎn)把六步流程背下來(lái)不難難的是理解每一步的「判斷點(diǎn)」在哪里。梳理下來(lái)有三個(gè)判斷點(diǎn)值得單獨(dú)記需求分析階段判斷分析目標(biāo)是描述性還是預(yù)測(cè)性。描述性目標(biāo)對(duì)應(yīng)對(duì)比、分組、交叉分析預(yù)測(cè)性目標(biāo)對(duì)應(yīng)回歸、分類(lèi)、聚類(lèi)。數(shù)據(jù)預(yù)處理階段判斷數(shù)據(jù)缺失的類(lèi)型和比例。缺失比例低可以直接刪除缺失比例高需要插補(bǔ)插補(bǔ)方法的選擇又取決于數(shù)據(jù)分布特征。模型評(píng)價(jià)階段判斷模型類(lèi)別。分類(lèi)模型看準(zhǔn)確率、召回率、F1回歸模型看均方誤差、決定系數(shù)聚類(lèi)模型看輪廓系數(shù)等內(nèi)部指標(biāo)。用錯(cuò)評(píng)價(jià)指標(biāo)是實(shí)操中最常見(jiàn)的翻車(chē)方式。提示流程六步在簡(jiǎn)答題里經(jīng)常要求「按順序?qū)懗霾⒑?jiǎn)要說(shuō)明」評(píng)分點(diǎn)通常落在每一步的「輸入」和「輸出」上而不是步驟名稱(chēng)本身。復(fù)習(xí)時(shí)建議用「輸入→動(dòng)作→輸出」的格式把每一步過(guò)一遍。3. 應(yīng)用場(chǎng)景七大類(lèi)場(chǎng)景的分析對(duì)象與落地方式3.1 客戶分析與營(yíng)銷(xiāo)分析客戶分析的核心是對(duì)客戶的基本數(shù)據(jù)信息進(jìn)行商業(yè)行為分析。具體動(dòng)作包括界定目標(biāo)客戶根據(jù)客戶需求、性質(zhì)、所處行業(yè)特征和經(jīng)濟(jì)狀況等基本信息使用統(tǒng)計(jì)分析方法和預(yù)測(cè)驗(yàn)證法分析目標(biāo)客戶提高銷(xiāo)售效率了解客戶的采購(gòu)過(guò)程根據(jù)采購(gòu)類(lèi)型和性質(zhì)進(jìn)行分類(lèi)分析制定不同營(yíng)銷(xiāo)策略根據(jù)已有客戶特征進(jìn)行客戶特征分析、客戶忠誠(chéng)分析、客戶注意力分析、客戶營(yíng)銷(xiāo)分析和客戶收益分析。營(yíng)銷(xiāo)分析則囊括了四類(lèi)子分析子分析分析目的關(guān)鍵動(dòng)作產(chǎn)品分析競(jìng)爭(zhēng)產(chǎn)品分析制定自身產(chǎn)品策略對(duì)標(biāo)競(jìng)品功能與定位價(jià)格分析成本分析降低不必要成本售價(jià)分析制定符合市場(chǎng)的價(jià)格成本拆解 定價(jià)策略渠道分析確定最優(yōu)的渠道配比各渠道轉(zhuǎn)化率與成本對(duì)比廣告與促銷(xiāo)分析結(jié)合客戶分析實(shí)現(xiàn)銷(xiāo)量提升、利潤(rùn)增加投放效果歸因這兩類(lèi)場(chǎng)景在復(fù)習(xí)時(shí)容易混淆。客戶分析的對(duì)象是「人」?fàn)I銷(xiāo)分析的對(duì)象是「產(chǎn)品和策略」。客戶分析為營(yíng)銷(xiāo)分析提供輸入營(yíng)銷(xiāo)分析是客戶分析的下游應(yīng)用。3.2 社交媒體分析與網(wǎng)絡(luò)安全社交媒體分析以不同社交媒體渠道生成的內(nèi)容為基礎(chǔ)實(shí)現(xiàn)三類(lèi)分析用戶分析根據(jù)注冊(cè)信息、登錄時(shí)間點(diǎn)和發(fā)表內(nèi)容分析用戶個(gè)人畫(huà)像和行為特征訪問(wèn)分析通過(guò)用戶平時(shí)訪問(wèn)的內(nèi)容分析興趣愛(ài)好進(jìn)而分析潛在商業(yè)價(jià)值互動(dòng)分析根據(jù)互相關(guān)注對(duì)象的行為預(yù)測(cè)該對(duì)象未來(lái)的某些行為特征。此外社交媒體分析還能為情感和輿情監(jiān)督提供豐富的資料。網(wǎng)絡(luò)安全場(chǎng)景的邏輯不同使用數(shù)據(jù)分析技術(shù)建立潛在攻擊識(shí)別分析模型監(jiān)測(cè)大量網(wǎng)絡(luò)活動(dòng)數(shù)據(jù)和相應(yīng)的訪問(wèn)行為識(shí)別可能進(jìn)行入侵的可疑模式做到未雨綢繆。這里的核心是「異常檢測(cè)」——正常行為建模偏離模型的行為標(biāo)記為可疑。3.3 設(shè)備管理、交通物流與欺詐行為檢測(cè)設(shè)備管理通過(guò)物聯(lián)網(wǎng)技術(shù)收集和分析設(shè)備上的數(shù)據(jù)流包括連續(xù)用電、零部件溫度、環(huán)境濕度和污染物顆粒等無(wú)數(shù)潛在特征建立設(shè)備管理模型預(yù)測(cè)設(shè)備故障合理安排預(yù)防性維護(hù)降低因設(shè)備故障帶來(lái)的安全風(fēng)險(xiǎn)。交通物流分析的對(duì)象是物品從供應(yīng)地向接收地的實(shí)體流動(dòng)。通過(guò)業(yè)務(wù)系統(tǒng)和定位系統(tǒng)獲得數(shù)據(jù)對(duì)客戶使用數(shù)據(jù)構(gòu)建交通狀況預(yù)測(cè)分析模型有效預(yù)測(cè)實(shí)時(shí)路況、物流狀況、車(chē)流量、客流量和貨物吞吐量進(jìn)而提前補(bǔ)貨、制定庫(kù)存管理策略。欺詐行為檢測(cè)的背景是身份信息泄露盜用事件逐年增長(zhǎng)隨之而來(lái)的是欺詐行為和交易的增多。公安機(jī)關(guān)、各大金融機(jī)構(gòu)、電信部門(mén)可利用用戶基本信息、用戶交易信息、用戶通話短信信息等數(shù)據(jù)識(shí)別可能發(fā)生的潛在欺詐交易做到提前預(yù)防。注意這七個(gè)場(chǎng)景在考試中常以「下列哪個(gè)不屬于數(shù)據(jù)分析應(yīng)用場(chǎng)景」或「某場(chǎng)景主要使用哪類(lèi)分析方法」的形式出現(xiàn)。復(fù)習(xí)時(shí)建議按「分析對(duì)象→數(shù)據(jù)來(lái)源→分析方法→輸出結(jié)果」四要素做一張對(duì)照表比單純背場(chǎng)景名稱(chēng)有效得多。4. 工具生態(tài)語(yǔ)言選型、核心類(lèi)庫(kù)與開(kāi)發(fā)環(huán)境4.1 R、Python、MATLAB 的選型對(duì)比目前主流的數(shù)據(jù)分析語(yǔ)言有三種R、Python、MATLAB。選型時(shí)看的維度包括學(xué)習(xí)難度、使用場(chǎng)景、第三方支持、流行領(lǐng)域和軟件成本維度RPythonMATLAB入門(mén)難度低一般一般使用場(chǎng)景數(shù)據(jù)分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、數(shù)據(jù)可視化數(shù)據(jù)分析、機(jī)器學(xué)習(xí)、矩陣運(yùn)算、科學(xué)數(shù)據(jù)可視化、數(shù)字圖像處理、web 應(yīng)用、網(wǎng)絡(luò)爬蟲(chóng)、系統(tǒng)運(yùn)維矩陣計(jì)算、數(shù)值分析、科學(xué)數(shù)據(jù)可視化、機(jī)器學(xué)習(xí)、符號(hào)計(jì)算、數(shù)字圖像處理、數(shù)字信號(hào)處理、仿真模擬第三方支持大量 Packages可調(diào)用 C、C、Fortran、Java大量第三方庫(kù)可簡(jiǎn)便調(diào)用 C、C、Fortran、Java大量專(zhuān)業(yè)工具箱新版本加入對(duì) C、C、Java 的支持流行領(lǐng)域工業(yè)界≈學(xué)術(shù)界工業(yè)界學(xué)術(shù)界工業(yè)界≤學(xué)術(shù)界軟件成本開(kāi)源免費(fèi)開(kāi)源免費(fèi)商業(yè)收費(fèi)這張表的復(fù)習(xí)重點(diǎn)是差異點(diǎn)R 入門(mén)難度最低Python 在工業(yè)界更流行MATLAB 是商業(yè)收費(fèi)且偏向?qū)W術(shù)界。選擇題?？肌改膫€(gè)語(yǔ)言在工業(yè)界和學(xué)術(shù)界流行度相當(dāng)」——答案是 R。4.2 Python 數(shù)據(jù)分析的五項(xiàng)優(yōu)勢(shì)Python 能成為數(shù)據(jù)分析主流語(yǔ)言靠的是五個(gè)方面的優(yōu)勢(shì)語(yǔ)法簡(jiǎn)單精練對(duì)初學(xué)者來(lái)說(shuō)比其他編程語(yǔ)言更容易上手。庫(kù)強(qiáng)大可以只使用 Python 這一種語(yǔ)言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。功能強(qiáng)大介于傳統(tǒng)腳本語(yǔ)言和系統(tǒng)語(yǔ)言之間既有腳本語(yǔ)言的簡(jiǎn)單易用又提供編譯語(yǔ)言的高級(jí)軟件工程工具。研究和生產(chǎn)通用不僅適用于研究和原型構(gòu)建也適用于構(gòu)建生產(chǎn)系統(tǒng)。研究人員和工程技術(shù)人員使用同一種編程工具會(huì)給企業(yè)帶來(lái)顯著的組織效益并降低運(yùn)營(yíng)成本。膠水語(yǔ)言Python 程序能以多種方式輕易地與其他語(yǔ)言的組件「粘接」在一起。這五點(diǎn)里第四點(diǎn)「研究和生產(chǎn)通用」是最容易被忽略的。很多教材只強(qiáng)調(diào) Python 好上手但真正讓它在企業(yè)里站穩(wěn)腳跟的是「同一套工具鏈從原型到生產(chǎn)不用換語(yǔ)言」這個(gè)特性。4.3 五大核心類(lèi)庫(kù)的分工Python 數(shù)據(jù)分析的常用類(lèi)庫(kù)有五個(gè)各自的分工非常明確IPython是科學(xué)計(jì)算標(biāo)準(zhǔn)工具集的組成部分。它是一個(gè)增強(qiáng)的 Python shell目的是提高編寫(xiě)、測(cè)試、調(diào)試 Python 代碼的速度主要用于交互式數(shù)據(jù)并行處理是分布式計(jì)算的基礎(chǔ)架構(gòu)提供了一個(gè)類(lèi)似于 Mathematica 的 HTML 筆記本一個(gè)基于 Qt 框架的 GUI 控制臺(tái)具有繪圖、多行編輯以及語(yǔ)法高亮顯示等功能。NumPyNumerical Python是 Python 科學(xué)計(jì)算的基礎(chǔ)包。核心能力包括快速高效的多維數(shù)組對(duì)象 ndarray對(duì)數(shù)組執(zhí)行元素級(jí)計(jì)算以及直接對(duì)數(shù)組執(zhí)行數(shù)學(xué)運(yùn)算的函數(shù)讀寫(xiě)硬盤(pán)上基于數(shù)組的數(shù)據(jù)集的工具線性代數(shù)運(yùn)算、傅里葉變換以及隨機(jī)數(shù)生成的功能將 C、C、Fortran 代碼集成到 Python 的工具。SciPy是專(zhuān)門(mén)解決科學(xué)計(jì)算中各種標(biāo)準(zhǔn)問(wèn)題域的模塊集合主要包含 8 個(gè)模塊子模塊功能scipy.integrate數(shù)值積分例程和微分方程求解器scipy.linalg擴(kuò)展 numpy.linalg 的線性代數(shù)例程和矩陣分解功能scipy.optimize函數(shù)優(yōu)化器最小化器以及根查找算法scipy.signal信號(hào)處理工具scipy.sparse稀疏矩陣和稀疏線性系統(tǒng)求解器scipy.specialSPECFUN 的包裝器實(shí)現(xiàn)了許多常用數(shù)學(xué)函數(shù)的 Fortran 庫(kù)scipy.stats檢驗(yàn)連續(xù)和離散概率分布、各種統(tǒng)計(jì)檢驗(yàn)方法以及更好的描述統(tǒng)計(jì)法scipy.weave利用內(nèi)聯(lián) C 代碼加速數(shù)組計(jì)算的工具Pandas是數(shù)據(jù)分析核心庫(kù)。提供了一系列能夠快速、便捷地處理結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)和函數(shù)高性能的數(shù)組計(jì)算功能以及電子表格和關(guān)系型數(shù)據(jù)庫(kù)如 SQL靈活的數(shù)據(jù)處理功能復(fù)雜精細(xì)的索引功能以便便捷地完成重塑、切片和切塊、聚合及選取數(shù)據(jù)子集等操作。Matplotlib是繪制數(shù)據(jù)圖表的 Python 庫(kù)。它是 Python 的 2D 繪圖庫(kù)非常適合創(chuàng)建出版物上用的圖表操作比較容易只需幾行代碼即可生成直方圖、功率譜圖、條形圖、錯(cuò)誤圖和散點(diǎn)圖等圖形提供了 pylab 模塊其中包括 NumPy 和 pyplot 中許多常用的函數(shù)方便用戶快速進(jìn)行計(jì)算和繪圖交互式的數(shù)據(jù)繪圖環(huán)境繪制的圖表也是交互式的。提示這五個(gè)庫(kù)的辨析題高頻考點(diǎn)是「誰(shuí)負(fù)責(zé)什么」。NumPy 負(fù)責(zé)底層數(shù)組計(jì)算Pandas 負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)處理Matplotlib 負(fù)責(zé)可視化SciPy 負(fù)責(zé)科學(xué)計(jì)算標(biāo)準(zhǔn)問(wèn)題IPython 負(fù)責(zé)交互式開(kāi)發(fā)環(huán)境。記住這條分工鏈選擇題基本不會(huì)錯(cuò)。4.4 Anaconda 與 Jupyter Notebook 的定位Anaconda 是 Python 的一個(gè)發(fā)行版提供了大量的數(shù)據(jù)分析工具和庫(kù)。它的價(jià)值在于「一次安裝常用庫(kù)全有」省去了逐個(gè) pip install 的麻煩。Jupyter Notebook 則是基于 Web 的交互式開(kāi)發(fā)環(huán)境支持多行編輯、語(yǔ)法高亮、繪圖內(nèi)嵌顯示適合做數(shù)據(jù)探索和結(jié)果展示。一個(gè)典型的 Jupyter Notebook 工作流如下# 導(dǎo)入核心庫(kù)這是每個(gè)數(shù)據(jù)分析 notebook 的標(biāo)準(zhǔn)開(kāi)頭 import numpy as np import pandas as pd import matplotlib.pyplot as plt # 讀取數(shù)據(jù)假設(shè)是 CSV 文件 df pd.read_csv(data.csv) # 快速查看數(shù)據(jù)概況行數(shù)、列數(shù)、類(lèi)型、缺失情況 print(df.shape) print(df.info()) print(df.describe()) # 簡(jiǎn)單可視化某數(shù)值列的分布 df[value_column].hist(bins30) plt.title(Distribution of value_column) plt.show()這段代碼的邏輯是先導(dǎo)入 NumPy、Pandas、Matplotlib 三個(gè)核心庫(kù)然后用 Pandas 讀取 CSV 數(shù)據(jù)接著用shape、info()、describe()三個(gè)方法快速了解數(shù)據(jù)概況最后用 Matplotlib 畫(huà)一個(gè)直方圖看分布。參數(shù)說(shuō)明bins30表示直方圖分 30 個(gè)區(qū)間區(qū)間數(shù)越多圖形越細(xì)但噪聲也越大通常 20 到 50 之間比較合適。plt.show()在 Jupyter Notebook 里可以省略但在腳本模式下必須寫(xiě)否則圖像不會(huì)顯示。5. 易漏點(diǎn)與易錯(cuò)點(diǎn)五條高頻翻車(chē)清單5.1 易漏點(diǎn)一需求分析被當(dāng)成走過(guò)場(chǎng)為什么漏需求分析看起來(lái)沒(méi)有技術(shù)含量很多人在復(fù)習(xí)時(shí)直接跳過(guò)只記后面五個(gè)步驟。但需求分析決定了后續(xù)的分析方向和方法是整個(gè)流程的起點(diǎn)。怎么補(bǔ)復(fù)習(xí)時(shí)把需求分析拆成三個(gè)問(wèn)題——分析目標(biāo)是什么描述還是預(yù)測(cè)、需要什么數(shù)據(jù)、用什么方法。這三個(gè)問(wèn)題答不上來(lái)后面的步驟就是空中樓閣。5.2 易漏點(diǎn)二數(shù)據(jù)預(yù)處理的具體內(nèi)容記不全為什么漏數(shù)據(jù)預(yù)處理包含四個(gè)動(dòng)作——數(shù)據(jù)合并、數(shù)據(jù)清洗、數(shù)據(jù)變換、數(shù)據(jù)標(biāo)準(zhǔn)化。很多人只記得「清洗」把另外三個(gè)漏掉。怎么補(bǔ)用「合、清、變、標(biāo)」四個(gè)字做口訣。合并是把多源數(shù)據(jù)拼在一起清洗是處理缺失值和異常值變換是改變數(shù)據(jù)形式如歸一化、離散化標(biāo)準(zhǔn)化是統(tǒng)一量綱。5.3 易錯(cuò)點(diǎn)三混淆狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘的方法歸屬為什么錯(cuò)對(duì)比分析、分組分析、交叉分析、回歸分析既出現(xiàn)在狹義數(shù)據(jù)分析里回歸又出現(xiàn)在數(shù)據(jù)挖掘里?？荚嚂r(shí)容易把聚類(lèi)、分類(lèi)、關(guān)聯(lián)規(guī)則誤歸到狹義數(shù)據(jù)分析。怎么補(bǔ)記住一條分界線——狹義數(shù)據(jù)分析的方法是「對(duì)收集來(lái)的數(shù)據(jù)做處理與分析」數(shù)據(jù)挖掘的方法是「從大量、不完全、有噪聲的數(shù)據(jù)中挖掘潛在價(jià)值」。聚類(lèi)、分類(lèi)、關(guān)聯(lián)規(guī)則、智能推薦屬于數(shù)據(jù)挖掘。5.4 易錯(cuò)點(diǎn)四模型評(píng)價(jià)指標(biāo)用錯(cuò)類(lèi)別為什么錯(cuò)模型評(píng)價(jià)要根據(jù)模型類(lèi)別選擇不同指標(biāo)。分類(lèi)模型和回歸模型的評(píng)價(jià)指標(biāo)完全不同聚類(lèi)模型又有一套內(nèi)部指標(biāo)。復(fù)習(xí)時(shí)如果不按類(lèi)別整理很容易張冠李戴。怎么補(bǔ)按模型類(lèi)別做一張指標(biāo)對(duì)照表——分類(lèi)看準(zhǔn)確率、召回率、F1回歸看均方誤差、決定系數(shù)聚類(lèi)看輪廓系數(shù)。做題時(shí)先判斷模型類(lèi)別再選指標(biāo)。5.5 易漏點(diǎn)五工具庫(kù)的分工邊界模糊為什么漏NumPy、Pandas、Matplotlib、SciPy、IPython 五個(gè)庫(kù)都能處理數(shù)據(jù)復(fù)習(xí)時(shí)容易記成「它們差不多」。但每個(gè)庫(kù)的定位完全不同考試常考「某個(gè)功能屬于哪個(gè)庫(kù)」。怎么補(bǔ)用一句話記住每個(gè)庫(kù)的核心定位——NumPy 管數(shù)組Pandas 管表格Matplotlib 管畫(huà)圖SciPy 管科學(xué)計(jì)算IPython 管交互環(huán)境。遇到具體功能時(shí)先問(wèn)「它操作的是什么對(duì)象」再對(duì)應(yīng)到庫(kù)。6. 復(fù)習(xí)清單從知識(shí)地圖到查漏補(bǔ)缺的落地方法復(fù)習(xí)到最后一輪最有效的方式不是重新翻教材而是拿一張白紙按下面的清單逐項(xiàng)自測(cè)。每一項(xiàng)如果能用自己的話講清楚就算過(guò)關(guān)講不清楚的回到對(duì)應(yīng)章節(jié)補(bǔ)。第一塊概念辨析廣義數(shù)據(jù)分析包含哪兩層各自的目標(biāo)和方法是什么狹義數(shù)據(jù)分析和數(shù)據(jù)挖掘的數(shù)據(jù)質(zhì)量前提有什么不同回歸分析在兩層里分別扮演什么角色第二塊流程六步六步流程的順序是什么每一步的輸入和輸出分別是什么哪一步?jīng)Q定了后續(xù)分析的方向和方法數(shù)據(jù)預(yù)處理包含哪四個(gè)動(dòng)作模型評(píng)價(jià)階段分類(lèi)模型和回歸模型分別用什么指標(biāo)第三塊應(yīng)用場(chǎng)景七個(gè)應(yīng)用場(chǎng)景分別是什么各自的分析對(duì)象和數(shù)據(jù)來(lái)源是什么客戶分析和營(yíng)銷(xiāo)分析的關(guān)系是什么網(wǎng)絡(luò)安全場(chǎng)景的核心分析邏輯是什么第四塊工具生態(tài)R、Python、MATLAB 三者在入門(mén)難度、流行領(lǐng)域、軟件成本上的差異是什么Python 數(shù)據(jù)分析的五項(xiàng)優(yōu)勢(shì)分別是什么NumPy、Pandas、Matplotlib、SciPy、IPython 各自的核心定位是什么SciPy 的 8 個(gè)子模塊分別解決什么問(wèn)題Anaconda 和 Jupyter Notebook 在工具鏈中分別扮演什么角色第五塊實(shí)操檢查打開(kāi) Jupyter Notebook完成以下動(dòng)作# 1. 導(dǎo)入三個(gè)核心庫(kù) import numpy as np import pandas as pd import matplotlib.pyplot as plt # 2. 創(chuàng)建一個(gè)簡(jiǎn)單的 DataFrame data {name: [A, B, C, D], score: [85, 92, 78, 95], age: [20, 21, 19, 22]} df pd.DataFrame(data) # 3. 查看數(shù)據(jù)概況 print(df.info()) print(df.describe()) # 4. 按條件篩選 print(df[df[score] 80]) # 5. 畫(huà)一個(gè)散點(diǎn)圖 plt.scatter(df[age], df[score]) plt.xlabel(Age) plt.ylabel(Score) plt.title(Age vs Score) plt.show()這段代碼覆蓋了 Pandas 的 DataFrame 創(chuàng)建、數(shù)據(jù)概況查看、條件篩選以及 Matplotlib 的散點(diǎn)圖繪制。參數(shù)說(shuō)明df[df[score] 80]是布爾索引返回 score 大于 80 的所有行plt.scatter的前兩個(gè)參數(shù)分別是 x 軸和 y 軸數(shù)據(jù)。如果這段代碼能獨(dú)立寫(xiě)出來(lái)并解釋每一行的含義實(shí)操部分基本過(guò)關(guān)。我自己的習(xí)慣是考前三天不再看新內(nèi)容只拿這張清單逐項(xiàng)過(guò)。過(guò)不去的項(xiàng)標(biāo)記出來(lái)第二天重點(diǎn)補(bǔ)。從那以后我每次復(fù)習(xí)數(shù)據(jù)分析概述這部分都強(qiáng)制走一遍「概念→流程→場(chǎng)景→工具→實(shí)操」五步不再?gòu)念^翻書(shū)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取