NumPy 是 Python 科學(xué)計(jì)算生態(tài)里繞不開(kāi)的基石不管你是做數(shù)據(jù)分析、機(jī)器學(xué)習(xí)還是信號(hào)處理第一個(gè) import 的庫(kù)十有八九就是它。老實(shí)說(shuō)我最早接觸 NumPy 的時(shí)候也以為它就是個(gè)高級(jí)列表后來(lái)踩過(guò)一堆關(guān)于廣播、維度的坑才意識(shí)到真正理解核心函數(shù)和它們的內(nèi)部邏輯才是高效使用 Python 做計(jì)算的分水嶺。這篇文章我把 NumPy 的核心函數(shù)從頭到尾整理一遍從環(huán)境搭建、數(shù)組創(chuàng)建、基礎(chǔ)操作到廣播機(jī)制、聚合函數(shù)、索引切片、線(xiàn)性代數(shù)再到高頻踩坑的排查實(shí)錄。每個(gè)函數(shù)都配了理論說(shuō)明、可直接運(yùn)行的代碼示例和實(shí)際輸出結(jié)果。適合剛?cè)腴T(mén)想系統(tǒng)學(xué) NumPy 的新手也適合已經(jīng)用過(guò) pandas 但對(duì)底層數(shù)組邏輯一知半解、想補(bǔ)上這塊短板的朋友。文章會(huì)比較長(zhǎng)建議先收藏再慢慢看。1. 搭建 NumPy 環(huán)境 - 別在第一步就卡住1.1 安裝方法與版本選擇的血淚教訓(xùn)很多教程會(huì)直接把pip install numpy甩給你但實(shí)際上安裝這一步就能勸退不少人。我見(jiàn)過(guò)最典型的幾個(gè)場(chǎng)景pip 裝到一半報(bào)錯(cuò)、安裝了以后 import 失敗、和 pandas 版本不兼容甚至還有 conda 環(huán)境和 pip 環(huán)境互相覆蓋的混亂局面。先說(shuō)最基礎(chǔ)的安裝。Python 3.x 環(huán)境下直接用 pip 安裝一般就夠了pip install numpy如果你用的是 Anaconda 發(fā)行版通常 NumPy 已經(jīng)預(yù)裝好了可以用conda list | grep numpy確認(rèn)版本。需要指定版本時(shí)pip install numpy1.26.4這里有一個(gè)非常關(guān)鍵的細(xì)節(jié)NumPy 的版本和 Python 版本有嚴(yán)格的對(duì)應(yīng)關(guān)系。比如 NumPy 1.x 最高支持到 Python 3.11 附近Python 3.12 及以上版本再裝 NumPy 1.x 就會(huì)直接報(bào)錯(cuò)常見(jiàn)的報(bào)錯(cuò)提示是找不到對(duì)應(yīng)的 wheel 文件。遇到這種情況要么把 NumPy 升級(jí)到 2.x要么換回 Python 3.11 及以下版本。裝完之后立刻驗(yàn)證一下import numpy as np print(np.__version__)能正常打印出版本號(hào)說(shuō)明環(huán)境沒(méi)問(wèn)題。如果你是新手我強(qiáng)烈建議在虛擬環(huán)境里操作python -m venv myenv source myenv/bin/activate # Windows 下是 myenv\Scripts\activate pip install numpy這樣做的目的是隔離依賴(lài)避免不同項(xiàng)目的包互相干擾。我早期圖省事直接往全局環(huán)境里懟包結(jié)果某次升級(jí)把另一個(gè)項(xiàng)目的 scipy 搞崩了白白浪費(fèi)了半天時(shí)間排查。提示如果你遇到numpy 版本不匹配這類(lèi)報(bào)錯(cuò)多半是某個(gè)依賴(lài)庫(kù)比如 pandas、scikit-learn對(duì) NumPy 版本有硬性要求。先不要盲目升級(jí) NumPy用pip list看看現(xiàn)有版本再?zèng)Q定怎么調(diào)整。1.2 從 Python 列表到 Ndarray - 為什么要用 NumPy很多人會(huì)問(wèn)Python 原生列表明明也能存數(shù)、也能遍歷為什么非要 NumPy答案就三個(gè)字性能和向量化。Python 原生列表里每個(gè)元素都是一個(gè) Python 對(duì)象內(nèi)存分散類(lèi)型也不固定解釋器每次操作都要做類(lèi)型檢查。而 NumPy 的 ndarrayN 維數(shù)組在內(nèi)存里是連續(xù)存儲(chǔ)的所有元素類(lèi)型一致操作直接落到 C 語(yǔ)言層面執(zhí)行。這意味著同樣一個(gè)求和操作數(shù)據(jù)量越大NumPy 的優(yōu)勢(shì)越明顯。我做過(guò)一個(gè)簡(jiǎn)單測(cè)試對(duì) 1000 萬(wàn)個(gè)隨機(jī)數(shù)求和純 Python 循環(huán)耗時(shí)大約 2 秒多而np.sum()耗時(shí)只有幾十毫秒差距接近幾十倍。根本原因是純 Python 循環(huán)在解釋器層面逐元素迭代而 NumPy 把循環(huán)下沉到了編譯好的 C 代碼里還利用了底層的高效內(nèi)存訪(fǎng)問(wèn)模式。另外NumPy 的向量化寫(xiě)法還能讓代碼更簡(jiǎn)潔。同樣計(jì)算 每個(gè)元素加 1 再取平方用 Python 列表寫(xiě)法需要寫(xiě)循環(huán)用 NumPy 只需要一行x np.array([1, 2, 3, 4]) result (x 1) ** 2這背后就是后面要講的 ufunc通用函數(shù)機(jī)制它天然支持逐元素操作同時(shí)還支持廣播。理解了這個(gè)區(qū)別你就能明白為什么所有科學(xué)計(jì)算庫(kù)都要拿 NumPy 當(dāng)?shù)讓印皇且驗(yàn)樗糜枚且驗(yàn)樗愕每烨覍?xiě)得省。2. 數(shù)組創(chuàng)建與基礎(chǔ)操作 - 一切計(jì)算的起點(diǎn)2.1 最常用的創(chuàng)建函數(shù)與參數(shù)細(xì)節(jié)NumPy 的數(shù)組創(chuàng)建函數(shù)有好幾十個(gè)但真正日常高頻使用的就那幾個(gè)。我把它們按用途分了個(gè)類(lèi)搭配示例和輸出結(jié)果一起說(shuō)。從已有數(shù)據(jù)創(chuàng)建import numpy as np # 從列表創(chuàng)建dtype 會(huì)自動(dòng)推斷 a np.array([1, 2, 3]) print(a, a.dtype) # 輸出: [1 2 3] int64 # 顯式指定類(lèi)型 b np.array([1.5, 2.5, 3.5], dtypenp.float32) print(b, b.dtype) # 輸出: [1.5 2.5 3.5] float32 # 二維數(shù)組 c np.array([[1, 2], [3, 4]]) print(c.shape) # 輸出: (2, 2)np.array()是萬(wàn)物之源。注意一個(gè)坑如果你傳入的嵌套列表每行長(zhǎng)度不一致NumPy 在舊版本會(huì)給出一個(gè)不規(guī)則數(shù)組的警告在更嚴(yán)格的版本里可能直接報(bào)錯(cuò)。所以創(chuàng)建二維數(shù)組前務(wù)必保證子列表長(zhǎng)度相同。按規(guī)則生成序列# np.arange: 類(lèi)似 range但支持浮點(diǎn)步長(zhǎng) d np.arange(0, 10, 2) print(d) # 輸出: [0 2 4 6 8] # np.linspace: 在閉區(qū)間內(nèi)生成等間隔的 n 個(gè)數(shù) e np.linspace(0, 1, 5) print(e) # 輸出: [0. 0.25 0.5 0.75 1. ]np.arange和np.linspace很容易混淆。簡(jiǎn)單說(shuō)arange指定的是步長(zhǎng)終點(diǎn)是到不到無(wú)所謂的開(kāi)區(qū)間邏輯類(lèi)似 rangelinspace指定的是數(shù)量終點(diǎn)必然包含在內(nèi)。做坐標(biāo)軸、采樣點(diǎn)這類(lèi)任務(wù)linspace更常用因?yàn)樗芫_控制點(diǎn)的數(shù)量不會(huì)因?yàn)楦↑c(diǎn)誤差導(dǎo)致最后一個(gè)點(diǎn)丟失。全零、全一、單位矩陣zeros np.zeros((3, 4)) ones np.ones((2, 3)) eye np.eye(3) full np.full((2, 2), 7) print(zeros) # 輸出: # [[0. 0. 0. 0.] # [0. 0. 0. 0.] # [0. 0. 0. 0.]] print(eye) # 輸出: # [[1. 0. 0.] # [0. 1. 0.] # [0. 0. 1.]]這三個(gè)函數(shù)在初始化權(quán)重矩陣、構(gòu)造 one-hot 編碼、生成掩碼矩陣時(shí)幾乎是標(biāo)配。np.full可能用得少一些但它能生成任意填充值的數(shù)組比zeros之后再全部賦值要高效得多。隨機(jī)數(shù)生成# 標(biāo)準(zhǔn)正態(tài)分布形狀 (2, 3) r np.random.randn(2, 3) print(r) # 輸出示例每次運(yùn)行不同: # [[ 0.124 0.203 -0.455] # [ 1.012 -0.876 0.334]] # 均勻分布 [0, 1)形狀 (2, 2) u np.random.rand(2, 2) # 固定種子保證可復(fù)現(xiàn) np.random.seed(42) r2 np.random.randn(3)注意np.random.randn()是生成標(biāo)準(zhǔn)正態(tài)分布均值為 0方差為 1如果需要其他均值和方差要自己做變換均值 標(biāo)準(zhǔn)差 * np.random.randn(...)。另外現(xiàn)代 NumPy 推薦用np.random.default_rng()這種新式隨機(jī)數(shù)生成器但在大多數(shù)教程和老項(xiàng)目里np.random.seed()依然隨處可見(jiàn)理解兩者區(qū)別即可日常寫(xiě)代碼用哪個(gè)都不影響功能。2.2 數(shù)據(jù)類(lèi)型與形狀管理 - 這兩個(gè)概念搞不清就處處碰壁數(shù)組的dtype數(shù)據(jù)類(lèi)型決定了每個(gè)元素占多少內(nèi)存以及運(yùn)算時(shí)的精度。NumPy 的類(lèi)型體系比 Python 原生類(lèi)型更精細(xì)最常見(jiàn)的幾個(gè)dtype說(shuō)明取值范圍int8 / int16 / int32 / int64有符號(hào)整數(shù)位數(shù)不同范圍不同uint8無(wú)符號(hào)整數(shù)0 到 255float16 / float32 / float64浮點(diǎn)數(shù)半精度、單精度、雙精度complex64 / complex128復(fù)數(shù)實(shí)部虛部各占一半bool布爾值True / False有個(gè)日常很容易踩的坑整數(shù)除法精度損失。兩個(gè)整數(shù)數(shù)組相除結(jié)果會(huì)被強(qiáng)制向下取整為整數(shù)a np.array([1, 2, 3]) b np.array([2, 2, 2]) print(a / b) # 輸出: [0 1 1]注意是整數(shù)除法但實(shí)際上 NumPy 的/運(yùn)算符執(zhí)行的是真除法結(jié)果應(yīng)該是浮點(diǎn)數(shù)[0.5 1. 1.5]。如果你看到整數(shù)結(jié)果大概率是數(shù)組本身是 int 類(lèi)型而運(yùn)算符或函數(shù)把它按整數(shù)處理了。需要浮點(diǎn)結(jié)果時(shí)先做astype(float)轉(zhuǎn)換a_float a.astype(np.float64) print(a_float / b) # 輸出: [0.5 1. 1.5]形狀管理上reshape是最常用的。關(guān)鍵在于reshape 不改變數(shù)據(jù)在內(nèi)存中的順序只是重新解釋維度。例如arr np.arange(6) print(arr) # 輸出: [0 1 2 3 4 5] print(arr.reshape(2, 3)) # 輸出: # [[0 1 2] # [3 4 5]]reshape(-1, n)這種寫(xiě)法很實(shí)用-1 表示這個(gè)維度由 NumPy 自動(dòng)推導(dǎo)。比如不知道有多少行但確定要 4 列直接寫(xiě)arr.reshape(-1, 4)就行。ravel()和flatten()都能把多維數(shù)組展平區(qū)別是flatten()永遠(yuǎn)返回原數(shù)組的副本ravel()在可能的情況下返回視圖不復(fù)制數(shù)據(jù)。涉及大規(guī)模數(shù)組時(shí)這個(gè)區(qū)別直接影響內(nèi)存占用。判斷是視圖還是副本可以用np.shares_memory()檢查。提示對(duì)視圖的修改會(huì)同步影響到原數(shù)組。如果你只是想臨時(shí)展平做操作而不想污染原始數(shù)據(jù)直接用flatten()更安全。3. 核心運(yùn)算函數(shù) - 向量化才是靈魂3.1 廣播機(jī)制 - 理解了這個(gè)就理解了 NumPy 的一半廣播broadcasting是 NumPy 里最核心也最容易被誤解的機(jī)制。它的本質(zhì)是當(dāng)兩個(gè)數(shù)組形狀不一致時(shí)NumPy 自動(dòng)把較小的數(shù)組拉伸到和較大數(shù)組相同的形狀再進(jìn)行逐元素運(yùn)算。具體規(guī)則可以概括為三點(diǎn)從尾部維度開(kāi)始比較兩個(gè)數(shù)組的形狀維度相等或者其中一個(gè)為 1或者其中一個(gè)缺失都視為兼容兼容的維度按較大的那個(gè)作為輸出維度維度為 1 的數(shù)組會(huì)沿該方向擴(kuò)展。看個(gè)最經(jīng)典的例子一維數(shù)組加標(biāo)量。a np.array([1, 2, 3]) print(a 10) # 輸出: [11 12 13]這里的 10 被廣播成了[10, 10, 10]再逐元素相加。這就是前面提到的向量化體驗(yàn)——沒(méi)有循環(huán)沒(méi)有列表推導(dǎo)式一行搞定。再看二維數(shù)組和一維數(shù)組相加matrix np.array([[1, 2, 3], [4, 5, 6]]) row np.array([10, 20, 30]) print(matrix row) # 輸出: # [[11 22 33] # [14 25 36]]這里row形狀是 (3,)和matrix的 (2, 3) 從尾部對(duì)齊第一維缺失視為 1于是擴(kuò)展成 (2, 3) 再逐行相加。這個(gè)操作在數(shù)據(jù)預(yù)處理里極其常用——比如給特征矩陣的每一列減去該列的均值就是data np.random.randn(100, 5) mean data.mean(axis0) # 形狀 (5,) centered data - mean一次減法完成所有列的均值去除沒(méi)有任何循環(huán)。但廣播也有翻車(chē)的時(shí)候。最典型的報(bào)錯(cuò)就是ValueError: operands could not be broadcast together。比如一個(gè)形狀 (3, 2) 的數(shù)組和另一個(gè)形狀 (3,) 的數(shù)組相加從尾部對(duì)齊第一個(gè)維度 2 和 3 不相等且沒(méi)有一個(gè)是 1直接報(bào)錯(cuò)。遇到這種報(bào)錯(cuò)排查思路很固定打印兩個(gè)數(shù)組的.shape從尾部開(kāi)始逐個(gè)維度對(duì)比找有沒(méi)有維度為 1 的或者維度缺失的情況如果確實(shí)需要讓它們對(duì)齊用reshape手動(dòng)加一個(gè)長(zhǎng)度為 1 的維度比如arr[:, np.newaxis]。這里有個(gè)實(shí)戰(zhàn)技巧。假設(shè)你要用一個(gè)形狀為 (n,) 的一維權(quán)重?cái)?shù)組去乘一個(gè) (n, m) 的矩陣期望每列乘以對(duì)應(yīng)的權(quán)重。直接matrix * weights會(huì)報(bào)錯(cuò)或產(chǎn)生錯(cuò)誤結(jié)果取決于形狀是否碰巧兼容。正確做法是把weights變成列向量weights np.array([1, 2, 3]) matrix np.array([[1, 2, 3], [4, 5, 6]]) result matrix * weights[:, np.newaxis] print(result) # 輸出: # [[1 4 9] # [4 10 18]]如果不加np.newaxis廣播會(huì)按行操作結(jié)果完全不一樣。這種維度對(duì)齊的細(xì)節(jié)是大量廣播 bug 的根源寫(xiě)代碼時(shí)一定要養(yǎng)成檢查形狀的習(xí)慣。3.2 聚合函數(shù)與通用函數(shù)通用函數(shù)ufunc是 NumPy 對(duì)數(shù)組逐元素執(zhí)行運(yùn)算的函數(shù)集合比如np.add、np.multiply、np.exp、np.sqrt、np.sin等。它們的共同特征是輸入一個(gè)或多個(gè)數(shù)組輸出一個(gè)數(shù)組且逐元素獨(dú)立計(jì)算。我一貫的經(jīng)驗(yàn)是能用一個(gè) ufunc 解決的絕不寫(xiě) Python 循環(huán)。因?yàn)?ufunc 直接操作連續(xù)內(nèi)存而且避免了 Python 層級(jí)的逐元素開(kāi)銷(xiāo)。舉幾個(gè)高頻使用場(chǎng)景x np.array([1, 4, 9, 16]) print(np.sqrt(x)) # 輸出: [1. 2. 3. 4.] print(np.exp(x)) # 輸出: [2.71828183e00 ... 8.88611052e06] print(np.log(x)) # 對(duì) 0 和負(fù)數(shù)會(huì)警告輸出 nan print(np.sin(x))注意np.log對(duì)非正數(shù)會(huì)輸出nan或-inf并附帶警告。處理真實(shí)數(shù)據(jù)時(shí)要先做清洗或使用np.where過(guò)濾掉非正值。聚合函數(shù)是把整個(gè)數(shù)組或某個(gè)方向歸約為一個(gè)值。日常最常用的包括arr np.array([[1, 2, 3], [4, 5, 6]]) print(arr.sum()) # 輸出: 21全部求和 print(arr.sum(axis0)) # 輸出: [5 7 9]沿行方向壓縮得到每列的和 print(arr.sum(axis1)) # 輸出: [6 15]沿列方向壓縮得到每行的和 print(arr.mean()) # 輸出: 3.5 print(arr.max(axis1)) # 輸出: [3 6] print(arr.argmax(axis0)) # 輸出: [1 1 1]每列最大值所在的行下標(biāo)axis參數(shù)是初學(xué)者最容易懵的地方。我的理解方式是axis 指定的是要消掉的維度。axis0就是把第 0 維行方向合并掉結(jié)果里剩下的是每一列的信息axis1就是把第 1 維列方向合并掉剩下的是每一行的信息。這個(gè)理解在任意維度上都成立。argmax/argmin返回的是最值所在的索引這在很多場(chǎng)景下比直接取最值更有用。比如找驗(yàn)證集上準(zhǔn)確率最高的 epoch就是np.argmax(val_accuracies)。另外推薦一個(gè)容易被忽略的函數(shù)np.clip它把數(shù)組值裁剪到指定范圍內(nèi)data np.array([0.1, 2.5, -1.3, 4.0]) print(np.clip(data, 0, 1)) # 輸出: [0.1 1. 0. 1. ]這個(gè)函數(shù)在處理梯度裁剪、圖像像素范圍限制時(shí)極其常用一行代碼解決邊界約束這種需求。3.3 線(xiàn)性代數(shù)函數(shù) - 科學(xué)計(jì)算的硬核內(nèi)容NumPy 的線(xiàn)性代數(shù)模塊放在np.linalg下是科學(xué)計(jì)算里最常被調(diào)用的部分。包括矩陣乘法、行列式、逆矩陣、特征值分解等。先說(shuō)最基礎(chǔ)的矩陣乘法很多人會(huì)混淆*和np.dotA np.array([[1, 2], [3, 4]]) B np.array([[5, 6], [7, 8]]) print(A * B) # 逐元素相乘Hadamard 積 # 輸出: # [[ 5 12] # [21 32]] print(A.dot(B)) # 矩陣乘法 # 輸出: # [[19 22] # [43 50]] print(np.matmul(A, B)) # 等價(jià)于 A.dot(B)逐元素相乘和矩陣乘法的區(qū)別是很多新手認(rèn)識(shí) NumPy 運(yùn)算的一道坎。簡(jiǎn)單說(shuō)*是廣播后的逐元素對(duì)應(yīng)相乘要求兩個(gè)數(shù)組形狀完全一致或可廣播.dot()和才是真正的線(xiàn)性代數(shù)意義上的矩陣乘法要求 A 的列數(shù)等于 B 的行數(shù)。Python 3.5 之后推薦直接用運(yùn)算符更直觀C A B行列式和逆矩陣的應(yīng)用場(chǎng)景非常集中。解線(xiàn)性方程組、判斷矩陣是否可逆、計(jì)算變換的縮放比例都離不開(kāi)它們M np.array([[1, 2], [3, 4]]) det np.linalg.det(M) print(det) # 輸出: -2.0000000000000004 inv np.linalg.inv(M) print(inv) # 輸出: # [[-2. 1. ] # [ 1.5 -0.5]]注意兩點(diǎn)。第一det接近 0 的矩陣是奇異矩陣求逆會(huì)失敗或產(chǎn)生巨大數(shù)值誤差所以工程上先算行列式或條件數(shù)再?zèng)Q定是否求逆。第二NumPy 的浮點(diǎn)運(yùn)算會(huì)有極小的舍入誤差比如行列式 -2 在輸出時(shí)變成了 -2.0000000000000004這是正常的不要以為是 bug。特征值和特征向量的計(jì)算eigenvalues, eigenvectors np.linalg.eig(M) print(eigenvalues) # 輸出: [-0.37228132 5.37228132] print(eigenvectors) # 輸出: # [[-0.82456484 -0.41597356] # [ 0.56576746 -0.90937671]]在機(jī)器學(xué)習(xí)里PCA 降維就是靠np.linalg.eig或np.linalg.svd實(shí)現(xiàn)的。SVD奇異值分解是更數(shù)值穩(wěn)定的選擇U, S, Vt np.linalg.svd(M)還有解線(xiàn)性方程組直接用np.linalg.solveA np.array([[2, 1], [1, 1]]) b np.array([3, 2]) x np.linalg.solve(A, b) print(x) # 輸出: [1. 1.]手動(dòng)驗(yàn)證一下2×1 1×1 31×1 1×1 2完全正確。盡量不用inv(A).dot(b)解方程solve底層用的是 LU 分解數(shù)值穩(wěn)定性更好、速度更快。順帶提一句熱搜詞里那個(gè)python 行列式計(jì)算不使用 numpy的需求很多時(shí)候是編程練習(xí)或作業(yè)要求手寫(xiě)高斯消元但工程上我強(qiáng)烈建議直接用np.linalg.det穩(wěn)定性遠(yuǎn)好過(guò)自己用公式展開(kāi)。4. 索引與切片 - 玩轉(zhuǎn)數(shù)據(jù)操控的高階技巧4.1 基礎(chǔ)索引與切片操作NumPy 的切片語(yǔ)法和 Python 列表很像但維度更多規(guī)則也有一點(diǎn)不同。一維切片完全一致a np.arange(10) print(a[2:5]) # 輸出: [2 3 4] print(a[:4]) # 輸出: [0 1 2 3] print(a[::2]) # 輸出: [0 2 4 6 8]二維數(shù)組的索引和切片要同時(shí)考慮兩個(gè)維度arr np.arange(12).reshape(3, 4) print(arr) # 輸出: # [[ 0 1 2 3] # [ 4 5 6 7] # [ 8 9 10 11]] print(arr[1, 2]) # 輸出: 6第 1 行第 2 列 print(arr[0]) # 輸出: [0 1 2 3]第 0 行 print(arr[:, 1]) # 輸出: [1 5 9]第 1 列 print(arr[1:, :2]) # 輸出: 第 1 行到最后第 0 到 1 列 # [[4 5] # [8 9]]切片返回的是視圖而不是副本這是 NumPy 和 Python 列表最大的區(qū)別之一。修改切片結(jié)果原數(shù)組也會(huì)跟著變sub arr[0, :] sub[0] 99 print(arr[0, 0]) # 輸出: 99原數(shù)組被改了這既是便利也是陷阱。便利之處在于不用復(fù)制數(shù)據(jù)就能高效操作大數(shù)組。陷阱在于如果你沒(méi)意識(shí)到這是視圖可能無(wú)意中污染原始數(shù)據(jù)。要拿到獨(dú)立副本用.copy()方法sub arr[0, :].copy() sub[0] 100 print(arr[0, 0]) # 輸出: 99原數(shù)組不受影響在處理圖像數(shù)據(jù)時(shí)這個(gè)特性尤其重要。圖像本質(zhì)是 (H, W, C) 的數(shù)組很多人會(huì)切出某個(gè)通道后修改像素結(jié)果原圖也跟著變了排查半天才發(fā)現(xiàn)是視圖的鍋。4.2 布爾索引與花式索引布爾索引是 NumPy 最強(qiáng)大的特性之一它直接用條件掩碼來(lái)篩選數(shù)據(jù)data np.array([12, 5, 18, 21, 3]) mask data 10 print(mask) # 輸出: [ True False True True False] print(data[mask]) # 輸出: [12 18 21]更常見(jiàn)的寫(xiě)法是直接寫(xiě)條件print(data[data 10]) # 輸出: [12 18 21]布爾索引可以組合多個(gè)條件但要注意用和|而不是 Python 的and和orprint(data[(data 5) (data 20)]) # 輸出: [12 18]為什么不能用and因?yàn)閍nd會(huì)嘗試把整個(gè)數(shù)組轉(zhuǎn)成布爾值而數(shù)組的布爾值判斷是元素是否全為 True語(yǔ)義完全不同。這種語(yǔ)法細(xì)節(jié)讓無(wú)數(shù)人報(bào)過(guò)錯(cuò)記住數(shù)組條件組合用位運(yùn)算符。布爾索引在數(shù)據(jù)清洗里價(jià)值巨大。比如替換異常值values np.array([1.2, 3.4, 99.9, 5.6, 99.9]) values[values 90] np.nan # 把超過(guò) 90 的標(biāo)記為缺失 print(values) # 輸出: [ 1.2 3.4 nan 5.6 nan]花式索引fancy indexing是使用整數(shù)數(shù)組作為索引可以按任意順序取特定位置的數(shù)據(jù)a np.arange(10) idx np.array([0, 0, 3, 3, 7]) print(a[idx]) # 輸出: [0 0 3 3 7]這種操作在做數(shù)據(jù)重采樣、打亂樣本順序時(shí)很好用。比如機(jī)器學(xué)習(xí)訓(xùn)練前打亂數(shù)據(jù)最常見(jiàn)的就是生成隨機(jī)索引然后按索引取數(shù)據(jù)indices np.random.permutation(len(x_train)) x_shuffled x_train[indices] y_shuffled y_train[indices]np.where也是個(gè)高頻函數(shù)它既可以用作條件篩選也可以根據(jù)條件從兩個(gè)數(shù)組中選擇cond np.array([True, False, True, False]) print(np.where(cond, 1, 0)) # 輸出: [1 0 1 0] x np.array([10, 20, 30, 40]) print(np.where(x 25, 高, 低)) # 輸出: [低 低 高 高]這個(gè)函數(shù)在處理滿(mǎn)足條件則取 A否則取 B這類(lèi)邏輯時(shí)比循環(huán)快出幾個(gè)數(shù)量級(jí)。5. 排序、搜索與集合操作 - 數(shù)據(jù)整理必備5.1 排序與去重排序看起來(lái)簡(jiǎn)單但 NumPy 的sort有幾個(gè)變體需要注意。最關(guān)鍵的區(qū)別是np.sort(arr)返回排序后的新數(shù)組不修改原數(shù)組arr.sort()是原地排序直接修改原數(shù)組。arr np.array([3, 1, 2, 5, 4]) print(np.sort(arr)) # 輸出: [1 2 3 4 5] print(arr) # 輸出: [3 1 2 5 4]原數(shù)組沒(méi)變 arr.sort() print(arr) # 輸出: [1 2 3 4 5]原數(shù)組被修改二維數(shù)組排序需要指定axis參數(shù)按行排序還是按列排序取決于你的需求m np.array([[3, 1], [2, 4]]) print(np.sort(m, axis0)) # 每列獨(dú)立排序 # 輸出: # [[2 1] # [3 4]] print(np.sort(m, axis1)) # 每行獨(dú)立排序 # 輸出: # [[1 3] # [2 4]]argsort返回的是排序后的索引這個(gè)比sort本身更常見(jiàn)因?yàn)樗芡瑫r(shí)用于多個(gè)有關(guān)聯(lián)的數(shù)組。例如按分?jǐn)?shù)排序但需要保留對(duì)應(yīng)的 IDscores np.array([88, 92, 75, 99]) ids np.array([101, 102, 103, 104]) sorted_ids ids[np.argsort(scores)] print(sorted_ids) # 輸出: [103 101 102 104]按分?jǐn)?shù)從低到高對(duì)應(yīng)的 IDnp.unique做去重和統(tǒng)計(jì)非常方便labels np.array([0, 1, 0, 2, 1, 0]) unique_labels, counts np.unique(labels, return_countsTrue) print(unique_labels) # 輸出: [0 1 2] print(counts) # 輸出: [3 2 1]這個(gè)函數(shù)在統(tǒng)計(jì)類(lèi)別分布時(shí)是首選比手動(dòng)collections.Counter快很多而且自帶排序。5.2 條件邏輯與數(shù)組集合操作np.isin和集合類(lèi)操作也是數(shù)據(jù)篩選的高頻工具arr np.array([1, 2, 3, 4, 5]) print(np.isin(arr, [2, 4])) # 輸出: [False True False True False] print(arr[np.isin(arr, [2, 4])]) # 輸出: [2 4]集合操作np.intersect1d、np.union1d、np.setdiff1d在比較兩個(gè)數(shù)據(jù)集的交集、差集時(shí)很直觀a np.array([1, 2, 3, 4]) b np.array([3, 4, 5, 6]) print(np.intersect1d(a, b)) # 輸出: [3 4] print(np.setdiff1d(a, b)) # 輸出: [1 2]在 a 中但不在 b 中這些操作在數(shù)據(jù)清洗場(chǎng)景里應(yīng)用極廣。比如有一份用戶(hù) ID 列表和一份活躍用戶(hù) ID 列表要找出非活躍用戶(hù)就是np.setdiff1d(all_users, active_users)。6. 常見(jiàn)問(wèn)題排查 - 那些年踩過(guò)的坑6.1 版本不匹配與導(dǎo)入報(bào)錯(cuò)numpy 版本不匹配是最常見(jiàn)的環(huán)境問(wèn)題而且報(bào)錯(cuò)信息往往讓人一頭霧水。典型場(chǎng)景是你裝了最新版 NumPy但某個(gè)舊庫(kù)比如某年前的 scikit-learn 版本還在用已經(jīng)被移除的 API。解決方案有兩種第一查看哪個(gè)庫(kù)依賴(lài)了 NumPypip show numpy conda list | grep numpy第二根據(jù)報(bào)錯(cuò)信息里的庫(kù)名去它的官方文檔查支持的 NumPy 版本范圍。比如 pandas 2.x 對(duì) NumPy 的要求通常是1.22.4且2或兼容 2.x具體以官方為準(zhǔn)。還有一類(lèi)問(wèn)題是安裝成功但 import 報(bào)錯(cuò)常見(jiàn)原因是 pip 裝的 NumPy 和系統(tǒng)里另一個(gè) Python 環(huán)境不匹配。用which python和which pip確認(rèn)是不是同一個(gè)環(huán)境which python which pip python -c import numpy; print(numpy.__file__)如果發(fā)現(xiàn) import 的路徑不對(duì)大概率是環(huán)境混亂建議直接創(chuàng)建干凈的新虛擬環(huán)境重來(lái)。6.2 廣播錯(cuò)誤與維度地獄廣播錯(cuò)誤是新手和老手都會(huì)遇到的。我總結(jié)了一份速查表報(bào)錯(cuò)場(chǎng)景常見(jiàn)原因解決方式operands could not be broadcast together兩個(gè)數(shù)組形狀不兼容打印.shape從尾部逐維度對(duì)比用reshape或np.newaxis增加維度IndexError: too many indices用高維索引訪(fǎng)問(wèn)低維數(shù)組牢記數(shù)組的維度打印.ndim確認(rèn)AxisError: axis N is out of boundsaxis 參數(shù)超過(guò)了ndim - 1axis 的范圍是 0 到ndim - 1負(fù)索引從尾部數(shù)cannot reshape array of size X into shape Yreshape 前后元素總數(shù)不一致用reshape(-1, n)讓 NumPy 自動(dòng)推導(dǎo)一個(gè)維度最有效的排查工具就是打印形狀print(arr.shape)。不要嫌麻煩我見(jiàn)過(guò)太多人花半小時(shí)查一個(gè)本來(lái)一眼就能看出來(lái)的維度問(wèn)題。6.3 性能優(yōu)化與內(nèi)存管理的實(shí)戰(zhàn)心得最后分享一些我實(shí)際項(xiàng)目里驗(yàn)證過(guò)的性能經(jīng)驗(yàn)。第一避免在循環(huán)里調(diào)用 NumPy 函數(shù)。向量化不是擺設(shè)把循環(huán)改成 ufunc 操作數(shù)據(jù)量越大收益越明顯。第二注意視圖與副本的內(nèi)存開(kāi)銷(xiāo)。flatten()會(huì)復(fù)制數(shù)據(jù)大數(shù)據(jù)場(chǎng)景下要么用ravel()要么直接用reshape(-1)。如果你不確定自己操作的是視圖還是副本可以用np.shares_memory()檢查。第三用對(duì)數(shù)據(jù)類(lèi)型能省一半內(nèi)存。一張 4096×4096 的 float64 矩陣占用 128 MB同樣的數(shù)據(jù)用 float32 只占 64 MB。如果精度要求允許優(yōu)先使用 float32。第四小心axis參數(shù)的效果。np.concatenate、np.stack、np.vstack、np.hstack這幾個(gè)函數(shù)容易混。vstack按行拼接hstack按列拼接stack會(huì)新增一個(gè)維度concatenate則需要你明確指定 axis。手動(dòng)構(gòu)造數(shù)據(jù)試一次比死記文檔要牢靠得多。還有一個(gè)常常被忽視的點(diǎn)NumPy 數(shù)組在內(nèi)存中的布局有兩種——C 順序按行優(yōu)先和 F 順序按列優(yōu)先。大多數(shù)時(shí)候你不需要管它但如果做大規(guī)模矩陣運(yùn)算或圖像處理存儲(chǔ)順序?qū)π阅艿挠绊懩苓_(dá)到數(shù)倍差距。用np.ascontiguousarray()可以確保數(shù)組是 C 順序存儲(chǔ)的這在給底層 C 庫(kù)傳數(shù)據(jù)時(shí)尤其重要。我在實(shí)際項(xiàng)目里用得最多的組合套路是np.arange生成索引np.random.permutation打亂順序reshape調(diào)整形狀布爾索引過(guò)濾數(shù)據(jù)np.linalg.solve解方程。這套組合拳幾乎覆蓋了從數(shù)據(jù)處理到模型求解的完整鏈路。最后再分享一個(gè)小技巧當(dāng)你調(diào)試代碼時(shí)可以用np.set_printoptions(threshold5, edgeitems2)讓特大數(shù)組只打印首尾幾個(gè)元素避免終端被幾千行數(shù)字刷屏。這個(gè)小設(shè)置我在調(diào)試高維張量時(shí)幾乎每次都用能讓你把注意力集中在形狀和邊界值上而不是被海量數(shù)據(jù)淹沒(méi)。