一句話說清：剪枝就是給訓(xùn)練好的大模型“動(dòng)手術(shù)”，刪掉用不上的連接讓它更輕。1. 它到底在說什么Pruning（剪枝）是一類模型壓縮（model compression）方法：把訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)里“貢獻(xiàn)很小”的參數(shù)刪掉，讓模型更小、更省算力，同時(shí)盡量不掉精度。它的底氣來自一個(gè)被反復(fù)驗(yàn)證的觀察——大模型幾乎都是“過度參數(shù)化”（over-parameterized）的，里面大量權(quán)重、神經(jīng)元、卷積核彼此重復(fù)，刪掉一部分并不影響它干活。打個(gè)比方：就像裝修完的房間里堆了一堆常年沒人碰的家具和電線。剪枝不是重新蓋房子，而是把那些“用不上”的東西搬走——房子照樣住人，但更空、更好維護(hù)、搬家用更小車。2. 為什么現(xiàn)在這個(gè)詞很熱剪枝不是新詞，它火過好幾輪：1990 年，LeCun 等人提出 Optimal Brain Damage（最優(yōu)腦損傷，OBD），用損失函數(shù)對權(quán)重的二階信息（Hessian 對角）給權(quán)重重要性打分，是剪枝的理論起點(diǎn)；1993 年 Hassibi 等人提出 Optimal Brain Surgeon（OBS）進(jìn)一步推廣。2015–2016 年，Han 等人先后發(fā)表“Learning Both