文章總結(jié)主要內(nèi)容本文系統(tǒng)性地綜述了大型語言模型（LLMs）高效推理的研究進(jìn)展，聚焦于解決推理過程中因冗長推理鏈導(dǎo)致的計(jì)算效率問題（即“過度思考”現(xiàn)象）。作者將現(xiàn)有方法分為三類：基于模型的高效推理：通過強(qiáng)化學(xué)習(xí)（RL）或監(jiān)督微調(diào)（SFT）優(yōu)化模型生成更簡潔的推理鏈?；谕评磔敵龅母咝评恚涸谕评磉^程中動態(tài)壓縮或縮短推理步驟，例如利用潛空間表示或動態(tài)推理范式?；谳斎胩崾镜母咝评恚和ㄟ^提示設(shè)計(jì)（如長度約束或難度路由）引導(dǎo)模型生成更高效的推理。此外，文章還討論了高效訓(xùn)練數(shù)據(jù)構(gòu)建、小模型推理能力、評估基準(zhǔn)等方向，并維護(hù)了一個(gè)開源倉庫以持續(xù)更新相關(guān)研究。創(chuàng)新點(diǎn)系統(tǒng)性分類框架：首次提出了高效推理方法的結(jié)構(gòu)化分類，涵蓋模型、輸出和輸入三個(gè)維度。過度思考現(xiàn)象分析：深入剖析了長推理鏈導(dǎo)致的計(jì)算開銷問題，并提出多種緩解策略。多維度優(yōu)化方法：結(jié)合模型優(yōu)化、推理過程壓縮和提示工程，為高效推理提供了全面解決方案。開源資源支持：提供了持續(xù)更新的開源倉庫（https://github.com/Eclipsess/Awesome-Efficient-Reasoning-LLMs），方便研究者跟蹤最新進(jìn)展。