習(xí)記錄t1)
Chapter 2 學(xué)習(xí)筆記上下文工程與 KV Cache本章核心是上下文決定 Agent 能力上限。我通過 kv-cache 離線對比實驗直觀看到上下文管理模式對性能的巨大影響。實驗對比了六種模式。correct穩(wěn)定系統(tǒng)提示、固定工具順序首 token 延遲TTFT僅 2.328 秒緩存比例 10.1%。一旦改動前綴代價立刻顯現(xiàn)shuffled_tools打亂工具列表TTFT 飆升到 7.818 秒緩存比例跌至 3.4%text_format改用文本格式TTFT 達 6.189 秒dynamic_system動態(tài)系統(tǒng)提示總耗時從 18 秒漲到 24 秒。這印證了前綴不能動是 KV Cache 的架構(gòu)約束——緩存復(fù)用關(guān)注的是輸入序列的精確前綴匹配而非語義等價。有趣的對照是sliding_window它砍掉歷史后 token 用量降到 2,224節(jié)省 61.1%但迭代次數(shù)從 3 次變成 5 次——省了 token卻讓 Agent 多跑了幾輪。這說明壓縮不是免費的上下文裁剪會在別處付出代價。上下文工程不是把信息塞進 prompt而是系統(tǒng)性地設(shè)計信息供給讓模型的通用推理能力在具體任務(wù)中充分發(fā)揮。