搞了幾周在 local run LLM 的實驗，最後發覺回應時間的瓶頸不在於 model 本身，反而是饋資料給 GPU。每一回合都會花好幾秒等待 prefill。看一下 GPU 使用率，發覺至少有兩倍提升的空間。而 GPU 的速度，似乎能成長的空間也不大。以個人使用而言，就算花大錢買 h100，也只是 3090 的 1.5 ~ 2 倍。

成果: gpt-oss:20b + 3090 進行大程式庫 (Linux or Firefox) 的分析已沒問題。
主要剋服的問題： context 太大，LLM 很容易迷失方向。
解法：要求 agent 所做 plan。並要求 agent 不斷把問題和看過完程式碼後的解答記錄下來。並馬上把程式碼從 conversation 中抹除，以維持 context 的大小。