
在生成式 AI 的快速演進下,僅僅懂得「提示詞工程」(Prompt Engineering)已經不再足夠。當 AI 從單次對話走向能長期運行、協作並完成複雜任務的「智能體」(Agent)時,上下文工程(Context Engineering)成為產品經理、工程師乃至整個 AI 團隊都必須掌握的核心技能。
本文將帶您深入理解上下文工程的意義,解析兩大原則與四大策略,並說明它如何直接影響 AI 產品的可靠性、成本效益與可擴展性。
從「提示詞工程」到「上下文工程」
過去,我們專注於如何設計精準的提示詞,讓大語言模型(LLM)產生正確回應。這確實是 AI 入門的關鍵技能,但當任務需要長時間、多階段執行時,問題變得複雜:
- 單次提示已不足以支撐完整流程。
- AI 需要在任務過程中「記住」並「合理運用」歷史訊息。
著名 AI 學者 Andrej Karpathy 曾提出一個形象比喻:
- LLM 像 CPU,負責推理與計算。
- 上下文窗口(Context Window)像 RAM,限制了能同時「放進來」的資訊量。
如何有效管理這塊「工作記憶體」,正是上下文工程的核心挑戰。
為什麼上下文工程如此重要?
在打造可靠的 AI 智能體時,最大的挑戰之一就是上下文過長或失控。這會帶來以下問題:
- 超出上下文限制:模型有 Token 上限,對話過長會導致關鍵訊息丟失。
- 成本與延遲升高:上下文越大,API 調用成本越高,回應速度變慢。
- 性能下降:研究發現長上下文會導致:
- 上下文中毒:錯誤訊息殘留並持續放大。
- 上下文分心:過多資訊讓模型偏離核心任務。
- 上下文混淆:被無關訊息誤導,輸出不準確。
- 上下文衝突:矛盾訊息讓模型輸出前後不一致。
兩大核心原則:上下文工程的基石
原則一:共享完整上下文
子任務之間不能只依賴單一指令,必須能看到任務全貌與歷史紀錄,否則會出現風格不一致、結果無法整合的狀況。
原則二:動作承載隱性決策
每個行動都隱含設計假設,若子任務間決策衝突(如一方用像素風格,另一方用卡通風格),最終結果將不一致。
這兩大原則提醒我們:若上下文不能共享或決策無法協調,AI 系統的可靠性將大打折扣。
四大核心策略:上下文工程的實踐工具箱
為了有效管理有限的「工作記憶」,可運用以下四項策略:
策略一:寫入(Write)
將上下文移至外部儲存,避免窗口超限。
- 暫存區(Scratchpads):短期會話中的「草稿紙」。
- 記憶(Memories):跨會話的長期記錄,例如 ChatGPT 的長期記憶功能。
策略二:選擇(Select)
動態提取當前最相關的資訊載入上下文。
- 記憶檢索:調用語義記憶或固定指令文件。
- 工具選擇:利用檢索增強生成(RAG)動態挑選工具。
- 知識選擇:結合多種檢索方式提升準確性。
策略三:壓縮(Compress)
透過總結或修剪,降低 token 占用。
- 語意總結:以模型歸納對話歷史。
- 訊息修剪:刪除過舊或不必要內容。
策略四:隔離(Isolate)
將不同任務上下文獨立管理,降低干擾。
- 多智能體:每個子任務各自運作,避免交叉干擾。
- 沙箱環境:代碼運行於隔離容器,僅回傳必要結果。
結語:AI 產品經理的新戰場
上下文工程不再只是工程師的專業,而是AI 產品經理的必修課。它直接關聯:
- 壓縮 → 成本與延遲控制
- 寫入與選擇 → 長期記憶與個人化體驗
- 隔離 → 多功能與可擴展性
未來,能否掌握上下文工程,將決定 AI 產品的可靠性、使用體驗與市場競爭力。
未來趨勢與實務建議
- 上下文最佳化將與 AI 架構設計深度結合
未來 AI 平台將內建更多自動化上下文管理機制,例如動態壓縮、跨會話記憶同步。 - 產品經理需跨足工程思維
不再僅是功能規劃者,更需理解上下文管理對效能與可靠性的直接影響。




