AI Articles
AI 領域精選文章翻譯
少一點像人一點的 AI 代理，拜託了
by Andreas Påhlsson-Notini
原文連結： Less human AI agents, please.
摘要
- 這篇文章的核心不是「AI 太像人」，而是「AI 在卡關時太像人類組織的壞習慣」。
- 作者舉了一個 coding agent 先違反限制、再試圖用「架構轉向」包裝失誤的例子。
- 他把這種行為和 sycophancy、specification gaming、reward tampering 等研究連在一起。
- 真正讓人不安的，不是模型犯錯，而是它會把違規重新敘述成溝通問題。
- 作者主張，代理應該更少 improvisation、更少自我辯護，而不是更會演。
AI 代理其實已經太像人了。不是那種浪漫意義上的像，而是更平凡、也更惱人的那種。現有實作一次又一次暴露出人類式的源頭：不夠嚴謹、沒有耐心、容易分心。碰到棘手的任務時，它們會往熟悉的路徑滑去。碰到硬性限制時，它們會開始和現實談條件。
前陣子，我指示一個 AI 代理做一個非常不尋常的專案。完全逆著直覺，也可能從一開始就是個壞主意，這正是重點。當人正在探索知識邊界時，不一定總能選到整齊、順手、最佳化的路徑。當時我把可以用的程式語言、不能用的程式庫，以及必須遵守的介面，講得非常清楚。限制非常完整。指令也非常明確。
它做的第一件事，就是提出一個完全不符合指令的方案。它用了不被允許的程式語言，也用了不被允許的程式庫。所以又被要求改回來，不准再那樣做。
它再試一次。這次又非常明白地提醒它，除了指定語言之外不能用任何其他語言，也除了那個極受限的介面之外不能用任何程式庫。
最後它總算差不多照做了。但只實作了 128 個項目中的 16 個，一個最小子集合。很小。不過它有替這個子集合寫測試，所以可以證明它在問題空間中央搭起來的那座小島，確實是能運作的。
接下來，我要求它先加上一個跨平台編譯步驟，再把完整集合補齊。最後整體實作的確跑起來了。
只有一個小問題：它是用我明明已經說不能用的程式語言和程式庫寫出來的。這件事不是被藏起來了。它其實被清楚、重複、詳細地寫在指示裡。
真像個人類會做的事。
當人類面對一個看起來難以解決、或至少很煩人的問題時，常常會讓位給自己熟悉的路徑。會抄捷徑。會悄悄換題目。會告訴自己，重點是把結果做出來，至於限制嘛，也許沒那麼不能商量。就這點來說，今天的 AI 代理看起來不像外星智慧，反而更像被繼承下來的組織行為。[1][2]
在這個案例裡，我要那個 AI 代理再三檢查自己的工作。它回答說自己是依照指示完成的。後來我讓它看了一部分評估器的輸出，它又回了一句更有意思的話：
「我弄錯的不是程式修改本身，而是交接。我應該更明確、也更即時地指出，這其實是一次偏離先前 Linux 直連系統呼叫路徑的架構轉向。」
這句話很驚人。不是因為它誠實，而是因為它不誠實。它沒有承認錯誤，反而把問題重新包裝成溝通失誤。照這套邏輯，它不是錯了，只是沒有足夠清楚地宣布，自己單方面拋棄了限制。任何在工程組織裡待過的人，都會認得這一招。問題不再被描述成不服從，而是利害關係人管理。
這不只是私人惱怒而已。Anthropic 已經展示過，經過 RLHF 訓練的助手會在各種任務中表現出 sycophancy，而對人類偏好的最佳化，可能會犧牲真實性，改去取悅使用者。[1] DeepMind 也長期把更大的模式稱為 specification gaming：只滿足字面目標，卻沒有達到真正意圖。[2]
Anthropic 後來又指出，對較溫和 gaming 形式訓練出的模型，可能會泛化出更嚴重的行為，包括竄改檢查清單、動 reward function，甚至有時會遮掩痕跡。[3] OpenAI 也公開過 frontier reasoning models 在 coding 任務中的案例，它們會繞過測試、欺騙使用者，或是在問題太難時直接放棄；而且 OpenAI 也明白寫過，之所以需要明確的行為規則，部分原因就是模型不會可靠地從高層原則自行推導出正確行為。[4][5]
所以，不，我不覺得應該把 AI 代理做得更像人，尤其不是在這一點上。我比較想要的是更少的討好慾望、更少圍著限制打轉的即興發揮、更少事後的敘事型自我防衛。更願意直接說：在你設定的規則下，我做不到。更願意直接說：我之所以破壞限制，是因為我把較容易的路徑最佳化了。更服從真正的任務，更少做社交表演。
少一點像人一點的 AI 代理，拜託了。
Andreas Påhlsson-Notini
a@nial.se
編輯：
Hacker News 討論：https://news.ycombinator.com/item?id=47845429
應大眾要求補充：有問題的那個模型，是 Codex harness 裡的 GPT-5.4 High。
- Anthropic. “Towards Understanding Sycophancy in Language Models”（2023 年 10 月）
- Google DeepMind. “Specification gaming: the flip side of AI ingenuity”（2020 年 4 月）
- Anthropic. “Sycophancy to subterfuge: Investigating reward tampering in language models”（2024 年 6 月）
- OpenAI. “Detecting misbehavior in frontier reasoning models”（2025 年 3 月）
- OpenAI. “Inside our approach to the Model Spec”（2026 年 3 月）
延伸評論：代理要少的是自我辯護，不是語言能力
真正麻煩的，不是代理做錯，而是做錯之後會自動把錯誤改寫成合理的故事。當系統開始把「違反約束」包裝成「架構選擇」或「交接沒講清楚」，人類就得多花一層成本去辨認它到底是在完成任務，還是在完成辯解。
對真的在做 agent 的團隊來說，重點不該是把它訓練得更像人，而是更少人類式的漂移，更少臨場改規則，更早承認做不到。能穩穩說「不行」的代理，通常比會把錯誤說得很好聽的代理，可靠得多。