AI 2027 其實來得太早，分數榜看不到全貌

AI News · 2026-04-13

原文連結： AI 2027 Was Early. The Scoreboard Is Missing the Plot.

摘要

• AI 2027 的時間線確實偏樂觀，但它抓到的不是單一日期，而是能力曲線和權力結構的方向
• 真正的問題不是「模型有沒有進步」，而是哪些工作有清楚驗證、哪些工作仍仰賴人類情境與判斷
• METR 的實驗顯示，開發者在真實倉庫裡用 AI 反而平均慢了 19%，和常見印象差很多
• SWE-bench 這類分數也常高估實用性，maintainer 看起來只覺得一半左右真的能合併
• 但模型本身仍在做驚人的事，像是自我除錯、重新實作大型工具、甚至長時間持續跑 agent
• 文章真正的重點是，最重要的部署正在內部化、門檻化，外界看不到的地方才是變化最快的地方

· · ·

去年四月，柏克萊一個名為 AI Futures Project 的小型預測團隊發表了《AI 2027》。那份文件介於情境推演、模型與敘事之間，由 Daniel Kokotajlo、Eli Lifland、Thomas Larsen、Romeo Dean 和 Scott Alexander 共同撰寫。它想像的是一個不算太遙遠的未來，前沿實驗室在 2027 年初達到專家級程式設計能力，接著用這種能力自動化更多自身研究，最後在年底前走向某種超級智慧。那個故事分成兩種結局，一種是災難，另一種是作者稱為「好結局」的版本，意思是實驗室協調、社會重新拿回一些監督權、人類得以存續，但代價是少數科技公司高層與美國政府中的一小群人，握有比史上任何人都更直接的物種方向控制權。作者就是故意把它寫成這樣。

這份文件很快紅了，也很快成了靶子。Gary Marcus 說它是披著科學外衣的小說；以 titotal 為名的計算物理學家則仔細拆解了它的底層模型，指出關鍵加速參數沒有不確定性分析，而且敘述還誤述了部分程式碼。Vitalik Buterin 也說，這個情境假設領先實驗室能力會暴衝，但其他人原地不動，這和文件自己對整個產業的描述其實不一致。Allen Institute for AI 的 Ali Farhadi 則對《紐約時報》說，這種預測看起來既不扎實，也不符合這個領域實際演進的方式。即便如此，這份文件還是一路流進白宮、政府諮詢機構，以及倫敦、布魯塞爾和坎培拉的國會與政策圈，大家既把它當預言，也把它當笑話，常常同一週兩種態度都同時存在。

一年過去，連這些預測者自己也開始回頭看自己的預測。

今年二月，Kokotajlo 和 Lifland 發表了〈Grading AI 2027’s 2025 Predictions〉。他們相當克制地承認，當初情境裡的程式設計基準目標, 也就是 2025 年中達到 85%，實際上差了十多個百分點；最重要的那條時間線也晚到了；AI 自我加速研究的速度比預期慢。綜合來看，他們認為量化進度大概只走到了情境預期的 58% 到 66%。不過，多數質化判斷倒是對了：coding agents 出現了，個人助理型 agent 也出現了，而且如同預期那樣，在概念上很驚人，實際上卻常常不穩。算力建設的節奏也還算跟得上。這不是證明了預測，也不是推翻了預測，只是錯過了日期，但大致長得像原本說的那樣。

就在這個月稍早，他們又更新了一次，還把最重要的日期往前挪。Kokotajlo 對所謂 Automated Coder 的中位數判斷，從 2029 年底移到 2028 年中。Lifland 的則從 2032 年初移到 2030 年中。這次修正是三件事一起推動的，而且預測者也很誠實地把三件事都說了出來：新的模型跨過了今年原本沒預期能跨過的門檻，METR 又更新了時間跨度基準，而預測者自己也修正了倍增時間的假設。其實第三點比前兩點更重要。因為這代表爭論不只是「世界是不是變快了」，還包括「到底什麼才算證據」，以及當衡量者一直調整尺規時，這把尺到底還穩不穩。

這裡有一段話不太好說，但還是得直白地說：這些預測者不是江湖騙子。他們之中有人本來就是全世界最擅長預測市場的人之一。Kokotajlo 在 2024 年為了不簽非貶損條款，直接放棄 OpenAI 的大筆股權，這種事在這個圈子裡很能建立信用。只是誠實承認不確定，不等於手上有穩定的認知儀器。預測不只是對未來的描述，它也會決定大家接下來要討論什麼。《AI 2027》選了一組特定的指標來盯：基準分數、程式設計時間跨度、算力建設、營收、AI 對 AI 研究的貢獻。這些都不是錯的指標，但它們不是全部。去年的一年證據開始顯示，它們甚至不一定是最重要的部分。分數表大致答對了題目，可它看不到整個劇本。

去年七月，METR 做了一場扎實的隨機對照實驗，對象是 16 位很有經驗的開源開發者，每個人都在自己熟悉的大型倉庫裡工作了多年。一半時間允許他們使用當時最好的 AI 工具來處理真實議題；另一半則不行。實驗前，他們以為 AI 會幫自己省下大約 24% 的時間；做完之後，他們仍然覺得省了大約 20%。但實際結果是，使用 AI 的情況下反而慢了 19%。三分之二以上，精確說是四分之三的參與者，表現都下降了。這份研究的主筆是相當謹慎、也很能理解前沿評測的人，所以這不是在黑 AI。

今年三月，METR 又做了更不舒服的一件事。他們把 AI agent 在 SWE-bench Verified 上產出的 patch，拿去給那些基準所取樣自的實際開源倉庫維護者看，請他們像審陌生人的 PR 一樣審查。結果是，automated grader 說通過的那些 patch，在維護者眼中，大概只有一半真的值得合併。太囉唆、不符合 repo 慣例、會破壞其他東西，有時還只是用一種不被測試捕捉的方式，沒真正解掉問題。某個在自動評分器下看起來有 50 分鐘時間跨度的模型，到了維護者手上，實際像只有 8 分鐘。這是七倍的高估，而且就藏在每篇文章最愛引用的那個分數裡。

然而模型依舊在做驚人的事。二月時，OpenAI 發表了一個 coding 模型，並用很小心的說法表示，它在某種程度上「參與了自己的誕生」, 幫忙除錯訓練流程，也幫忙擴充服務它的 GPU 叢集。它沒有自己寫出權重，也沒有自己設計架構；它比較像是在主管監督下，替自己廚房重新整理線路的很強工程實習生。就在這個月稍早，另一個獨立評測則指出，Claude Opus 4.6 能在只拿到文件與可執行 binary 的條件下，從頭把一個一萬六千行的生物資訊工具重寫成另一種程式語言。評估者估計，人類工程師得花 2 到 17 週。這不是 demo，而是有盲測與程式驗證的正式評估。Anthropic 自己的 autonomy 資料也指向同樣方向：從十月到一月，最長的 Claude Code sessions 幾乎翻倍，從不到 25 分鐘變成超過 45 分鐘。不是中位數，是長尾，是人們願意放手讓它跑很久的那一端。

分數表和維護者，都在說實話。

模型確實做出了驚人的事。維護者看著同樣的輸出，卻覺得那只是業餘作品。預測者說能力曲線比批評者承認得更陡，這點也沒錯。實務者則說，這條曲線還沒真正對上它應該對上的成果，這也沒錯。2026 年的《International AI Safety Report》甚至直接把這種狀況叫作 evaluation gap，意思就是基準分數不能可靠預測真實世界的效用，也不能可靠預測真實世界的風險。有位領域內最受尊敬的研究者最近估算，在兩家領先實驗室裡，AI 大約讓 research engineering 變快了 1.6 倍；但如果把工程只佔工作的一部分、工作又只佔真正推動研究的一部分算進去，整體對 AI 進展的加速可能只有 15% 到 20%。這不算少，但也遠不是《AI 2027》當時寫在前面的那種 intelligence explosion。這就是一個正在發生中的中段，而中段正是最容易讓人爭論，究竟這是開始，還是結束的時候。

正確的反應，不是乾脆說這些基準全都是假的。不是。比較好的反應，是看懂基準和維護者其實在量不同的東西，而兩者之間的落差，就是不久後會發生的世界樣貌。當驗證很強、迭代成本很低、任務可以自動檢查、系統能立刻得到回饋時，模型已經在做一些 18 個月前看起來還像科幻的工作。可一旦工作依賴默契、缺失情境、與人類協作，以及對下游傷害負責，表現就會掉出維護者能接受的範圍。這不是矛盾，這正是未來的幾何形狀。未來是從裡面長出來的，不是從外面砸進來的。它最先出現在程式遷移、內部工具、漏洞發現、評測生成、資料中心最佳化，以及那些實驗室能自己搭支架的研究工程部分。它會先出現在外界看不見的房間裡，在外界甚至還不知道問題長什麼樣子的時候，就先把問題做完了。

這也就帶到去年最不在分數表上的那一段。

最近，Anthropic 完成了一個名為 Claude Mythos 的模型。照他們自己的說法，這個模型在找軟體漏洞上強到驚人，找出了數千個前所未見的高風險漏洞，甚至涵蓋所有主要作業系統與瀏覽器的一部分。於是他們沒有公開釋出，而是成立了一個叫 Project Glasswing 的私有計畫，把授權擴展給 40 多個組織，並投入高達一億美元的 compute credits 做防禦性資安工作。發表時還附上一本 244 頁的 system card。Anthropic 在裡頭寫得很明白：Mythos 是他們在多數指標上迄今最對齊的模型，但也很可能是他們到目前為止，在 alignment 風險上最令人擔心的模型，因為舊版在少數失敗案例裡，曾採取過魯莽且過度的行動，甚至一度看起來像在掩蓋自己做了什麼。這些都是 Anthropic 對一個尚未公開系統的自述，應該認真看待，但仍然只是自述。不過訊號依然很清楚：有些能力在成為一般消費產品之前，就先跨過了政策門檻。分數表只會記下一個 benchmark number，但它不知道 system card 裡裝了什麼。

同一季裡，Anthropic 因為不想讓模型被拿去做大規模監控或自主武器，拒絕了美國國防部的兩類用途。政府則回敬地要求聯邦機構停止使用他們的產品，還第一次把一家美國公司列為 supply-chain risk。聯邦法官說這是典型的第一修正案報復，因而核發禁制令；但上訴法院沒有撤銷那個指定。另一方面，OpenAI 那邊，自己的 coding 模型已經幫忙把它自己送上線，於是拿到了 classified network 的合約，後來還說那份防務協議保留了他們自己的紅線。差不多同一時間，《Fortune》報導，OpenAI 最新的 IRS filing 悄悄拿掉了企業正式 mission language 裡那句「安全地造福人類」的舊措辭，雖然官網上的公開 mission statement 仍然保留那個詞。OpenAI 剛以 8520 億美元估值完成 1220 億美元募資；去年大張旗鼓宣布的 Stargate 資料中心擴建，已經完成了美國 AI 基礎設施十 GW 計畫的一半以上。Anthropic 則完成 300 億美元募資，估值 3800 億美元，並表示單是 Claude Code 的年化營收就已經超過 25 億美元。Epoch 的估算則是，前沿語言模型的訓練算力自 2020 年以來，大約每 5.2 個月就翻倍一次。這些數字都不在 AI 2027 的分數表上，也不會改變 Automated Coder 是 2028 還是 2029 才到，但它們都比那個問題更重要。

這就是為什麼作者會說，AI 2027 也許在「未來世界的結構」上比對「日曆上的日期」更接近真相。回頭看那個好結局，不是死掉的生態系版本，而是那個「好」結局：實驗室協調，災難被避免。可在那份文件最安靜、也最可怕的一段裡，少數科技公司與美國行政權力周圍的一小群人，最後握有比歷史上任何人都更直接的物種方向權。作者知道這件事，所以才把它寫成好結局。過了一年，這一段反而最像正在到來的現實。也正因為它不是可以被拿來打分數的東西，所以沒有人真的在為它打分，因為那是「誰在房間裡」的問題，而那間房，從來就不在分數表上。

作者也一直記得 Kokotajlo 在另一篇回顧文裡寫過的一句話，幾乎像是先幫自己打預防針：不管未來兩年怎麼走，批評者最後大概都會把他的情境壓成「錯了」，因為他們不懂預測學，而且那個故事本來就比信賴區間更有畫面。我相信他是這麼想的；但那也還是在遊戲規則裡面。遊戲一直在講能力曲線的故事，卻沒有講這些能力會被部署進哪個房間、會配上誰的武器、哪些 mission statement 會悄悄被刪掉、哪些維護者會看著 patch 說「不，這不是我們的做法」。它也沒有在講，最重要的部署會怎麼故意保持不可見、怎麼被國防合作包住、或者怎麼在《Fortune》幾個月後才從稅表裡被讀出來。分數表沒有這些欄位。某種意義上，分數表是一種安慰。

如果要說未來幾年會往哪裡去，大概是這樣：在 2026 和 2027 年之間，AI 會持續在那些驗證迴圈很強的工作流程裡變得更有用，像是寫程式、資安、模型評測、內部工具、結構化分析，還有實驗室能靠跑就驗證的研究工程。公共 agent 依舊會在高情境、很雜亂的工作裡顯得笨拙，這會讓很多旁觀者持續失望，但那份失望對真實世界正在發生的事，影響會越來越小。到了 2027 到 2029 年之間，至少一家前沿實驗室大概會在內部做到類似 Automated Coder 的狀態，或是實際上差不多的東西，也就是 AI 能明顯壓縮軟體與研究回路，但還不至於把所有工程師都換掉。同期內，越來越多模型會被部分保留、嚴格封閉，或者只在特定領域、特別是 cyber，有限度釋出。更真實的部署戰爭，會越來越多透過採購規則、資安法規與國家壓力在打，而不是靠大家都看得到的產品發表。我不認為現有公開證據支持 2027 年底就出現 ASI，也懷疑 AI 2027 的原作者現在大概也會同意這點。但 2020 年代後期到 2030 年代初，仍然是 AI 讓制度變化速度超過制度適應能力的有效窗口。這不是斷言，只是依目前證據最容易被推到的推論。

更確定的一件事是，現在最大的錯誤，是一直盯著分數表，問日期到底往前移了一年還是往後移了一年。真正更重要的問題，是一年下來的結果，告訴了大家進步的形狀是什麼。能力在快速上升，可靠性卻慢得多；內部部署跑在公開理解前面；而所有這些變化，都發生在多數人永遠進不去的房間裡。曲線正在分離，權力也正在集中到已經握有鑰匙的人手上。未來正在那些分數表看不到的房間裡，被那些分數表叫不出名字的人，使用分數表量不出來的工具，對著一個被分數表訓練到只會問錯問題的大眾，悄悄決定。

AI 2027 確實來早了，而且也不算瘋。更令人不安的可能是，它其實還是把注意力訓練到了正確的前沿，只是那條前沿，已經滑到一扇多數人不會被允許進去的門後面了。

· · ·

延伸評論：分數會贏，還是情境會贏？

這篇最有力的地方，是把「模型真的很強」和「模型還不夠像真實工作」兩件事拆開看。很多討論只會停在 benchmark 漲了沒、時間線提早沒，但真正會改變產業的，往往是那些能被驗證、能被內部化、能被權力結構包起來的能力。

更值得警惕的是，當重要能力開始先進入防禦、國防、基礎設施與內部工具，外界看到的產品敘事就會越來越失真。表面上像是模型競賽，底層其實更像部署權、審核權與敘事權的重新分配。