AI 領域精選文章翻譯
by The Economy Editorial Board

原文連結: The Bill Comes Due for Cheap AI
三月底,Claude 的重度使用者開始遇到一種新的短缺:明明標示是 5 小時的使用時段,可能用了 20 分鐘就被切斷。這些中斷證明了一個更大的問題:AI compute crunch 已經不只是抽象概念,而是會直接變成被鎖在工具外、反應變慢,以及更嚴格的限制和價格。
一開始,AI 產品用固定月費打進市場,給人的訊號是「每一次輸出都近乎免費」。但這種便宜供給的日子正在結束。每個 prompt 背後都需要晶片、記憶體、電力、網路連線和工程維運。重度使用者要的也不只是多問幾句,而是更多 token、更大的檔案、更強的 agent、更長的工作記憶。最後會浮現的現實是:便宜 AI 從來就不是常態,而是一種補貼。
AI compute crunch 應該被視為價格訊號。這一點很重要,因為使用限制雖然讓消費者不滿,但它們不是單純的產品偏好或任意設計,而是在顯示一個系統無法用單一固定價格,無限量滿足所有人對大量機器時間的需求。
這代表我們需要改變看 AI 產品的方式。很多面向消費者的 AI 服務一開始被包裝得像輕量網頁工具,但它們實際上越來越像發電廠、資料中心或物流網路。文字框看起來很輕,但背後的機器一點也不輕。更重要的是,當模型從日常聊天工具,轉向程式碼生成 agent、研究助手、設計應用與工作流程自動化工具時,每個任務的執行成本都高得多。快速問答不是成本核心;但一段需要讀檔、寫檔、測試、重試、修正,並連續跑好幾小時的 session,絕對是。
Claude 的限制之所以引發討論,是因為使用者的不滿暴露了服務商的財務壓力。Anthropic 現在開始建議付費客戶監控 session 層級與週期層級的用量限制,也提醒他們不同訊息長度、檔案大小、模型選擇、對話歷史和工具使用會帶來不同 token 成本。
這個差異很關鍵:使用者看到的是一個 prompt,服務商看到的是 token、工具、GPU 和 peak load。20 或 30 美元的月費可以支撐短而零星的 prompt,但很難支撐每天跑好幾小時 agentic task 的使用者。真正的問題不是要不要多發幾個警告,而是 AI access 如何從「看起來很便宜」改成能反映真實成本的制度。
固定費率 AI 訂閱仰賴一種未明說的內部補貼:輕度使用者相對自己的用量多付,重度使用者則被低估收費。傳統軟體公司也常用固定費率,但在 AI 這裡,討論必須從消費者體驗往上升到產業經濟。因為硬體與能源成本仍然很高,脈絡完全不同。
Anthropic 曾在 2025 年 7 月表示,新週期限制不會影響超過 95% 的使用者。但它自己的假設案例也顯示,有使用者每月只付 200 美元,卻消耗價值數千美元的模型資源。這不是客服問題,而是核心 unit economics 問題,而且整個產業都在面對同一件事。GitHub 也在 2025 年 4 月宣布,Copilot 會從 2026 年 6 月開始轉向 usage-based model,因為平台已經不能再忽視快速聊天和長時間自主 coding session 之間的成本差異。
硬體也是成本來源。AI compute 的價格並沒有一致下降。某些軟體互動會變便宜,但高階硬體仍然短缺。2025 年 10 月到 2026 年 3 月之間,H100 晶片租用價格大約上升 40%。中國市場的 NVIDIA B300 伺服器價格升到每台 100 萬美元,接近美國企業支付價格的兩倍。這些數字只能算粗略估計,但故事方向很一致:硬體短缺正在限制 AI 發展。需求長期高於供給,最後就會變成排隊、容量限制與漲價。使用者看到的是限制,供應商看到的是不斷上升的成本。
電力也會進入成本結構。International Energy Agency 預測,資料中心用電量會從 2025 年的 485 TWh,上升到 2030 年的 950 TWh。另一項預測則認為,能源消耗會從 2024 年的 460 TWh,於 2030 年突破 1,000 TWh。Goldman Sachs Research 估計,2023 到 2030 年之間,資料中心所需電力會增加 165%。即使不同估計的基準不同,趨勢很清楚:AI 正在直接和電網、變壓器、冷卻系統、土地與綠電合約競爭。
因此,「收入低於成本」不能只在公司整體層級判斷,而應該在 workload 層級評估。大型 AI 公司可能同時有破紀錄的營收,例如 OpenAI 2025 年 annualized revenue 超過 200 億美元,compute load 也從 0.6 GW 增加到 1.9 GW;但它同時也計畫到 2030 年投入 6,000 億美元 compute。2024 到 2025 年間,inference 成本增加超過一倍。
這不代表每家 AI 公司都在每個使用者身上虧錢,而是那些把固定訂閱當成無限制機器勞動額度的人,對服務商來說尤其不賺錢。一旦這件事攤開,subscription plan 就會從服務包裹變成某種計量型 utility。
最令人不安的結果之一,是人類勞動在短期內可能比 AI 勞動更划算。這聽起來很諷刺,因為 AI 常被包裝成節省人力成本的技術;但只要觀察一個複雜、耗資源、需要 AI worker 跑好幾小時的任務,就會看出問題。
美國軟體開發者在 2024 年 5 月的年薪中位數是 133,080 美元。這當然不低,但如果單一使用者實際上消耗數萬美元模型資源,卻只支付每月 200 美元,那麼沒有適當監督的 AI labor 其實可能比高技能人類勞動更貴。這不是說 AI 沒價值,而是說「AI 一定比較便宜」這個簡化敘事不準確。
AI 對很多工作都很有用,例如文件初稿、文字摘要、翻譯、第一輪 code review、測試生成與搜尋輔助。但這裡必須區分「產出一個結果」和「使用勞動」,也必須區分「勞動」和「自主性」。人類員工有明確薪資、工時、主管與預算限制;AI agent 則是一串 token stream。如果 context、重試機制、工具使用和模型選擇沒有被管理好,一個 AI agent 可以很快燒出巨大成本,卻不一定帶來有用結果。
所以 AI compute crunch 也變成管理問題。贏家會是那些能把小模型用在小任務、把最強模型保留給複雜問題、快取 context 以降低重複操作、限制 agent 執行時間,並且追蹤每個任務成本的組織。
這也要求機構、公共採購者與企業改變導入 AI 的方式。學校、大學、政府機關或公司,不能再把 AI 當成另一種 seat license 來買。如果少數使用者消耗 80% 預算,seat license 雖然容易核准,卻會掩蓋風險。Pay-per-use 比較難解釋,但它能顯示真實取捨。正確政策不是禁止重度使用,因為某些重度使用確實能創造巨大價值;真正需要的是對重度使用負責。組織必須建立 dashboard,追蹤 token、model、peak load、cost-per-workflow,也要制定規則,在保留學習與實驗空間的同時,避免隱性浪費。便宜 AI 不等於開放 access。
反方論點是:這只是暫時現象。晶片效率會提升、模型會縮小、inference 會變便宜。這些確實會部分成真,模型尺寸、caching 和硬體速度都會進步。但需求不會靜止;價格下降會刺激更多需求。使用者會從問問題,轉向使用 agent;從輸入文字,轉向丟入大量檔案、附件、工具、圖片、音訊、影片和長 context。這種 rebound effect 已經在 coding assistants 出現:能力越強,越鼓勵更長、更持續的使用。真正的政策問題不是效率會不會提升,而是效率提升的幅度是否能追上需求成長。
最明顯的第一步,是 AI provider 應該停止一邊宣傳「unlimited」,一邊在背後設定硬上限。它們需要提供容易理解的公開 usage monitor,清楚說明 reset 規則,也用具體例子解釋不同 context length、文件附件、工具使用或模型切換會帶來什麼成本。使用者不會反對合理且可見的限制,但會對看起來任意的排除感到憤怒。如果 5 小時 context window 會在 20 分鐘內消失,那可以是有效的商業決策,但不可見就是管理失敗。smart pricing 的目的不只是提高營收,而是在突然停機以前,讓 intelligence 的真實成本可見。
除了效能以外,組織也必須要求 vendor 展示真實任務成本。非常先進的 demo model,對日常營運來說可能比一個能穩定處理 80% 例行任務的模型貴太多。採購流程需要用實際檔案和實際使用者測試,建立真實 token 成本與 turnaround time。教育者與管理者可以允許普遍 access 來支持低風險學習,但 agent use case、大量檔案上傳與高強度模型使用,需要被明確管理,而不是一概禁止。
資料中心需要電力、水與土地,這會要求電網升級與更順暢的許可流程。若一個國家想要 sovereign AI,就需要電力容量,也需要更簡單的許可路徑;但也要避免創造一個市場,讓少數能提前取得晶片、長期低價電力合約,且能吸收早期虧損的大型玩家,實質掌握 compute 分配與價格。隱性補貼可能讓早期 access 看似便宜,卻在後來形成由國家資源支撐、但結果壟斷且高價的市場。開放標準、能源揭露、高效率模型與具競爭性的 compute access 會變得關鍵。
最後,AI compute bottleneck 不是 AI boom 之前的小插曲,而是 AI boom 撞上真實成本的地方。Claude limits、Copilot pricing changes、GPU 租金上升與電力預測都在指出同一個事實:intelligence 不是沒有重量,它有真實成本,需要有人承擔,也需要被管理。下一個 AI 時代不會只由願景定義,而會由「如何把有限資源有效用在可衡量價值上」定義。使用者應該要求透明,組織必須把 AI 視為一種新的 public utility,政策制定者則必須把 compute 與 energy 當成同一個工業複合體來處理。小眾 AI 使用也許仍會便宜,但無所不在的 AI 不會。
這篇文章最值得抓住的地方,是它把「AI 變貴」從抱怨訂閱限制,拉回到基礎設施經濟。很多 AI 工具的早期體驗都像 SaaS:固定月費、邊際成本近乎零、重點是新增功能。但 agentic workflow 一旦開始讀檔、寫檔、跑測試、開工具、保留長 context,就更像把一台昂貴機器租給使用者,而不是開一個網頁帳號。
對真的在導入 AI 的團隊來說,重點不是「要不要用 AI」,而是「哪一類工作值得燒高級模型」。未來成熟的 AI workflow 很可能會有三層:便宜小模型負責分類、抽取、格式轉換;中階模型負責日常生成與 review;高階模型只處理架構決策、複雜 debug、長鏈推理與高風險輸出。若所有任務都丟給最貴模型,成本爆炸只是時間問題。
更大的風險是組織誤把 seat license 當成 AI strategy。真正該建立的是成本可觀測性:每個 workflow 花多少 token、多少工具呼叫、多少重試、多少人工 review,最後換來什麼可衡量結果。沒有這一層,AI 很容易從生產力工具變成新的雲端帳單黑洞。