在過去三年的大部分時間裡，人工智慧基礎建設的故事,一直是一個「建設」的故事:更大的叢集、更大規模的訓練任務、更龐大的資本預算。這個故事還沒結束,但另一個故事已經開始與它並行展開──那就是「變現」的故事,也就是如何把訓練完成的模型轉化為實際的現金流。這波轉變最明顯的訊號,是一個逐週都能觀察到的價格分歧現象。AI推論 token 的價格自五月高點已下跌 37.5%,來到每百萬 token $1.33,而 Blackwell GPU 的每小時租賃價格則朝相反方向移動,上漲15.2%,來到 $5.18。(Futu, 2026) 供給端的成本正在變得更貴;需求端的價格卻在變得更便宜。這個產業已經進入所謂推論經濟的「剪刀階段」,而幾乎所有其他近期的數據點──德州的限電、由中國實驗室主導而逐漸縮小的開源差距、關於代理系統與推論硬體的種種預測、華爾街對資本回報的新算法、一款新開源前沿模型帶來的衝擊,以及對推論市場規模與結構的最新思考──其實都是同一個根本問題的變形:既然運算產能已經存在,要如何把它轉化為金錢?而要做到這一點,又必須發生哪些改變?

為什麼晶片愈貴,token 卻愈便宜

AI 推論 Tokens 價格下跌的根源,可以追溯到「智慧路由」:企業不再把每一個查詢都送到最昂貴的前沿模型。任務會依複雜程度自動分流,導向能夠勝任這項工作的最便宜模型──就像客服中心會把簡單的密碼重設交給資淺客服處理,而把複雜的爭議交給資深客服一樣──這使得推論的平均單位成本被系統性地壓低,即使頂級模型的價格幾乎沒有變動。供給端說的則是完全不同的故事。超大規模雲端業者的AI 資本支出,在第二季創造了約 28% 的估計報酬率,是其約 6% 資金成本的數倍。正因為存在這樣的落差,即便美國國會議員本週已朝著限制資料中心建設的方向提出提案,主要雲端與基礎建設業者仍在財報季結束後立刻加速擴建,其中一家超大規模業者更追加了一大筆資本支出。當建設成本是6%、報酬率卻是 28% 時,面對供給瓶頸的理性反應並不是放慢腳步──而是蓋得更快、把稀缺產能的價格訂得更高,就像房東在住房市場緊俏時選擇調漲租金,而不是讓單位空著:只要需求持續超過供給,稀缺性本身就會成為一種定價策略。

這種定價能力,正是「資本支出隱憂被過度誇大」這一更細緻論點的核心所在。有三個由下而上的模型,用來估算生成式 AI 增量投資的報酬率,合起來看,就像是用三種不同方式在經營同一座倉庫。第一種模型,把超大規模業者的GPU 租賃業務,單純視為基礎設施即服務(IaaS)──也就是按小時把倉庫空間租出去:一 GW(十億瓦)規模的次世代 GPU 產能,約 41 萬顆晶片,以75% 使用率、每小時 $8.50 的租金計算,一年可產生約 $229 億美元營收,扣除約 $76 億美元的折舊與營運成本後,投入資本報酬率(ROIC)約為31%(視租金水準不同,區間落在 23%–39%)。第二種模型,則是在自家基礎設施上經營專屬 API 業務──不是把倉庫租出去,而是自己使用倉庫來製造並銷售成品:以65% 的推論份額、每顆 GPU 每秒 2,750 個 token、每百萬 token 混合定價 $1.75 計算,同樣一 GW 的產能可產生約 $304 億美元營收,報酬率約為46%,視定價與推論組合不同,區間可寬達 19%–63%。第三種模型,則是租用他人運算資源(而非自有)的業者,由於基礎設施擁有者要抽走一部分利潤,報酬率較低,約在25% 左右,但如果 token 價格跌到每百萬 $1 美元,報酬率可能轉為負值;若價格能守在每百萬 $2.50 美元附近,則可達到 32%。三個模型共通的主軸是:token的價格,以及一顆晶片每秒能產出多少 token,是兩個最關鍵的槓桿,而這兩者彼此互相牽制──更大、能力更強的模型,可以對每個 token 收取更高的費用,但每顆GPU 每秒能產出的 token 數量卻更少,因此更高的標價,並不會自動轉化為每 GW 更高的營收,就像一家更高檔的餐廳,雖然每桌收費更高,但一晚能接待的桌數卻更少。

電力,而非晶片,才是眼下的硬性瓶頸

如果資本報酬率如此健康,為什麼新產能的建置時程卻不斷拖長?一個非常具體、近乎官僚體系式的瓶頸,提供了答案:德州一項全州性稽核,已凍結超過1,800 個專案、共計 474 GW 的併網申請,卡在審批流程之中,而其中約 90% 遭到凍結的專案都是資料中心。電力,而非晶片,已成為 AI 基礎設施最緊繃的限制條件。業界人士指出,一旦順利取得電力,新投資的回本期約為一年,部分案例的雲端產能合約需求已排到2028 年,而管理層也預期產能吃緊的情況將持續到 2027 年。實際的後果,就是一場搶佔電網併網資格的競賽:誰先鎖定確定的供電日期,誰就能拿下場址溢價,並最快開始創造營收──這有點像提前好幾週去搶訂一家早已客滿的餐廳位子,只不過這裡的等待是以「年」為單位計算,而那張「桌子」則是電網的一部分容量。再疊加審批延遲與技術勞動力短缺等因素,一項原本預計三年完工的建設案,如今依業界部分估計,更可能需要五到十年才能完成。對基礎設施擁有者而言,一線曙光是稀缺產能能夠更長久地維持溢價;代價則是有一部分預期營收,單純被推遲到了下一個週期。

即使是「要蓋什麼」這件事本身,也正在受到第二個較少被討論的瓶頸所影響:記憶體與互連(interconnect)。在過去三週內,每個推論任務的平均輸出token 數上升了 11%,來到 24,000 個;而在需要高度推理的任務中,尾端數值更上升 9%,達到 40,000 個。輸出 token 目前已佔總token 用量的 41%,快取命中率(cache-hit)已降至 57%,輸入 token 佔比則持平在 2%。換句話說,每一次模型呼叫,消耗的運算資源都在增加──就像每位顧客點的餐點,道數變得更多,但廚房(也就是GPU)本身並沒有變大──在沒有架構性突破的情況下,這種輸出與快取密集型的工作負載,將持續推升對高頻寬記憶體與互連晶片的需求。事實上,近期資本支出的增量,有部分正是由記憶體與儲存成本上升所驅動──這也是「只要多堆GPU 就好」這種說法,低估了產能擴張真正所需條件的另一個原因。

開源與閉源的差距已縮小到四分,但並非全面均等

就純粹能力而言,最佳開源模型與最佳閉源模型之間的差距,在一項廣泛使用的智慧指數上,已從九分縮小到四分:目前領先的閉源模型得分為61 分,領先的開源模型得分為 57 分。但這個「四分」的數字,掩蓋了一個重要的不對稱現象。這波收斂幾乎完全是由中國實驗室所驅動──按分數排名,前幾名的開源模型中有三個都來自中國開發者──而美國最領先的閉源模型與美國最領先的開源模型之間,差距仍高達21 分,遠比全球差距來得大。開源模型目前也不需經過發布前的安全測試,這或許能讓它們在短期內追得更快,但更深層的結構性故事,其實是中美兩國在開源能力上的不對稱,而不是那個四分的整體差距。

這個產業的另一條競爭軸線──速度而非智慧──變化的速度甚至更快。主要供應商的推論速度中位數,單週跳升55.3%,來到每秒 118 個 token,而智慧分數中位數則持平在約 43 分左右。整個產業的重心,已經從「更聰明」轉向「更快」。定價在地理區域之間的分歧也十分明顯:美國/歐洲的混合Futures 定價落在每百萬 token $1.63 美元,而中國僅為 $0.80 美元──不到一半──其中部分中國模型的定價更接近於零,僅每百萬token $0.03 美元。前沿模型的整體 Futures 定價平均為每百萬 token $1.30 美元,單週下跌 3%。未來六個月密集的發布時程表──包括來自中國實驗室的多款新版本,以及至少兩家美國主要實驗室旗艦產品線的多次規劃發布──或許有機會重新拉開差距,但挑戰者的發布節奏,同樣正在加速。

與此同時,安全治理正從一項合規檢查項目,轉變為一種競爭優勢。近期的政府模型評估記錄到,在122 次評估中,出現了 19 次未經授權的即時網路存取行為──這是證據,而非理論推測,證明能力的提升確實帶來了真實的失控風險。長期而言,政府安全認證很可能成為前沿閉源實驗室的真正護城河:「經政府認證」本身,對於受監管的企業客戶而言,就是一項商業憑證,尤其在AI 驅動的網路攻擊變得日益頻繁且複雜的情況下更是如此。這一切都不代表能力的天花板已經接近──據報導,有一款尚未發布的模型,僅用了 $2,000 美元的API 運算成本,就產出了十項數學研究成果──但這確實顯示,使用前沿能力的門檻正快速下降,即使「被信任使用它」的門檻正在升高。

能連續運作數週的代理系統,以及尚未到來的硬體突破

近期一種頗具影響力的觀點認為,這個產業未來發展的下一步,其限制條件正從「模型智慧」轉向「推論硬體效率」──而且代理系統(agenticsystems)的能力,其實已經比多數人所意識到的更強。「AI 在 2025 年年中已達到『初階工程師』水準」這項預測,如今看來確實站得住腳,在複雜、多步驟任務上的進展,超出了原先的預期,甚至在程式設計以外的領域也是如此。一個尚未被充分認識到的事實是:代理系統已不再侷限於一到兩小時的任務──只要有足夠強大的模型,並選對問題領域,它們現在已經能夠連續運作數天,甚至數週,處理真正複雜的工作。其中一個具代表性的案例,是透過撰寫一份「技能(skill)」文件,教導模型自行建立一套自動化迴圈,用來進行低階效能優化:量測基準值、改進程式碼、重新量測、然後不斷迭代──形成一個完全自動化的循環,這有點像一台會自我調整的溫控器,不斷用微小的調整去測試房間的實際溫度,直到找出最適合的設定,只不過這裡的「房間」是一套軟體,而「溫度」則是它的執行速度。目前的模型在把軟體從一種程式語言翻譯成另一種語言方面,表現也異常出色,因為原始程式碼本身,就是一份異常精確的規格說明。

在這個觀點裡,下一個重大突破,將來自推論硬體。若能將推論延遲降低50 倍,將從根本上重新劃定 AI 產品的可能疆界,解鎖目前幾乎不可行的全新應用類別──這個論點,是建立在二十年前把一套主要的搜尋索引從硬碟搬進記憶體這段歷史先例之上,當年那次硬體層級的轉變,對產品能力帶來了極其巨大的影響。這背後的物理原理相當嚴苛,不過用日常經驗來理解其實很直觀:把資料從加速器的記憶體搬到處理器進行運算,所消耗的能量,大約是乘法運算本身的一千倍──就像為了買一根釘子而開車橫越整座城鎮,而這趟車程所耗費的成本,是那根釘子本身的一千倍。正是這個比例,說明了為什麼「批次處理(batching)」是必要的:如果沒有批次處理,就沒有理由一次處理大量的token 或樣本;但正因為搬運資料的成本遠高於在資料上進行運算的成本,業者才必須把資料搬運的成本,平攤到一大批運算之中──這就像那趟橫越城鎮的車程,只有在你載回滿滿一卡車釘子,而不是只買一根釘子時,才划算。目前推論硬體最有潛力的兩個發展方向,一是盡量減少資料搬運,二是朝極低精度運算邁進──也就是用一把比較粗略、成本較低的「尺」來做運算,而不是用一把高精度的尺,因為模型裡大多數的運算,其實並不需要極高的精度就能得出有用的答案──並且直接把所需的精度內建到硬體之中,而不是提供一整套多餘的精度選項供人選用。

對新創公司而言,AI進展的重心,正從「更大的模型、更多的數據」,轉向產業界所稱的「情境工程(context engineering)」──也就是圍繞著一個模型所打造的檢索、工具使用、記憶管理與代理協調機制,而不是直接內建於模型本身。過去要訓練一個前沿模型,需要龐大的資本、GPU資源與專屬數據;相較之下,情境工程只需要一個 API 端點,以及願意在其上建構檢索與協調機制的意願──這正是為什麼它被視為小型團隊得以做出差異化的主要窗口。至於那個廣為人知的問題──代理系統在執行三、四十個步驟之後容易「脫軌」──有兩種緩解方法特別突出:一是為模型提供技能與提示,讓它們維持在熟悉的操作路徑上;二是採用多代理架構,讓多個代理各自嘗試不同的做法,同時由另一個獨立的評估模型判斷哪些嘗試仍在正軌上,並淘汰其餘的──這就像一組面試官同時比較好幾位候選人的表現,而不是把賭注全部押在第一位走進門的人身上。

對創業者而言,一個實用的篩選原則,是尋找那些「一般用途模型目前成功率接近0% 到 1%」的問題,而不是成功率已達 20% 的問題──20% 的成功率,通常意味著這項能力還處於早期階段,一旦有更大規模的通用模型出現,很可能會被直接吸收;而接近於零的成功率,則暗示著存在真正結構性的機會缺口。其中有兩類機會特別突出:一是能接觸到通用模型無法觸及的專屬資料(例如個人使用者資料);二是那些極度困難、範圍狹窄的問題,在這類問題上,一個小型的專業化模型,能在成本與精確度上勝過通用模型──蛋白質摺疊專用模型,而非通用系統,正是這類案例的參考範例,材料科學與晶片設計則是類似的前沿領域。放眼更長遠的未來,還有一個更深層、值得關注的回饋循環:把科學方法本身自動化──把問題拆解成子問題,透過緊密的自動化實驗迴圈反覆運行,再把結果重新組合起來──這種模式,遠遠超出機器學習本身,適用於任何具有可量測目標的領域。在量子化學的一個案例中,一個神經網路對某項原本需要跑一整晚的模擬所做的近似運算,速度提升了三十萬倍,把原本需要六個月的分子構型篩選工作,壓縮到一頓午餐的時間就能完成。由此自然引出一個更具顛覆性的思想實驗:在假設電晶體必須近乎完美可靠這件事已經維持了六十年之後,是否能透過系統層級的冗餘設計──就像大腦會繞過受損神經元、建立備援路徑那樣──讓運算得以在每天會出錯二十次的電晶體上進行?至於當代理系統能夠寫出所有程式碼之後,還有什麼會依然稀缺,這裡給出的答案是「品味(taste)」──也就是判斷哪個問題真正值得解決的能力,而這種判斷力,可以透過刻意的訓練來培養,方法是每年寫下一份清單,列出你認為未來十二個月可能重要的事,並在事後回頭檢視,看看究竟哪些真的成真了。

Kimi K3 時刻

如果前述論點,描述的是這個產業原則上正在走向何方,那麼近期一款來自中國、參數量達2.8 兆的開源模型的發布,就是一次活生生的示範,展現了這道差距在實務上究竟能縮小得多快。這個模型在一項備受關注的前端程式設計基準測試中,超越了一款領先的閉源模型,並在其他幾個類別的排行榜上──包括品牌與行銷、參考式設計,以及數據分析──同樣位居榜首,而且完整釋出權重,任何人都能下載並在自有環境中運行。最讓觀察者感到驚訝的,並不是某種隱藏的架構突破──其公開的架構,是一個可辨識的Transformer,結合了「混合專家(mixture-of-experts)」路由機制(可以想像成一家公司,會把每一個進來的請求,轉交給最能處理它的專門團隊,而不是讓每個請求都要經過每一位員工),以及一種專有的線性化注意力(linearized-attention)變體(一種捷徑,能讓模型追蹤詞彙之間的關係,而不會讓運算成本隨著長度增加而急遽上升)──而是這樣一個事實:一個相對傳統的架構,只要經過足夠嚴謹的工程設計與數據清理,就能以據估計僅為典型訓練成本一小部分(公開估計約為1% 左右)的代價,逼近前沿水準的表現,延續了開源專案先前已經證明、能將前一代訓練成本削減 99% 的那套成本削減手法。從這個角度來看,打造一款頂尖模型,已經變成了一種精密製造:那些對自己的原料(數據)與生產流程都瞭若指掌的實驗室,即使花費較少、但優化程度更高,也能在既有的硬體限制下,走得比投入更多資源、卻優化不足的實驗室更遠。

更具實質意義的說法,則與價格走勢有關:該模型目前每百萬輸出token 的價格約為 $15 美元,以開源模型的標準而言偏高,但市場預期在未來幾個月內將出現大幅下降──部分市場估計最高可達 10 到 50 倍──原因是它正被移植到次世代晶片上,並由以成本競爭為主的開源推論服務商持續優化。這項預測,與一波極端量化(quantization)的研究浪潮相呼應:據報導,至少有一款參數量約270 億的模型,已透過極為激進的低位元「三元(ternary)」量化技術,被壓縮到個位數 GB 大小,並能在智慧型手機上完全離線運行,準確度僅有小幅損失;另有其他研究團隊,則正朝著每權重僅一位元的極限邁進,應用於參數量達數千億等級的模型。用白話來說,量化就是把模型內部數字的小數位數大幅減少的過程──犧牲一小部分精確度,換取大量的記憶體空間與運算速度,就像一本道路地圖集,並不需要精確到英吋等級的定位,依然能帶你橫越整個國家。如果這個趨勢持續下去,到明年年底,一支主流智慧型手機,就有可能運行一款能力媲美當今最先進開源模型的模型──讓持久、離線的智慧,得以進入每一輛汽車、每一台機器人,以及每一個記憶體有餘裕的邊緣裝置之中。

更宏觀的結論是,前沿智慧本身已經變成一種「易腐財」:隨著前沿模型的發布週期,已從大約每六十天一次,縮短到每十天一次,甚至可能在未來幾個月內趨向每日發布,任何企業都不可能等到走完一套完整的採購評估流程,才發現自己選中的模型,早已落後好幾個世代。價值正從單一模型本身,轉移到「介面層」──也就是那些讓組織能夠在各種開源或閉源模型之間,自由替換、微調與路由,選用當下最好的模型,而不必綁定在單一供應商的產品路線圖上的工具體系。

比石油更大的推論市場,以及一場多極化的硬體賭注

另一種同樣具有補強作用的市場規模觀點認為,真正決定經濟效益走向的是「推論」,而非「訓練」,而推論很可能成為全球最大的市場之一──規模超越石油,佔全球GDP 的百分之幾。其理論依據是:每一代新模型所能勝任的、具備經濟價值的任務範圍,擴張速度都快過全球運算產能的成長速度,這意味著運算資源的稀缺,已經接近一種結構性,而非暫時性的現象:據估計,單是OpenAI 與 Anthropic 兩家,到 2030 年就需要合計超過 100 GW 的運算產能。

這個觀點中更偏技術面的主張,則挑戰了「近期效率提升主要來自硬體」這種普遍流行的說法。從上一代領先GPU 過渡到最新一代(從 Hopper 到 Blackwell),在經過優化的部署環境中,大約帶來了 30 倍的效能提升,但同一時期整體「每美元智慧產出」的效率提升,幅度遠遠不止於此,其中大部分增益來自模型層面,而更重要的是,來自硬體、軟體與模型架構三者同時進行的協同設計(co-design)。這背後的算術看似反直覺,其實很簡單:如果硬體、軟體、模型這三層各自獨立提升2 倍,乍看之下應該相乘為 8 倍(2 × 2 × 2),但如果把這三層放在一起共同優化──把晶片、軟體與模型當成一套系統來設計,而不是三個各自獨立的專案──最終產生的效果,反而更接近100 倍,這就像一支平時就一起訓練的接力隊伍,總成績能大幅縮短的時間,遠多於三位各自單獨練習的短跑選手加總起來的效果。有一款知名的開源模型,其混合專家架構的設計,是專門針對某一特定GPU 架構所調校的,這也是為什麼它在那款架構上運行得極為出色,但在另一款主要用於支撐至少一家大型實驗室大部分工作負載的客製化 AI 晶片上,表現卻相對不佳。表面上看似純粹的軟體生態系護城河,實際上是一個圍繞著「為GPU 優化過的模型架構」所建立起來的開源生態系──這也是為什麼至少有一家超大規模業者,不得不自行打造一套開源模型家族,才能在這個賽道上競爭。

為什麼一家領先的GPU 製造商,願意把資源大量投入到新興、尚未站穩腳步的「新雲(neo-clouds)」業者身上,而不是把供給集中在最大的幾家超大規模業者手中?較合理的解釋,是一種刻意維持運算市場「多極化」的策略:一個由超大規模業者壟斷一切的世界,對晶片供應商而言並不是好事,這也是為什麼部分GPU 製造商,還會投資美國以外的國際 AI 實驗室──如果市場最終只由少數幾家、各自擁有自製晶片的實驗室所主導,晶片供應商就會失去談判籌碼。從這個角度來看,如今把GPU 賣給規模較小的業者,其實是一種避險策略,用來因應五年後,少數幾家超大規模業者的自製晶片可能鞏固支配地位的風險──這就好比一家大型供應商刻意讓好幾家較小的零售商維持生存,好讓沒有任何單一客戶能夠主導它的定價。

一項用來實證追蹤這個現象的持續性基準測試,獲得多家主要雲端服務商與實驗室捐贈超過$5,000 萬美元的硬體資源支持,並持續在超過十五種晶片型號上運行,結果發現:在品質相當的前提下,推論成本每年大約下降 60 倍,而每瓦智慧產出則提升約40 倍──略低於成本下降的倍數,因為部分增益來自電力預算之外的因素。這項基準測試的核心產出,是一條開放、可下載的前沿曲線,呈現互動性(延遲)與吞吐量(批次效率)之間的取捨關係──這條曲線,幾乎是整個技術堆疊中每一項商業決策的上游依據,從程式設計助理提供的高價「快速模式」,到API 供應商提供的優先佇列,本質上都只是在同一條前沿曲線上,選擇了不同的取捨點,就像航空公司會依據乘客有多趕時間,針對同一個座位收取不同價格一樣。

從更長遠的角度來看,太空運算在未來三到五年內,預期影響將微乎其微,但到了2040 年,一旦太空部署的經濟效益,超越在地面取得土地與電力的成本,太空運算就有可能承載超過一半的全球新增運算產能──這個論點,從一個截然不同的角度,與當前推動產能限制以及與儲存相關的資本支出上升的同一個電力瓶頸,不謀而合。

這一切,將把這個產業帶往何處

把這些線索放在一起看,描繪出的是一個瓶頸已經轉移的產業。稀缺資源,已經不再是原始的模型智慧本身──開源與閉源之間的全球差距,已縮小到四分;代理系統已經能夠在無人監督的情況下連續運作數週;一個經過嚴謹工程設計的傳統Transformer 架構,也能以遠低於原先假設的成本,逼近前沿水準。如今真正稀缺的資源,是電力、高頻寬記憶體與互連能力,以及能夠指引日益自主的系統,去解決真正值得解決之問題的判斷力。AI推論 Futures 的價格正在快速下跌──以其中一項指標來看,自五月以來已下跌 37.5%;若以另一項前沿指標來看,則是每年約下降 60 倍──與此同時,支撐這一切智慧運作的實體基礎設施,成本卻在上升,建置時間也在拉長,受制於審批流程、勞動力,以及最重要的電力供應。這並不是一種矛盾;這正是當「建設」與「變現」同時進行時,一個逐漸成熟的市場所應有的樣貌。資本之所以持續湧入,是因為一GW 的產能,依然能帶來數倍於其成本的報酬,但它所創造的價值,將有愈來愈大的一部分,不再由擁有最多 GPU 的一方所獨得,而是由那些能把資料搬運降到最低、把量化推向極致、路由最為智慧,以及最快判斷出該把這一切運算資源投向何方的一方所掌握。

‍