AI 資料中心的評比標準從 GPU 數量轉向 token 產出

Sep 12, 2026

AI 資料中心的衡量標準,正從擁有多少晶片,轉變為每瓦電力能產出多少 token,而這項轉變為台灣伺服器廠商開啟了一條新的升級路徑。

  • 單純的晶片算力已不再是主要指標——現在真正重要的,是每單位電力所產出的 token 數量,以及每個 token 的成本。
  • 原因在於代理式 AI(agentic AI):它會以迴圈方式推理、呼叫工具並讀取長脈絡,因此記憶體容量、記憶體速度,以及資料在 CPU 與 GPU 之間的搬移,才是真正的瓶頸。
  • 解方是將不同種類的晶片混合成單一共用資源池,讓每個部分各司其職、發揮所長,在有限的電力下榨出更多產出。
  • 未來的資料中心機櫃也會依角色分工——部分負責重度運算、部分作為高速快取、部分用於儲存——而不再是同一種標準機箱重複堆疊。
  • 台灣已在 AI 伺服器製造上居於主導地位,下一步的升級是銷售系統層級的效率,而不只是硬體。

展望:預期買家將開始以每個 token 的成本來評斷 AI 資料中心,促使台灣廠商走向客製化晶片與協同設計的系統。

← 最新 · 存檔