AI数据中心的衡量标准从GPU数量转向token产出
AI数据中心的衡量标准正在改变,从你拥有多少芯片,转向每瓦电力能产出多少token,而这一转变为台湾服务器厂商打开了新的升级路径。
- 芯片的原始算力不再是主要衡量指标——现在真正重要的是每单位电力产出的token数量,以及每个token的成本。
- 原因在于智能体AI(agentic AI):它以循环方式推理、调用工具、读取长上下文,因此内存容量、内存速度以及CPU与GPU之间的数据搬运,成了真正的瓶颈。
- 解决办法是把不同种类的芯片混合进一个共享资源池,让每个部分各司其职、发挥所长,从有限的电力中榨取更多产出。
- 未来的数据中心机柜也将按角色分化——一部分用于重负载计算,一部分用于高速缓存,一部分用于存储——而不再是同一种标准机箱的简单堆叠。
- 台湾已经在AI服务器制造领域占据主导地位,而下一步的升级是销售系统级的能效,而不只是硬件。
展望:预计买家将开始以每个token的成本来评判AI数据中心,这将推动台湾厂商转向定制芯片和协同设计的系统。