趣科技5月30日消息,随着AI推理算力的需求暴增,国内的芯片研发也从GPU转向了CPU为核心,日前有消息称ByteDance要研发自己的CPU,现在进一步明确是LPU类型的芯片。
爆料很准的海外分析师Jukan日前提到,该公司正在跟国内的一家RRAM存储芯片厂商合作,研发一款类似Groq LPU处理器的产品。
他还提到NVIDIA黄仁勋之前表示LPU芯片只是个小众市场不过是有意淡化他们的企图,最终所有大厂都希望打造类似的张量处理器。
LPU这个芯片相对GPU、TPU来说确实还没那么出名,上一次有重大动作还是3月份NVIDIA在GTC大会上发布LPU30,而这个芯片的技术也不是NVIDIA自研的,是他们去年底花了200亿美元从Groq手中买的授权。
能让NVIDIA这么着急花大价钱买芯片授权,LPU自然不可小觑,创造它的公司Groq创始人乔纳森·罗斯(Jonathan Ross)正是10年前研发出谷歌TPU芯片的主管之一,2016年带领多位TPU核心人员成立了Groq公司。
相比GPU,LPU芯片专为大语言模型而设计,LPU芯片速度比H100快10倍,成本仅为其十分之一,以满足全球企业对“实时、低延迟”的AI推理服务的渴求。
具体到LPU30上,它整合500MB SRAM缓存,980亿晶体管,FP8性格1.2PFLOPS,AI算力性能远不如Rubin GPU,但150TB/s的带宽远高于HBM4的22TB/s。
Groq 3 LPU芯片会以Groq 3 LPX机架的形式出现,可集成256个LPU30芯片,缓存容量达到了128GB,内存总带宽则提升到了40PB/s,互联带宽也有640TB/s。
可以说LPU芯片在AI算力上不如GPU,但带宽、延迟等指标上比GPU提升了数倍,对AI推理作用极大。
如果ByteDance也搞定了自己的类LPU芯片,大家能有什么体验变化呢?很多人都吐槽过豆包情商极高,但智商不详吧,本质上就是推理算力不够,如果有LPU这种芯片加入,不仅可以极大降低成本,还可以让豆包更聪明,能干的事就多了。


