算力紧张,国产AI芯片能否趁势而起
ChatGPT们的核心底座
“训练数据+模型算法+算力”是ChatGPT成长的基础,以ChatGPT为例,训练ChatGPT3.5使用英伟达A100芯片,而一颗英伟达A100芯片的成本约8万元,完成整个训练过程需要三万颗英伟达A100芯片。此前战胜李世石的AlphaGO,训练只用了176颗GPU。
ChatGPT的兴起推动着人工智能在應用端的蓬勃发展,这也对计算设备的运算能力提出了前所未有的需求。虽然AI芯片、GPU、CPU+FPGA等芯片已经对现有模型构成底层算力支撑,但面对未来潜在的算力指数增长,全球当前的算力显然有些紧张。

全球算力每5~10个月就要翻倍,截至2021年,全球计算设备算力总规模达到615EFlops、增速44%。浙商证券预测,2030年,算力有望增至56ZFlops,CAGR达到65%。而这还是ChatGPT还未降临之时,正常的算力需求预测值。
2022年底,ChatGPT来临之后,无疑又将拔高算力的增长曲线。根据通信世界数据,ChatGPT的总算力消耗约为3640PF-days(即假如每秒计算一千万亿次,需要计算3640天),需要7~8个投资规模30亿、算力500P的数据中心才能支撑运行。而这才是参数规模1750亿的GPT-3,除此之外还有参数5620亿的PaLM-E,彼时,算力以及其背后的功耗还能顾得过来吗?
算力芯片需求暴涨
未来,AI算法算力行业的天花板,由半导体行业的发展决定。

登录后获取阅读权限
去登录
本文刊登于《电脑报》2023年13期
龙源期刊网正版版权
更多文章来自

订阅