ChatGPT 概念大涨，算力方向受关注，成本成关键
2月15日，概念再次飙升，算力方向最受关注，神州数码、浪潮信息、华盛天成等多家服务器产业链公司涨停。中信建投研究报告显示，此前用于AI训练的算力增长符合摩尔定律，大约每20个月翻一番；深度学习的出现加速了性能的扩展，用于AI训练的算力大约每6个月就翻一番；并且随着目前大规模模型的出现，训练计算能力是原来的10到100倍。
财通证券分析，算力的瓶颈实际上并不体现在算力的绝对大小上，而是体现在算力的变现成本上。它要多少钱？
训练成本和推理成本
成本主要分为两个阶段：训练和推理。
海通证券研报显示，在训练阶段成本方面，援引Open AI测算，自2012年以来，全球头部AI模型训练的算力需求每3-4个月翻一番，头部训练模式逐年增加。振幅可达10倍。
训练阶段总算力消耗约为3640 PF-day（即/s效率运行3640天）。据普潮资本微信公众号显示，GPT-3的培训成本预计为500万美元/次。
国信证券测算每个Token在训练阶段的训练成本约为6N（推理成本为2N）。
由于训练成本每年都在快速下降，这里引用的计算结果显示，在公有云中训练OPEN AI的GPT-3模型的训练成本约为140万美元，PaLM模型的训练成本约为1120万美元。
在推理成本方面，国信证券声称将满足当前用户访问所产生的推理成本。自建IDC初期投资约4亿美元，每天租用云服务的成本约28万美元。
数据显示，目前2023年1月日活跃用户约为1300万，每人平均约1000个单词，因此总共产生约130亿个单词（173.3亿代币）。
假设任务在24小时内均匀分布，则需要的A100 GPU数量为173.3亿*2*3000亿/(20%*24小时*3600秒)=601.75/S。
https://pic3.zhimg.com/v2-cd83fc819d3bfb622757456f0d5b4b46_r.jpg
由于访问流量高峰，假设访问峰值是日均的5倍，则总共需要602台DGX A100服务器才能满足当前的访问量。
运营阶段，海通证券预计每年GPU/CPU需求将分别为7000万美元和778万美元。
据CCTV4微信公众号显示，截至1月23日，已累计月活跃用户1亿。假设后续稳定运行期间，总访问量保持在2000万次左右，按8个问题计算咨询量，则咨询总量为1.6亿次。
单个字在 A100 GPU 上大约消耗 350ms，因此总 GPU 运行时间约为 350ms。因此单日同时运行的GPU/CPU消耗分别为19444/4861个单位。
对应当前价格和更换周期假设，我们预计运营阶段每年GPU/CPU需求将分别为7000万美元和778万美元。
GPT-4 可能会出现指数级增长
国信证券表示，目前模型无法获取外部知识，仅依靠模型参数进行计算；如果与搜索功能相结合，如Bing等搜索引擎，其计算资源的消耗将增加数倍。
根据业内人士最新文章《小熊跑得快》，对未来GPT-4的预测主要基于两种场景的预测：
1）参数增加百倍的需求——一个是GPT-4，参数增加了100倍。
假设GPT-4有1亿个参数，不使用H100或优化架构，单日接入算力需求为6万个A100。它要多少钱？仅在计算能力方面的投资就达 120 亿美元。
如果使用H100，引用黄仁勋的话说“在AI任务中，H100的FP8精度计算能力是A100上FP16的六倍”；单价假设为A100服务器（单芯片H100，4W美元，单芯片A1002.4万美元）的1.7倍，即3380万美元。为了维持GPT-4的运行，单日需要1万台H100服务器，一次性投资成本达33.8亿美元。
2）访问量需求增加百倍。
https://img-blog.csdnimg.cn/img_convert/d8ee99e599983e94431705db99685ad0.jpeg
当前所有假设均基于 1300 万日活跃用户和一个人的 1000 字问题（10 个问题，1 个 100 字问题）。根据其线性曲线，日活跃用户可突破1亿。如果应用终端好的话，可以突破到10亿。很快，它也将面临将计算能力提高一百倍的需要。
行业预计将点燃基础设施需求
太平证券指出，用户数量的快速增长，从应用到算力，都将点燃基础设施需求。
民生证券指出，引领人工智能发展趋势需要算力快速提升。算力产业发展已是大势所趋，AI服务器、AI芯片等领域将迎来重要发展机遇。
据太平洋证券研报，AI服务器方面，根据IDC最新发布的《中国加速计算市场（2021年下半年）跟踪报告》，2021年中国AI服务器市场规模将达到350.3亿元，同比增长68.6%。
从市场结构来看，浪潮信息、宁昌、新华三、华为、安庆排名前五，占据82.6%的市场份额。其中，浪潮AI服务器市场份额达到52.4%，连续五年（2017-2021）市场份额超过50%。
此外，招商证券表示，未来三年或将带动上千亿的ICT硬件投资需求。
据商汤科技官网显示，商汤AIDC将于2022年1月24日开始运营，项目占地面积约5.8万平方米，总投资约56亿元。项目全面完成后，人工智能计算速度将达到峰值。
以商汤AIDC为测算参考，每新增算力需要投资15亿元，其中ICT硬件投资占比72%。每增加1亿活跃人口，需要额外投资203亿元，其中ICT硬件投资146亿元。
假设未来三年六家科技巨头各自拥有一个活跃用户达2亿的应用，则未来三年将新增1755亿元的ICT硬件投资需求。如果考虑到AIGC技术向音频、视频等方向的扩散，算力需求的增长将更加显着。
页:
[1]