申港证券-计算机行业研究周报：英特尔发布高性价比Gaudi2加速卡GPT-4详细参数分析-230716

文本预览：

《申港证券-计算机行业研究周报：英特尔发布高性价比Gaudi2加速卡GPT-4详细参数分析-230716（11页）.pdf》由会员分享，可在线阅读，更多相关《申港证券-计算机行业研究周报：英特尔发布高性价比Gaudi2加速卡GPT-4详细参数分析-230716（11页）.pdf（11页精品完整版）》请在悟空智库报告文库上搜索。

（以下内容从申港证券《计算机行业研究周报：英特尔发布高性价比Gaudi2加速卡GPT-4详细参数分析》研报附件原文摘录）
　　本周周报我们介绍GPT-4详细参数及英特尔发布Gaudi2加速器相关内容，对大模型及GPU生态进行探讨和展望。 　　与国内大模型产品相比，chatGPT效果依然最优。根据InfoQ数据显示，chatGPT在大模型产品测评中分数最高，综合得分率为77.13%，国内大模型产品文心一言正迅速追赶，在国内大语言模型中位列第一。 　　在这一背景下，市场普遍认为GPT-4的模型架构、基础设施、参数设计等具有一定程度的领先。由于官方并未公布GPT-4的详细参数，业内人士对GPT-4的详细参数进行了推断. 　　参数量：GPT-4的大小是GPT-3的10倍以上，包含1.8万亿个参数； 　　数据集：GPT-4的训练数据集将多个epoch中的token计算在内包含约13万亿个token； 　　训练成本：OpenAI在GPT-4的训练中使用了大约2.15e25的FLOPS，使用了约25,000个A100GPU，训练了90到100天，利用率（MFU）约为32%至36%。假定云端的每个A100GPU的成本大约为每小时1美元，那么单次训练的成本将达到约6300万美元，如果使用约8192个H100GPU进行预训练，用时约为55天左右，成本为2150万美元，每个H100GPU的计费标准为每小时2美元； 　　推理成本：GPT-4的推理成本是1750亿参数模型的3倍，这主要是因为GPT-4的集群规模更大，并且利用率很低。根据测算，在用128个A100GPU进行推理的情况下，8k版本GPT-4推理的成本为每1,000个token0.0049美分。如果使用128个H100GPU进行推理，同样的8k版本GPT-4推理成本为每1,000个token0.0021美分； 　　7月11日，Intel面向国内提出了新的解决方案，推出了第二代Gaudi深度学习加速器Habana Gaudi2。 　　在大语言模型GPT-3的评测上，Gaudi2也展示了其较优的性能。它是仅有的两个提交了GPT-3LLM训练性能结果的解决方案之一（另一个是英伟达H100）。在GPT-3的训练上，英特尔使用384块Gaudi2加速器使用311分钟训练完成，在GPT-3模型上从256个加速器到384个加速器实现了近线性95%的扩展。 　　目前，已有部分厂商推出了基于英特尔AI加速卡的产品。在发布活动中，英特尔宣布Gaudi2首先将通过浪潮信息向国内客户提供，打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。其服务器集成了8块Gaudi2加速卡HL-225B，还包含两颗第四代英特尔至强可扩展处理器。 　　投资策略： 　　国内大模型在实际效果上已经逐渐靠近GPT-4，未来随着大模型在各领域的商业化落地，国内大模型将加速创新和迭代，推动数字经济发展，大模型方面建议关注科大讯飞、360。 　　目前，Gaudi2加速器发布后，英特尔正与浪潮信息合作，开发并发售基于Gaudi2深度学习加速器的AI服务器NF5698G7，同时新华三正与英特尔合作，开发适合大模型训练和推理的高性能AI服务器。 　　我们认为随着大语言模型及生成式AI的需求扩张，市场对高性价比加速器的需求也更加迫切，Intel推出的Gaudi2同时具备性能与性价比的领先优势，未来将具备较大的发展空间。 　　市场回顾： 　　本周申万计算机指数整体表现平稳，上涨0.82%，在申万一级行业中排名13/31。 　　本周申万计算机行业指数前十大权重股恒生电子跌幅较大、浪潮信息、用友网络、紫光股份略有下跌，大华股份、海康威视、中科曙光涨幅较大。 　　本周计算机板块涨幅前十大个股：华是科技、银信科技、航天智装、汇金股份、中孚信息、天迈科技、中新赛克、三维天地、彩讯股份及恒为科技。 　　申万计算机行业指数当前滚动市盈率为69.16，近五年分位值81.95%。 　　风险提示：政策落地不及预期风险、技术落地不及预期、宏观经济波动风险等。