预训练模型参数规模与所需算力快速增加&ChatGPT等AIGC应用采用大模型算法，需要对应的AI基础设施支持

算法向多模态大模型演变带来算力资源消耗快速上升 ChatGPT采用大模型算法要求大规模算力等AI基础设施支持。 ChatGPT基于transformer模型，并改进训练算法，一方面采用大量数据信息分析训练，模型参数高达1750亿，另一方面要求海量数据下并行计算的能力，需要消耗巨大的算力才能支持这种大模型的训练和内容生产。具体举例，OpenAI训练使用了10000张英伟达训练卡，而训练1750亿参数的GPT-3，需要一个英伟达V100 GPU计算约355年，且需要增加并行度；此外175B模型需要显存按全精度预估在700GB左右，需要10张左右80GB A100卡。生成式AI主要依赖于人工智能大模型，参数达数十亿至数万亿个，需要庞大的数据集进行训练，致使AI算力的需求也呈现出指数级的增长。图表：预训练模型参数规模与所需算力快速增加

点此查看报告原文>>