申万宏源-AI行业系列点评：ChatGPT/AIGC九问九答-230206

《申万宏源-AI行业系列点评：ChatGPT/AIGC九问九答-230206（13页）.pdf》由会员分享，可在线阅读，更多相关《申万宏源-AI行业系列点评：ChatGPT/AIGC九问九答-230206（13页）.pdf（13页精品完整版）》请在悟空智库报告文库上搜索。

　　近期市场对于AIGC/ChatGPT关注较高，投资者常见以下问题。
　　Q：大规模预训练模型（大模型）与小模型的核心区别？相比小模型，大模型有什么优势？首先最核心区别在于参数量，例如GPT-3参数量达到了1,750亿个，是传统深度学习小模型参数量的至少一万倍以上。通过模型的扩大，可以带来提升包括：1）GPT-2等大模型舍弃了小模型中常见的调参过程，转向无监督训练；2）在NLP中常见小模型需要对不同的任务使用不同模型分别训练解决，而GPT-3等大规模预训练模型不再规定任务，而是对不同任务都有较好效果；3）GPT-3先使用海量数据预训练大模型，得到一套模型参数，然后用这套参数对模型进行初始化，再进行训练。大幅降低后续对数据量的需求。
　　Q：GPT-3等大模型和Transformer的关联？GPT/Bert等大模型都在自然语言领域应用。而Transformer是目前NLP领域效果较好的深度学习模型，因此GPT/Bert等都使用了Transformer。Transformer最大的特点是，可以让每个单元都可以捕捉到整句的信息，这也是RNN/LSTM等更早期NLP模型无法做到的一点。
　　Q：Transformer对于CV机器视觉可以有类似NLP的提升吗？实际上2017年transformer推出之后，2018年就有学者将其应用于CV图像领域，但当时应用效果未发现相比传统CNN等算法有较大提升。但在2021年后，随着swin transformer、mae等论文推出，transformer在CV和跨模态等应用增加。因此国内擅长CV的AI公司，在2022年前对于基于transformer的大模型关注投入较少，但是我们认为随着VIT等效果提升，应用类的CV公司也会开始关注并投入大模型。
　　 Q：国内transformer大模型做的怎样？如何看待中美技术差距。首先需要承认这一类大模型底层创新在美国开始。中国在2021年后加速追赶。此前国内大部分视觉类AI公司都以小模型路线为主，投入大模型研发较多的包括百度、华为等。百度推出文心大模型，基本实现跨模态和多下游应用。华为推出最大中文语言预训练模型盘古大模型。
　　Q：怎样的公司有机会参与大模型底层技术研发？我们认为大模型对存储、算力要求极高，且对于开发者对深度学习框架使用也有要求，普通机构难以复现。
　　 Q：上市公司中有哪些机会呢？计算机：泛AI领域是相关主线。稳健标的如AI领军、科大讯飞、万兴科技、虹软科技，弹性标的为云从科技、汉王科技、博彦科技、商汤科技(H)。互联网：看好国内AIGC市场，持续跟进AIGC的技术发展和文本、音频、图像等单模态的应用落地。重点关注技术驱动的初创代表企业、科研院所，以及与应用场景关联的A股上市公司。相关标的：中文在线、汉仪股份、视觉中国、蓝色光标。
　　风险提示：大模型技术中美仍存在差异，部分技术尚处于早期实验室阶段，存在落地风险；实体清单等可能对训练硬件产生影响