亿欧智库-2023中国AIGC商业潜力研究报告-230711

文本预览:
AI跨入3.0+深度加强学习范式,利用奖惩模型强化生成能力 AIGC(AIGeneratedContent)是基于GAN、预训练大模型、多模态技术融合的产物,通过已有的数据寻找规律,并通过泛化能力形成相关内容。从商业角度看,AIGC是一种赋能技术,通过高质量、高自由度、低门槛的生成方式为内容相关场景及生产者进行服务。 早期决策式AI依赖逻辑判断的纯粹性,万物都能完美观察、任何测量不存在误差的前提不符合真实世界的“不确定性”;概率范式基于经验主义与理性主义一定程度上解决了“不确定性”;深度加强学习可以利用合理的数据丰度与奖惩模型达到类人类智能的水平,实现高质量内容与内容创作自动化;通用型AI具备泛人类智能,可以像人类一样执行各种任务。 历次AI寒潮沉淀的技术,终在算法、算力、数据三者共振的情况下诞生出大模型 在1956年的达特茅斯会议上,“人工智能”的概念被首次提出,六十多年以来,历经逻辑推理、专家系统、深度学习等技术的发展,人工智能也经历了数次沉浮,有如日中天的发展时期,也有因技术不足热度退去后的寒潮。而每一次寒潮后,也会经历技术的蛰伏发展,为人工智能带来里程碑式的进步。 预学习引发AIGC技术质变 预学习的出现解决了过去生成式大模型的痛点,但预学习本身存在模型尺寸、小样本数量、微调能力的不可能三角,解决方法也不尽相同:对于极大模型,使用知识蒸馏;对于少样本学习能力,进行数据增强;对于监督训练表现欠佳的模型,进行提示学习。 以GPT为例,在目前阶段,厂商通常的做法是扩大模型尺寸。 AI大模型底座驱动AIGC概念落地 在AIGC概念实际落地的过程中,只有基础大模型与通用技术是远远不够的,还需要能与场景融合匹配,更需要支持应用落地的工具平台和开放包容的创新生态,三者协同优化,加速AIGC落地。 在全应用流程中,主要通过大量的无标注文本进行共性学习,获得预训练大模型,此后再根据应用场景特征进行微调,更好与项目任务适配。多模态打破多种信息之间的边界并生成质量稳定的内容,提升AIGC内容多样性相比于信息模态单一的单模态模型,多模态模型可以同时处理更多模态的信息并将它们相互转化。 现今多模态模型以图文多模块为主。Transformer虽受制于单模态但其权重共享适用于多模态;ViT模型处理输入图片,使得Transformer可用,从而打破NLP和CV间屏障;BEiT将生成式预训练从自然语言处理迁移到了计算机视觉;扩散模型多用于文本图像生成。
展开>>
收起<<
《亿欧智库-2023中国AIGC商业潜力研究报告-230711(62页).pdf》由会员分享,可在线阅读,更多相关《亿欧智库-2023中国AIGC商业潜力研究报告-230711(62页).pdf(62页精品完整版)》请在悟空智库报告文库上搜索。
(以下内容从亿欧智库《2023中国AIGC商业潜力研究报告》研报附件原文摘录)AI跨入3.0+深度加强学习范式,利用奖惩模型强化生成能力 AIGC(AIGeneratedContent)是基于GAN、预训练大模型、多模态技术融合的产物,通过已有的数据寻找规律,并通过泛化能力形成相关内容。从商业角度看,AIGC是一种赋能技术,通过高质量、高自由度、低门槛的生成方式为内容相关场景及生产者进行服务。 早期决策式AI依赖逻辑判断的纯粹性,万物都能完美观察、任何测量不存在误差的前提不符合真实世界的“不确定性”;概率范式基于经验主义与理性主义一定程度上解决了“不确定性”;深度加强学习可以利用合理的数据丰度与奖惩模型达到类人类智能的水平,实现高质量内容与内容创作自动化;通用型AI具备泛人类智能,可以像人类一样执行各种任务。 历次AI寒潮沉淀的技术,终在算法、算力、数据三者共振的情况下诞生出大模型 在1956年的达特茅斯会议上,“人工智能”的概念被首次提出,六十多年以来,历经逻辑推理、专家系统、深度学习等技术的发展,人工智能也经历了数次沉浮,有如日中天的发展时期,也有因技术不足热度退去后的寒潮。而每一次寒潮后,也会经历技术的蛰伏发展,为人工智能带来里程碑式的进步。 预学习引发AIGC技术质变 预学习的出现解决了过去生成式大模型的痛点,但预学习本身存在模型尺寸、小样本数量、微调能力的不可能三角,解决方法也不尽相同:对于极大模型,使用知识蒸馏;对于少样本学习能力,进行数据增强;对于监督训练表现欠佳的模型,进行提示学习。 以GPT为例,在目前阶段,厂商通常的做法是扩大模型尺寸。 AI大模型底座驱动AIGC概念落地 在AIGC概念实际落地的过程中,只有基础大模型与通用技术是远远不够的,还需要能与场景融合匹配,更需要支持应用落地的工具平台和开放包容的创新生态,三者协同优化,加速AIGC落地。 在全应用流程中,主要通过大量的无标注文本进行共性学习,获得预训练大模型,此后再根据应用场景特征进行微调,更好与项目任务适配。多模态打破多种信息之间的边界并生成质量稳定的内容,提升AIGC内容多样性相比于信息模态单一的单模态模型,多模态模型可以同时处理更多模态的信息并将它们相互转化。 现今多模态模型以图文多模块为主。Transformer虽受制于单模态但其权重共享适用于多模态;ViT模型处理输入图片,使得Transformer可用,从而打破NLP和CV间屏障;BEiT将生成式预训练从自然语言处理迁移到了计算机视觉;扩散模型多用于文本图像生成。