专业+数据+场景:同构AI时代金融核心竞争力
(以下内容从华泰证券《专业+数据+场景:同构AI时代金融核心竞争力》研报附件原文摘录)
文章开始 当ChatCPT引领起新一轮AI热潮,金融领域也在“AI+金融”加速落地的过程中渐入深水区。华泰证券作为证券行业的科技领跑者,始终关注前沿技术革新,在6月2日上海举办的数字金融论坛上,特别邀请腾讯云副总裁王麒、华泰证券研究所计算机行业首席研究员谢春生分享他们对大模型在金融领域内应用的见解。 王麒 腾讯云副总裁 谢春生 华泰证券研究所计算机行业 首席研究员 2022年11月30日,人工智能实验室OpenAI推出ChatGPT,以其惊人的LLM(Large Language Model,大语言模型)理解、推理和泛化能力,引领出新一轮AI浪潮,也以高达1750亿的参数量,让“千亿大模型”一时间鹤立鸡群,成为了过去半年来科技圈最火的热词之一。 在腾讯云副总裁王麒看来,ChatGPT为代表的AI大模型之所以领先,主要是在数据量、训练时间、模型复用性上,都相对传统模型拥有明显优势。在大模型之前,传统模型更多是针对单个任务的“小”模型,且每个小模型都需要标注大量的业务数据集,繁琐耗时,有时还会出现重复开发的情况,研发效率较低。相比之下,大模型只需要一次性标注数据集,配合较少的业务数据,就可以通过预训练大大提高模型精度,实现快速响应和高通用性。 腾讯云副总裁王麒在数字金融论坛分享《AIGC时代大模型的应用和挑战》 实际上,早在2021年,谷歌仿照人脑工作原理提出著名的Pathways架构中,就已经暗含了当前及未来通用人工智能的诸多特点,比如多任务、多模态的处理能力和稀疏架构。前两者相对容易理解,而所谓稀疏架构,是指在模型运算推理中,只让部分而非全部的参数参与运算。模型运算中调动的参数越多,耗能就越大,算力需求就越高。当模型变成稀疏架构,有什么样的任务,就调动对应的参数变量即可。“这一点很类似于人脑中不同功能区的分工,能够极大地节省算力提升效率。”华泰证券研究所计算机行业首席研究员谢春生说。 “伴随着生成式AI的迅猛发展,人工智能可能会在未来七到八年内,在文字、代码、画图、视频等领域追赶上人类的水平。ChatGPT已经基本实现能够成熟地生成文字和代码,而画图和视频则有可能在2025到2030年间实现重大的突破。”王麒表示,生成式AI作为一场百年不遇的工业革命,全行业都需要积极拥抱这次变革。 AI大模型浪潮下,整个2023年上半年,国内大模型遍地开花,从互联网大厂到行业龙头,纷纷推出自己的预训练大模型。在谢春生看来,相比于2016、2017年集中于计算机视觉(CV)领域的AI变革,以ChatGPT为代表的新一轮AI聚焦于自然语言处理(NLP)这一更加底层的能力,不仅通用性和泛化能力更好,也更能和专业领域融合,从而衍生出更多的高价值服务,并且呈现出更通用、更垂直两大演化方向。 华泰证券研究所计算机行业首席研究员谢春生在数字金融论坛分享《GPT浪潮下的金融领域产业变革》 在通用层面,多模态的数据对齐将让通用大模型具备多重“感官”,解决更加复杂的多模态问题,加速通用人工智能(AGI)时代到来。垂直层面,则可以依靠大模型在NLP、图像、视频等领域的能力,进入金融、教育、广告、影视等更加专业的场景。 通用与垂直,看似是不同的方向,但实则彼此伴生、并行不悖。通用的能力不只是解决通用的场景,恰恰相反,垂直场景中的通用能力在发挥着巨大的作用。 谢春生指出,伴随人工智能快速发展,其四大要素“算法、算力、场景、数据”都展现出了不断专业化的趋势。不仅算法模型不断优化,场景也在逐渐向具体行业聚焦,预训练所使用的数据集也因应用需求的确定,而变得越来越精准。甚至作为基础设施的底层算力——GPU,也越来越专业化:随着PC互联网逐渐向移动互联网过渡,数据结构和数据属性也在发生变化,复杂的非结构化数据越来越多,对GPU架构也提出了新的要求。在未来,更适配AI算法的专业GPU将进一步帮助大模型的训练和推理,也会在市场上越来越紧俏。 “在AI产业发展周期中,每一个环节都会变得越来越专业。模型只是沉淀的载体,最终比的是各家的在领域内的专业程度。”谢春生说。 另一个值得注意的技术点是,虽然千亿大模型如此火爆,但参数量的绝对值却并非衡量模型优劣的唯一指标,参数预训练(pre-training)和微调(fine-tuning)的过程同样重要。实际上,OpenAI从2021年推出的GPT-3、2022年推出的GPT-3.5、2023年推出的GPT-4的参数量都是几乎相同的1750亿,造成三者间能力巨大跨越的,更多就来自于对模型的微调,其中很重要的就是RLHF。RLHF(Reinforcement Learning from Human Feedback),即通过人类的反馈和干预,来进行强化学习,纠正模型“跑偏”的情况。打比方说,机器学习就像让一个小孩在没有老师教导的情况下自学外语,发音、语法等等都很有可能是不准的。而RLHF则可以通过人为监督不断纠错,从而极大提高模型效率。比如奖励模型,就是对于任何一个问题,都会让AI给出4个答案,然后由人类给出答案的优劣排序,AI则根据人类反馈进行结构调整,不断精调、优化模型。 围绕AI大模型“算法、算力、数据、场景”四大核心要素,谢春生表示,在金融领域大模型落地的过程中,金融机构要首先把握住的,是自己在数据和场景上的核心要素优势,建立起自己的壁垒。目前已有的两种海外落地方案,亦无一不是通过自有的高质量金融数据,来提升领域大模型的能力。 比如Bloomberg基于自身金融语料优势搭建的BloombergGPT,基于开源的GPT-2开发而来,参数达到了500亿量级。虽然参数只有GPT-3.5/GPT-4的三分之一,但凭借其构建的目前最大规模的高质量金融数据集 FINPILE,部分弥补了模型规模上的不足;相比之下,Morgan Stanley选择与大模型厂商深度合作,基于闭源的GPT-4模型搭建知识管理、智能投顾系统,并融入到已有的投顾工具中去。Morgan Stanley同样精心构建了100k数据集,并不断进行人工反馈优化。从目前来看,Morgan Stanley模式在向前台业务和后台管理的融合上更加深入,但金融机构需要将数据集开放给大模型厂商。 海外案例之外,王麒提出了来自国内的更加“灵活”且具有性价比的解决方案。由于通用大模型的训练和落地成本非常高,对于一般企业而言,完成私有化部署几乎不可能。更合理的解决路径是对GPT等千亿大语言模型进行“蒸馏”,生成具备大模型的精度,但同时参数量只有几十亿到百亿规模的小模型。在结合专业领域的优质数据进行精调后,就可以建立起领域语言模型。这样蒸馏出的模型,在快速响应、通用性上,都远远优于传统的小模型;在性价比上则优于大模型。 对国内金融机构而言,固然可以摸着海外机构和头部大模型厂商的石头过河,但在金融领域内大模型落地过程中,仍将面临一些悬而未决的挑战,尤以内容准确和合规问题突出。王麒提醒道,生成式AI虽可以很好地赋能投研、投顾等场景,但也要同时做好风险管理,以避免其“一本正经地胡说八道”的情况。这一方面,Morgan Stanley的经验或许值得借鉴:通过限制模型可以输入的提示类型,并由超过300名财务顾问对模型产出答案进行人工反馈,以最大化预防生成式AI模型的致幻性问题,力求AIGC的有用(Helpful)、真实(Honest)和无害(Harmless)。 另外,在谢春生看来,在更长远的产业变现周期中,落地真正能应用的“产品”要比“模型”重要得多。金融机构更应根据自身的业务场景来开发针对性产品,而非沉醉在大模型中。“在产业初期,算法模型非常重要,但随着产业发展,必须要把模型和技术转化成产品变现。就像PC时代的门户网站、移动互联网时代的各类手机应用一样,AI也需要通过产品载体来变现。”谢春生说。 你可能会感兴趣 华泰证券举办数字金融论坛:科技驱动强化金融服务创造力 文章结束
文章开始 当ChatCPT引领起新一轮AI热潮,金融领域也在“AI+金融”加速落地的过程中渐入深水区。华泰证券作为证券行业的科技领跑者,始终关注前沿技术革新,在6月2日上海举办的数字金融论坛上,特别邀请腾讯云副总裁王麒、华泰证券研究所计算机行业首席研究员谢春生分享他们对大模型在金融领域内应用的见解。 王麒 腾讯云副总裁 谢春生 华泰证券研究所计算机行业 首席研究员 2022年11月30日,人工智能实验室OpenAI推出ChatGPT,以其惊人的LLM(Large Language Model,大语言模型)理解、推理和泛化能力,引领出新一轮AI浪潮,也以高达1750亿的参数量,让“千亿大模型”一时间鹤立鸡群,成为了过去半年来科技圈最火的热词之一。 在腾讯云副总裁王麒看来,ChatGPT为代表的AI大模型之所以领先,主要是在数据量、训练时间、模型复用性上,都相对传统模型拥有明显优势。在大模型之前,传统模型更多是针对单个任务的“小”模型,且每个小模型都需要标注大量的业务数据集,繁琐耗时,有时还会出现重复开发的情况,研发效率较低。相比之下,大模型只需要一次性标注数据集,配合较少的业务数据,就可以通过预训练大大提高模型精度,实现快速响应和高通用性。 腾讯云副总裁王麒在数字金融论坛分享《AIGC时代大模型的应用和挑战》 实际上,早在2021年,谷歌仿照人脑工作原理提出著名的Pathways架构中,就已经暗含了当前及未来通用人工智能的诸多特点,比如多任务、多模态的处理能力和稀疏架构。前两者相对容易理解,而所谓稀疏架构,是指在模型运算推理中,只让部分而非全部的参数参与运算。模型运算中调动的参数越多,耗能就越大,算力需求就越高。当模型变成稀疏架构,有什么样的任务,就调动对应的参数变量即可。“这一点很类似于人脑中不同功能区的分工,能够极大地节省算力提升效率。”华泰证券研究所计算机行业首席研究员谢春生说。 “伴随着生成式AI的迅猛发展,人工智能可能会在未来七到八年内,在文字、代码、画图、视频等领域追赶上人类的水平。ChatGPT已经基本实现能够成熟地生成文字和代码,而画图和视频则有可能在2025到2030年间实现重大的突破。”王麒表示,生成式AI作为一场百年不遇的工业革命,全行业都需要积极拥抱这次变革。 AI大模型浪潮下,整个2023年上半年,国内大模型遍地开花,从互联网大厂到行业龙头,纷纷推出自己的预训练大模型。在谢春生看来,相比于2016、2017年集中于计算机视觉(CV)领域的AI变革,以ChatGPT为代表的新一轮AI聚焦于自然语言处理(NLP)这一更加底层的能力,不仅通用性和泛化能力更好,也更能和专业领域融合,从而衍生出更多的高价值服务,并且呈现出更通用、更垂直两大演化方向。 华泰证券研究所计算机行业首席研究员谢春生在数字金融论坛分享《GPT浪潮下的金融领域产业变革》 在通用层面,多模态的数据对齐将让通用大模型具备多重“感官”,解决更加复杂的多模态问题,加速通用人工智能(AGI)时代到来。垂直层面,则可以依靠大模型在NLP、图像、视频等领域的能力,进入金融、教育、广告、影视等更加专业的场景。 通用与垂直,看似是不同的方向,但实则彼此伴生、并行不悖。通用的能力不只是解决通用的场景,恰恰相反,垂直场景中的通用能力在发挥着巨大的作用。 谢春生指出,伴随人工智能快速发展,其四大要素“算法、算力、场景、数据”都展现出了不断专业化的趋势。不仅算法模型不断优化,场景也在逐渐向具体行业聚焦,预训练所使用的数据集也因应用需求的确定,而变得越来越精准。甚至作为基础设施的底层算力——GPU,也越来越专业化:随着PC互联网逐渐向移动互联网过渡,数据结构和数据属性也在发生变化,复杂的非结构化数据越来越多,对GPU架构也提出了新的要求。在未来,更适配AI算法的专业GPU将进一步帮助大模型的训练和推理,也会在市场上越来越紧俏。 “在AI产业发展周期中,每一个环节都会变得越来越专业。模型只是沉淀的载体,最终比的是各家的在领域内的专业程度。”谢春生说。 另一个值得注意的技术点是,虽然千亿大模型如此火爆,但参数量的绝对值却并非衡量模型优劣的唯一指标,参数预训练(pre-training)和微调(fine-tuning)的过程同样重要。实际上,OpenAI从2021年推出的GPT-3、2022年推出的GPT-3.5、2023年推出的GPT-4的参数量都是几乎相同的1750亿,造成三者间能力巨大跨越的,更多就来自于对模型的微调,其中很重要的就是RLHF。RLHF(Reinforcement Learning from Human Feedback),即通过人类的反馈和干预,来进行强化学习,纠正模型“跑偏”的情况。打比方说,机器学习就像让一个小孩在没有老师教导的情况下自学外语,发音、语法等等都很有可能是不准的。而RLHF则可以通过人为监督不断纠错,从而极大提高模型效率。比如奖励模型,就是对于任何一个问题,都会让AI给出4个答案,然后由人类给出答案的优劣排序,AI则根据人类反馈进行结构调整,不断精调、优化模型。 围绕AI大模型“算法、算力、数据、场景”四大核心要素,谢春生表示,在金融领域大模型落地的过程中,金融机构要首先把握住的,是自己在数据和场景上的核心要素优势,建立起自己的壁垒。目前已有的两种海外落地方案,亦无一不是通过自有的高质量金融数据,来提升领域大模型的能力。 比如Bloomberg基于自身金融语料优势搭建的BloombergGPT,基于开源的GPT-2开发而来,参数达到了500亿量级。虽然参数只有GPT-3.5/GPT-4的三分之一,但凭借其构建的目前最大规模的高质量金融数据集 FINPILE,部分弥补了模型规模上的不足;相比之下,Morgan Stanley选择与大模型厂商深度合作,基于闭源的GPT-4模型搭建知识管理、智能投顾系统,并融入到已有的投顾工具中去。Morgan Stanley同样精心构建了100k数据集,并不断进行人工反馈优化。从目前来看,Morgan Stanley模式在向前台业务和后台管理的融合上更加深入,但金融机构需要将数据集开放给大模型厂商。 海外案例之外,王麒提出了来自国内的更加“灵活”且具有性价比的解决方案。由于通用大模型的训练和落地成本非常高,对于一般企业而言,完成私有化部署几乎不可能。更合理的解决路径是对GPT等千亿大语言模型进行“蒸馏”,生成具备大模型的精度,但同时参数量只有几十亿到百亿规模的小模型。在结合专业领域的优质数据进行精调后,就可以建立起领域语言模型。这样蒸馏出的模型,在快速响应、通用性上,都远远优于传统的小模型;在性价比上则优于大模型。 对国内金融机构而言,固然可以摸着海外机构和头部大模型厂商的石头过河,但在金融领域内大模型落地过程中,仍将面临一些悬而未决的挑战,尤以内容准确和合规问题突出。王麒提醒道,生成式AI虽可以很好地赋能投研、投顾等场景,但也要同时做好风险管理,以避免其“一本正经地胡说八道”的情况。这一方面,Morgan Stanley的经验或许值得借鉴:通过限制模型可以输入的提示类型,并由超过300名财务顾问对模型产出答案进行人工反馈,以最大化预防生成式AI模型的致幻性问题,力求AIGC的有用(Helpful)、真实(Honest)和无害(Harmless)。 另外,在谢春生看来,在更长远的产业变现周期中,落地真正能应用的“产品”要比“模型”重要得多。金融机构更应根据自身的业务场景来开发针对性产品,而非沉醉在大模型中。“在产业初期,算法模型非常重要,但随着产业发展,必须要把模型和技术转化成产品变现。就像PC时代的门户网站、移动互联网时代的各类手机应用一样,AI也需要通过产品载体来变现。”谢春生说。 你可能会感兴趣 华泰证券举办数字金融论坛:科技驱动强化金融服务创造力 文章结束
大部分微信公众号研报本站已有pdf详细完整版:https://www.wkzk.com/report/(可搜索研报标题关键词或机构名称查询原报告)
郑重声明:悟空智库网发布此信息的目的在于传播更多信息,与本站立场无关,不构成任何投资建议。