金融工程高智威|Alpha掘金系列之七:ChatGLM医药行业舆情精选策略——大模型微调指南

（以下内容从国金证券《金融工程高智威|Alpha掘金系列之七:ChatGLM医药行业舆情精选策略——大模型微调指南》研报附件原文摘录）
　　金选·核心观点 大语言模型微调介绍与一般步骤 在我们前期对于ChatGPT的相关研究中发现，虽然模型展现出了极强的通用领域各项能力，但投研人员也需要在保证数据安全的前提下有一个更加垂直领域的模型来辅助进行投研决策。而大语言模型的微调就提供了一种定制私有化大模型、提升器专业能力的方式。由于全量参数微调对于显卡的消耗巨大，我们着重介绍了各类PEFT（参数高效型）微调的方法和特点，其中P-Tuning和LoRA是两种目前表现较好的微调方式。 一般的微调包括定义任务并收集数据、数据加载及预处理、训练和评估这几个步骤。其中数据预处理时，我们需要首先将数据及标签转换为模型支持的数据格式，然后进行padding和truncation的处理以方便后续进行向量运算。选择合适的超参数后进行多轮训练，最终观察样本内和样本外的模型表现。 ChatGLM2-LoRA微调构建的医药行业舆情精选策略 我们选用表现较好的LoRA模式针对前期部署的ChatGLM2进行微调。为实际测试模型的微调效果，我们在数据选择上，发现医药行业新闻对于公司的业绩影响推导逻辑链条会更加直接，对大模型而言更易于学习。首先进行了直接以收益率为标签进行训练，但发现微调后的模型在样本外的准确率极低，说明由于文本与收益率之间相关性较弱，难以使模型直接学习。 最终我们综合对比各大模型在中文金融领域的能力后，选择首先使用ChatGPT3.5的输出结果作为标签让ChatGLM2进行学习。结果发现，该标签质量较高，对于未来股价一段时间的超额收益率走势有一定的预测作用。且通过微调后，ChatGLM2也可以学到相应的逻辑推理能力，达到近似于ChatGPT3.5的预测效果，综合准确率达到0.9左右。而FinBERT模型微调后也有一定的提升，但表现略差于ChatGLM2。最终我们以微调后的ChatGLM2-LoRA模型所给出标签构建医药行业周度舆情精选策略，发现在不考虑手续费的情况年化超额收益率达到30%左右。不过由于个股新闻覆盖度的问题，策略换手较高，我们通过换手率缓冲的方式降低换手后，在单边千分之二的情况，策略的年化超额收益率依然有12.17%。充分说明，通过合适的标签令ChatGLM2进行微调学习，可以使其在特定领域能够达到与ChatGPT3.5类似的效果。是一种绝佳的能够在控制成本和数据隐私性安全的情况下使用大模型进行投研辅助的方式。 风险提示 1、大语言模型基于上下文预测进行回答，不能保证回答准确性，由此可能产生误导影响用户判断。 2、不同的微调方式和超参数选择可能对微调效果产生较大影响，若模型产生过拟合，样本外失效可能会导致策略效果不及预期。 3、市场若出现超出模型预期的变化，过往逻辑链条适用性下降可能会导致策略失效，需要动态对模型进行微调以修正偏差。

点此查看微信公众号原文全部内容>>

大部分微信公众号研报本站已有pdf详细完整版：https://www.wkzk.com/report/（可搜索研报标题关键词或机构名称查询原报告）