【华泰科技】Llama 3:开源模型发展又一里程碑

（以下内容从华泰证券《》研报附件原文摘录）
　　如果您希望第一时间收到推送，别忘了加“星标”！ 核心观点 Meta发布开源模型Llama 3，看好应用加速发展，关注与闭源模型竞争 北京时间4月19日，Meta发布Llama 3，本次开源参数量为8B和70B的两个版本，未来数个月内还会推出其他版本，升级点包括多模态、多语言能力、更长的上下文窗口和更强的整体功能。Llama 3性能大幅超越前代Llama 2，在同等级模型中效果最优。Meta目前正在训练超过400B的版本，性能比肩GPT-4，但尚未决定是否开源。海外头部厂商中，OpenAI和谷歌闭源模型领先，Meta凭借开源模型独树一帜的竞争格局继续维持。对于国内大模型，我们认为后续需要关注：1）Llama 3中文化促进国内AI垂类模型、大模型应用的性能提升；2）Llama 3中文化与国内闭源模型的竞争。 模型效果：大幅超越前代Llama 2，同等级效果最优 Llama 3分为大中小三个版本，相比其他模型：小规模的8B模型效果比同类大小的模型Mistral 7B、Gemma 7B略好或基本持平；中等规模的70B模型效果比Gemini Pro 1.5、Claude 3 Sonnet略好或相当，并超过GPT-3.5；最大的400B模型仍在训练过程中，设计目标是多模态、多语言，根据Meta公布的目前训练数据，其性能与GPT-4相当。相比前代Llama 2：对比指令精调模型，Llama 3 8B在多项基准测试中超过Llama 2 70B。在未来几个月中，Meta将发布多个具有新功能的模型，包括多模态、多语言能力、更长的上下文窗口和更强的整体功能，并将发布研究论文。 技术亮点：训练数据量与上下文长度扩充，GQA提升推理效率 Llama 3的模型结构相比Llama 2变化不大，都采用decoder-only架构，技术亮点主要在于预训练数据量、上下文长度、分组查询注意力机制：1）训练数据量极大扩充。Llama 3 经过超 15T token 的预训练，训练数据集比Llama 2使用的数据集大七倍，其中代码数据扩充了4倍，使得Llama 3的代码能力和逻辑推理能力大幅度提升。2）上下文长度扩充。Llama3支持8k上下文长度，是Llama 2的2倍，同时大大降低了错误拒绝率，改善了一致性，但相比其他主流模型仍有差距（GPT-4 turbo 128k，Claude 3 100k，GPT-4 32k）；3）采用分组查询注意力（GQA）以加速推理。 应用：智能助手Meta AI、雷朋Meta智能眼镜等 Meta同时更新基于Llama 3构建的智能助手Meta AI，无需切换即可在 Instagram、Facebook、WhatsApp和 Messenger的搜索框中畅通使用 Meta AI。Llama 3很快将在 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM和Snowflake 上推出，并得到AMD、AWS、戴尔、英特尔、英伟达、高通提供的硬件平台的支持。此外，雷朋Meta智能眼镜也将支持多模态的Meta AI。 行业观点：利好AI应用，关注Llama 3中文化与国内闭源大模型竞争 Llama 3的推出为开源模型注入了新的活力，未来还将新增多模态能力，我们看好Llama 3促进AI应用繁荣。海外头部厂商中，OpenAI和谷歌闭源模型领先，Meta凭借开源模型独树一帜的竞争格局继续维持。对于国内大模型，我们认为后续需要关注：1）Llama 3中文化促进国内AI垂类模型、大模型应用的性能提升；2）Llama 3中文化与国内闭源模型的竞争。 风险提示：AI 及技术落地不及预期；本研报中涉及到未上市公司或未覆盖个股内容，均系对其客观公开信息的整理，并不代表本研究团队对该公司、该股票的推荐或覆盖。 点击查看原报告 本材料所载观点源自2024年4月22日发布的报告《Llama 3：开源模型发展又一里程碑》，对本材料的完整理解请以上述研报为准。 黄乐平 分析师 S0570521050001/AUZ066 余 熠 分析师 S0570520090002/BNC535 权鹤阳 联系人 S0570122070045/BTV779 关注我们 华泰证券研究所国内站（研究Portal） https://inst.htsc.com/research 访问权限：国内机构客户 华泰证券研究所海外站 https://intl.inst.htsc.com/research 访问权限：美国及香港金控机构客户 添加权限请联系您的华泰对口客户经理 免责声明 ▲向下滑动阅览 本公众号不是华泰证券股份有限公司（以下简称“华泰证券”）研究报告的发布平台，本公众号仅供华泰证券中国内地研究服务客户参考使用。其他任何读者在订阅本公众号前，请自行评估接收相关推送内容的适当性，且若使用本公众号所载内容，务必寻求专业投资顾问的指导及解读。华泰证券不因任何订阅本公众号的行为而将订阅者视为华泰证券的客户。 本公众号转发、摘编华泰证券向其客户已发布研究报告的部分内容及观点，完整的投资意见分析应以报告发布当日的完整研究报告内容为准。订阅者仅使用本公众号内容，可能会因缺乏对完整报告的了解或缺乏相关的解读而产生理解上的歧义。如需了解完整内容，请具体参见华泰证券所发布的完整报告。 本公众号内容基于华泰证券认为可靠的信息编制，但华泰证券对该等信息的准确性、完整性及时效性不作任何保证，也不对证券价格的涨跌或市场走势作确定性判断。本公众号所载的意见、评估及预测仅反映发布当日的观点和判断。在不同时期，华泰证券可能会发出与本公众号所载意见、评估及预测不一致的研究报告。 在任何情况下，本公众号中的信息或所表述的意见均不构成对任何人的投资建议。订阅者不应单独依靠本订阅号中的内容而取代自身独立的判断，应自主做出投资决策并自行承担投资风险。订阅者若使用本资料，有可能会因缺乏解读服务而对内容产生理解上的歧义，进而造成投资损失。对依据或者使用本公众号内容所造成的一切后果，华泰证券及作者均不承担任何法律责任。 本公众号版权仅为华泰证券所有，未经华泰证券书面许可，任何机构或个人不得以翻版、复制、发表、引用或再次分发他人等任何形式侵犯本公众号发布的所有内容的版权。如因侵权行为给华泰证券造成任何直接或间接的损失，华泰证券保留追究一切法律责任的权利。华泰证券具有中国证监会核准的“证券投资咨询”业务资格，经营许可证编号为：91320000704041011J。

点此查看微信公众号原文全部内容>>

大部分微信公众号研报本站已有pdf详细完整版：https://www.wkzk.com/report/（可搜索研报标题关键词或机构名称查询原报告）