HUATECH洞见 | 范承工:突破互联极限,CXL叩开大内存时代
(以下内容从华泰证券《HUATECH洞见 | 范承工:突破互联极限,CXL叩开大内存时代》研报附件原文摘录)
文章开始 编者按:人工智能在金融场景的深入应用,对海量数据计算提出了更高要求,内存及其新计算架构正变得愈发重要。6月16日,华泰证券举办“AGI 重构之路”创新科技论坛,探讨AGI(通用人工智能)将如何重构人工智能技术及金融行业,邀请MemVerge联合创始人、CEO范承工分享基于CXL(Compute eXpress Link)这一高速互联技术的大内存计算。 范承工 MemVerge联合创始人、CEO CXL:引领大内存市场变革 在传统服务器或计算网络中,内存仅作为暂存CPU运算数据、并充当与外部储存器与CPU之间交换数据的“桥梁”角色,与计算紧紧耦合。但在范承工看来,这一情况获将伴随着CXL(Compute eXpress Link)的诞生而发生改变。未来,内存或许将不仅作为硬件器件而存在,而且可以成为独立的系统,成为以软件驱动的新行业。 范承工认为,新一轮AI浪潮进一步推高了人们对数据实时处理的需求,不仅需要巨量的数据存储,还需要极快的数据处理能力,这就需要大内存的支撑。实际上,传统数据中心中,内存部署所占成本已经超过整个服务器部署成本的50%(排除GPU成本后)。在未来,内存或许将与计算解耦,在新的架构支撑下,成为独立的系统。而CXL,正生逢其时。 CXL 技术作为一种新型的高速互联技术,旨在提供更高的数据吞吐量和更低的延迟,以满足现代计算和存储系统的需求。范承工认为,CXL将带来内存的根本性变革,包括拓展内存带宽和容量、实现内存与计算的解耦。 其中,内存与计算的解耦是指实现内存的独自管理、独自扩展,从而“不受到具体服务器的那个物理盒子的限制”。范承工此前曾在存储行业深耕多年,在他看来,当前内存呈现的与计算解耦趋势和20年前存储行业非常相似——90年代伴随光纤网络的发展,存储从服务器中被解放出来,可以围绕其进行软件开发并提供数据服务,从而产生了千亿美元级别的巨大存储市场和许多知名公司。而现在,随着CXL诞生,多机内存共享和动态内存分布也将成为可能,甚至可以实现多机共同访问相同的内存,属于大内存的巨大市场正在形成。 从1.1到3.0:大规模的内存池化与共享 CXL从2019年首次提出,到2022年发布3.0版本,其发展以扩展性和动态分布为核心,有其脉络可循: CXL1.1标准:2019年发布,以内存扩展为核心,在服务器上插入CXL内存扩展器。目前符合CXL1.1标准的硬件已经出现,这种“主内存+CXL”使得单机内存扩大到数十TB,带宽同时提升至每秒数TB数量级。 CXL2.0标准:2021年发布,把内存移到服务器硬件之外成为内存池,一方面连接服务器,另一方面连接大量的内存介质,使池内的内存可以在统一调度下,随时、动态地被派到任何处理器任务中。未池化的本地内存,就好像每个人只能分一瓶水,有的人喝不完,有的人不够喝,而内存池就像一个共享的“饮水机”,大家渴了都可以去打水,极大提高取水用水的效率。目前CXL2.0尚无落地硬件。 CXL3.0标准:2022年发布,在2.0基础上进一步拓展,支持共享内存的服务器数量进一步上升,还能支持任何处理器直接访问任何的内存,并通过硬件实现内存共享的缓存一致性,从而使大规模的内存池化和内存共享成为可能。CXL3.0产品距离真正落地,至少还需要2-3年的时间。 范承工介绍,2023年,国际主流CPU厂商的产品都将对CXL进行支持,目前已经有一些工程样品已经可以拿到,他的实验室正在对这些样品开发和测试,以期能够在CXL上尝试各种的落地应用场景。硬件是CXL在应用场景中落地的基础,但软件同样不可或缺。“通过软件开发,不仅可以赋能当前的CXL,还可以提前实现下一代CXL技术的部分功能。” “下载内存”:创新解决内存溢出问题 在人们惯常认知中,内存是不可以在云端网络中下载的。不过在CXL架构下,实时下载内存成为了可能,这可以极大限度地解决内存溢出问题。 所谓内存溢出是指,当内存占用达到峰值后,计算会被溢出到机械硬盘或者固态硬盘中,甚至直接导致运行崩溃。为避免这一问题,每台服务器都被迫采购了越来越多的本地内存,不仅拉高了成本,而且降低了使用效率。而CXL则建立内存池,并实时监测各服务器的内存占用,为计算压力较高的服务器提前下载内存,等高峰过后再将内存撤回池内,动态灵活调配,以此来解决溢出问题。 现在,范承工的实验室正在开展以实时下载内存为核心的“Endless Memory”项目和以多处理器间数据迁移为核心的“Gismo”项目(Global I/O-free Shared Memory Objects),其中Gismo试图将CXL3.0的多机数据共享能力,通过软件开发的方式直接在2.0上部分实现。 “我们希望在未来,内存能够成为新时代的存储。”范承工如此展望一个大内存时代的来临。 你可能会感兴趣 华泰证券创新科技论坛:汇聚开放生态之力,把握AGI金融创新机遇 专业+数据+场景:同构AI时代金融核心竞争力 华泰证券举办数字金融论坛:科技驱动强化金融服务创造力 文章结束
文章开始 编者按:人工智能在金融场景的深入应用,对海量数据计算提出了更高要求,内存及其新计算架构正变得愈发重要。6月16日,华泰证券举办“AGI 重构之路”创新科技论坛,探讨AGI(通用人工智能)将如何重构人工智能技术及金融行业,邀请MemVerge联合创始人、CEO范承工分享基于CXL(Compute eXpress Link)这一高速互联技术的大内存计算。 范承工 MemVerge联合创始人、CEO CXL:引领大内存市场变革 在传统服务器或计算网络中,内存仅作为暂存CPU运算数据、并充当与外部储存器与CPU之间交换数据的“桥梁”角色,与计算紧紧耦合。但在范承工看来,这一情况获将伴随着CXL(Compute eXpress Link)的诞生而发生改变。未来,内存或许将不仅作为硬件器件而存在,而且可以成为独立的系统,成为以软件驱动的新行业。 范承工认为,新一轮AI浪潮进一步推高了人们对数据实时处理的需求,不仅需要巨量的数据存储,还需要极快的数据处理能力,这就需要大内存的支撑。实际上,传统数据中心中,内存部署所占成本已经超过整个服务器部署成本的50%(排除GPU成本后)。在未来,内存或许将与计算解耦,在新的架构支撑下,成为独立的系统。而CXL,正生逢其时。 CXL 技术作为一种新型的高速互联技术,旨在提供更高的数据吞吐量和更低的延迟,以满足现代计算和存储系统的需求。范承工认为,CXL将带来内存的根本性变革,包括拓展内存带宽和容量、实现内存与计算的解耦。 其中,内存与计算的解耦是指实现内存的独自管理、独自扩展,从而“不受到具体服务器的那个物理盒子的限制”。范承工此前曾在存储行业深耕多年,在他看来,当前内存呈现的与计算解耦趋势和20年前存储行业非常相似——90年代伴随光纤网络的发展,存储从服务器中被解放出来,可以围绕其进行软件开发并提供数据服务,从而产生了千亿美元级别的巨大存储市场和许多知名公司。而现在,随着CXL诞生,多机内存共享和动态内存分布也将成为可能,甚至可以实现多机共同访问相同的内存,属于大内存的巨大市场正在形成。 从1.1到3.0:大规模的内存池化与共享 CXL从2019年首次提出,到2022年发布3.0版本,其发展以扩展性和动态分布为核心,有其脉络可循: CXL1.1标准:2019年发布,以内存扩展为核心,在服务器上插入CXL内存扩展器。目前符合CXL1.1标准的硬件已经出现,这种“主内存+CXL”使得单机内存扩大到数十TB,带宽同时提升至每秒数TB数量级。 CXL2.0标准:2021年发布,把内存移到服务器硬件之外成为内存池,一方面连接服务器,另一方面连接大量的内存介质,使池内的内存可以在统一调度下,随时、动态地被派到任何处理器任务中。未池化的本地内存,就好像每个人只能分一瓶水,有的人喝不完,有的人不够喝,而内存池就像一个共享的“饮水机”,大家渴了都可以去打水,极大提高取水用水的效率。目前CXL2.0尚无落地硬件。 CXL3.0标准:2022年发布,在2.0基础上进一步拓展,支持共享内存的服务器数量进一步上升,还能支持任何处理器直接访问任何的内存,并通过硬件实现内存共享的缓存一致性,从而使大规模的内存池化和内存共享成为可能。CXL3.0产品距离真正落地,至少还需要2-3年的时间。 范承工介绍,2023年,国际主流CPU厂商的产品都将对CXL进行支持,目前已经有一些工程样品已经可以拿到,他的实验室正在对这些样品开发和测试,以期能够在CXL上尝试各种的落地应用场景。硬件是CXL在应用场景中落地的基础,但软件同样不可或缺。“通过软件开发,不仅可以赋能当前的CXL,还可以提前实现下一代CXL技术的部分功能。” “下载内存”:创新解决内存溢出问题 在人们惯常认知中,内存是不可以在云端网络中下载的。不过在CXL架构下,实时下载内存成为了可能,这可以极大限度地解决内存溢出问题。 所谓内存溢出是指,当内存占用达到峰值后,计算会被溢出到机械硬盘或者固态硬盘中,甚至直接导致运行崩溃。为避免这一问题,每台服务器都被迫采购了越来越多的本地内存,不仅拉高了成本,而且降低了使用效率。而CXL则建立内存池,并实时监测各服务器的内存占用,为计算压力较高的服务器提前下载内存,等高峰过后再将内存撤回池内,动态灵活调配,以此来解决溢出问题。 现在,范承工的实验室正在开展以实时下载内存为核心的“Endless Memory”项目和以多处理器间数据迁移为核心的“Gismo”项目(Global I/O-free Shared Memory Objects),其中Gismo试图将CXL3.0的多机数据共享能力,通过软件开发的方式直接在2.0上部分实现。 “我们希望在未来,内存能够成为新时代的存储。”范承工如此展望一个大内存时代的来临。 你可能会感兴趣 华泰证券创新科技论坛:汇聚开放生态之力,把握AGI金融创新机遇 专业+数据+场景:同构AI时代金融核心竞争力 华泰证券举办数字金融论坛:科技驱动强化金融服务创造力 文章结束
大部分微信公众号研报本站已有pdf详细完整版:https://www.wkzk.com/report/(可搜索研报标题关键词或机构名称查询原报告)
郑重声明:悟空智库网发布此信息的目的在于传播更多信息,与本站立场无关,不构成任何投资建议。