CF下注

图片出处@pixabay

“预训练大模型的CF下注CF下注高速发展为推进通用人工智能提供了可能。在其中算率一定要有比较大的发展，才可能有下一代。但短期内不大可能是GPU架构设计自身的显著超越，而是要大卡、万卡来融入大模型。”2021年末一次沟通中，某NLP创企CEO对好奇心CF下注日报表述。

在那个年代，这家公司早已遇到不少在算率方面的考验，她们与高校、英伟达显卡、云厂商都是在保持密切沟通，希望别人能给予一些服务支持。但对于这类优化算法领域专CF下注家或创企来讲，因为之前的工作并没有那么涉及到硬件配置行业，“做模型不明白算率，做算力的不明白实体模型”的情况非常普遍。

“大多数情况下需要双方一线当面沟通，才有可能把真正意义上的需求痛点彻底解决。”该CEO透露。

三年后，类似ChatGPT、Sora的大规模生成式AI杀手级应用发生，也在逐步推进更强大的算率基础设施建设进一步升级。以上CEO所面临的问题不但仍然存在，且得到了更上下游英伟达显卡等经销商针对GPU以及相关专用芯片限制，带来了一系列链式反应。对该NLP企业来说CF下注，如果有必要购置中国芯片，那样不一样特性、不同场景下的异构体处理芯片“组成”计划方案就会变得日常，但真正挑战在于“如何组成”。

多位专家近期不断也谈及，大模型对算力需求提高已远远高于单珠AI处理器特性的增速。因而，必须通过芯片互连构成万卡、乃至数十万卡集群式，来提供更加高算力。但是事实上，基本建设下一代大数据中心，对卡之间的网络互连，集群式之间的互连要求会变得更高，受翠绿色算率目标制约也会更明显，哪怕是英伟达显卡自身也无法逃避这一问题。

浪潮信息副总裁刘军的看法是，实现更大的算率已不在处理芯片，反而是在算法方面做自主创新，例如如何把算率分布到系统软件角度上，如何解决卡间互连难题，如何让更多GPU高效协作。

好奇心日报留意到，在模型算法、云、处理芯片这些对于算率基础设施建设造成不一样推力的人物角色以外，像浪潮信息、新华三等位于全产业链中上游的重要服务器供应商，陆续使力生成式AI，紧紧围绕算率、优化算法、数据信息、互连等范畴合理布局。

万卡集群式军事力量赛

万卡集群式是一个什么概念？一般用数万个GPU搭建大中型人工智能技术集群式，用于练习基本大模型。这类集群式有利于大幅压缩大模型推理时长，以实现模型实力的不断迭代。

现在来看，包含通信运营商、互联网公司等网络服务器选购的头部客户以内，他们对于AI算率集群式设计起始点已经是大卡等级，蚂蚁金融去年表露已完成万卡异构体算率集群式，中国移动通信前段时间表露今年将商业哈尔滨市、呼和浩特市、贵阳市三个安全自主可控万卡集群式，总数量近6万多张GPU卡。

但别以为万卡集群式似乎成为大模型基本建设军事力量比塞总体目标，其建设和维护还面临着诸多挑战。

好奇心日报先前剖析，大模型场景下，算率必须规模性集中型练习，网络服务器也难以切掉分为单独虚机，单独GPU不能完全容下全部模型推理，选用分布式训练是大势所趋。这与此同时造成了GPU通讯难题，因为卡与卡之间存在的通讯花销，增加一倍卡根本无法产生线性增长特性加快。在具体的AI集群环境中，也会存在GPU间的互连网络带宽受到限制或AI服务器之间的网络互连网络带宽比较有限。

除此之外，卡数量增多后，超温、常见故障便会一定比例发生，这必然会导致练习终断、梯度爆炸、优化算法重跑一遍等，模型推理成本费还会持续上升。就算单卡算率再厉害，不顾及网络带宽的改善，还会带来极大的算率资源浪费现象。

在巨量引擎今年初发布的一份毕业论文之中列出了根据万卡集群式练习大模型的考验，即高效化、性能稳定，并给出将MegaScale系统部署到大数据中心。

可以看见，为了能解决这个问题，各种科技有限公司陆续投入研发，提出各种在万卡集群式上用以练习大模型的解决方案。浪潮信息老总彭震在长达日与媒体交流中强调，今日需要建一个能承载万卡集群式的主机房CF下注还是很难的事儿，它对于基础设施建设要求很高。

因此，针对服务器厂商来讲，其功个儿已不仅仅局限于给予单一智能硬件产品时，反而是综合型解决方法，这种解决方法将包括网络服务器、存放CF下注、互联网、管理等层CF下注面，同时还要对于下游企业的实际需求，给予定制服务。网络服务器做为算率网络资源的重要组成部分，也正在成为其搭建万卡集群式的关键一环。

当前我国销售市场局势乃是，国家将网络基础设施基本建设上升至战略层次，全国一体化算力网络基本建设的规划打开，云服务器发展潜力早已引起新一轮的销售市场风潮。不过随着生成式AI的热潮扑面而来，通用性网络服务器已无法满足其带来的日益持续增长的算力需求，面对AI场景下的专用服务器顺势而生，紧紧围绕测算能耗的网络服务器水冷散热等技术革新日渐完善，也在驱动顾客积极合理布局此类计划方案。

依据IDC先前发布的2组数据信息：预估2023年人工智能网络服务器市场规模将达到91亿美金，同比增加82.5%，五年复合增长率达21.8%；2023全年度我国液冷服务器销售额为101亿人民币，同比增加48.0%，在其中95%之上全部采用冷板式液冷解决方法。

刘建强调，AI时期仅卖算率网络服务器还远远不够，还要其他手段去承重时代背景下的用户需求。

迈进万卡集群式，靠的是绿色生态

但是，能自主设计有效运行万卡集群式的公司，仍掌握在少数人手中。

举一个近期的协作样版：我国电信天翼云照亮规模超过15000卡算率集群式，迅速获得人工智能研究院、稀宇高新科技、百州智能化、思必驰高新科技、亿熵信息科技、澜码高新科技、赛陇生物技术、天壤信息科技8家中国合伙人的进驻。

现在来看，不一样处理芯片在不同的场景下取得的效果和质量依然存在区别，浪潮信息更期待从算率层给予一个平台，支撑点多元化算率进驻。针对芯片公司来讲，只需专注于处理芯片自身而无需科学研究互连网络带宽难题。彭震注重，处理芯片算率并不是AI发展趋势不起的主因，更多其实就是软件问题。

浪潮信息在把注意力集中到与其它全产业链小伙伴，如芯片供应商、软件开发商、系统集成公司合作，为应对现阶段GPU以及相关专用芯片出口管制产生的影响。以EPAI知名品牌下大实体模型计算框架TensorGlue为例子，它对于多种多样实体模型，与几款深度学习框架和异构体处理芯片兼容，减少算法与运用向异构体算率设备迁移框架兼容成本费，帮助大家在多模光纤多元化算率环境下的尝试错误和兼容成本费，推动大模型运用产品研发能力。

最近举行的IPF生态伙伴会议上，浪潮信息发布了几类最新消息：优化算法层面，公布公司大模型开发服务平台EPAI“元脑企智”，加快公司大模型落地；算率层面，面对大模型推理情景，协同intel公布AI通用服务器；存放层面，公布分布式系统全闪存放AS13000G7，处理大模型推理数据信息考验；互连层面，公布非常AI交换机X400，加快大模型推理逻辑推理。

从2021年发布“源”大模型为原始，基于对计算出来的了解，对行业价值创新的实践探索，及其公司内部数字化变革考虑到，经过长期筹划，浪潮信息构成了从算率、优化算法、数据信息、场景下的从研发到产品线全方位战略部署。现如今，“以应用为出发点，以系统为关键”，传达出浪潮信息下面想要做的事情。

好奇心日报还注意到，英伟达显卡的NVlink，正被服务器厂商谈及乃至对比。NVlink提供一种高效率可扩展性的芯片通讯间协议，容许全部GPU与此同时飞速实时通信，就像全部操作系统是单独GPU一样。于今年4月的GTC会议上，英伟达显卡对外宣布NVlink升级到第五代，包含可拓展至576个GPU，可以解决万亿元主要参数混和权威专家实体模型通讯短板。

如同摇摆钟基础理论的关键在于紧紧围绕某一核心值有节奏晃动。刘建告知好奇心日报，不论是算率、优化算法，或是数据信息，浪潮信息在各个时间范围很有可能都有着不同的偏重于，“最重要的是要行走在摇摆钟最前面，而非行走在后边。”（文中首发于好奇心日报APP， 创作者｜王琼，编写 | 盖虹达）