手机买欧洲杯

新智元报导

编写：Aenea 困死了

【新智元前言】近日采访中，LeCun亲自确认：Meta为购买英伟达显卡GPU早已耗费了300亿美金，成手机买欧洲杯本费超出强仕登月。比较之下，微软公手机买欧洲杯司和OpenAI推出的手机买欧洲杯星际之门斥资1000亿美金，谷歌搜索DeepMind CEO Hassabis则发出豪言壮语：谷歌搜索花费的，比这个数字还要多！科技产业企业们烧起钱就是来愈来愈不眨眼，终究，AGI的发展前景真是太诱人了。

不久前，Meta AI负责人Yann LeCun确认：为了买英伟达显卡GPU，Meta早已花掉了300亿美金，这个成本，已经超过强仕登月方案！

300亿美金尽管令人震惊，但是比起微软公司和OpenAI方案推出的1000亿美金星际之门，这还是小case了。

谷歌搜索DeepMind CEO Hassabis乃至扬言称：谷歌搜索要砸进去的数，比这还要多。

这才哪到哪呢。

LeCun：Meta买英伟达显卡GPU，确实超出强仕登月

为 了发展趋势手机买欧洲杯AI，Meta是背水一战了。

在这样一个采访中，节目主持人询问道：听说Meta购入了50万元英伟达显卡GPU，依照市场价手机买欧洲杯算的话，这个价位是300亿美金。因此，全部费用比强仕登月新项目话高些，对不对？

对于此事，LeCun表明认可：没错，确实如此。

他补充道，「不仅仅是练习，还包含部署的成本费。大家所面临的难题，便是GPU的供给难题。」

有些人提出异议，觉得这肯定不是确实。做为史上最大的逻辑推理机构，她们肯定不是把所有积蓄都花在了练习上。

还有人捅破了这一层泡沫塑料，表明每一个大佬都是在说谎，为此构建「自身有更多GPU」的错觉——

尽管的确在英伟达显卡硬件上投入巨资，但实际上只有一小部分用以具体训练算法。「我们有数百万个GPU」这个概念，便是听上去好说大话而已。

自然，还有人提出异议：考虑到通胀，阿波罗计划成本应当是贴近2000-2500亿美金才会对。

确实，有些人通过计算，考虑到阿波罗计划1969年最原始的使用价值、依据通胀作出调整得话，它成本费用需要在2170亿或2410亿美金。

https://apollo11space.com/apollo-program-costs-new-data-1969-vs-2024/

而哈佛商学院专家教授Ethan Mollick表明，尽管远不如阿波罗计划，但是以今日的美元计算，Meta在GPU上的花费几乎和曼哈顿计划一样多。

但是最少，网友们表示，非常高兴对行业巨头AI基础设施建设拥有一瞥：电磁能、土地资源、可以容纳100万只GPU的声卡机架。

开源系统Llama 3一炮走红

除此之外，在Llama 3上，Meta也夺得了亮眼的成绩。

在Llama 3的开发上，Meta精英团队关键有四个方面的考量：

实体模型架构设计

架构设计层面，精英团队使用的是较密自回归Transformer，并且在实体模型中加入分类查看专注手机买欧洲杯力（GQA）体制，及其一个新的分词器。

训练样本和云计算服务器

因为训练过程采用了超出15万亿的token，因而精英团队自己构建了几个计算集群，各自具备24000块H100 GPU。

命令调整

事实上，模型实际效果完全取决于后练习环节，这也是最耗费精力体力的地区。

因此，精英团队增加了人工标注SFT数据信息规模（1000万），并且采用了例如回绝取样、PPO、DPO等新技术，来尝试在易用性、人们特征以及预训练里手机买欧洲杯的大规模数据之间找到均衡。

现如今，从全新出炉的编码实测手机买欧洲杯来说，Meta精英团队的那一系列探寻算得上是一炮走红。

Symflower技术总监兼创办人Markus Zimmermann对其GPT-3.5/4、Llama 3、Gemini 1.5 Pro、Command R+等130几款LLM进行了详细实测以后表明：「大语言模型的皇座归属于Llama 3 70B！」

- 在普及率上实现100%，在代码质量上做到70%

- 性价比较高的逻辑推理能力

- 实体模型权重值对外开放

不过值得注意的是，GPT-4 Turbo在性能上是无可争议的大赢家——拿到150分100分。

能够看见，GPT-4（150分，40美金/上百万token）和Claude 3 Opus（142分，90美金/上百万token）特性确实不错，但价格方面则会比Llama、Wizard和Haiku变高25到55倍。

从总体上，在Java中，Llama 3 70B取得成功鉴别出了一个不易找到的对象功能测试，这一发现既出乎意料又合理。

除此之外，它还可以70%的时间也编写出高质量测试程序。

GPT-4 Turbo在形成测试程序时侧重于加入一些很明显的注解，但这一点在高质量代码开发中一般是需要避免的。

测试程序的品质大大的遭受调整产生的影响：在功能测试中，WizardLM-2 8x22B比Mixtral 8x22B-Instruct高于30%。

在形成可编译代码的能力水平，比较小参数实体模型如Gemma 7B、Llama 3 8B和WizardLM 2 7B状态低迷，但Mistral 7B却做得非常好。

团队在评估了138款LLM以后发现，在其中有大约80个实体模型连形成简易功能测试能力也不靠谱。

假如评分小于85分，则意味着模型主要表现不尽人意。但是，图中并没有完全体现评测中的所有发现并看法，精英团队将在下个版本中进行调整

详尽实测可以进入下面这篇文章查询：

实测详细地址：https://symflower.com/en/company/blog/2024/dev-quality-eval-v0.4.0-is-llama-3-better-than-gpt-4-for-generating-tests/

需要获得人工智能技术战事，成本价格昂贵到激烈

现如今，各种高新科技公司都在投入价格昂贵代价，争得打赢AI战事。

让AI越来越更加智能，互联网巨头们需要投入多少费用？

谷歌搜索DeepMind老总Demis Hassabis在大半个月前TED会议上作出了预测分析：在研发AI层面，谷歌搜索预估资金投入1000多亿美元。

做为谷歌搜索人工智能技术方案最核心、最心灵的角色，DeepMind试验室的领导者，Hassabis的这番言论，也表达了对OpenAI的不甘示弱。

依据The Information报导，微软公司和OpenAI方案花1000亿美金打造出「星际之门」，这两台超算中心预估包括数百万个专用服务器处理芯片，为GPT-5、GPT-6等更高级别的实体模型增加动力。

当Hassabis被问到竞争者花费在超算中心里的高额成本费时，他轻描淡写地强调：谷歌的耗费可能超过这个数。

大家以后就不谈具体的数字，但是我觉得，随着时间推移，我们自己的项目投资要超过这个数字。

现如今，生成式AI的潮流早已引起了非常大的投资热。

依据Crunchbase的信息，仅AI初创公司，去年就筹集了近500亿美元的资金。

而Hassabis的回答说明，AI领域的竞争一点也没有变缓的意味，也将更为日趋激烈。

谷歌搜索、微软公司、OpenAI，都会为「第一个抵达AGI」这一创举，进行激烈的角逐。

1000亿美金狂热的数据

在AI技术层面要用掉超上千亿，这1000亿都花儿花在哪呢？

最先，项目成本很重要的一部分，便是处理芯片。

现阶段这一块，英伟达显卡或是说一不二的大佬。谷歌搜索Gemini和OpenAI的GPT-4 Turbo，在很大程度上或是依靠英伟达显卡GPU等第三方处理芯片。

模型练习成本费，也变得越来越价格昂贵。

斯坦福大学此前发布的本年度AI指数报告就指出：「SOTA模型练习成本费，已经达到了从未有过的水准。」

汇报资料显示，GPT-4采用了「价值约7800万美元运算量来进行练习」，而2020年练习GPT-3所使用的运算量，仅是430万美金。

此外，谷歌搜索Gemini Ultra的练习成本为1.91亿美金。

而AI实体模型其背后的原始技术，在2017年的练习成本费仅是900美金。

汇报还提到：AI模型练习成本费与其说测算规定之间有直接关系。

假如目的在于AGI得话，成本费很有可能会持续上升。

1.9亿美金：从Google到OpenAI，练习AI模型成本是多少

说到这儿，那就让我们盘一盘，各种科技有限公司练习AI实体模型所需要的成本费，到底是是多少。

近期的《人工智能指数报告》，就公布了练习目前为止最复杂AI实体模型所需的令人震惊花费。

使我们深入分析这些成本的细分化，讨论他们的内涵。

Transformer（谷歌搜索）：930美金

Transformer实体模型是当代AI的开拓性架构设计之一，这类相对性适中成本费，体现出了初期AI训练法效率。

它的成本，可作为了解该行业在模型多样性和各项费用层面发展的标准。

BERT-Large（谷歌搜索）：3,288美金

与其前身对比，BERT-Large模型练习成本费大幅上升。

BERT以其对于前后文表现双向预训练而著称，在自然语言处理方面取得重大突破。但是，这一发展是有更高的财务成本为代价的。

RoBERTa Large（Meta）：160美金

RoBERTa Large是BERT的一个组合，对于稳定的预训练进行了升级，其练习成本跃居，体现了伴随着实体模型变得越来越复杂，测算要求也越来越高。

这一急剧增长，体现出了与突破人工智能技术水平界线各项费用在不断攀升。

LaMDA (谷歌搜索): .3M美金

LaMDA致力于开展自然语言理解会话，代表着向更好的AI应用程序的变化。

练习LaMDA所需要的大量投资，体现出了对为特定每日任务量身打造的AI实体模型要求的不断增长，后面一种那就需要更大范围调整和数据处理方法。

GPT-3 175B（davinci）（OpenAI）：.3M

GPT-3因其庞大经营规模引人注目的语言表达形成水平而著称，代表着AI发展趋势的一个重要里程碑式。

练习GPT-3成本，体现了练习这般经营规模模型所需要的极大算率，体现出了性能可负担性间的衡量。

Megatron-Turing NLG 530B (微软公司/英伟达显卡): .4M

练习Megatron-TuringNLG成本，反映了具备数十亿个参数更高模型发展趋势。

这类实体模型打破了AI水平的边界，但增添了令人惊讶的练习成本费。它大大提升了门坎，让业领导者和中小型参加者之间的差别越拉越大。

PaLM（540B）（谷歌搜索）：.4M

PaLM具备很多参数值，代表着AI经营规模复杂性的封神之作。

练习PaLM的庞大的数字成本费，显现出促进AI产品研发界线所需要的极大项目投资，也引起了大家的争议：这类投资可以说是可持续发展的吗？

GPT-4 (OpenAI): .3M

GPT-4的预估练习成本费，也预示着人工智能技术经济学范式转变——AI模型练习花费达到史无前例的水准。

伴随着实体模型变得越来越大、越来越复杂，进出的经济发展堡垒也在不断升级。这时，后面一种便会限定自主创新，和人们对于AI科技的可获得性。

Gemini Ultra（谷歌搜索）：1.4M

练习Gemini Ultra的惊人成本费，展现了集成电路工艺AI实体模型带来的负面影响。

尽管这些模型展现出了颠覆性的水平，但它们的练习花费已经达到庞大的数字。除开资产最充裕的大企业以外，其他的企业机构都已经被挡在堡垒以外。

处理芯片比赛：微软公司、Meta、谷歌和英伟达显卡角逐AI处理芯片领导地位

尽管英伟达显卡凭着长久布局在芯片领域先下一城，但不管是AMD这一老对头，或是微软公司、谷歌搜索、Meta等巨头，都在英勇迎头赶上，试着选用自己的设计。

5月1日，AMD的MI300人工智能芯片销售额达到10亿美金，作为其迄今为止市场销售速度最快的商品。

此外，AMD仍在星夜兼程增加现阶段供不应求的AI芯片生产量，而且预计2025年推出新品。

4月10日，Meta官方宣布下一代自研芯片，模型推理速率将获极大提高。

Meta练习和逻辑推理网络加速器（MTIA）致力于与Meta的排列顺序和推荐模型搭配使用需求设计，这种处理芯片能够帮助提高练习高效率，从而使具体的逻辑推理每日任务更容易。

都在4月10日，intel也提及了自己家最新AI处理芯片——Gaudi 3 AI的更多信息。

intel表明，与H100 GPU对比，Gaudi 3还可以在逻辑推理功能上得到50%提升的同时，在能耗等级上提高40%，而且价格更便宜。

3月19日，英伟达显卡发布「史上最强」AI处理芯片——Blackwell B200。

英伟达显卡表明，一个全新的B200 GPU能够凭着2080亿次晶体三极管，给予达到20 petaflops的FP4算率。

值得一提的是，把两个这种GPU与一个Grace CPU结合在一起的GB200，能够为LLM逻辑推理每日任务给予比以前强30倍特性，并且也可大大提高高效率。

除此之外，老苏还曾经暗示着每一个GPU的价格可能在3万至4万美金中间。

2月23日，英伟达显卡总市值一举达到2万亿元，变成了第一家实现这一里程碑式的芯片生产商。

与此同时，这也使得英伟达显卡变成了国外第三家市值超过2万亿美元的企业，仅次苹果公司（2.83亿美元）和微软（3.06亿美元）。

2月22日，微软公司和intel达成一项数十亿美元的定制芯片买卖。

据推测，intel能够为微软公司生产制造其自研的AI处理芯片。

2月9日，《华尔街日报》称Sam Altman的AI处理芯片梦，可能还需要达到7万亿美元的项目投资。

「那样一笔投资额将导致目前世界上半导体行业的经营规模大相径庭。上年全世界处理芯片销售额为5270亿美金，预计在2030年有望突破每一年1亿美元。」

参考文献：

https://twitter.com/tsarnick/status/1786189377804369942

https://www.youtube.com/watch?v=6RUR6an5hOY

https://twitter.com/zimmskal/status/1786012661815124024

https://symflower.com/en/company/blog/2024/dev-quality-eval-v0.4.0-is-llama-3-better-than-gpt-4-for-generating-tests/

https://techovedas.com/190-million-what-is-the-cost-of-training-ai-models-from-google-to-openai/