新智元报导
编写:Aenea 困死了
【新智元前言】近日采访中,LeCun亲自确认:Meta为购买英伟达显卡GPU早已耗费了300亿美kpl竞猜平台金kpl竞猜平台,成本费超出强仕登月。比较之下,微软公司和OpenAI推出的kpl竞猜平台星际之门斥资1000亿美金,谷歌搜索DeepMind CEO Hassabis则发出豪言壮语:谷歌搜索花费的,比这个数字还要多!科技产业企业们烧起kpl竞猜平台钱就是来愈来愈不眨眼,终究,AGI的发展前景真是太诱人了。
不久前,Meta AI负责人Yann LeCun确认:为了买英伟达显卡GPU,Meta早已花掉了300亿美金,这个成本,已经超过强仕登月方案!
300亿美金尽管令人震惊,但是比起微软公司和OpenAI方案推出的1000亿美金星际之门,这还是小case了。
谷歌搜索DeepMind CEO Hassabis乃至扬言称:谷歌搜索要砸进去的数,比这还要多。
这才哪到哪呢。
LeCun:Meta买英伟达显卡GPU,确实超出强仕登月
为 了发展趋势AI,Meta是背水一战了。
在这样一个采访中,节目主持人询问道:听说Meta购入了50万元英伟达显卡GPU,依照市场价kpl竞猜平台算的话,这个价位是300亿美金。因此,全部费用比强仕登月新项目话高些,对不对?
对于此事,LeCun表明认可:没错,确实如此。
他补充道,「不仅仅是练习,还包含部署的成本费。大家所面临的难题,便是GPU的供给难题。」
有些人提出异议,觉得这肯定不是确实。做为史上最大的逻辑推理机构,她们肯定不是把所有积蓄都花在了练习上。
还有人捅破了这一层泡沫塑料,表明每一个大佬都是在说谎,为此构建「自身有更多GPU」的错觉——
尽管的确在英伟达显卡硬件上投入巨资,但实际上只有一小部分用以kpl竞猜平台具体训练算法。「我们有数百万个GPU」这个概念,便是听上去好说大话而已。
自然,还有人提出异议:考虑到通胀,阿波罗计划成本应当是贴近2000-2500亿美金才会对。
确实,有些人通过计算,考虑到阿波罗计划1969年最原始的使用价值、依据通胀作出调整得话,它成本费用需要在2170亿或2410亿美金。
https://apollo11space.com/apollo-program-costs-new-data-1969-vs-2024/
而哈佛商学院专家教授Ethan Mollick表明,尽管远不如阿波罗计划,但是以今日的美元计算,Meta在GPU上的花费几乎和曼哈顿计划一样多。
但是最少,网友们表示,非常高兴对行业巨头AI基础设施建设拥有一瞥:电磁能、土地资源、可以容纳100万只GPU的声卡机架。
开源系统Llama 3一炮走红
除此之外,在Llama 3上,Meta也夺得了亮眼的成绩。
在Llama 3的开发上,Meta精英团队关键有四个方面的考量:
实体模型架构设计
架构设计层面,精英团队使用的是较密自回归Transformer,并且在实体模型中加入分类查看专注力(GQA)体制,及其一个新的分词器。
训练样本和云计算服务器
因为训练过程采用了超出15万亿的token,因而精英团队自己构建了几个计算集群,各自具备24000块H100 GPU。
命令调整
事实上,模型实际效果完全取决于后练习环节,这也是最耗费精力体力的地区。
因此,精英团队增加了人工标注SFT数据信息规kpl竞猜平台模(1000万),并且采用了例如回绝取样、PPO、DPO等新技术,来尝试在易用性、人们特征以及预训练里的大规模数据之间找到均衡。
现如今,从全新出炉kpl竞猜平台的编码实测来说,Meta精英团队的那一系列探寻算得上是一炮走红。
Symflower技术总监兼创办人Markus Zimmermann对其GPT-3.5/4、Llama 3、Gemini 1.5 Pro、Command R+等130几款LLM进行了详细实测以后表明:「大语言模型的皇座归属于Llama 3 70B!」
- 在普及率上实现100%,在代码质量上做到70%
- 性价比较高的逻辑推理能力
- 实体模型权重值对外开放
不过值得注意的是,GPT-4 Turbo在性能上是无可争议的大赢家——拿到150分100分。
能够看见,GPT-4(150分,40美金/上百万token)和Claude 3 Opus(142分,90美金/上百万token)特性确实不错,但价格方面则会比Llama、Wizard和Haiku变高25到55倍。
从总体上,在Java中,Llama 3 70B取得成功鉴别出了一个不易找到的对象功能测试,这一发现既出乎意料又合理。
除此之外,它还可以70%的时间也编写出高质量测试程序。
GPT-4 Turbo在形成测试程序时侧重于加入一些很明显的注解,但这一点在高质量代码开发中一般是需要避免的。
测试程序的品质大大的遭受调整产生的影响:在功能测试中,WizardLM-2 8x22B比Mixtral 8x22B-Instruct高于30%。
在形成可编译代码的能力水平,比较小参数实体模型如Gemma 7B、Llama 3 8B和WizardLM 2 7B状态低迷,但Mistral 7B却做得非常好。
团队在评估了138款LLM以后发现,在其中有大约80个实体模型连形成简易功能测试能力也不靠谱。
假如评分小于85分,则意味着模型主要表现不尽人意。但是,图中并没有完全体现评测中的所有发现并看法,精英团队将在下个版本中进行调整
详尽实测可以进入下面这篇文章查询:
实测详细地址:https://symflower.com/en/company/blog/2024/dev-quality-eval-v0.4.0-is-llama-3-better-than-gpt-4-for-generating-tests/
需要获得人工智能技术战事,成本价格昂贵到激烈
现如今,各种高新科技公司都在投入价格昂贵代价,争得打赢AI战事。
让AI越来越更加智能,互联网巨头们需要投入多少费用?
谷歌搜索DeepMind老总Demis Hassabis在大半个月前TED会议上作出了预测分析:在研发AI层面,谷歌搜索预估资金投入1000多亿美元。
做为谷歌搜索人工智能技术方案最核心、最心灵的角色,DeepMind试验室的领导者,Hassabis的这番言论,也表达了对OpenAI的不甘示弱。
依据The Information报导,微软公司和OpenAI方案花1000亿美金打造出「星际之门」,这两台超算中心预估包括数百万个专用服务器处理芯片,为GPT-5、GPT-6等更高级别的实体模型增加动力。
当Hassabis被问到竞争者花费在超算中心里的高额成本费时,他轻描淡写地强调:谷歌的耗费可能超过这个数。
大家以后就不谈具体的数字,但是我觉得,随着时间推移,我们自己的项目投资要超过这个数字。
现如今,生成式AI的潮流早已引起了非常大的投资热。
依据Crunchbase的信息,仅AI初创公司,去年就筹集了近500亿美元的资金。
而Hassabis的回答说明,AI领域的竞争一点也没有变缓的意味,也将更为日趋激烈。
谷歌搜索、微软公司、OpenAI,都会为「第一个抵达AGI」这一创举,进行激烈的角逐。
1000亿美金狂热的数据
在AI技术层面要用掉超上千亿,这1000亿都花儿花在哪呢?
最先,项目成本很重要的一部分,便是处理芯片。
现阶段这一块,英伟达显卡或是说一不二的大佬。谷歌搜索Gemini和OpenAI的GPT-4 Turbo,在很大程度上或是依靠英伟达显卡GPU等第三方处理芯片。
模型练习成本费,也变得越来越价格昂贵。
斯坦福大学此前发布的本年度AI指数报告就指出:「SOTA模型练习成本费,已经达到了从未有过的水准。」
汇报资料显示,GPT-4采用了「价值约7800万美元运算量来进行练习」,而2020年练习GPT-3所使用的运算量,仅是430万美金。
此外,谷歌搜索Gemini Ultra的练习成本为1.91亿美金。
而AI实体模型其背后的原始技术,在2017年的练习成本费仅是900美金。
汇报还提到:AI模型练习成本费与其说测算规定之间有直接关系。
假如目的在于AGI得话,成本费很有可能会持续上升。
1.9亿美金:从Google到OpenAI,练习AI模型成本是多少
说到这儿,那就让我们盘一盘,各种科技有限公司练习AI实体模型所需要的成本费,到底是是多少。
近期的《人工智能指数报告》,就公布了练习目前为止最复杂AI实体模型所需的令人震惊花费。
使我们深入分析这些成本的细分化,讨论他们的内涵。
Transformer(谷歌搜索):930美金
Transformer实体模型是当代AI的开拓性架构设计之一,这类相对性适中成本费,体现出了初期AI训练法效率。
它的成本,可作为了解该行业在模型多样性和各项费用层面发展的标准。
BERT-Large(谷歌搜索):3,288美金
与其前身对比,BERT-Large模型练习成本费大幅上升。
BERT以其对于前后文表现双向预训练而著称,在自然语言处理方面取得重大突破。但是,这一发展是有更高的财务成本为代价的。
RoBERTa Large(Meta):160美金
RoBERTa Large是BERT的一个组合,对于稳定的预训练进行了升级,其练习成本跃居,体现了伴随着实体模型变得越来越复杂,测算要求也越来越高。
这一急剧增长,体现出了与突破人工智能技术水平界线各项费用在不断攀升。
LaMDA (谷歌搜索): .3M美金
LaMDA致力于开展自然语言理解会话,代表着向更好的AI应用程序的变化。
练习LaMDA所需要的大量投资,体现出了对为特定每日任务量身打造的AI实体模型要求的不断增长,后面一种那就需要更大范围调整和数据处理方法。
GPT-3 175B(davinci)(OpenAI):.3M
GPT-3因其庞大经营规模引人注目的语言表达形成水平而著称,代表着AI发展趋势的一个重要里程碑式。
练习GPT-3成本,体现了练习这般经营规模模型所需要的极大算率,体现出了性能可负担性间的衡量。
Megatron-Turing NLG 530B (微软公司/英伟达显卡): .4M
练习Megatron-TuringNLG成本,反映了具备数十亿个参数更高模型发展趋势。
这类实体模型打破了AI水平的边界,但增添了令人惊讶的练习成本费。它大大提升了门坎,让业领导者和中小型参加者之间的差别越拉越大。
PaLM(540B)(谷歌搜索):.4M
PaLM具备很多参数值,代表着AI经营规模复杂性的封神之作。
练习PaLM的庞大的数字成本费,显现出促进AI产品研发界线所需要的极大项目投资,也引起了大家的争议:这类投资可以说是可持续发展的吗?
GPT-4 (OpenAI): .3M
GPT-4的预估练习成本费,也预示着人工智能技术经济学范式转变——AI模型练习花费达到史无前例的水准。
伴随着实体模型变得越来越大、越来越复杂,进出的经济发展堡垒也在不断升级。这时,后面一种便会限定自主创新,和人们对于AI科技的可获得性。
Gemini Ultra(谷歌搜索):1.4M
练习Gemini Ultra的惊人成本费,展现了集成电路工艺AI实体模型带来的负面影响。
尽管这些模型展现出了颠覆性的水平,但它们的练习花费已经达到庞大的数字。除开资产最充裕的大企业以外,其他的企业机构都已经被挡在堡垒以外。
处理芯片比赛:微软公司、Meta、谷歌和英伟达显卡角逐AI处理芯片领导地位
尽管英伟达显卡凭着长久布局在芯片领域先下一城,但不管是AMD这一老对头,或是微软公司、谷歌搜索、Meta等巨头,都在英勇迎头赶上,试着选用自己的设计。
5月1日,AMD的MI300人工智能芯片销售额达到10亿美金,作为其迄今为止市场销售速度最快的商品。
此外,AMD仍在星夜兼程增加现阶段供不应求的AI芯片生产量,而且预计2025年推出新品。
4月10日,Meta官方宣布下一代自研芯片,模型推理速率将获极大提高。
Meta练习和逻辑推理网络加速器(MTIA)致力于与Meta的排列顺序和推荐模型搭配使用需求设计,这种处理芯片能够帮助提高练习高效率,从而使具体的逻辑推理每日任务更容易。
都在4月10日,intel也提及了自己家最新AI处理芯片——Gaudi 3 AI的更多信息。
intel表明,与H100 GPU对比,Gaudi 3还可以在逻辑推理功能上得到50%提升的同时,在能耗等级上提高40%,而且价格更便宜。
3月19日,英伟达显卡发布「史上最强」AI处理芯片——Blackwell B200。
英伟达显卡表明,一个全新的B200 GPU能够凭着2080亿次晶体三极管,给予达到20 petaflops的FP4算率。
值得一提的是,把两个这种GPU与一个Grace CPU结合在一起的GB200,能够为LLM逻辑推理每日任务给予比以前强30倍特性,并且也可大大提高高效率。
除此之外,老苏还曾经暗示着每一个GPU的价格可能在3万至4万美金中间。
2月23日,英伟达显卡总市值一举达到2万亿元,变成了第一家实现这一里程碑式的芯片生产商。
与此同时,这也使得英伟达显卡变成了国外第三家市值超过2万亿美元的企业,仅次苹果公司(2.83亿美元)和微软(3.06亿美元)。
2月22日,微软公司和intel达成一项数十亿美元的定制芯片买卖。
据推测,intel能够为微软公司生产制造其自研的AI处理芯片。
2月9日,《华尔街日报》称Sam Altman的AI处理芯片梦,可能还需要达到7万亿美元的项目投资。
「那样一笔投资额将导致目前世界上半导体行业的经营规模大相径庭。上年全世界处理芯片销售额为5270亿美金,预计在2030年有望突破每一年1亿美元。」
参考文献:
https://twitter.com/tsarnick/status/1786189377804369942
https://www.youtube.com/watch?v=6RUR6an5hOY
https://twitter.com/zimmskal/status/1786012661815124024
https://symflower.com/en/company/blog/2024/dev-quality-eval-v0.4.0-is-llama-3-better-than-gpt-4-for-generating-tests/
https://techovedas.com/190-million-what-is-the-cost-of-training-ai-models-from-google-to-openai/
托托纳利谈多纳鲁马:对于能够扑出一切门将来说 情况也是变得更加困难
作者: 卫婧涵 2021-4-13扫一扫发现更多
网友评论更多
14385余梓涵
近日沙拉维表明:“大家在哪逐渐?便从和桑普的开赛吧,本场比赛可能十分艰难,可是我们应该再度启航。如今转会窗口已经关闭,我们可以用已有的主力阵容勤奋踢好每一场比赛。”
2020-4-12
朴静姝:科威尔进球
蔡艺萌:泰山队右边后卫部位吴兴涵担任先发,都是实至名归的事。吴兴涵在泰山队右边后卫部位主要表现很好,让不少球迷眼前一亮。泰山队腰部搭挡乃是李源一和廖力生,期待二位当打之年的金牌指挥者,能携手并肩在赛场上发威。泰山队左前卫部位由谢文能唱主角,这里上陈蒲主要表现很差。
29084许瑾萱
2020-1-20
赵雅雯:在本轮法甲比赛中,梅西c罗还有2次射门打在了门框上,依据西班牙媒体统计,梅西c罗这个赛季早已9次击中门套,他不仅是本赛季五大联赛击中门套频次最多的球员,也是最近5年五大联赛中金属中框频次最多的球员。
俞婧萱:
29104俞婧萱
ac米兰的后卫玩家1月份离队的概率不太高,但前峰有两名球员很有可能离开,包含布林德和马夏尔,特别是后面一种。最近传言费内巴切等不少俱乐部队有心签订ac米兰妖皇,一旦马厂长离开,滕哈格就急需解决提升中卫候选人,引入一名新前峰将不可或缺。
2023-2-27
雷晓霞:第87min,西汉姆右边任意球给出,绍切克争霸中头球破门,当值主裁判查询VAR后评定绍切克手球犯规在前,进球无效。自此,双方都无成就。全场比赛结束,利物浦3-1战胜西汉姆。
张晨阳:西甲第22轮,客战弱旅,对皇家马德里而言,是一次全取3分,领先意甲射手榜的良机。巴萨罗那将客场迈入一场硬仗,结论难以预料。