新智元报导
编写:Aenea 困死了球赛投注app
【新智元前言】近日采访中,LeCun亲自确认:Meta为购买英伟达显卡GPU早已耗费了300亿美金,成本球赛投注app费超出强仕登月。比较之下,微软公司和OpenAI推出的星际之门斥资1000亿美金,谷歌搜球赛投注app索DeepMind CEO Hassabis则发出豪言壮语:谷歌搜索花费的,比这个数字还要多!科技产业企业们烧起钱就是来愈来愈不眨眼,终究,AGI的发展前景真是太诱人了。
不久前,Meta AI负责人Yann LeCun确认:为了买英伟达显卡GPU,Meta早已花掉了300亿美金,这个成本,已经超过强仕登月方案!
300亿美金尽管令人震惊,但是比起微软公司和OpenAI方案推出的1000亿美金星际之门,这还是小case了。
谷歌搜索DeepMind CEO Hassabis乃至扬言称:谷歌搜索要砸进去的数,比这还要多。
这才哪到哪呢。
LeCun:Meta买英伟达显卡GPU,确实超出强仕登月
为 了发展趋势AI,Meta是背水一战了。
在这样一个采访中,节目主持人询问道:听说Meta购入了50万元英伟达显卡GPU,依照市场价算的话球赛投注app,这个价位是300亿美金。因此,全部费用比强仕登月新项目话高些,对不对?
对于球赛投注app此事,LeCun表明认可:没错,确实如此。
他补充道,「不仅仅是练习,还包含部署的成本费。大球赛投注app家所面临的难题,便是GPU的供给难题。」
有些人提出异议,觉得这肯定不是确实。做为史上最大的逻辑推理机构,她们肯定不是把所有积蓄都花在了练习上。
还有人捅破了这一层泡沫塑料,表明每一个大佬都是在说谎,为此构建「自身有更多GPU」的错觉——
尽管的确在英伟达显卡硬件上投入巨资,但实际上只有一小部分用以具体训练算法。「我们有数百万个GPU」这个概念,便是听上去好说大话而已。
自然,还有人提出异议:考虑到通胀,阿波罗计划成本应当是贴近2000-2500亿美金才会对。
确实,有些人通过计算,考虑到阿波罗计划1969年最原始的使用价值、依据通胀作出调整得话,它成本费用需要在2170亿或2410亿美金。
https://apollo11space.com/apollo-program-costs-new-data-1969-vs-2024/
而哈佛商学院专家教授Ethan Mollick表明,尽管远不如阿波罗计划,但是以今日的美元计算,Meta在GPU上的花费几乎和曼哈顿计划一样多。
但是最少,网友们表示,非常高兴对行业巨头球赛投注appAI基础设施建设拥有一瞥:电磁能、土地资源、可以容纳100万只GPU的声卡机架。
开源系统Llama 3一炮走红
除此之外,在Llama 3上,Meta也夺得了亮眼的成绩。
在Llama 3的开发上,Meta精英团队关键有四个方面的考量:
实体模型架构设计
架构设计层面,精英团队使用的是较密自回归Transformer,并且在实体模型中加入分类查看专注力(GQA)体制,及其一个新的分词器。
训练样本和云计算服务器
因为训练过程采用了超出15万亿的token,因而精英团队自己构建了几个计算集群,各自具备24000块H100 GPU。
命令调整
事实上,模型实际效果完全取决于后练习环节,这也是最耗费精力体力的地区。
因此,精英团队增加了人工球赛投注app标注SFT数据信息规模(1000万),并且采用了例如回绝取样、PPO、DPO等新技术,来尝试在易用性、人们特征以及预训练里的大规模数据之间找到均衡。
现如今,从全新出炉的编码实测来说,Meta精英团队的那一系列探寻算得上是一炮走红。
Symflower技术总监兼创办人Markus Zimmermann对其GPT-3.5/4、Llama 3、Gemini 1.5 Pro、Command R+等130几款LLM进行了详细实测以后表明:「大语言模型的皇座归属于Llama 3 70B!」
- 在普及率上实现100%,在代码质量上做到70%
- 性价比较高的逻辑推理能力
- 实体模型权重值对外开放
不过值得注意的是,GPT-4 Turbo在性能上是无可争议的大赢家——拿到150分100分。
能够看见,GPT-4(150分,40美金/上百万token)和Claude 3 Opus(142分,90美金/上百万token)特性确实不错,但价格方面则会比Llama、Wizard和Haiku变高25到55倍。
从总体上,在Java中,Llama 3 70B取得成功鉴别出了一个不易找到的对象功能测试,这一发现既出乎意料又合理。
除此之外,它还可以70%的时间也编写出高质量测试程序。
GPT-4 Turbo在形成测试程序时侧重于加入一些很明显的注解,但这一点在高质量代码开发中一般是需要避免的。
测试程序的品质大大的遭受调整产生的影响:在功能测试中,WizardLM-2 8x22B比Mixtral 8x22B-Instruct高于30%。
在形成可编译代码的能力水平,比较小参数实体模型如Gemma 7B、Llama 3 8B和WizardLM 2 7B状态低迷,但Mistral 7B却做得非常好。
团队在评估了138款LLM以后发现,在其中有大约80个实体模型连形成简易功能测试能力也不靠谱。
假如评分小于85分,则意味着模型主要表现不尽人意。但是,图中并没有完全体现评测中的所有发现并看法,精英团队将在下个版本中进行调整
详尽实测可以进入下面这篇文章查询:
实测详细地址:https://symflower.com/en/company/blog/2024/dev-quality-eval-v0.4.0-is-llama-3-better-than-gpt-4-for-generating-tests/
需要获得人工智能技术战事,成本价格昂贵到激烈
现如今,各种高新科技公司都在投入价格昂贵代价,争得打赢AI战事。
让AI越来越更加智能,互联网巨头们需要投入多少费用?
谷歌搜索DeepMind老总Demis Hassabis在大半个月前TED会议上作出了预测分析:在研发AI层面,谷歌搜索预估资金投入1000多亿美元。
做为谷歌搜索人工智能技术方案最核心、最心灵的角色,DeepMind试验室的领导者,Hassabis的这番言论,也表达了对OpenAI的不甘示弱。
依据The Information报导,微软公司和OpenAI方案花1000亿美金打造出「星际之门」,这两台超算中心预估包括数百万个专用服务器处理芯片,为GPT-5、GPT-6等更高级别的实体模型增加动力。
当Hassabis被问到竞争者花费在超算中心里的高额成本费时,他轻描淡写地强调:谷歌的耗费可能超过这个数。
大家以后就不谈具体的数字,但是我觉得,随着时间推移,我们自己的项目投资要超过这个数字。
现如今,生成式AI的潮流早已引起了非常大的投资热。
依据Crunchbase的信息,仅AI初创公司,去年就筹集了近500亿美元的资金。
而Hassabis的回答说明,AI领域的竞争一点也没有变缓的意味,也将更为日趋激烈。
谷歌搜索、微软公司、OpenAI,都会为「第一个抵达AGI」这一创举,进行激烈的角逐。
1000亿美金狂热的数据
在AI技术层面要用掉超上千亿,这1000亿都花儿花在哪呢?
最先,项目成本很重要的一部分,便是处理芯片。
现阶段这一块,英伟达显卡或是说一不二的大佬。谷歌搜索Gemini和OpenAI的GPT-4 Turbo,在很大程度上或是依靠英伟达显卡GPU等第三方处理芯片。
模型练习成本费,也变得越来越价格昂贵。
斯坦福大学此前发布的本年度AI指数报告就指出:「SOTA模型练习成本费,已经达到了从未有过的水准。」
汇报资料显示,GPT-4采用了「价值约7800万美元运算量来进行练习」,而2020年练习GPT-3所使用的运算量,仅是430万美金。
此外,谷歌搜索Gemini Ultra的练习成本为1.91亿美金。
而AI实体模型其背后的原始技术,在2017年的练习成本费仅是900美金。
汇报还提到:AI模型练习成本费与其说测算规定之间有直接关系。
假如目的在于AGI得话,成本费很有可能会持续上升。
1.9亿美金:从Google到OpenAI,练习AI模型成本是多少
说到这儿,那就让我们盘一盘,各种科技有限公司练习AI实体模型所需要的成本费,到底是是多少。
近期的《人工智能指数报告》,就公布了练习目前为止最复杂AI实体模型所需的令人震惊花费。
使我们深入分析这些成本的细分化,讨论他们的内涵。
Transformer(谷歌搜索):930美金
Transformer实体模型是当代AI的开拓性架构设计之一,这类相对性适中成本费,体现出了初期AI训练法效率。
它的成本,可作为了解该行业在模型多样性和各项费用层面发展的标准。
BERT-Large(谷歌搜索):3,288美金
与其前身对比,BERT-Large模型练习成本费大幅上升。
BERT以其对于前后文表现双向预训练而著称,在自然语言处理方面取得重大突破。但是,这一发展是有更高的财务成本为代价的。
RoBERTa Large(Meta):160美金
RoBERTa Large是BERT的一个组合,对于稳定的预训练进行了升级,其练习成本跃居,体现了伴随着实体模型变得越来越复杂,测算要求也越来越高。
这一急剧增长,体现出了与突破人工智能技术水平界线各项费用在不断攀升。
LaMDA (谷歌搜索): .3M美金
LaMDA致力于开展自然语言理解会话,代表着向更好的AI应用程序的变化。
练习LaMDA所需要的大量投资,体现出了对为特定每日任务量身打造的AI实体模型要求的不断增长,后面一种那就需要更大范围调整和数据处理方法。
GPT-3 175B(davinci)(OpenAI):.3M
GPT-3因其庞大经营规模引人注目的语言表达形成水平而著称,代表着AI发展趋势的一个重要里程碑式。
练习GPT-3成本,体现了练习这般经营规模模型所需要的极大算率,体现出了性能可负担性间的衡量。
Megatron-Turing NLG 530B (微软公司/英伟达显卡): .4M
练习Megatron-TuringNLG成本,反映了具备数十亿个参数更高模型发展趋势。
这类实体模型打破了AI水平的边界,但增添了令人惊讶的练习成本费。它大大提升了门坎,让业领导者和中小型参加者之间的差别越拉越大。
PaLM(540B)(谷歌搜索):.4M
PaLM具备很多参数值,代表着AI经营规模复杂性的封神之作。
练习PaLM的庞大的数字成本费,显现出促进AI产品研发界线所需要的极大项目投资,也引起了大家的争议:这类投资可以说是可持续发展的吗?
GPT-4 (OpenAI): .3M
GPT-4的预估练习成本费,也预示着人工智能技术经济学范式转变——AI模型练习花费达到史无前例的水准。
伴随着实体模型变得越来越大、越来越复杂,进出的经济发展堡垒也在不断升级。这时,后面一种便会限定自主创新,和人们对于AI科技的可获得性。
Gemini Ultra(谷歌搜索):1.4M
练习Gemini Ultra的惊人成本费,展现了集成电路工艺AI实体模型带来的负面影响。
尽管这些模型展现出了颠覆性的水平,但它们的练习花费已经达到庞大的数字。除开资产最充裕的大企业以外,其他的企业机构都已经被挡在堡垒以外。
处理芯片比赛:微软公司、Meta、谷歌和英伟达显卡角逐AI处理芯片领导地位
尽管英伟达显卡凭着长久布局在芯片领域先下一城,但不管是AMD这一老对头,或是微软公司、谷歌搜索、Meta等巨头,都在英勇迎头赶上,试着选用自己的设计。
5月1日,AMD的MI300人工智能芯片销售额达到10亿美金,作为其迄今为止市场销售速度最快的商品。
此外,AMD仍在星夜兼程增加现阶段供不应求的AI芯片生产量,而且预计2025年推出新品。
4月10日,Meta官方宣布下一代自研芯片,模型推理速率将获极大提高。
Meta练习和逻辑推理网络加速器(MTIA)致力于与Meta的排列顺序和推荐模型搭配使用需求设计,这种处理芯片能够帮助提高练习高效率,从而使具体的逻辑推理每日任务更容易。
都在4月10日,intel也提及了自己家最新AI处理芯片——Gaudi 3 AI的更多信息。
intel表明,与H100 GPU对比,Gaudi 3还可以在逻辑推理功能上得到50%提升的同时,在能耗等级上提高40%,而且价格更便宜。
3月19日,英伟达显卡发布「史上最强」AI处理芯片——Blackwell B200。
英伟达显卡表明,一个全新的B200 GPU能够凭着2080亿次晶体三极管,给予达到20 petaflops的FP4算率。
值得一提的是,把两个这种GPU与一个Grace CPU结合在一起的GB200,能够为LLM逻辑推理每日任务给予比以前强30倍特性,并且也可大大提高高效率。
除此之外,老苏还曾经暗示着每一个GPU的价格可能在3万至4万美金中间。
2月23日,英伟达显卡总市值一举达到2万亿元,变成了第一家实现这一里程碑式的芯片生产商。
与此同时,这也使得英伟达显卡变成了国外第三家市值超过2万亿美元的企业,仅次苹果公司(2.83亿美元)和微软(3.06亿美元)。
2月22日,微软公司和intel达成一项数十亿美元的定制芯片买卖。
据推测,intel能够为微软公司生产制造其自研的AI处理芯片。
2月9日,《华尔街日报》称Sam Altman的AI处理芯片梦,可能还需要达到7万亿美元的项目投资。
「那样一笔投资额将导致目前世界上半导体行业的经营规模大相径庭。上年全世界处理芯片销售额为5270亿美金,预计在2030年有望突破每一年1亿美元。」
参考文献:
https://twitter.com/tsarnick/status/1786189377804369942
https://www.youtube.com/watch?v=6RUR6an5hOY
https://twitter.com/zimmskal/status/1786012661815124024
https://symflower.com/en/company/blog/2024/dev-quality-eval-v0.4.0-is-llama-3-better-than-gpt-4-for-generating-tests/
https://techovedas.com/190-million-what-is-the-cost-of-training-ai-models-from-google-to-openai/
西甲比利亚雷亚尔VS格拉纳达CF前瞻 格兰纳达近6轮不胜只得3和3负
作者: 杨欣怡 2022-5-24扫一扫发现更多
网友评论更多
6382赵悠馨
“从我任职期,我们很幸运经历了太多,我不得不重视的是,大家所做的一切都少不了平稳、明智和创造性俱乐部队使用者。我再一次对于此事表示感激,但我也是很激动,因为我觉得这样的事情会坚持下去,这会对利物浦俱乐部而言是个好消息。”
2022-3-18
蔡晓雨:据了解,威廉王子与英国凯特王妃一直在努力趁这一段时间让三个还小小的孩子习惯性与接纳妈妈得癌这一日常生活新形势和更好的生活纪律,这个年轻家庭不容易。肯辛顿宫发言人表示,觊特会依据医生建议,解决一些简单的国家公务。 下面现身的频次也会增加,并以线上营销为主导;皇室新闻记者卡梅伦·维泽曝料,假如机会可以的话,觊特很有可能会在夏天修复国家公务,当然是便以医生建议为主导。
甄涵雨:球天下5月26日讯 依据意大利媒体日报相关报道,意甲球队拉科鲁尼亚现阶段正在加快引入曾效力那不勒斯的哥斯达黎加前峰古德蒙德松买卖交易,足球队非常欣赏玩家实力,期待引入玩家提高队内的后卫。现阶段,还有其他足球队期待引入玩家,玩家与球队合同将在2027年期满。
26657曾悠悠
以这两支球队近期状态来说,真的可以说是难见敌人!确定这场比赛输赢的,是两大因素,一是身体素质,皇家马德里4月1日踢完公开赛 ,就等欧联杯了,回过头看利物浦,4月6日踢完水晶宫,歇息3天就要赶赴伯纳乌考验皇家马德里,彼此身体素质层面,皇家马德里是占有优势的。其二是这两支球队的主教练大战,及其场中球星的充分发挥。利物浦这里有着哈兰德、奥巴梅扬、福登,皇家马德里这里有着贝林厄姆、维尼修斯等,这两支球队的球星pk,直接决定了两个队的输赢天平秤。
2022-4-18
薛梓涵:第73min,杰拉德门口两连击败门。
姚悠睿:再次回到比赛场以后,梁伟铿王昶显著增强了自身无痕接发接的防御,也丝毫不给阿尔菲安和阿德里安托袭击自身中前场的好机会,在把比赛拖进多拍相持阶段后,梁王组成更强大的后磁场强度杀,让她们一瞬间将比分追到12平,接着彼此进到持久战,奋勇争先一直打到18平,决胜时刻,梁伟铿王昶攻击威协更高,连拿3分以21-18获得了开好局。
18948陈婧雨
2022-7-14
王博文:但对于ac米兰而言,球队目前早已基本上不会让布林德返回足球队法律效力,因而足球队希望以后玩家离开球队,但是ac米兰层面更期待立即售卖玩家,而非租用的形式。足球队期待售卖玩家扣除球员身价,为玩家标明6500万欧元价钱。而巴黎圣日耳曼层面并不希望耗费那么多的球员身价引入玩家,因而彼此预估还会进行商议。
唐雨琴:上边場,利物浦和阿森納都有機會获得進球,但都没有取得成功。鲁斯在頭球攻門後受傷離場,給曼城的防線帶來了一些困擾。下边場,哈蘭德錯失去了一次絕佳機會,雙方都没有能夠寻找破門的办法。最終,比賽以0-0的平手結束,雙方言归于好。