新闻
2025-08-04 05:51 点击次数:166
2 月 18 日,创立 xAI 的埃隆 · 马斯克发布了堪称"地球上最聪敏 AI "的 Grok3 大模子,展示了其在多项测评中超越 o3-mini,摘得桂冠的技巧实力。而覆没天,DeepSeek 的梁文锋和 Kimi 的杨植麟分歧在专科网站上发布了我方参与的论文,这两篇论文均与如何减少长文本贪图量,加速锻真金不怕火服从磋磨。
这反应了中好意思 AI 大模子阶梯上最本质的互异:Grok3 罗致 20 万张英伟达 H100 芯片锻真金不怕火而成,已矣优异性能的同期也折射出了"力大砖飞""火力掩饰"的好意思式发展旅途,况且再次诠释" Scaling Law "(法度定律,可简短交融为模子参数越大效果越好)可行;而 DeepSeek 爆火之后,梁文锋仍聚焦"如何裁汰锻真金不怕火老本",依旧在追求极致服从,要把 AI 价钱"打下来",作念大模子界的"鲶鱼"。
另外,诚然马斯克声称将来 Grok3 将开源,但咫尺该大模子也曾是闭源的,而 DeepSeek 则捏续开源,将我方的技巧磋商免费赋能给天下各地。2 月 21 日,DeepSeek 官方发文称,"将在接下来的一周开源 5 个代码库,以实足透明的面貌共享咱们轻细但诚笃的进展。"
当不菲先进的闭源模子,遇上性价比较高的开源模子,究竟哪一条路最终会"更胜一筹"?
马斯克靠"力大砖飞"登顶大模子测评榜 英伟达股价"回报失地"
贝壳财经记者安然到,在 Grok3 的直播发布会上,马斯克旗下 xAI 的责任主说念主员所展示的第一张实景图片,即是该公司新建的数据中心。
"刚劲的智能来振奋型算力集群"。马斯克特殊职工在直播中默示,xAI 此前使用大要 6500 块英伟达 H100 芯片锻真金不怕火模子,但遭受了冷却和电源问题,为了尽快发布 Grok3,公司在旧年四月耗时 122 天新建了一个数据中心,最终让第一批 10 万个英伟达 H100 芯片启动并启动,之后又花了 92 天加倍了数据中心 GPU 的容量。换句话说,为了锻真金不怕火 Grok3,xAI 至少动用了 20 万块首先进的英伟达 H100 芯片。
xAI 开导的数据中心 开首:马斯克直播截图
"马斯克在直播中莫得提到这 20 万块 GPU 是否为‘单集群’,淌若谜底细则的话那口角常大的冲破,因为现时国内大部分(数据中心)照旧 1 万块卡的集群。"快念念慢想磋商院院长,原商汤智能产业磋商院首创院长田丰告诉新京报贝壳财经记者。
在性能上,Grok3 在大模子界巨擘盲测榜单" Chatbot Arena(大模子竞技场)"中得分超 1400,刷新了该榜单的新记载。
聚首锻真金不怕火破钞的巨额算力,在这一成绩背后,Grok3 可能还领有庞大的参数范畴,以及锻真金不怕火数据量,因为" Scaling Law "即是指模子性能与其范畴(如参数数目)、锻真金不怕火数据集大小以及用于锻真金不怕火的贪图资源之间存在的一种可瞻望的关系,简短解释即是"越大性能越好"。
田丰觉得,马斯克使用了"幽闲出遗址"的面貌,"我很深嗜它背后的数据范畴有多大,因为算力、数据和模子参数目是成比例增多的,这样大的算力一定是跟模子的大参数目和庞大的锻真金不怕火数据集磋磨系,但这两个细节马斯克并莫得说起,这细则既包括互联网上的数据,也包括特斯拉工场里的一些物理数据。"
贝壳财经记者安然到,对于锻真金不怕火数据集,xAI 的责任主说念主员举了一个形象的比方"压缩扫数这个词互联网",马斯克则表示 Grok3 的贪图量是 Grok2 的 10 到 15 倍。
事实上,科学界有一种不雅点觉得,跟着互联网上可用于锻真金不怕火的数据接近真贵," Scaling Law "将靠近瓶颈,而 Grok3、o3-mini 等在 DeepSeek-R1 之后发布的大模子则诠释" Scaling Law "也曾灵验。这也提振了市集对算力供应商的信心。箝制北京时辰 2 月 21 日,英伟达的股价为每股 140.11 好意思元,自 1 月 24 日于今呈现出了一个"深 V "走势,DeepSeek-R1 发布后所亏欠的市值现已基本"回报"。
英伟达股价走势图
中国科学院软件所博士、新浪微博技巧研发厚爱东说念认识俊林默示,所谓" Scaling Law 撞墙"的开阔问题是数据不够,导致预锻真金不怕火阶段的 Scaling Law 走势趋缓,但这是趋缓不是停顿。即便莫得新数据,推大模子尺寸范畴,效果仍然会飞腾。
张俊林瞻望," Grok 3 的尺寸范畴很可能不是一般的大(嗅觉在 200B 到 500B 之间),很光显,Grok 3 仍然在选择推大基座模子尺寸的‘传统’作念法,这种作念法性价比很低。"
另一个细节是,诚然马斯克强调"当发布下一代模子后,上一代模子就将开源",但和 OpenAI 发布的 GPT 系列以及 o 系列模子一样,Grok3 亦然一个闭源大模子。对此,田丰告诉记者,由于 xAI 起步较晚,马斯克必须不计代价去参预资源以达到最顶尖的模子水平,这也导致他后续将会罗致收费的花式。
梁文锋、杨植麟聚焦AI降本增效 让大模子东说念主东说念主可用
当马斯克的 Grok3 背靠新建数据中心以及 20 万块 H100 的支柱,在各路评分榜单攻城略地之时,梁文锋依旧一如既往坚捏着 DeepSeek "降本增效"的技巧立异之路。
北京时辰 2 月 18 日下昼 3 时 4 分,就在马斯克刚刚完成 Grok3 发布的一小时后,DeepSeek 官方在外交平台先容了一种名为 NSA(Native Sparse Attention 原生寥落安然力)的新机制,并贴出了详备先容和论文贯穿。DeepSeek 官方称,该机制加速了推理速率,裁汰了预锻真金不怕火的老本,且不影响模子性能。
新京报贝壳财经记者阅读了这篇直译为《原生寥落安然力:硬件对王人与可锻真金不怕火的寥落安然力》的论文,发现 NSA 机制的中枢念念想是通过将输入的序列以"压缩""选拔""滑动"的面貌分红三个并行的"分支"块,减少贪图量,这种块状处理面貌与 GPU 的并行贪图智商相匹配,充分运用了硬件的贪图资源。
以喜闻乐道的谈话解释即是,假定大模子正在作念阅读交融,需要回答一个对于著作主题的问题,传统的"全安然力"机制就访佛于阅读实足部著作再回答问题。而罗致 NSA 机制,大模子会早先快速浏览著作,收拢著作的约莫主题和结构(即"压缩"安然力),再仔细阅读与问题最相关的段落或句子(即"选拔"安然力),同期为了防护跑题,眷注局部陡立文,确保交融问题的布景(即"滑动"安然力)。在这一机制下,大模子不错成为得回一样的"优秀考生"。
DeepSeek 论文截图
字据 DeepSeek 在论文中展示的图表,NSA 在基准测试中的得分(左图中红色)优于传统的全安然力模子(左图中橙色),而 NSA 的贪图速率(右图中红色)则光显快过全安然力模子(右图中黄色),在解码、上前传播、向后传播三项维度上的速率分歧达到了全安然力模子的 11.6 倍、9 倍和 6 倍,这意味着模子的锻真金不怕火速率和推理速率都将得回成倍提高。
对此,原谷歌顶级工程师,现已加入 OpenAI 的 Lucas Beyer 在外交平台驳斥说念,论文中出现的图表相称漂亮,仅发现绘画方面可能存在一些小污点,"不错看出这篇论文在发表之前过程雅致的打磨,恭喜 DeepSeek 咫尺有一个新粉丝了。"
无特有偶,2 月 18 日下昼 8 点 20 分," AI 六小虎"之一的 Kimi 也发表了访佛的论文,该论文主要先容了一个名为 MoBA(MIXTURE OF BLOCK ATTENTION 直译为块状搀杂安然力)的机制,该机制的中枢念念想同样是将长文分内割为多个固定大小的"块",尔后再通过动态选拔每个块的相关性,最终达到提高贪图服从的作用,处理 1M 长文本的速率不错升迁 6.5 倍。
值得安然的是,DeepSeek 和 Kimi 的这两篇论文中,分歧出现了两边首创东说念主梁文锋和杨植麟的名字,其中 DeepSeek 的论文照旧梁文锋本东说念主送达的。
而且贝壳财经记者安然到,无论是 NAS 机制照旧 MoBA 机制,都强调了不错无缝集成到现存的谈话模子中,无需再行锻真金不怕火已有大模子。这意味着这两项科技服从都不错告成拿来给现存的大模子"加速"。
对于 DeepSeek 这次论文的发布,有番邦网友默示,"这即是我心爱 DeepSeek 胜过行业大多数前沿模子的原因,他们正在立异措置有规画,他们的宗旨不单是是创造一个通用东说念主工智能,而是让它高效化、土产货化,让每个东说念主都能启动和重视,不管贪图资源如何。Grok3 看起来很棒,但它并不开源,况且是在 20 万块 H100 上锻真金不怕火出来的。"
田丰告诉记者,追求极致的模子算力和性价比是中国必须完成的任务,这是由复杂的"卡脖子"问题形成的,但这对好意思国的 AI 公司不是问题,是以马斯克才会不计代价延迟算力,模子只须充足好,当先 OpenAI、DeepSeek 和谷歌就不错了,不在乎老本是否寰球最优,"从马斯克的发布会上不错嗅觉出来,可能在将来很长一段时辰好意思国的大模子企业并不会去追求极致的性价比,更多照旧会追求当先的性能。"
2 月 21 日,DeepSeek 在最新的公告中不竭了我方开源免费的作风。在公告中,DeepSeek 默示"咱们是一个探索 AGI(通用东说念主工智能)的小团队,下周起咱们将开源 5 个代码库,以实足透明的面貌共享咱们轻细但诚笃的进展。"
DeepSeek 默示,"当作开源社区的一部分,咱们肯定,每共享一转代码,都会成为加速 AI 行业发展的集体能源。逐日解锁的开源技俩行将到来,莫得瞠乎其后的象牙塔,惟有隧说念的车库文化(记者注:不少好意思国驰名企业从车库里出身)和社区驱动的立异。"
贝壳财经记者安然到,DeepSeek "开源免费"的花式也对好意思国的大模子发展形成了影响。2 月 20 日,xAI 发文称,将免费提供 Grok3 的事业,"直到事业器崩溃为止"。
对此,记者登录 Grok3 网页版,并建议了一个问题"说说你和 DeepSeek 的对比",Grok3 回答,"我的锻真金不怕火老本相对较高,这反应了我在性能和技巧上的巨大参预。据推测,我的锻真金不怕火使用了约 20 万块 GPU,总锻真金不怕火时辰超越 200 天,电力老本约为 2500 万好意思元。淌若加上 GPU 采购、重视等用度,本质老本会更高。比拟之下,DeepSeek 的锻真金不怕火老本低得多。举例,DeepSeek-V3 的锻真金不怕火老本为 600 万好意思元,使用了 278.8 万 GPU 小时。这一老本上风收获于其高效的搀杂众人(MoE)架构和优化的锻真金不怕火战略,权臣裁汰了贪图需求。" Grok3 还在功能与性能、怒放性等方面作念出了与 DeepSeek 的比较。
新京报贝壳财经记者与 Grok3 的对话截图
Grok3 在回答的结语中告诉贝壳财经记者,"感谢你对中国 AI 发展的眷注!当作 Grok,我为我方的性能和技巧感到清高,同期也尊重 DeepSeek 在老本服从和怒放性上的上风。AI 的高出是寰球共同勤劳的已矣,中好意思都在其中推崇了进击作用。"
新京报贝壳财经记者 罗亦丹
剪辑 岳彩周
校对 穆祥桐世博体育
Powered by 世博app官方入口(中国)官方网站-IOS/Android通用版/手机版 @2013-2022 RSS地图 HTML地图