DeepSeek R2来了?联合清华大学发布推理时Scaling突破性论文
今日，中国人工智能企业深度求索（DeepSeek）与清华大学研究团队联合发布题为《奖励模型的推理时Scaling方法及其在大规模语言模型中的应用》的重磅论文，提出自我原则点评调优（SPCT）与元奖励模型（Meta Reward Model）两项核心技术，为提升大语言模型（LLM）的推理能力提供了全新方法论。这一成果被视为DeepSeek下一代推...
梁文锋亲自上阵、亲自提交!DeepSeek发布新技术论文
三言科技消息 DeepSeek刚刚宣布提交了新的技术论文，是关于NSA（Natively Sparse Attention，原生稀疏注意力），官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。值得注意的是，DeepSeek创始人梁文锋是作者之一。可见他确实是热衷于技术研究的人。梁文锋还亲自提交了这篇论文。论文标...
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了? - 知乎
作者还将 DeepSeek-GRM-27B 的推理时间扩展性能与多达 671B 个参数的较大模型进行了比较,发现它在模型大小上可以获得比训练时间扩展更好的性能。虽然当前方法在效率和特定任务方面面临挑战,但凭借 SPCT 之外的努力,DeepSeek 相信,具有增强可扩展性和效率的 GRM 可以作为通用奖励系统的多功能接口,推动 LLM 后训练和...
DeepSeek R2来了?全新推理时Scaling论文联手清华震撼发布!
【新智元导读】DeepSeek新论文来了!在清华研究者共同发布的研究中,他们发现了奖励模型推理时Scaling的全新方法。 DeepSeek R2,果然近了。 最近,DeepSeek和清华的研究者发表的这篇论文,探讨了奖励模型的推理时Scaling方法。 论文地址: https://arxiv.org/abs/2504.02495 ...
DeepSeek R2来了?全新推理时Scaling论文联手清华震撼发布-36氪
【新智元导读】DeepSeek新论文来了!在清华研究者共同发布的研究中,他们发现了奖励模型推理时Scaling的全新方法。 DeepSeek R2,果然近了。 最近,DeepSeek和清华的研究者发表的这篇论文,探讨了奖励模型的推理时Scaling方法。 论文地址: https://arxiv.org/abs/2504.02495 ...
DeepSeek再更新!
根据官方技术论文披露 DeepSeek-V3模型的总训练成本 为557.6万美元 而GPT-4o等模型的训练成本 约为1亿美元 公开报道显示 此次新版V3模型 参数量为6850亿 借鉴了DeepSeek-R1模型 训练过程中所使用的强化学习技术 大幅提高了在推理类任务上的表现水平 在代码、数学、推理等 多个方面的能力 新版V3模型得到显著提升 ...
DeepSeek发布最新技术论文,梁文锋是共创之一
2月18日，DeepSeek官方在海外社交平台X上发布了一篇纯技术论文报告，论文主要内容是关于NSA（Natively Sparse Attention，原生稀疏注意力），官方介绍这是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。具体来说，NSA针对现代硬件进行了优化设计，能够加速推理过程，同时降低预训练成本，且不...
DeepSeek公布推理新论文 提升奖励模型可扩展性_新闻频道_中华网
DeepSeek公布推理新论文 提升奖励模型可扩展性 DeepSeek R2的研究成果已经接近。最近,DeepSeek和清华大学的研究者发表了一篇论文,探讨了奖励模型在推理时的Scaling方法。 强化学习(RL)已广泛应用于大规模语言模型(LLM)的后训练阶段。通过RL激励LLM的推理能力表明,采用合适的学习方法可以实现有效的推理时可扩展性。然而,...
刚刚,DeepSeek放出重磅论文!梁文锋亲自参与!
这项研究无疑为稀疏注意力领域带来了新的思路和方向。未来,我们期待看到更多基于 NSA 技术的创新应用,共同推动 AI 技术的进步! 最后不得不在强调一下,梁文锋不仅是deepseek ceo,很明显他还在研究的最前沿参与研究,这是令我最震撼的,他不仅有管理能力,而且...
DeepSeek发新成果!梁文锋亲自参与,实习生挑大梁,显著加速AI训练推理
论文第一作者完成研究时还是实习生。 编译| 陈骏达 编辑| Panken 智东西2月18日报道,今天下午,DeepSeek团队发布一篇新论文,介绍了一种改进的稀疏注意力机制NSA,可用于超快速的长上下文训练与推理。NSA以性价比极高的方式,罕见地在训练阶段应用稀疏性,在训推场景中均实现速度的明显提升,特别是在解码阶段实现了高达...
刚刚!DeepSeek重大发布!梁文锋参与共创!
2月18日，DeepSeek在海外社交平台发布了一篇纯技术论文报告，论文主要内容是关于NSA（Natively Sparse Attention，原生稀疏注意力）。据介绍，NSA专为长文本训练与推理设计，能利用动态分层稀疏策略等方法，通过针对现代硬件的优化设计，显著优化传统AI模型在训练和推理过程中的表现，特别是提升长上下文的推理能力，在保证...
爆点透析:DeepSeek最新论文 - 与非网
DeepSeek的这篇最新论文提出了一种创新的稀疏注意力机制NSA,通过动态分层稀疏策略、粗粒度的token压缩和细粒度的token选择,以及硬件优化等方法,显著提升了LLM处理长文本时的推理速度和训练效率。该论文不仅展示了DeepSeek在注意力机制上的创新实力,也为大模型的高效训练和推理提供了新的解决方案,具有重要的学术和产业价...
首篇论文盘点美国评估DeepSeek:震撼+质疑+恐慌
此外，DeepSeek通过一系列算力优化技术创新，显著降低了训练和推理的成本，使中国在美国高端芯片管制的情况下，仍可以提升大模型训练效率，找到一条不同于西方大模型研发和促进AI发展的新路，实现颠覆式创新。3.1.2 有助于打破全球AI“中心—外围”格局，促进AI普惠 目前，全球人工智能的全球发展格局呈现出“中心—...
DeepSeek公布推理新论文 提升奖励模型可扩展性_新闻频道_中华网
DeepSeek公布推理新论文 提升奖励模型可扩展性(2) 研究者的贡献包括:提出了一种新方法——自我原则点评调优(SPCT),用于推动通用奖励建模在推理阶段实现有效的可扩展性;SPCT显著提升了GRM在奖励质量和推理扩展性能方面的表现,超过了现有方法及多个强劲的公开模型;将SPCT的训练流程应用于更大规模的LLM,并发现相比于训练...
DeepSeek公布推理新论文 提升奖励模型可扩展性_新闻频道_中华网
DeepSeek公布推理新论文 提升奖励模型可扩展性(3) 研究团队还训练了一个元奖励模型(meta RM)来引导投票过程。这个meta RM是一个逐点标量模型,训练目标是判断DeepSeek-GRM生成的原则和评论是否正确。引导投票的实现很简单:meta RM为k个采样奖励输出元奖励,然后从这些奖励中选出前k_meta个高质量的奖励进行最终投票,...
DeepSeek创始人梁文峰刚刚发表最新论文,发布新的机制,把训练和推理速...
DeepSeek 提出的 NSA 技术,结合了算法创新与硬件优化,为长文本建模带来了前所未有的效率和性能提升。其核心亮点可以归纳为以下两点: 1️⃣ 动态分层稀疏策略:全局与局部的完美平衡 NSA 采用了一种动态分层的稀疏策略,通过结合粗粒度的 Token 压缩和细粒度的 Token 选择,实现了全局上下文感知与局部信息精确性的兼...
DeepSeek最新论文科普解读:NSA,物美价廉的超长上下文方案 - 知乎
今天,2025年2月18日,DeepSeek在Twitter上公布了最新论文:Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention。截止本篇解读完成,已经获得100万阅读量。 我对他的看法,可以引用Twitter上一名网友的评论:“Holy shit this shits onGrok 3”。
梁文锋参与著作!DeepSeek最新论文介绍新机制 可使AI模型进一步降...
《科创板日报》2月18日讯（编辑 宋子乔） 2月18日，DeepSeek团队发布一篇论文介绍了新的注意力机制NSA（Natively Sparse Attention，原生稀疏注意力机制）。NSA专为长文本训练与推理设计，能利用动态分层稀疏策略等方法，通过针对现代硬件的优化设计，显著优化传统AI模型在训练和推理过程中的表现，特别是提升长上下文的...
国产之光DeepSeek把AI大佬全炸出来了!53页论文技术细节大公开
研发团队还证明，多Token预测目标（Multi-Token Prediction，MTP）有利于提高模型性能，可以用于推理加速的推测解码。预训练方面，DeepSeek V3采用FP8训练。研发团队设计了一个FP8混合精度训练框架，首次验证了FP8训练在极大规模模型上的可行性和有效性。论文中还提到了跨节点MoE训练中的通信瓶颈问题。解决策略包括，设计...
DeepSeek前脚发新论文,奥特曼立马跟上:GPT-5就在几个月后啊
这不DeepSeek前脚刚刚上新了一篇关于推理时Scaling Law的论文嘛，引得大家纷纷联想是不是R2马上要来了。然鹅……奥特曼这边却发了一条“变卦”的消息：计划改变：我们可能在几周之后先发布o3和o4-mini。至于大家翘首以盼的GPT-5，奥特曼表示：将在几个月之后，而且效果会比我们最初设想的还要好。至于原因，奥特曼...