梁文锋署名,DeepSeek论文上新
创始人
2026-01-13 12:13:02
0次

2026.01.13


本文字数:1017,阅读时长大约2分钟

作者 |第一财经 刘晓洁

继去年底发布一篇新论文后,1月12日晚,DeepSeek又上新了一篇论文,这次聚焦的是大模型的条件记忆模块,在结论中DeepSeek 认为,这将成为下一代稀疏大模型中不可或缺的核心建模原语。


此前有爆料称DeepSeek下一代大模型V4将在春节前后发布,结合这几次研究,业内猜测这或许就是DeepSeek V4的研究路线图。

此次发布的论文是DeepSeek与北京大学合作完成的,名称为《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》(《基于条件查找的条件记忆:大型语言模型稀疏性的新维度》),作者一列同样有DeepSeek创始人梁文锋的署名。

这篇论文的核心观察是,大模型包含两种性质完全不同的任务,一种是需要深度动态计算的组合推理,另一种则是检索静态知识。而现有的Transformer架构缺乏原生的知识查找机制,只能通过计算低效地模拟检索过程。例如模型查找不变的知识时,得浪费算力重新推导一遍,既费时间又占资源。

为解决这一问题,DeepSeek团队引入了条件记忆作为补充的稀疏性维度,并通过Engram这一条件记忆模块实现,优化神经计算(MoE)与静态记忆(Engram)之间的权衡关系。

团队还发现了U型缩放定律,表明 MoE 专家和 Engram 记忆之间的混合稀疏容量分配严格优于纯 MoE 基准模型。值得注意的是,尽管记忆模块直观上有助于知识检索,但团队在通用推理、代码和数学领域观察到了更为显著的收益。

简单来说,现在的MoE 模型处理推理和记固定知识用的是一套方法,效率较低且浪费算力,这篇论文本质是给大模型做了 “分工优化”:让专门的模块干专门的事,例如有“记忆本”管固定知识,而推理模块管复杂思考,再按最佳比例分配资源,最终让模型又快又聪明。

DeepSeek在论文最后表明,条件记忆将成为下一代稀疏模型不可或缺的建模原语。有行业人士猜测,此次提出的条件记忆或许就是下一代大模型DeepSeek V4的技术架构。

此前有报道称,DeepSeek将于2月发布新一代旗舰模型DeepSeek V4,且内部初步测试表明,V4在编程能力上超过了市场上的其他顶级模型。目前DeepSeek并未对此进行任何回应。报道也提及发布计划可能会根据实际情况进行调整。

自2024年底发布V3模型后,DeepSeek的下一代旗舰模型一直未出,去年底DeepSeek发布了小更新V3.2版本,并提及该版本在多个基准测试中超过了OpenAI的GPT-5和Google的Gemini 3.0 Pro。行业一直在观望DeepSeek的旗舰模型,V4的推出或将成为业界关注的焦点。

微信编辑| 七三

第一财经持续追踪财经热点。若您掌握公司动态、行业趋势、金融事件等有价值的线索,欢迎提供。专用邮箱:bianjibu@yicai.com

(注:我们会对线索进行核实。您的隐私将严格保密。)

相关内容

热门资讯

WPK下载透视,约局吧游戏挂,... WPK下载透视,约局吧游戏挂,红龙PoKer真是有透视脚本;1、这是跨平台的约局吧游戏挂轻量版有透视...
WPK插件透视挂,wpk软件是... WPK插件透视挂,wpk软件是真的吗,AApoker好像是有透视挂软件1、不需要AI权限,帮助你快速...
WPK方法辅助器,aa pok... WPK方法辅助器,aa poker透视软件,WePoKer本来真的是有辅助器软件1、任何aa pok...
WPK模拟器透视,werpla... WPK模拟器透视,werplan透视挂,WePoKer都是真的有透视方法werplan透视挂是不是有...
WPK工具辅助,wpk真的有透... WPK工具辅助,wpk真的有透视嘛,WePoKer真是是有辅助软件1、每一步都需要思考,不同水平的挑...
WPK辅助器辅助器,哈糖大菠萝... WPK辅助器辅助器,哈糖大菠萝有挂吗5个常用方法,红龙PoKer切实有辅助器方法1、哈糖大菠萝有挂吗...
WPK安装开挂,哈糖大菠萝挂,... WPK安装开挂,哈糖大菠萝挂,AApoker其实是真的有开挂方法1、哈糖大菠萝挂脚本辅助下载、哈糖大...
WPK德州局透视,约局吧开挂,... WPK德州局透视,约局吧开挂,红龙PoKer竟然有透视工具1、进入到约局吧开挂是否有挂之后,能看到左...
WPK四人透视挂,佛手大菠萝辅... WPK四人透视挂,佛手大菠萝辅助,红龙扑克原来存在有透视挂方法该软件可以轻松地帮助玩家将佛手大菠萝辅...
WPK安装辅助,线上德州的辅助... WPK安装辅助,线上德州的辅助器是什么,菠萝智星德州本来是有辅助插件1、线上德州的辅助器是什么有没有...