DeepSeekV4 的技术报告里有 mHC，有 CSA，有 HCA，有 Muon亳州家具封边胶厂家 ，有 FP4 ……

唯没有Engram。

Engram 去哪了？

这个话题度成为网友们讨论的热点。

Engram 在今年 1 月由 DeepSeek 和北大联开源，主要研究大模型的记忆与率问题。

自挂上 arXiv 的那刻起，圈子里围绕它的探讨就没有停止过…

不仅仅因为它是 V4 的前奏，而是有了 Engram，「伦敦是英国都」这种事实，模型不用动用整个层网络去重新遍，直接查就行。

不仅省显存，还能释放层网络容量，用于阶的理。

正因如此，自 1 月初论文发表以来，所有人都觉得，Engram 就是 V4 的架构地基，所有人都在盼。

以至于 V4 发表后，大时间就是 command+f 去论文里找 Engram，可惜并没有。

以至于不少网友甚至觉得，没有 Engram，V4 就是不完整的。

没有 Engram，可能是 DeepSeekV4 大的遗憾。

不过，Engram 并没有消失。随后三篇值得注意的论文接力出现：

CXL 内存池化版本：把 Engram 放进多机共享的 CXL 内存池，解决大模型多机部署的存储问题。

冲突热层实验：对 Engram 的多头哈希优化进行了实证检验，证伪了些直觉式改进案。

视觉 Tiny Engram：AutoArk 团队把文本 Engram 搬到视觉模态，扩展了它的应用边界。

所以，虽然 V4 没有 Engram，但它的理念、探索和后续应用已经悄然铺开，为下代模型下基础。

Engram 到底是什么

把时间倒回 2026 年 1 月 12 日。

那天，DeepSeek 联北大放出了篇 33 页的论文《ConditionalMemoryviaScalableLookup》。作者 ChengXin，北大博士生，曾经署名过 V3。后位作者，梁文锋。

先来句话速通版，Engram 是给 Transformer 加的个原生知识查表模块。能查的别亳州家具封边胶厂家 ，先查下。

团队的核心观察是，语言建模其实包含两种质不同的任务，种是需要度动态计的组理，另种是检索静态知识。

之前的问题在于，Transformer 把这两件事混在起做。模型识别个实体时，得消耗好几层注意力和前馈网络逐层拼凑特征。

论文里举了个例子，「Diana，Princess of Wales」。模型要走 6 层才能把这个识别完。

前几层还在纠结「Wales 是英国的个地区」、「Princess of Wales 是某种头衔」这些中间状态，后层才反应过来这是戴安娜妃。

奥力斯    保温护角专用胶批发    联系人：王经理    手机：13903175735（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区

这种「用昂贵的运行时计重建个静态查找表」的活，本来可以让层网络去干阶的理。

对此，Engram 的思路相当直接，既然经典的 N-gram 模型就能用 O ( 1 ) 的时间复杂度捕获这些局部依赖，那干脆把这能力直接嵌进 Transformer。

个比，就像你做数学题，该用的公式不每次从头遍，翻表代进去就行。Transformer 之前没这张表，只能每道题都从公理走起。Engram 等于把这张表交到模型手里。

具体做法是，在 Transformer 的 2 层和 15 层之间各插入个 Engram 模块。

每个位置的输入会触发次哈希查找，把当前 token 和前面几个 token 组成的 N-gram 映射到个巨大的嵌入表里，直接取出对应的向量。

门控机制保证查到的内容跟当前上下文不匹配时自动屏蔽。比如「张」是个常见姓氏，但「张仲景」三个字凑起就是固定历史人物实体了，门控就负责认出这种区别。

Engram 的定位是 MoE 之外的另条稀疏轴。MoE 是把计稀疏化，只激活部分。Engram 是把存储稀疏化，只查部分条目。两者互补，不冲突。

论文核心的段实验，是固定总参数和每 token 激活参数，然后让 MoE 和 Engram 记忆预，得到条 U 形曲线。

纯 MoE 不是优解。把大约 20-25 的稀疏参数分给 Engram，模型 loss 达到低点。

按这个曲线指，团队把 Engram 扩到 27B 验证。激活参数 3.8B，训练 262B tokens，严格跟 MoE-27B 基线对齐。

结果知识密集型任务的提升符预期 ( MMLU +3.4，CMMLU +4.0 ) ，但通用理和代码数学的提升出预期 ( BBH +5.0，ARC-Challenge +3.7，HumanEval +3.0，MATH +2.4 ) ，长上下文场景夸张，泡沫板橡塑板专用胶Multi-Query NIAH 从 84.2 跃升到 97.0。

那么，为什么记忆模块还能反过来提升理 ?

LogitLens 和 CKA 给出了答案，Engram-27B 5 层的表征，跟 MoE 基线 12 层的表征相似。

Engram 把模型的早期层从「重建静态知识」这种苦力活里解放出来，这部分网络度被腾出来做复杂的理。Engram 不是新增了块记忆，它还变相把网络加了。

工程上。论文把个 1000 亿参数的 Engram 表整个甩到 host DRAM亳州家具封边胶厂家 ，在 H800 上跑理，8B-Dense 的吞吐损失只有 2.8。

靠的是 Engram 索引的确定，只取决于输入 token 序列，可以提前，CPU 异步预取跟 GPU 计重叠。

可以说，这个模块天生就不靠 HBM，只可惜如今 V4 来了，Engram 没来。

没在 v4，但在其他地

发明者把它放在那里没动，但路上还是有人。三个月里，至少出现了三个值得说下的工作。

把 Engram 塞进 CXL 内存池

3 月 10 日，北大、阿里云、山东英信、人大、港大联发了篇系统论文，《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改 Engram 本身，而是回答了个工程的问题，如果 Engram 真的成了下代标配，内存放哪。

答案是 CXL 内存池化。GPU HBM 放计权重，本地 DRAM 做二缓存，CXL 池做三。8 台服务器共享 4TB 内存池，XConn XC50256 交换芯片做拓扑，512GB/s 带宽。

整套集成进 SGLang，做了预取 - 计重叠，跑下来端到端吞吐损失小于 5。Engram 论文里那句「1000 亿嵌入表卸载 DRAM」的轻描淡写，被他们做成了 27B 和 40B 两个规模的真实测试。

结论很清楚，Engram 这种确定寻址、可预取的负载，几乎是为 CXL 量身定做的。

个反直觉的实验

Engram 论文上线十天，1 月 23 日，个叫 TaoLin 的研究者，单作者，放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证个看上去显然的优化，Engram 用多头哈希查表会有冲突，如果把频 N-gram 用 Minimal Perfect Hash Function 消除冲突，模型会不会好。

他设计了 Engram-Nine，把记忆分成冲突的「热层」和保留多头哈希的「冷层」。

结果反直觉。在严格 iso-parameter 控制下，冲突设计没有稳定提升验证 loss。

route-stratified 评估还发现，训练初期热路径 ( 频 ) loss 低，但训练后期冷路径反过来过热路径。

个看上去显然的优化向，被个真做实验的人证伪了。

把 Engram 到视觉 ( AutoArk/TinyEngram )

GitHub 上个叫 AutoArk 的团队搞了 Tiny Engram。

基于 Qwen-3 完整复现文本 Engram 之后，他们做了件论文里没做的事，把 Engram 搬到 Stable Diffusion 上。

视觉 patch 经过分层编码，底层抓纹理，中层抓部件，层抓风格，然后整套丢进哈希查表。

跟 LoRA 比下来，达到同等果，Engram 需要的额外参数只有 LoRA 的 15 到 30。连续注入多个新概念时，LoRA 会出现明显的概念退化，Engram 不会。

Engram 原本是为文本设计的。AutoArk 等于把这扇门撞开了，凡是能离散化、能哈希的模态，Engram 都能搬。

三个月里，Engram 这条路上，发明者沉默，跟进者各自走了步。

个团队替它解决多机内存层，个立研究者证伪了它个看似显然的优化向，个开源团队把它到了视觉。

而 deepseek-ai/Engram 这个仓库，后次提交还停在 1 月 14 日。

One more thing

Engram 论文的摘要结尾有句话：

我们认为条件记忆将是下代稀疏模型不可或缺的建模原语。

看来，这个下代得是 V5 了，难不成会是 V4.1?

参考链接

[ 1 ] https://arxiv.org/pdf/2601.07372

[ 2 ] https://arxiv.org/pdf/2603.10087

[ 3 ] https://arxiv.org/pdf/2601.16531

键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

� � 谁会代表 2026 年的 AI？

龙虾爆火，带动波 Agent 与衍生产品浪潮。

但真正值得长期关注的 AI 公司和产品，或许不止于此。

如果你正在做，或见证着这些变化，欢迎申报。

让多人看见你。� � https://wj.qq.com/s2/25829730/09xz/

键关注 � � 点亮星标

科技前沿进展每日见

相关词条:玻璃棉毡     塑料挤出机     预应力钢绞线    铁皮保温    万能胶生产厂家

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。