这项由美国威斯康星大学麦迪逊分校主的研究发表于2026年7月，收录于ICML2026年权重空间对称研讨会（WSS:fromFoundationstoPracticalApplications），论文编号为arXiv:2607.01686v1。

公司花了数年时间、耗费巨额资金，用精心搭配的各类数据训练出个强大的AI模型，然后把这个模型费发布给全世界使用。听起来很慷慨，对吧？但有件事他们没告诉你：这道"菜"到底是怎么做出来的——用了多少网页文字、多少数学题、多少代码，各自占了多大比例。这份"食谱"，是他们核心的秘密之。

研究团队把这个问题反过来想：既然食谱不公开，能不能通过品尝菜的味道，反出食材的比例？他们开发了套叫做WARP（Weight-spaceAnalysisforRecoveringTrainingdataPortfolios，权重空间训练数据组分析）的法，只需要拿到已经发布的AI模型权重，就能估出它是用什么比例的数据训练出来的。实验结果相当亮眼：在BERT和GPT-2两个经典模型上，WARP估的误差低只有0.046和0.104，比传统法准确得多。

、为什么数据食谱这么重要，却这么难搞清楚

先来说说为什么这件事值得篇正式的学术论文。

训练个大型语言模型，就像在经营顶餐厅。食材的种类和比例，直接决定终的口味。如果你的模型大量喂了代码数据，它就会擅长写程序；如果大量喂了新闻文章，它在理解时事面就会出。近年来，越来越多的研究表明，数据配比的设计不仅影响模型的知识广度，影响训练率——个精心设计的配比案，可以用少的计资源训练出强的模型。

然而问题是，这些配比案几乎从不公开。大多数前沿AI模型在发布时，只告诉你"它在大量多样化的数据上训练过"，具体是哪些来源、各占多少，通常个字也不透露。这造成了种信息不对称：研究者和开发者可以费使用这些模型，但对于产生这些模型的"食谱"两眼抹黑。

这个信息缺口会带来不少麻烦。当你拿个已发布的模型继续在自己的数据上微调时，如果不知道原始训练分布，你就法判断自己的微调是在补充模型的能力，还是在破坏它原本的平衡。广泛地说，数据食谱的不透明也阻碍了数据污染审计（即检查某些测试题是否已经出现在训练数据中）以及对不同模型表现差异的入解读。

现有的解决思路，主要集中在种叫做"成员断攻击"（MembershipInference）的技术上。这种法的逻辑是：给模型道题，看它的表现，猜测这道题是否出现在训练数据里——有点像考完试之后，通过学生答题的流畅度来判断他是否提前见过这道题。这种法在样本层面有定果，但它解决不了全局配比的问题。就你知道每道题是否出现过，想从中拼凑出"数学题占多少比例、语文题占多少比例"，结果依然非常粗糙，因为判断结果取决于你拿来测试的那批题目的分布。

WARP的思路从根本上就不同。它不是去猜每道题有没有出现过，而是从整体上分析模型的"形状"——准确地说，是分析模型参数在权重空间中的几何结构——来估数据配比。

二、权重空间里隐藏的"训练轨迹"

要理解WARP的工作原理，先要理解个核心的直觉：个模型训练完之后，它的参数（也就是那数以亿计的数字，每个都对应着模型学到的某种规律）不只是储存了知识，还保留了它是"如何被塑造"的痕迹。

把这个过程比作块陶土雕塑。基础模型（basemodel）就是刚从窑里出来的块原始陶土，而经过微调的模型（fine-tunedmodel）就是工匠捏完之后的成品。成品的形状，是由工匠用了哪些工具、施加了什么力、按照什么顺序操作决定的——而这些操作，在某种程度上，正对应着用了什么数据、用了多少。

问题在于，当你拿到这两块陶土的时候，你只有初的原材料和终的成品，中间的制作过程你没有亲眼看到。大多数AI公司不会把模型训练过程中的中间状态（叫做"检查点"，checkpoint）也并发布。

WARP的个关键洞察是：虽然真实的制作过程丢失了上海护角专用胶，但你可以自己"模拟"条从原材料到成品的路径，并从这条模拟路径上读取信息。

具体来说，研究团队使用了种叫做"模型并"（modelmerging）的技术。模型并的核心操作非常直观——就是把两个模型的参数按比例混在起。举个例子，如果你把原始模型和微调模型各取50混，你就得到了个位于两者"正中间"的模型。研究团队把这种混比例从接近0路变化到接近，每隔段就取个混点，这样就生成了系列"伪检查点"（pseudo-checkpoints）——它们扮演着真实训练中间状态的角。

论文中测试了三种混式。简单的是线插值（LERP），就是按比例直接加权平均；球面插值（SLERP）则沿着条弧线而非直线进行插值；TIES是种精细的并法，会处理不同模型参数之间可能存在的"冲突"。

这十五个（实验中取T=15）沿着模拟路径均匀分布的伪检查点，构成了WARP分析的基础材料。

三、用"共鸣"来测量数据的存在感

有了这条模拟轨迹，接下来的问题是：怎么从这条轨迹里提取数据配比的信息？

这里用到了个叫做"MimicScore"（模仿评分）的概念，初由威斯康星大学的同个研究团队在早期工作中提出。这个评分的直觉可以这样理解：

每个伪检查点，都对应着模型演化轨迹上的某个位置。从这个位置出发，有个明确的"向"——指向终的微调模型。现在，对于批来自某个特定数据域（比如"体育新闻"）的样本，我们计它们对当前这个检查点的"影响向"——也就是如果你用这些样本继续训练模型，模型的参数会朝哪个向移动。

如果这个"影响向"和"指向终模型的向"度致，说明什么？说明这批样本和真实训练数据的果非常相似，这个域的数据很可能在真实训练中占了较大比重。反过来，如果影响向和终向大相径庭，这个域的数据在原始训练中的存在感就比较弱。

这种"共鸣度"的测量，就是MimicScore的本质。在数学上，它是将样本的负梯度向量（即该样本动模型新的向，取负号是因为训练时要降低损失）投影到当前位置指向终模型的向向量上，得到个标量分数。分数越，共鸣越强。

研究团队在每个伪检查点上，对来自每个域的所有样本分别计这个分数，然后在每个域内做平均。这样来，就得到了个矩阵：行代表不同的数据域（比如体育、科技、娱乐、政），列代表不同的伪检查点位置（模拟的训练早期、中期、晚期……）。这个矩阵就是研究团队所说的"几何足迹"（geometricfootprint）——它记录了每个域在整个模拟训练轨迹上的存在痕迹，就像歌在音频频谱图上留下的波纹样。

四、从"足迹"到"配比"：两种读取式

有了这个几何足迹矩阵，后步是把它翻译成具体的数据配比估。研究团队设计了两种不同的翻译式，适用于不同的实际场景。

种叫做监督读出（UnsupervisedReadout），不需要额外的训练数据，法简单粗暴：把每个域在所有伪检查点上的平均MimicScore出来，然后用个叫做softmax的函数把这些数字归化成概率分布——分数越的域，估的比例就越大。这里有个温度参数τ控制分布的"锐利程度"，τ越小，分布越集中在分域，τ越大，分布越均匀。这种法大的优点是开箱即用，不需要任何额外准备；缺点是它把所有伪检查点的信息视同仁地平均了，可能会丢失"模型在训练早期和晚期对不同域的响应差异"这类有价值的细节。

二种叫做监督投影（SupervisedProjection），引入了个小型的经网络（具体是个两层的MLP，多层感知机）作为"翻译器"。这个翻译器的输入是完整的几何足迹矩阵（K×T的矩阵，保留了所有时间步的信息），输出是预测的数据配比。训练这个翻译器的式非常聪明：先从同个数据来源里人工生成批"已知配比"的成训练集，每次随机采样个配比，按这个配比组数据，用基础模型在上面做个短暂的微调，保温护角专用胶计出对应的几何足迹，然后把"足迹→配比"作为对监督信号喂给翻译器学习。由于每次微调只需要跑很短的时间（毕竟不需要训练出个真正好用的模型，只是为了产生训练信号），成数据对的生成率很。

有了这个翻译器，对于任意个未知配比的微调模型，只要计它的几何足迹，送进翻译器，就能得到预测配比。论文中使用了五折交叉验证：在40个已知配比的实验模型中，每次用32个训练翻译器，用剩余8个评估果，循环五次取平均上海护角专用胶，确保评估的可靠。

五、实验怎么做的，结果有多好

研究团队搭建了个非常扎实的受控实验环境。他们选取了四个文本分类数据集：SNLI（自然语言理，3个类别）、AGNews（新闻话题分类，4个类别）、Yelp（评论情感分析，5个类别）和Yahoo（话题分类，10个类别）。每个数据集里的不同"类别"被当作不同的"数据域"来处理。

对于每个数据集，他们随机抽取40种不同的数据配比（比如"30新闻、25科技、20体育、25世界"），按照每种配比组5000条训练样本，分别在BERT-BASE和GPT-2-Small两个模型上做微调，每个配比对应个微调后的参考模型。这样，每个（数据集×模型架构）组下都有40个已知真实配比的参考模型，为评估提供了可靠的地基。

探测数据集（用于计MimicScore的那批数据）从同来源立采样，共2500条样本，每个域均等分配，与训练数据不重叠。伪检查点取T=15个均匀分布的插值步骤。

评估指标使用MAE（平均对误差），即预测配比与真实配比之间差的对值的平均，越低越好。作为参照，论文同时报告了MSE（均误差）。

对比的基准法有三个。随机猜测就是从概率单纯形上随机采样个配比，代表没有信息时的表现；质心猜测是对所有域都给出相同的均等配比（如三域就各猜1/3），代表不看模型、只猜"保险答案"时的表现；样本成员断则是通过比较每个样本在基础模型和微调模型之间的损失差异来估成员资格，再聚成域配比，代表现有主流法的水平。

结果非常清晰。在BERT上，WARP的佳变体（TIES并+监督MLP）达到了0.046的平均MAE，而强基准（样本成员断）是0.063——误差降低了约27。在GPT-2-Small上，佳变体（LERP并+监督MLP）达到0.104，而强基准是0.141——误差降低了约26。随机猜测和质心猜测的MAE分别在0.154到0.204之间，与WARP的差距是悬殊。

个出乎意料的发现值得特别注意：使用模型并生成的伪检查点，果居然不比使用真实训练检查点差，甚至在多个设置下略优。研究团队对此的解释是"平滑度差距"——真实的训练轨迹充满噪声：随机的小批量数据、学习率的预热阶段、课程学习的调度等等，都会让每个检查点的梯度向来回抖动；而线插值或TIES生成的伪检查点，从基础模型到微调模型是条干净的单调路径，让几何足迹矩阵加整洁，反而容易被MLP翻译器学习。

六、换不同的"火候"也照样准——不同训练阶段的鲁棒

现实世界中，没人能保证个已发布的模型刚好训练到了优状态。有的模型早早停止了训练（为了节省力），有的刚好训练到收敛，还有的被过度训练（过了收敛点还在继续跑，在当前大模型的后训练实践中尤为常见）。如果WARP只在某种训练状态下有，实用价值就大折扣。

为此，研究团队门针对GPT-2-Small在AGNews数据集上的三种不同训练阶段做了测试：9轮训练（模拟提前停止）、12轮训练（接近收敛）、18轮训练（明显过度训练）。使用TIES并和两种读出式（监督softmax和监督MLP）。

三种情况下，WARP的表现都稳定地优于所有基准法，监督MLP始终是准确的。具体数字也很说明问题：在9轮短跑情况下，监督MLP的MAE是0.130；12轮收敛情况下是0.147；18轮过训练情况下是0.124。这三个数字都远低于质心猜测的0.179和随机猜测的0.239。基准法（成员断）的MAE则固定在0.200，对不同检查点的敏感度低，但也不准确。

这个稳定结果说明，WARP读取的是模型权重中相对稳定的"结构信息"，而不是容易随训练进度变化的浅层统计特征。

七、这项研究还有哪些局限，未来可以往哪里走

研究团队对WARP的局限保持着清醒的认识，并在论文末尾坦诚地列出了几个有待解决的问题。

关于可解释：监督MLP虽然果好，但它本质上是个"黑盒"——你把足迹矩阵放进去，配比估出来，但你不知道它是在依赖哪些时间步的信息、每个域的信号是在轨迹的早期还是晚期强。研究团队建议未来可以用简单的线模型替换MLP，直接读取系数作为"每个时间步的重要权重"，配稀疏约束，有望让这个映射过程透明。

关于监督读出的改进：当前的监督softmax把所有伪检查点平等对待，这显然不是优策略——不同时间步对不同域的区分度是不样的。个优雅的替代案是把这个过程建模成种"图模型断"，每个时间步贡献张"嘈杂的投票"，用弱监督技术自动学习每个步骤的可靠度，从而在不需要任何标注数据的情况下，自适应地下调噪声步骤的权重。

关于扩展到大规模语言模型：WARP目前在BERT和GPT-2这两个"小模型"上得到了验证，离真正的前沿大模型（GPT-4、Llama、Qwen等）还有相当距离。现代大模型的训练往往经历多个不同目标的阶段——预训练、继续训练、监督微调、偏好优化——这些阶段之间的目标差异很大，简单的线插值是否还能捕捉到有用的几何结构，是个开放问题。此外，当数据域的数量从十个扩展到几十个甚至上百个时，足迹矩阵的复杂度会急剧增加，如何提取和表示这些信息也需要新的法。

归根结底，WARP证明了件之前很多人没想到的事：个模型的参数，不只是它"知道什么"的容器，也是它"从哪里学来的"的记录本。你不需要亲眼看着它被训练，只需要仔细测量它现在的"形状"，再对比它出发时的"形状"，就能从中读出相当精确的训练配比信息。这种从结果倒过程的思路，在AI透明度和可解释研究中开辟了个新的向。

当大量强大的AI模型被发布出来、数据食谱却依然密不透露时，这种"通过品尝味道反食材"的能力，或许会成为研究者和监管者手中件越来越重要的工具。有兴趣入了解技术细节的读者，可以通过arXiv编号2607.01686查阅完整论文。

Q&A

Q1：WARP法需要访问AI模型的训练数据吗？

A：不需要。WARP只需要两样东西：发布出来的基础模型权重和微调后的模型权重。此外还需要小批来自相关域的"探测样本"（约2500条），用于计梯度对齐分数，但这些样本和真实训练数据关，只需覆盖感兴趣的域即可。

Q2：MimicScore是什么，为什么能反映数据配比？

A：MimicScore衡量的是：批样本的"训练影响向"与"模型实际演化向"之间的致程度。如果某个域的样本能把模型向与真实训练相同的向，说明该域的数据在原始训练中很可能占了较大比重。分数越，该域在训练数据中的存在感越强，由此可以估各域的配比。

Q3：WARP的估误差有多大，实际可用吗？

A：在受控实验中，WARP在BERT模型上的平均对误差低达到0.046，在GPT-2-Small上低达到0.104，均显著优于传统成员断法。以10个域为例，0.104的误差意味着每个域平均估偏差约10个百分点，可以提供相当可靠的粗粒度配比信息，在数据审计和模型分析场景中具有实用价值。相关词条:铁皮保温施工     隔热条设备     锚索    离心玻璃棉    万能胶生产厂家

奥力斯    pvc管道管件胶批发    联系人：王经理    手机：15226765735（微信同号）    地址：河北省任丘市北辛庄乡南代河工业区

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述上海护角专用胶，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。