自然语言处理战略研讨会

随着大语言模型能力的不断增强，剖析其能力来源与边界愈发关键。大语言模型为什么有"幻觉"？推理能力来源是强化学习吗？大模型真的具备推理能力吗？等等问题受到越来越多的关注。本次报告将从大模型能力边界的实践研究和大模型能力来源两个方面，结合国内外最新研究进展与报告人及团队工作进行介绍。

近年来，大语言模型在数学推理、代码生成、复杂规划和工具调用等方向取得显著进展，使我们开始重新思考一个重要问题：大模型是否有可能从"知识问答工具"进一步走向"科学发现系统"？本报告将围绕这一问题，讨论推理大模型在数学证明、物理理论推导和未来 AI Scientist 架构中的潜在方向。 首先，数学为大模型推理能力提供了一个相对清晰的验证场景。数学问题通常具有明确的问题定义、严格的证明标准和形式化验证路径，因此大模型可以通过生成证明、调用证明助手、搜索反例和自我修正来不断提升表现。然而，当前 AI 数学推理仍存在重要局限：它可能重复证明已有定理，缺少对证明结构的把握，不善于抽象可复用引理，也可能在技术上完成证明却无法提供真正的解释和理论洞察。这提示我们，数学 AI 的核心挑战已不只是"能否证明"，而是"能否理解证明、组织知识，并形成新的数学结构"。 相比数学，物理发现对大模型提出了更高要求。物理学的突破往往不是单纯的公式推导，而是从实验现象、理论矛盾和异常数据中重构概念体系。爱因斯坦之所以开创相对论，并不仅在于数学形式的推导，而在于重新定义了时间、空间、引力等基本概念。因此，面向物理发现的大语言模型不能只是文献总结器或公式计算器，而需要具备物理概念表征、长期推理、反事实思考、理论构建和实验验证能力。 报告将进一步提出一个前瞻性设想：构建"1925 年量子力学大模型"作为 AI 科学发现能力的思想实验和潜在评估框架。设想中，模型只接触 1925 年以前的人类科学文本、实验事实和数学工具，然后面对黑体辐射、光电效应、原子稳定性、光谱线等历史问题，测试其是否能够重新组织已有知识，提出类似矩阵力学、波动力学、概率解释和泡利不相容原理等关键思想。这并不是一个已经完成的工作，而是一个用于思考和评估下一代科学大模型能力边界的研究设想：如果 AI 能够在历史知识边界内重建重大理论，就意味着我们可能获得了一种衡量原创科学发现能力的新型 benchmark。 最后，本报告将讨论下一代大模型可能需要的发展方向。现有大模型主要依赖大规模预训练、指令微调和强化学习，已经具备强大的语言和推理能力，但距离真正的 AI Scientist 仍有明显差距。未来模型可能需要引入长期记忆机制、Loop LLM 式反复思考、自我反思与内省、科学概念表征、多模态物理世界模型、工具调用能力、形式化验证能力。

在过去三十年里，语言建模的进步看起来像是一场对结构性偏置（structural bias）的持续撤退：符号文法让位于统计模型，手工特征让位于学习到的表示，显式的语言结构让位于"预测下一个词元"这一看似简单的目标。每一步都是用归纳偏置去交换规模，而每一次，都是规模取胜。 本次报告是一次回顾与反思。我想沿着这条历史脉络，重新追问那些被我们逐步移除的结构性偏置究竟去了哪里——我的看法是，它们并未消失，而是一次次换了形态：从输出层搬进特征，从特征搬进网络的中间表示，再从表示压进权重。而在今天这个由"预测下一个词元"主导的范式里，还藏着一个我们很少审视的偏置：从左到右的分解次序（factorization order）本身。 串起这次回顾的，是多年前我们在一份研究提案中写下的一个反直觉的问题：在什么条件下，预测许多东西会比预测一件东西更容易？ 自回归把全部概率质量压在一个困难的条件分布上——给定全部上文，唯一正确的下一个符号——并为此付出严格串行计算的代价。如果换一种问法、一次预测许多东西，这个学习问题是否反而会变得更容易？近年兴起的离散扩散语言模型（text diffusion）正是对这个问题的一种当代回应。在报告的最后，我会以它作为收尾，简短地谈谈它给我们留下的开放问题，以及——如果下一件该做的事并不只是下一个词元——我们接下来或许该往哪里走。

前沿商业生成模型正面临日益严峻的蒸馏（distillation）威胁：攻击者可以通过大规模收集模型生成数据，以远低于原始模型训练成本的代价训练出具有竞争力的替代模型。现有防御方法通常依赖两类思路：一类通过修改模型输出实现防护，但不可避免地会牺牲正常用户的生成质量；另一类依赖行为检测机制，但这类方法容易被多账号分布式查询策略规避。为此，本文提出一种面向多账号蒸馏攻击的无损反蒸馏采样方法（Lossless Anti-Distillation Sampling, LADS）。该方法保证对于任意正常用户，其每次访问所获得的响应均等价于从原始模型中独立采样得到，因此用户体验与模型原有行为保持完全一致，不引入任何质量损失。相反，对于试图通过多账号收集数据的蒸馏者，LADS 会在跨账号层面引入受控相关性，使其难以通过增加账号数量获得线性收益，从而削弱所收集数据的有效多样性与下游学生模型的泛化能力。实验结果表明，在图像生成、数学推理和代码生成等任务上，LADS 能够显著降低蒸馏所得学生模型的性能，同时对单个正常用户保持完全无损的统计一致性。

过去数月，AI领域很难绕开一个名字——OpenClaw。这个项目在极短时间内获得了爆发式关注：数十万星标、惊人的Token消耗，以及几乎所有大厂的快速跟进。从表面上看，它像是又一个现象级AI产品；但如果进一步审视，一个更值得思考的问题随之浮现——OpenClaw的出现，究竟意味着什么？它真的是一次技术突破，还是某种更深层变化的信号？本报告讲围绕这些问题进行讨论。