可信大模型：评测、安全与治理前沿

大语言模型的研究正从追求规模扩展的阶段，逐步迈向追求质量与可信的阶段。确保模型推理可靠、信息真实、行为安全，已成为大模型能否在高风险场景中真正落地的核心命题。然而，当前以数据合成、提示词工程、偏好微调等为代表的"黑盒经验式调优"，往往停留于现象层面的修补，难以从根本上解决模型的可信问题。本报告提出，构建内生可信大模型的关键，在于打开模型的"黑盒"，建立"从数据到表征到行为"的因果链条，即在三个层次上理解模型行为的成因：1）上下文层面——哪些输入要素触发了特定行为；2）内部表征层面——哪些内部关键表征承载了相应能力；3）训练数据层面——哪些训练样本塑造了模型的知识与能力。围绕上述三层因果链，本报告将介绍我们近期的研究进展：在表征与行为之间，我们通过构建可控的实验环境，从外部行为和内部表征两个层面探究了大模型复杂推理的内在机制；在训练数据与行为之间，我们提出"机理数据归因"框架，首次将训练数据的因果追溯下沉至模型内部的可解释单元，建立了从训练样本到内部机制再到外在行为的完整因果路径；我们还将介绍研究成果在大模型安全治理中的落地实践，即与北京智源人工智能研究院联合发布的大模型安全平台FlagSafe。报告最后将展望机理理解驱动的内生可信大模型的未来研究方向。

随着大语言模型（LLM）在各类任务上展现出强大的能力，如何科学、有效地评测其推理能力成为重要的研究课题。当前主流评测基准（如AIME24/25）面临性能饱和的问题，同时模型在专业领域的优异表现是否代表真正的推理能力也值得深入探讨。本报告围绕两项评测工作展开，分别从数学竞赛推理和通用推理两个维度剖析LLM的推理能力边界。 第一项工作是AMO-Bench，一个包含50道原创数学竞赛题的高难度基准，所有题目经专家交叉验证达到国际数学奥林匹克（IMO）及以上难度。该基准针对现有评测性能饱和、数据记忆导致成绩虚高等问题，确保全部题目为全新原创，从根本上避免数据泄露。评测采用最终答案形式而非证明过程，支持自动化评分。在26个LLM上的实验结果表明，表现最好的模型准确率仅为52.4%，多数模型低于40%，揭示了当前模型在高难度数学推理上的显著不足。此外，研究还发现增加测试时计算量（test-time compute）能带来性能的持续提升，展现出积极的扩展趋势。 第二项工作是General365，旨在评估LLM的通用推理能力。该工作指出当前模型虽在数学、物理等专业领域表现突出，但这些表现可能更多依赖领域知识记忆而非纯粹的推理能力。General365将背景知识限制在K-12水平，通过知识解耦的方式将推理能力从专业知识中分离出来。基准包含365个种子问题和1,095个变体问题，覆盖复杂约束、嵌套逻辑分支、语义干扰等八个类别。评测结果显示，最优模型仅达到62.8%的准确率，与其在数学物理基准上近乎完美的表现形成鲜明对比，表明当前LLM的推理能力具有显著的领域依赖性。 两项工作共同揭示：尽管LLM取得了瞩目进展，其推理能力仍存在明显瓶颈，无论是高难度数学推理还是去除专业知识依赖后的通用推理，都远未达到令人满意的水平。这为未来模型的改进方向提供了重要参考。

现有智能体评测大多建立在静态、理想化的场景之上，难以反映智能体在真实动态环境中的能力边界。本报告围绕长上下文管理、执行环境合成与记忆系统三个维度，探讨如何将智能体评测从静态走向动态：从被动检索到动态交互，从预配置环境到自主构建，从特性评测到场景驱动。

人工智能技术的快速演进在带来突破性能力的同时，也引入了新型安全威胁。本次报告聚焦智能体能力快速迭代中涌现的系统性风险（重点关注滥用风险和失控风险），探讨如何实现从风险识别到动态治理的全链条闭环，为构建安全可信的自主智能体提供前瞻思路和方向。