返回主旨报告列表

主旨报告

MOSS多模态模型-机遇与挑战2026年6月12日

邱锡鹏
邱锡鹏
复旦大学教授、上海创智学院院长助理、CAAI Fellow
获得国家自然科学基金委青A、青B、创新群体项目资助，主要研究方向为大模型、智能体以及科学工程等领域中的应用，发表学术论文被引用4万余次，5次获得AI领域高水平会议最佳/杰出等论文奖，主持研发MOSS等系列高影响力开源大模型。获得2022年度钱伟长中文信息处理科学技术奖一等奖（第一完成人）、2022-2023年度教育部"高校计算机专业优秀教师奖励计划"，2024年度CCF-ACM青年科技奖（每年仅1人）、2025年度吴文俊人工智能自然科学奖一等奖（第一完成人）。著作《神经网络与深度学习》累计印刷10万余册，被上百家高校作为教材使用。

报告摘要

本报告围绕MOSS多模态模型及其推理优化展开，系统介绍OpenMOSS团队在视觉、音频与语音生成三个方向上的最新进展。报告首先回顾多模态大模型的发展背景与核心挑战，随后分别介绍 MOSS-VL、MOSS-Audio 和 MOSS-TTS 的模型架构、关键技术与能力表现，包括视频理解、通用音频理解、语音合成等内容。在此基础上，报告进一步讨论多模态模型在实际部署中的推理效率问题，重点分析长视频、长音频和实时语音场景下的显存占用、首包延迟、流式输出和本地推理加速等优化方法。通过模型设计与推理系统协同优化，MOSS 多模态系列模型展示了从研究模型走向高效可用系统的技术路径。