新闻动态Actualités
NEWS

北航国新院人工智能科创中心在大语言模型推理优化领域取得重要进展

浏览量:时间:2025-10-16

近日,北航国新院人工智能科研团队研究论文SIGMA: Refining Large Language Model Reasoning via Sibling-Guided Monte Carlo Augmentation在全球人工智能国际顶级学术会议NeurIPS上发布,展示了北航青年科研力量在人工智能基础研究领域的原创突破。北航人工智能学院2024级博士生任艳伟为第一作者、北航国新院人工智能科创中心刘柳教授为通讯作者。该研究由北航人工智能学院、北航国新院联合开展,并与新加坡南洋理工大学(Nanyang Technological University)、英国莱斯特大学(University of Leicester)以及中国科学院深圳先进技术研究院等国内外科研机构合作完成,充分体现了北航在全球人工智能领域的开放合作与国际影响力。

在当前大模型的发展中,单纯依靠扩大数据规模已难以带来显著性能提升,模型推理能力的优化成为新的研究焦点。任艳伟等人提出的SIGMA(Sibling-Guided Monte Carlo Augmentation)框架,创新性地将传统蒙特卡洛树搜索(MCTS)中被舍弃的“兄弟节点”重新利用,通过对比分析不同推理路径的优缺点,为模型提供语义层面的“反馈信号”。这一机制让模型能够像人类一样,从不同思路的比较中不断自我修正和完善,显著提升了推理的逻辑性和鲁棒性。

图:实验结果及流程图

与以往仅保留单一路径结果的做法不同,SIGMA通过一种称为“语言梯度下降(Textual Gradient Descent)”的新方法,将模型的反思过程用自然语言表达出来,让推理改进不再依赖数值梯度,而是依靠语言理解和语义反馈。这种方式在不增加计算量的情况下,显著提升了模型的推理精度与数据利用效率。实验结果显示:SIGMA框架仅使用3万条训练样本,就能在MATH等高难度数学推理基准上达到54.92%的准确率,超越了使用近60万样本训练的模型。研究表明:高质量的数据结构化利用,能够在大模型推理中带来“以质胜量”的性能提升。在多项测试中,SIGMA在DeepSeekMath-7B、LLaMA3-8B、Mistral-7B等多个主流模型上均取得领先成绩,展示了强大的通用性和跨模型适配能力。

SIGMA的提出,是北航人工智能科研团队在基础理论和工程创新结合上的又一次成功探索,也展示了学校在培养具有国际竞争力青年科研人才方面的持续投入与成果转化能力。未来,团队将继续深入探索大语言模型的可解释性、推理优化与自监督学习机制,推动人工智能技术从“更大”走向“更聪明”,从“能答题”迈向“会思考”。

(审核:董卓宁 陈龙飞 吴文峻)

通讯员/姚丽桃 文/刘柳 编辑/谢雨倩