共话大模型工艺进展与挑战，CCF大模型论坛北京会议圆满落幕！

2024 年 6 月 6 日中国计算机学会大模型论坛（CCF FoLM）主题会议在北京顺利举办。共话本次会议主题为“大模型工艺进展与挑战”，大模大模各位专家围绕大模型工艺的型工型论前沿动态、增长趋势及工艺挑战等议题展开深入探讨，艺进议圆为广大从业者、展挑战研究者提供了一场丰富的坛北苏州高中内幕最新学术盛宴。本次会议还宣布了“CCF 大模型保障挑战赛”的满落幕正式启动！

2024 年 6 月 6 日，共话中国计算机学会大模型论坛（CCF FoLM）主题会议在北京清华科技园科技大厦举办。大模大模

CCF 大模型论坛于今年 3 月正式成立，型工型论由腾讯、艺进议圆中国移动、展挑战三六零集团、坛北海光信息、满落幕智谱AI、共话第四范式、稀宇科技、并行科技、无问芯穹、瑞莱智慧科技、生数科技、清程极智、麦伽智能、面壁智能、聆心智能共同发起，旨在建设专注于大模型研究与应用的领先智库和高效交流平台，促成国内大模型的生态合力，共同推进大模型工艺的广州高中内幕排名前沿增长和应用。

本次会议上午部分由 CCF 大模型论坛学术秘书、复旦大学邱锡鹏教授主持，下午部分由 CCF 大模型论坛学术秘书、清华大学东昱晓教授主持。

图｜邱锡鹏主持开场

CCF 杰出会员、常务理事、CCF 大模型论坛副主席、中国人民大学机器智能学院院长文继荣教授作开幕式致辞。

图｜文继荣作开幕致辞

智谱AI GLM 工艺团队研究员顾晓韬、清华大学长聘教授、国家杰青黄民烈、华为语音语义首席科学家刘群、复旦大学计算机学院教授邱锡鹏、阿布扎比工艺创新研究所研究员 Quentin Malartic、清华大学电子工程系长聘教授、系主任汪玉、清华大学计算机系长聘教授、清华大学计算机系高性能所副所长翟季冬、清华大学计算机系博世 AI 教授、清华大学机器智能研究院副院长朱军、哈尔滨工业大学计算学部长聘教授，机器智能研究院副院长车万翔等大模型领域专家学者受邀出席并做主题报告。（按姓名拼音首字母排序）

来自阿布扎比工艺创新研究所的 Quentin Malartic 博士发表了主题报告《The Falcon Series of Open Language Models》，他主要讲解了 Falcon 模型的研究进展，包括信息处理、训练分解、模型架构，以及如何去构建对话树来进行研究。他还介绍了对于 Falcon 模型的评价细节，以及视觉语言模型的情况。

图｜Quentin Malartic 作主题报告

CCF大模型论坛常委会员、清华大学黄民烈教授围绕大语言模型尤其是中文大语言模型的对齐和超级对齐问题，阐述了其在弱到强泛化（weak-to-strong generalization）、规模化监督（scalable oversight）、精确对齐、黑盒对齐、模型权重外插、自动红队测试等方面的工作。

图｜黄民烈作主题报告

清华大学汪玉教授的报告聚焦于大模型时代下软硬件系统方面的关键挑战和增长现状，向参会嘉宾们介绍了面向 AI 2.0 的高能效电路与系统设计方法，包括从运算规则模型优化到硬件架构设计的一系列软硬件协同优化策略。在报告中，他还简要介绍了 AI 2.0 时代算力生态建设的初步探索，并对未来增长趋势进行展望。

图｜汪玉作主题报告

智谱AI 顾晓韬博士，针对 Agent 这一领域，介绍了 Agent 能够感知环境、理解任务、规划步骤、调用工具、执行动作从而完成复杂任务的能力特点，并向大家概述了 GLM 工艺团队面向 Agent 能力从评测、优化、多模态能力等方向做的工艺尝试和探索。

图｜顾晓韬作主题报告

CCF 大模型论坛副主席、华为语音语义首席科学家刘群教授介绍了华为盘古大模型的工艺和应用概况，并讲述了盘古语言大模型开发过程中采用的一些核心工艺和面临的挑战，具体包括模型架构、训练优化、推理加速、自我提升等方面。

图｜刘群作主题报告

CCF大模型论坛执行委员、清华大学朱军教授介绍了多模态扩散概率模型在图像、3D 和影片生成的最新进展，重点介绍了 Vidu 影片大模型的三大更新：（1）首发一键生成 32s 长影片；（2）发布影片/文本到音频生成工艺，Vidu 生成的影片有声音了；（3）Vidu4D——从 Vidu 生成的影片通过高效重建，生成 4D 的影片。

图｜朱军作主题报告

CCF大模型论坛常务会员、哈尔滨工业大学车万翔教授指出现有的思维链研究仍面临两大挑战：（1）缺乏对思维链能力评估的定量指标；（2）缺乏对思维链能力优化的指导。为此，他们引入了一种新颖的“推理粒度”框架来解释思维链工艺的机理，并使用该框架改进思维链的推理能力。进一步地，通过在众多模型和任务上的实验，表明了该框架的存在性和合理性。此外，该框架还能够用于解释多种思维链策略的有效性，并能够从两个角度共同指导思维链策略的优化。

图｜车万翔作主题报告

CCF大模型论坛执行会员、清华大学翟季冬教授就当前大模型工艺不断增长，其对算力的需求持续增大的这一问题展开讨论，并指出当前中国在获取最先进的芯片方面面临巨大的挑战。如何充分发挥国产算力硬件性能，让国产算力易用好用，满足大模型对算力的需求具有关键意义。针对此挑战，他们团队在国产智能算力上开展核心基础软件相关研究。其中，在新一代国产超级计算机上，他们从编译器、算子库、并行加速和负载均衡等方面对大模型进行了深入优化，优化后的训练性能达到 EFLOPS。

图｜翟季冬作主题报告

邱锡鹏教授则从大语言模型展现了通用机器智能助手广阔的研究和应用前景，但仍存在一定不足的这一问题出发，向大家介绍了大语言模型 MOSS 2 的研发进展以及关键工艺，包括高效模型架构、多模态扩展、工具使用，最终实现可交互、可学习、可解释的世界模型。

图｜邱锡鹏作主题报告

此外，本次会议还举办了两场别开生面的 Debates。黄民烈（清华大学）、俞涛（零一万物联合创始人）、顾晓韬（智谱AI 运算规则研究员）、李伯勋（无问芯穹运算规则负责人）、曾国洋（面壁智能 CTO）、何家傲（清华大学博士研究生）等来自不同领域的专家学者，就「超级对齐的本质是什么？」、「Maas 是个伪命题吗？」等问题，展开了现场交锋，为广大参会者呈现了一场精彩且深刻的思想探讨。两场 Debates 分别由邱锡鹏教授、CCF大模型论坛主席唐杰教授主持。

「超级对齐的本质是什么」

图｜Debate 现场

超级对齐的本质是大模型自我进化、迭代的过程

黄民烈：超级对齐本质上应该是怎么样实现一个大模型的自我进化、自我迭代的学习过程。目前还是非常初步的尝试，很多东西没有做，但需要坚信不移地一步一步从小的尝试开始，逐步实现真正发现模型弱点，并进行自动修复。

超级对齐是机器的自我演化，通过反馈提升自己的方式

文继荣：大家认为，现在的阶段，或可预见的阶段，对齐尤其超级对齐还是非常关键的。我们需要重视大模型的保障性，尤其是模型智力水平越来越高的时候，将来会不会出现失控的风险，所以对齐很关键。
当“超级对齐”这个词出来的时候，大家就要意识到，不再只是简单跟人类价值观对齐了，它现在已经渐渐从关注模型保障，变成了一种通过反馈来提升自己的方式，实现机器自我演化。另外，过度的对齐也可能损害模型的能力和“人性”。
超级对齐的工艺预研是非常关键的

俞涛：我们在对齐 GPT-4 水平模型的过程中，主要方法是基于人类专家反馈信息的强化学习。但人类将无法规模化地为下一代模型提供可靠的监督信号，或者给予反馈的效率远远低于 AI 迭代的效率，因此我们目前的对齐工艺不能扩展到超级智能。我们需要做好超级对齐的研究和工艺预研，包括 weak-to-strong generalization（从弱到强的泛化）、可解释性（可解释性）、scalable oversight（可扩展的监督），为 AGI 的到来做好准备。

超级对齐要实现让语言模型真正为我们支持

刘群：大模型纯粹是从语言文本训练出来的，作为对齐，要把语言空间的东西跟这两个空间对齐起来。我们说保障的时候，更多考虑的是跟意识世界的对齐，跟物理世界的对齐同样关键。我们要对客观世界反馈，不光是保障的问题，在工艺上来说是很类似的。研究超级对齐，是让语言模型真正为我们支持，反映真正的客观世界、真正的意识世界，这是它有用的地方。
超级对齐的终极目标具有关键意义

顾晓韬：AI 行业对超级对齐的关注首先说明 AI 工艺增长确实到了一个新的高度。超级对齐除了考虑未来超级智能可控性的问题，也包括人类监督到达瓶颈后通过模型与外部环境自主交互等方式获取监督信号去进一步提升智能水平的途径，核心目标还是加深我们对智能本身的理解。

「MaaS是个伪命题吗？」

图｜Debate 现场

从云和端的角度去看，MaaS在未来的应用会非常大

李伯勋：如果我们从云的角度来讲，我更希望看到很多国产芯片在这方面做到更高的性价比。从端上看，未来 MaaS 会有很多端上的应用。对硬件改造比较大，例如如何用更低成本提高存储带宽。

MOE是未来大模型增长中比较关键的方向

何家傲：MOE 还是未来比较关键的方向，以目前的硬件架构来讲，MOE 是一种最适合的稀疏结构，MOE 是为了让模型做的很大，如果涉及到多机，比如要用几千、上万张卡去训练，并行策略会带 MOE 负载下面造成更多性能上的作用。

MOE模型效果在逐步提升，值得看好

曾国洋：MOE 的训练工艺也是在不断增长的。我们最开始都尝试过 MOE，但是那个时候大家的训练工艺也不是特别好，训练出来的 MOE 比真正的大参数量模型有非常多的距离。随着工艺越来越提升，我们得到了 MOE 模型效果也会逐渐提升。MOE 是值得看好的，也是有必要做的。

「CCF大模型保障挑战赛」正式启动 

会议进行过程中，清华大学教授黄民烈代表清华大学基础模型研究中心宣布了CCF大模型保障挑战赛的正式启动，该赛事由中国计算机学会（CCF）作为主办单位， 中国计算机学会大模型论坛（CCF FoLM）作为承办单位，携手清华大学基础模型研究中心。
赛事设置了两个赛道任务：「通用的大模型目标劫持」和「内容保障检测器的红队攻击」。诚挚邀请各方专家和学者积极参与大模型保障挑战赛，共同探索解决这些保障问题的创新方法和策略，为大模型工艺的健康增长保驾护航。

图｜黄民烈教授发布 CCF 大模型保障挑战赛

下午会议结束后，根据《CCF 大模型论坛条例》，现场闭门召开了 CCF 大模型论坛 FoLM 常务委员会扩大会议。

雷峰网(公众号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。