海峡经济网官网

海峡经济网

首页 > 科技 >

腾讯混元Hy4总参数770B,团队称下一代模型规模将显著扩大

海峡经济网   时间:2026-11-22 10:18

东方财富网讯:11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在技术社区Reddit进行了一场持续120分钟的问答,回答关于混元研发方向与技术路线的问题。此前,混元在11月接连发布Hy4和Hy4 flash。

关于参数量,混元团队介绍,Hy4总参数量为770B,Hy4 flash为224B。与偏重编程的模型相比,新模型更多面向通用用途。团队表示,Hy4在后训练方面仍有提升空间,目前在大规模强化学习上投入较多资源。

团队称正在计划训练参数规模更大的模型,将继续投入Scaling Law相关路线,下一代Hy模型的规模将进一步扩大。针对小参数需求,团队表示更小尺寸的Hy4-mini已在路线图上,并在考虑研发24B至31B的稠密模型,另有一款Flash Lite在推进中,同时考虑推出更小的图像模型。

对于模型能力定位,有用户提出AGI分级表格,混元团队回应称目前Hy4处于2.5级。团队称Hy3和Hy4表明较小的模型也可以胜过更大的模型,且成本更低。

在技术细节上,团队承认Hy4存在思维链过长导致的“过度思考”问题,并将该能力蒸馏至Hy4 flash,通过强化学习压缩思维链长度,同时称过度思考是后训练阶段最难改善的行为之一。团队还将创意写作与可读性列为重点改进方向,并表示正在研究持续学习技术。

关于评测,混元团队称GPQA Diamond、SWE Bench等基准推出较早、分数已饱和,团队改为展示Agents'Last Exam等较新的高难度基准成绩,研发中通过训练数据和多样化内部评测处理问题,不刻意刷榜。在被问及先进AI芯片供应受限时,团队称目前正在压榨现有资源以追赶前沿水平。

声明:本文由海峡经济网https://www.hxjjw.com.cn/采编(转载请保留)如侵权请与我们取得联系。

链接:https://www.hxjjw.com.cn/roll/zixunent/2026/1122/99427.html

打印 分享到

>>图片 · Photo

1/