海峡经济网 时间:2026-11-22 10:18
东方财富网讯:11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在技术社区Reddit进行了一场持续120分钟的问答,回答关于混元研发方向与技术路线的问题。此前,混元在11月接连发布Hy4和Hy4 flash。
关于参数量,混元团队介绍,Hy4总参数量为770B,Hy4 flash为224B。与偏重编程的模型相比,新模型更多面向通用用途。团队表示,Hy4在后训练方面仍有提升空间,目前在大规模强化学习上投入较多资源。
团队称正在计划训练参数规模更大的模型,将继续投入Scaling Law相关路线,下一代Hy模型的规模将进一步扩大。针对小参数需求,团队表示更小尺寸的Hy4-mini已在路线图上,并在考虑研发24B至31B的稠密模型,另有一款Flash Lite在推进中,同时考虑推出更小的图像模型。
对于模型能力定位,有用户提出AGI分级表格,混元团队回应称目前Hy4处于2.5级。团队称Hy3和Hy4表明较小的模型也可以胜过更大的模型,且成本更低。
在技术细节上,团队承认Hy4存在思维链过长导致的“过度思考”问题,并将该能力蒸馏至Hy4 flash,通过强化学习压缩思维链长度,同时称过度思考是后训练阶段最难改善的行为之一。团队还将创意写作与可读性列为重点改进方向,并表示正在研究持续学习技术。
关于评测,混元团队称GPQA Diamond、SWE Bench等基准推出较早、分数已饱和,团队改为展示Agents'Last Exam等较新的高难度基准成绩,研发中通过训练数据和多样化内部评测处理问题,不刻意刷榜。在被问及先进AI芯片供应受限时,团队称目前正在压榨现有资源以追赶前沿水平。
声明:本文由海峡经济网https://www.hxjjw.com.cn/采编(转载请保留)如侵权请与我们取得联系。
链接:https://www.hxjjw.com.cn/roll/zixunent/2026/1122/99427.html
上一篇:《智能微电网发展报告》发布:我国智能微电网转入规模化发展阶段
下一篇:没有了