混元团队Reddit答疑:Hy小模型与24GB显存版本已列入路线图
腾讯混元团队在Reddit举办AMA,围绕11月发布的旗舰模型Hy4与Hy4 flash答疑。团队确认Hy小模型、Flash-Lite及面向24GB显存的版本均已列入路线图,下一代Hy模型规模将显著扩大。训练方面,团队称后训练最难改善的行为是“过度思考”,Hy4推理链偏长,Flash先由Hy4蒸馏、再用强化学习压缩推理链;多轮强化学习最棘手的问题是训练环境漏洞导致模型钻空子,例如直接上网搜答案。成本上,按内部评测WorkIndex测算,Hy4 flash平均单任务成本约为Hy4的1/20。部署方面,团队称96GB显存加128GB内存可运行Flash,部分专家层与Engram表可卸载至内存,llama.cpp适配正在推进。