腾讯混元发布 Hy4 preview
发生了什么:770B 总参/49B 激活的 MoE,上下文超 1M,Apache 2.0 开源;厂商称代际提升最大,盲测与 GLM-5.3、Kimi K3 相近。
- 链接 1 天前可访问
- 有中文导读
- 附练习
- 官方来源
这条资讯与我有关吗?
适合关注的人:关注这一主题的学习者
- 770B 总参/49B 激活的 MoE,上下文超 1M,Apache 2.0 开源。
- 厂商称代际提升最大,盲测与 GLM-5.3、Kimi K3 相近。
导读建议的练习:对照Hy3与Hy4模型卡,梳理从256K扩展到1M上下文所做的稀疏注意力改动
来自本条已发布的中文导读,具体变化请以原始记录为准。