开源动态
腾讯混元开源AngelSpec投机解码框架:加速大模型推理
2026年7月29日,腾讯混元团队宣布正式开源AngelSpec,一个覆盖drafter训练、架构设计到线上部署全链路的投机解码框架。此次同步开源的还有Hy3-A21B模型的MTP(Multi-Token Prediction)与DFly drafter权重及训练代码。投机解码是大模型推理加速的核心技术之一,通过让"小模型"预测"大模型"的输出,减少重复计算和等待时间,从而整体提升推理速度。
AngelSpec的核心价值在于其全链路打通能力。此前的投机解码方案往往只在某一环节(如drafter训练或推理框架)有所突破,而AngelSpec从训练、架构设计到线上部署提供了完整的工程化方案。这意味着开发者不仅可以在本地实验中验证投机解码效果,还可以将其直接部署到生产环境中。Hy3-A21B模型权重的同步开源,进一步降低了使用门槛,开发者无需从零训练drafter模型即可快速体验推理加速效果。
从行业影响来看,推理加速正在成为大模型产业化的关键瓶颈。随着Kimi K3等万亿级参数模型的开源,如何在有限的算力条件下实现高效推理,直接决定了AI应用的部署成本和用户体验。腾讯混元此次开源AngelSpec,既是对国产开源大模型生态的重要贡献,也体现了腾讯在AI基础设施层面的技术实力。预计未来几个月内,基于AngelSpec的推理优化方案将在企业级AI部署中得到广泛应用。