字节跳动 Seed 团队发布扩散语言模型 Diffusion Preview，每秒推理速度 2146

今日，字节跳动Seed团队自豪地向大家揭示了一个激动人心的消息！我们正在推出一个全新的扩散语言模型 Seed Diffusion Preview，旨在通过结构化的代码生成，系统性地验证离散扩散技术路线作为下一代语言模型基础框架的可行性。种子扩散预览（Seed Diffusion Preview）将引领语言模型领域迈向新的高度。我们期待着这一创新里程碑，相信它将成为未来语言AI发展的新标准！立即加入这场激动人心的技术变革之旅吧！

实验表明，Seed Diffusion Preview的代码推理速度高达tokens/s，相比同类规模的自回归模型提升了。在业界基准测试中，其性能与优秀自回归模型相当，并且在代码编辑等方面实现了显著提升。

从 Seed 团队的消息中得知，团队在高效采样的同时，在多个代码生成基准测试中展示了与同规模自回归模型相当的性能表现。特别是，在需要全局视角规划的任务，如代码编辑（例如 CanitEdit 等）中，模型展示了扩散模型框架的优势，其性能超过了基于自回归的模型，为解决更复杂的结构化推理问题提供了新的可能性。

官方宣布，Seed Diffusion Preview展示了离散扩散模型在大型语言模型上的卓越性能提升潜力。团队认为，这只是该技术路径的初步优势。Seed Diffusion将深入挖掘这一独特能力，并探索其在大规模推理任务中的广泛应用潜能。