华为诺亚方舟实验室携手港大发布最强开源扩散语言模型 Dream 7B，打破文本生成格局
人工智能领域再添一颗耀眼新星!近日，华为诺亚方舟实验室与香港大学自然语言处理组（HKU NLP Group） 联合发布了名为 Dream7B 的全新语言模型。这款模型被誉为“迄今为止最强大的开源扩散大型语言模型”。
Dream7B 的问世，不仅在性能上超越了现有的扩散语言模型，更在通用能力、数学、代码以及规划能力上，比肩甚至超越了同等规模的顶尖自回归（AR）语言模型。这一突破性的进展，预示着文本生成领域或将迎来新的技术范式。
颠覆传统:扩散模型赋能更强语言理解与生成
长期以来，以 GPT-4、DeepSeek、Claude 为代表的主流大型语言模型都依赖于自回归（AR）架构，即按照从左到右的顺序逐个生成文本。尽管这类模型取得了巨大成功，但在复杂推理、长期规划以及维持长文本连贯性方面仍面临挑战。
Dream7B 的核心在于采用了离散扩散模型（Discrete Diffusion Models， DMs） 的创新架构。与 AR 模型不同，扩散模型从完全噪声的状态出发，通过逐步精炼的方式并行生成完整的文本序列。这种根本性的架构差异带来了诸多显著优势:
- 双向语境建模，实现更强的全局一致性:扩散模型能够同时考虑文本序列中双向的信息，从而更全面地理解语境，生成连贯性更强的文本。
- 灵活可控的生成能力:通过迭代式的优化过程，Dream7B 能够实现更灵活、更可控的文本生成。
- 潜在的采样加速能力:新的架构和训练目标有望实现从噪声到数据的更高效直接映射，从而加速模型推理过程。
近年来，扩散模型在语言任务中的潜力日益凸显，例如 DiffuLLaMA 和 LLaDA 等模型已经将扩散语言模型扩展到70亿参数。此次发布的 Dream7B 正是在这一趋势下的又一里程碑式成果。
性能卓越:多项任务比肩顶尖自回归模型
Dream7B 在多个关键能力上展现出惊人的实力:
- 大幅超越现有扩散语言模型。
- 在通用、数学和代码能力上，与同等规模的顶级自回归模型不相上下，甚至有所超越。
- 在规划能力方面表现突出，通过在 Countdown 和 Sudoku 等任务上的评估，Dream7B 显著优于同等规模的其他模型，有时甚至能匹敌参数量远超自身的最新 DeepSeek V3。这表明扩散模型在解决需要多重约束或达成特定目标的问题时更具优势。
独具匠心:创新技术提升模型效能
Dream7B 的成功并非偶然，其背后蕴含着研发团队的诸多创新:
- 借鉴自回归模型进行权重初始化:研究团队发现，利用现有的自回归模型（如 Qwen2.57B 和 LLaMA3）的权重作为扩散模型的初始参数，能够显著提升训练效率，尤其是在训练初期。
- 上下文自适应的 Token 级噪声重调度机制:Dream7B 能够根据每个 Token 的上下文信息量动态调整其噪声水平，从而实现更精细化的学习。
灵活推理:打破生成顺序限制
与自回归模型固定的从左到右生成方式不同，Dream7B 的扩散模型架构赋予了其更灵活的推理能力:
- 任意顺序生成:Dream7B 不受生成顺序的限制，可以按照任意顺序合成输出，从而更好地适应不同的用户查询。例如，它可以灵活地进行文本补全和中间内容填充。
- 质量-速度可调:通过调整扩散步骤的数量，用户可以在生成速度和质量之间进行灵活的权衡。较少的步骤可以实现更快的生成，但质量稍低;而更多的步骤则能 menghasilkan 更高质量的输出，但计算成本更高。
目前，Dream7B 已经开源了其基础模型和指令微调模型的权重，代码也已在 GitHub 上公开。这无疑将极大地促进扩散模型在自然语言处理领域的进一步研究和应用。华为诺亚方舟实验室和香港大学自然语言处理组也表示，未来将继续探索扩散语言模型更先进的后训练方法。
空空如也！