Cola2 Cola2

Cola2： 基于连续语义压缩与平衡离散生成的协同自适应层次化语言建模

在连续空间中压缩语义，在离散空间中实现语言，并让两者协同适应。

Hongcan Guo1,2,‡, Yian Zhao2,3, Feng Wang2, Shen Nie4, Guoqiang Wei2,‡, Yan Zeng2,†,‡, Hengshuang Zhao1,✉
1香港大学 2字节跳动 Seed 3北京大学 4中国人民大学
†项目负责人 ·  ‡主要贡献者 ·  ✉通讯作者
Seedance 团队研究项目
论文 New arXiv Soon 代码 Soon 🤗 模型 Soon BibTeX
Cola2 项目概览。
下载视频
摘要

连续语义与离散生成的协同适应

层次化语言生成将连续语义建模与离散文本实现分离，但其有效性取决于两个关键问题： 潜空间应当压缩什么信息，以及离散生成器应当如何利用这些信息。我们提出 Cola2， 联合研究连续语义压缩、离散重建—生成平衡及二者的协同适应。Cola2 将文本动态切分为语义片段， 通过无需辅助损失的负反馈机制控制压缩率，并结合重建与生成监督，学习紧凑且具有预测能力的潜表示。

块因果掩码扩散模型（MDM）解码器在干净、加噪和丢弃潜变量三种条件下联合训练， 并通过无分类器引导（CFG）调节语义重建与自主生成之间的平衡。训练时，token 预测梯度通过潜变量更新编码器， 推动连续表示与离散生成协同适应；Flow Matching 的先验学习则通过 stop-gradient 与表示学习解耦。 推理时，模型在固定片段布局下对生成文本重新编码，使潜变量历史与实际文本上下文保持一致。

在五个下游任务上开展的系统组件分析和约 210B 训练 tokens 的受控比较验证了核心设计， 并展现出具有竞争力且尚未饱和的扩展趋势。仅使用 346.03B 源 tokens 时， 尚未收敛的 checkpoint 即达到 60.10 的八任务平均分，并在 HellaSwag 和 StoryCloze 上超过 Llama-3-8B，而后者报告的预训练预算高出 43 倍以上。

这些结果表明，Qwen 初始化的因果解码器生成能力得到了有效迁移，层次化语言生成仍具有显著的扩展空间。 更广泛地说，连续潜变量层次化建模能够与成熟的 token 空间生成范式有效结合，包括自回归和掩码扩散解码器。

方法

Cola2 整体流程

压缩后的连续潜变量先验负责组织语义；具备生成能力的 token 空间解码器负责实现语义并补全剩余细节。

Cola2 方法总览：压缩 VAE、平衡离散解码器、解耦的潜变量 DiT 训练和分块推理。
论文方法总览。阶段 1 联合训练压缩编码器与重建—生成平衡解码器； 阶段 2 在 detached 潜变量上额外训练 DiT；推理时 DiT 分块生成潜变量，再由解码器实现为 token。
阶段 1

语义压缩

动态分段依据内容分配潜变量位置；无梯度的反馈控制器在不干扰表示学习的前提下维持目标平均压缩率。

阶段 2

解耦的潜变量先验

块因果 DiT 通过 Flow Matching 拟合在线潜变量分布；其梯度在编码器处停止，而 token 侧梯度继续塑造表示。

推理

提出 → 解码 → 重编码

DiT 提出潜变量块，解码器生成 token，再按固定片段布局重编码，使潜变量历史始终与离散文本历史一致。

实验

贯穿层次结构的三个问题

我们分别研究如何构建压缩且具有预测能力的语义潜空间、如何训练连续潜变量生成器， 以及离散解码器应如何平衡重建与生成。

1 · 如何构建压缩且具有预测能力的语义潜空间？
核心结论。动态语义分段与面向生成的监督缺一不可。在 2× 压缩下，最佳动态配置在 LAMBADA 上达到 29.4%，略高于不压缩模型；编码器与解码器协同演化并加入生成监督后达到 58.2%。
动态分段与压缩率控制对比。
分段与压缩率控制。基于内容的片段优于固定和随机分组；无辅助损失反馈优于 DLCM。
VAE 编码器架构与池化方式消融。
VAE 架构。层分配比单纯增加深度更重要；片段内双向注意力效果最佳。
潜变量宽度与最大片段长度消融。
表示容量。潜变量宽度存在内部最优点，最大片段长度的影响也并非单调。
片段长度分布。
片段分布。提高长度上限可减少被强制截断的语义片段。
生成监督消融。
生成监督。预测性目标与编码器—解码器协同演化相互补充。
2 · 连续潜变量生成器应当如何训练？
核心结论。使用 token 侧监督持续更新 VAE，但阻断 Flow Matching 梯度进入编码器。 中等潜变量块大小效果最佳，噪声日程必须与表示匹配，DiT 推理在约 8 步时基本饱和。
VAE 更新策略与 DiT 噪声日程结果。
更新策略与校准。可训练 VAE 加 detached DiT 梯度效果最佳；日程必须与潜变量匹配。
DiT 块大小与模型容量结果。
块大小。中等块大小最优，更大的 DiT 对更大块表现出更强容忍度。
潜变量生成器 CFG 与推理步数扫描。
推理。较强 CFG 有益，DiT 去噪在约 8 步后基本饱和。
3 · 解码器应如何平衡重建与生成？
核心结论。解码器应主要在加噪和丢弃潜变量条件下训练，同时保留干净重建样本。 0.4 / 0.4 / 0.2 的丢弃—加噪—干净配比达到 44.7%；打乱潜变量造成最大下降， 说明解码器确实依赖对齐的语义内容。
解码器干净、加噪与丢弃条件配比。
数据配比。0.4 / 0.4 / 0.2 的丢弃—加噪—干净混合实现最佳平衡。
解码器 CFG 与参数分配结果。
引导与参数分配。CFG 必须匹配训练分布；2B DiT 与 1B 解码器是最佳 3B 配比。
解码器规模扩展结果。
解码器规模。在固定 DiT 下，准确率随解码器容量单调提升。
去掩码步数与潜变量消融。
潜变量使用。8×8 步最优，打乱潜变量导致最大性能下降。
4 · 随训练规模增长，性能是否继续提升？
核心结论。在约 210B tokens 的受控训练下，Cola-MDM 获得最强的整体扩展趋势。 压缩版 Cola2-MDM 收敛更慢，但在约 150B tokens 后仍持续缩小与 LLaDA 的差距，尚未饱和。
AR、LLaDA、Cola DLM、Cola-MDM 与 Cola2-MDM 的受控扩展趋势。
受控扩展。压缩保留了语义任务上的强扩展趋势，潜变量 DiT 仍在持续提升。
受控扩展训练中的最优解码器 CFG 权重。
解码器 CFG 趋势。最优值保持在 −0.9 附近，并随训练逐渐向零移动。
预训练后评测

346.03B 源 tokens 下达到 60.10 平均分

独立的大规模训练路线从 Qwen3-4B-Base 初始化因果解码器。其潜变量 DiT 尚未收敛， 因而仍具有显著的扩展空间。

训练预算

346.03B 源 tokens

阶段 I 训练 VAE；阶段 II 联合更新 VAE 与约 4B 参数的潜变量 DiT；阶段 III 继续训练 DiT。

八任务平均

60.10 准确率

距离 Llama-3-8B 仅 6.15 分，而该基线报告使用了至少 15T 预训练 tokens。

数据效率

>43× 更少 tokens

按报告的 token 预算比较，Cola2 在 HellaSwag 和 StoryCloze 上超过 Llama-3-8B。

★ 八任务基准

尚未收敛时已展现竞争力

下列模型采用不同的训练配方、tokenizer 和 token 计数方式，因此该比较用于说明预训练后能力， 而非严格隔离生成范式的影响。

任务 Llama-3-8B Qwen2.5-7B Qwen3-8B-Base LLaDA-8B-Base Cola2
预训练 tokens15T+18T~36T2.3T346B
RACE75.7789.9590.6587.4069.91
NarrativeQA42.7032.9037.3036.0032.70
HellaSwag39.2175.6768.1369.6541.75
StoryCloze79.4995.0997.4495.9480.42
LAMBADA75.7071.8271.2067.9063.00
ARC-Easy90.8696.0097.3593.8587.62
TruthfulQA63.0469.0372.5864.8754.10
MMLU63.1970.1672.3161.2751.32
八任务平均66.2575.0875.8772.1160.10
实验

总结

实验结果从三个方面支持 Cola2 的设计。

语义压缩：动态分段与生成监督使潜变量在高压缩率下仍保持较强语义性； 前者在合适的 Lmax 下略微超过不压缩模型， 后者将准确率从 15.7% 提升至 26.7%。

重建—生成平衡：以加噪和丢弃条件为主的混合训练，使解码器既能忠实使用潜变量 （打乱潜变量会损失 12.2 分），也能自主生成剩余信息。

连续—离散协同适应：潜变量中应当承载什么信息，需要由解码器共同决定； 联合训练编码器与解码器带来 5.9 分提升，并且二者都持续受益于更多训练数据， 使层次化模型呈现出与 AR 和 LLaDA 相当或更优的扩展趋势。

展望

局限与未来展望

尽管实验初步证明了 Cola2 的可行性、竞争力与扩展潜力，我们仍将当前系统视为起点， 而非最终形态。

第一，模型仍远未收敛，尤其是潜变量 DiT；同时，当前训练规模受到可用资源限制。 因此，需要更大的模型、更长的训练以及更广泛的数据和算力预算，才能确定其性能上限。

第二，理论上，压缩能够降低潜变量先验中占主导的线性层和注意力 FLOPs； 但端到端生成速度还取决于解码器、CFG 分支、潜变量反馈和硬件利用率。 要将理论节省转化为实际加速，需要进行基础设施协同设计，包括专用 kernel、缓存管理和并行调度。

第三，Cola2 已经展现出与自回归和掩码扩散解码器的兼容性， 但它们的联合训练目标、推理权衡和最佳分工仍缺乏充分研究。

最后，连续潜空间可能为文本与视觉等其他连续模态提供共享接口， 从而为统一潜表示、跨模态先验以及统一理解与生成打开路径。

引用

BibTeX

论文正式编号发布后将在此更新。

@article{guo2026cola2,
  title  = {Cola2: Co-Adaptive Hierarchical Language Modeling
            with Continuous Semantic Compression and
            Balanced Discrete Generation},
  author = {Guo, Hongcan and Zhao, Yian and Wang, Feng and Nie, Shen
            and Wei, Guoqiang and Zeng, Yan and Zhao, Hengshuang},
  year   = {2026},
  note   = {Paper link forthcoming}
}