压缩即智能：信息论视角与 Scaling Laws 推导¶

更新日期：2026-04-16

三、Scaling Laws 完整公式¶

Chinchilla 的核心公式：

\(L(N,D) = E + \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}}\)

给定计算预算 \(C = 6ND\)，最优分配：

\(N_{\text{opt}} \propto C^{\beta/(\alpha+\beta)}, \quad D_{\text{opt}} \propto C^{\alpha/(\alpha+\beta)}\)

当 \(\alpha \approx \beta\) 时，\(N\) 和 \(D\) 按相同比例增长。Chinchilla 的 \(\alpha=0.34, \beta=0.28\) → \(N:D \approx 1:20\)。

概念上广泛使用，实践上几乎没人遵循。 - LLaMA-3 8B 训练了 15T tokens（Chinchilla 建议 ~160B，差 100x）

传统 scaling 只增大 \(N\) 和 \(D\)。推理时 scaling 增大推理计算量 \(C_{\text{infer}}\)。

小模型 + 大量推理计算 > 大模型 + 少量推理计算 例如：GPT-4o-mini + CoT + Best-of-64 可达到 GPT-4 + greedy decoding 的水平——而成本可能更低（小模型每 token 便宜）。

这改变了 scaling 的经济学：

DeepSeek-R1 用 37B 激活参数（远小于 GPT-4 估计的 ~220B）但在推理任务上接近甚至超越 GPT-4，靠的就是推理时 scaling（长 CoT）。

数据中每 token 的条件信息量决定了 loss 下降速度。 - 高质量数据：信息密度高，每 token 携带更多"知识"→ \(\alpha\) 大

同样 loss=2.0 的两个模型，能力可能差异巨大。在噪声数据上训到 loss=2.0，模型学到的是噪声；在高质量数据上训到 loss=2.0，模型学到的是真正的知识。Loss 只能在同一数据集内比较。

小规模 Scaling 拟合的外推在大规模上通常有 5-10% 偏差，但足以指导训练决策。参考 Scaling Laws Revisited (2025)。

问题	方向	详见
合成数据怎么影响 Scaling Law？	好的合成提高有效 \(D\)，但 model collapse 风险	B4
多模态的 Scaling Law 是什么样？	图像和文本 scaling 行为不同，联合训练更复杂	F2
能否预测最终 benchmark 分数？	部分可以（loss → ppl → 部分基准），涌现行为难预测	I1
loss plateau 怎么诊断？	数据耗尽/重复、lr 太低、架构瓶颈	C6