OpenAI Safety / Alignment / Interpretability 研究

更新日期：2026-04-26

OpenAI 的 alignment 团队历经多次重组（superalignment 2023 成立 → 2024.05 解散 → 残余工作分散）。公开的研究主题集中在 RLHF 机制、weak-to-strong、PRM、auto-interpretation。比 Anthropic 的 mech interp 工程化程度低，但有几条线值得读。

主要参考：

• Weak-to-Strong Generalization (Burns et al. 2023)
• Discovering Latent Knowledge (Burns et al. 2022)
• Language Models Can Explain Neurons in Language Models (Bills et al. 2023)
• Let's Verify Step by Step (Lightman et al. 2023)
• Training Language Models to Follow Instructions with Human Feedback (Ouyang et al. 2022)

---

一、Superalignment 团队回顾（2023.07-2024.05）

1.1 设立

OpenAI 2023.07 宣布成立 Superalignment team，由 Ilya Sutskever 和 Jan Leike 领导。目标：

"Solve the core technical challenges of superintelligence alignment in four years."

承诺投入 OpenAI 总算力的 20%。

1.2 工作产出

主要 paper（2023-2024）：

1. Weak-to-Strong Generalization (2023.12)
2. Practices for Governing Agentic AI Systems (2023)
3. First-of-its-kind interpretability mechanistic experiments（少量公开 demos）
4. Sparse Autoencoder 工作（Scaling and evaluating sparse autoencoders)

1.3 解散（2024.05）

Jan Leike 离职，Sutskever 也从 OpenAI 离开（先去 SSI）。Superalignment team 正式解散，剩余工作分散到其他 alignment / safety teams。

公开理由（Leike 推文 + 媒体）：

• "compute promises were not honored"
• "safety culture lost out to shiny products"

后续：OpenAI 的 alignment 研究继续，但没有专门 superalignment 团队。

---

二、Weak-to-Strong Generalization

2.1 问题

未来 AI 比人类聪明 → 人类没法直接监督 strong AI 的输出（比如博士级数学）。Weak-to-strong setup 模拟这个：用弱的监督训练强的学生模型，看泛化能力如何。

2.2 实验设计

flowchart LR
    weak["Weak Teacher<br/>(GPT-2 small)"]
    weak_label["Weak labels<br/>(可能错的)"]
    strong_base["Strong Student<br/>(GPT-4 base)"]
    strong_aligned["Strong Student<br/>(after weak supervision)"]
    gt["Ground truth<br/>(strong baseline)"]

    weak --> weak_label
    weak_label --> strong_base
    strong_base --> strong_aligned
    strong_aligned -.eval.-> gt

    classDef stage fill:#fff,stroke:#cc785c,color:#1a1a1a;
    class weak,weak_label,strong_base,strong_aligned,gt stage

2.3 关键 metric: PGR (Performance Gap Recovered)

\[ \text{PGR} = \frac{P_\text{w2s} - P_\text{weak}}{P_\text{strong} - P_\text{weak}} \]

• \(P_\text{w2s}\)：strong student 用 weak labels 训之后的表现
• \(P_\text{weak}\)：weak teacher 自己的表现
• \(P_\text{strong}\)：strong student 用 ground truth 训的表现

PGR = 0 → student 只学到 weak 水平 PGR = 1 → student 完全恢复 strong 能力

2.4 主要发现

• 在 NLP task 上：PGR 0.2-0.8（很多任务能 recover 大部分能力）
• 关键技术：bootstrapping（多轮 weak → strong → strong → ...）+ auxiliary losses（鼓励 student 不要完全模仿 teacher）
• Reward modeling 任务上 PGR 较低 → preference 学习比 task 学习更难 weak → strong

2.5 解读

W2S 是alignment 范式实验，不是直接的工程方法。但启发：

• Self-distillation 在某些任务上可以恢复能力
• 大模型从 weak signal 中也能学到东西（不是完全靠 ground truth）
• 训练 dynamics 比 label quality 更重要（某些情况下）

2.6 复现度

GitHub: openai/weak-to-strong — 完整代码 + 数据公开。学术界在 Llama / Pythia 等开源模型上复现。

---

三、Discovering Latent Knowledge (CCS)

3.1 问题

LM 在某些场景"知道"自己在说谎（hallucination）。能不能从 internal activation 找到一个 "truth" direction？

3.2 方法 — Contrast-Consistent Search (CCS)

对一对 (statement, statement_neg)，要求 model 内部表示满足：

• \(p(\text{true}|x) + p(\text{true}|\neg x) \approx 1\)（互补性）
• 用 unsupervised 方法搜索 activation 空间里的 "truth probe direction"

3.3 结果

• 在 NLP 数据集上能找到一个 direction，分类准确率 70-90%
• 比 standard probe（监督 probing）有时更准 —— 说明 LM 内部有 "truth representation"

3.4 局限

• "Knowing the right answer" ≠ "saying the right answer"
• 后续工作显示 CCS 在某些 setting 下只是回归基线水平
• 多个 truth direction 并存，单一 probe 不充分

---

四、Auto-interpretation（Bills et al. 2023）

4.1 想法

人工解释 GPT-2 的所有 ~50,000 个 neuron 太贵。OpenAI 用 GPT-4 自动解释每个 neuron：

flowchart LR
    neuron["GPT-2<br/>neuron N"]
    gpt4_explain["GPT-4<br/>解释"]
    gpt4_simulate["GPT-4<br/>模拟激活"]
    score["相关性<br/>评分"]

    neuron --> gpt4_explain
    gpt4_explain --> gpt4_simulate
    neuron --> gpt4_simulate
    gpt4_simulate --> score

    classDef stage fill:#fff,stroke:#cc785c,color:#1a1a1a;
    class neuron,gpt4_explain,gpt4_simulate,score stage

1. neuron 在 dataset 上的 activation pattern；2. GPT-4 给一句"this neuron fires on..."；3. GPT-4 用 explanation 反向预测 activation；4. 跟实际比相关性

每个 neuron 得到自动 explanation + 自动评分。

4.2 结果

• 大部分 neuron 的 explanation 评分 0.1-0.3（解释力低）
• 少量 neuron 评分 >0.5（"period-after-digit" 之类）
• GPT-2 大部分 neuron 是 polysemantic —— 跟 Anthropic 的 Toy Models of Superposition 结论一致

4.3 跟 Anthropic SAE 对比

OpenAI 用 GPT-4 explain GPT-2 neuron 是 post-hoc black-box；Anthropic SAE 是 explicit decomposition（找到 monosemantic feature）。两条路线最终汇合：先 SAE 找 features → 再用 LM auto-explain features。

---

五、PRM — Let's Verify Step by Step

5.1 设计

• 收集 800k step-level human labels
• 训 PRM(Process Reward Model) 给每一步打分
• 跟 ORM(Outcome Reward Model, 只看最终答案) 对比

5.2 结果

• PRM > ORM，特别是数学复杂题
• 解释力：PRM 能定位错误推理步骤
• 训练成本：标注 step-level 比 outcome-level 贵 5-10×

5.3 影响

PRM 是 o1 的可能技术基石之一（虽然 OpenAI 没明说）。后续工作：

• rStar-Math (Microsoft 2025)：PRM + MCTS 训小模型推理
• Process-supervised RL：用 PRM 做 RL reward signal（DeepSeek-R1 paper 提到尝试过 PRM 但弃用）

---

六、Sparse Autoencoders (OpenAI 版本)

OpenAI 2024.06 发布 Scaling and evaluating sparse autoencoders — 在 GPT-4 上训 SAE。

6.1 跟 Anthropic 的差异

维度	Anthropic Scaling Monosemanticity	OpenAI SAE 工作
训练目标	TopK + reconstruction	Standard L1 + reconstruction（早期） / TopK
规模	34M features (Claude 3)	16M features (GPT-4)
Feature 用途	Steering, safety	主要研究
公开度	Blog + 部分 demo	Paper + GitHub

6.2 OpenAI 的 SAE GitHub

openai/sparse_autoencoder 公开了一些训练代码（GPT-2 / GPT-3-style 模型）。

---

七、RLHF 机制研究

7.1 InstructGPT (2022) 是 RLHF 的奠基工作

Training Language Models to Follow Instructions with Human Feedback — 现代 ChatGPT 的雏形。

三阶段：

1. SFT on demonstration data
2. RM training on preference data
3. PPO RL with KL penalty to reference

详细 hyperparam 公开：

• KL coef ~0.02
• LR 1e-6 (RL phase)
• PPO clip 0.2
• 4 epochs RM training

7.2 RLHF 的 failure modes

OpenAI 内部研究 + 公开 paper 提到的 failure：

• Reward hacking：模型学会 game RM（"长答案得高分" → 模型变啰嗦）
• Distribution drift：RL 后模型从 SFT 分布偏移太多，回答风格变奇怪
• Mode collapse：所有 prompt 都给类似回答（模型多样性下降）
• Sycophancy：模型迎合用户偏见（"用户说什么都同意"）

7.3 解决思路

• KL penalty 强一点：限制 PPO 偏离 ref 太远
• Multi-objective RM：helpfulness + harmlessness + honesty 多 reward 平衡
• Cycle through SFT and RL：交替而非 all-RL（DeepSeek-R1 也用这思路）

---

八、Embedding / Activation 研究

8.1 Linear probing legacy

OpenAI 早期（GPT-⅔ 时代）做过大量 linear probing 工作 —— 用 simple classifier 在 hidden state 上检测概念。比 mech interp 早，但概念上接近。

8.2 Truth direction（CCS 后续）

CCS 之后社区扩展：

• Representation Engineering (Zou et al. 2023)：找 "honesty" / "morality" 等 direction，做 inference-time steering
• Activation Patching (transformer-circuits.pub 但 OpenAI 也做过)：替换 specific layer 的 activation 看 effect

---

九、Safety 公开实践

9.1 Red Teaming

OpenAI 在 GPT-4 / o1 / GPT-5 都做大规模 red team：

• 内部 + 外部 red teamer（学者 + 安全公司）
• 数 100 specific 攻击 vector
• System Card 里给 quantitative 数字（如 jailbreak success rate before/after）

9.2 Moderation API

OpenAI Moderation 是公开的安全过滤 API：

• Categories：hate, sexual, violence, self-harm, ...
• 多 tier 阈值
• 跟 LM safety filter 是双层防御（API 层 + 模型层）

具体 architecture 不公开（推测：fine-tuned classifier + 大模型 second-pass）。

9.3 Preparedness Framework

Preparedness Framework：

• Capability tier (Low / Medium / High / Critical)
• Tier-specific safeguard 要求
• 类似 Anthropic RSP

---

总结

1. OpenAI 的 alignment 公开度比 Anthropic 低 —— superalignment 解散后更明显
2. Weak-to-strong 是有意思的范式实验，但工程价值不直接（你不太可能用 W2S 训 production 模型）
3. PRM / 验证 step-by-step 是 o1 reasoning RL 的可能 technical 基石；DeepSeek-R1 paper 提到尝试过 PRM 但弃用，说明 reward 类型是开放问题
4. OpenAI SAE 工作不如 Anthropic 深入，Anthropic Scaling Monosemanticity 是当前最好的 mech interp 工程范例
5. InstructGPT paper 还是当今 RLHF 教科书 —— 9 年过去依然是入门必读，hyperparam 公开度高
6. Auto-interpretation (GPT-4 explain GPT-2 neuron) 给了一个自动化解释 pipeline 的 baseline，但解释质量不够 production —— SAE + LM-explain 组合更有前景
7. Safety stack 是工程级，但 internals 不公开 —— 借鉴 high-level pattern（多层防御、red team、tier framework），自己摸 implementation

---

参考文献

1. Burns et al. Weak-to-Strong Generalization. 2023. arXiv:2312.09390
2. Burns et al. Discovering Latent Knowledge in Language Models Without Supervision. 2022. arXiv:2212.03827
3. Bills et al. Language Models Can Explain Neurons in Language Models. 2023. openai.com/research/language-models-can-explain-neurons-in-language-models
4. Lightman et al. Let's Verify Step by Step. 2023. arXiv:2305.20050
5. Ouyang et al. InstructGPT: Training Language Models to Follow Instructions. 2022. arXiv:2203.02155
6. OpenAI. Scaling and evaluating sparse autoencoders. 2024. openai.com/research/extracting-concepts-from-gpt-4
7. Zou et al. Representation Engineering. 2023. arXiv:2310.01405
8. openai/weak-to-strong
9. openai/sparse_autoencoder
10. OpenAI. Preparedness Framework. 2023. openai.com/safety/preparedness

---

↑ 上级 · OpenAI