AI 对齐(Alignment)
AI 对齐是让 AI 系统的行为与人类意图、价值观、期望保持一致的研究领域。 这是 llm 训练流程的核心目标之一,也是当前 AI 安全研究最前沿的课题。
三层对齐
- 指令对齐(Instruction Following):让模型听懂并执行用户意图。
- 价值观对齐(Value Alignment):让模型拒绝有害请求,不输出危险内容。
- 意图对齐(Intent Alignment):让模型理解用户真正想要什么(而不是字面意思)。
经典对齐技术栈
Pretraining → SFT → Reward Model → RLHF
↘ DPO(无 critic 简化版)
↘ Constitutional AI(AI 反馈)
- SFT(sft):用 (instruction, response) 数据教模型基础指令遵循。
- RLHF(rlhf):用人类偏好训练奖励模型,再用 RL 优化 LLM。
- DPO(dpo):跳过奖励模型,直接用偏好对训练。
- Constitutional AI(Anthropic):用 AI 自己评价 + 修改,规模化对齐。
对齐失败的表现
- 幻觉:编造事实(hallucination)。
- 欺骗:为了取悦用户说假话(sycophancy)。
- 越狱:被 prompt 绕过安全约束(prompt-injection)。
- 目标错位:优化错的目标(reward hacking)。
- 权力寻求:模型追求不被关停(emergent,争议中)。
前沿研究方向
- Scalable Oversight:让弱监督信号扩展到超人类能力(debate、recursive reward modeling)。
- Mechanistic Interpretability:理解模型内部到底在算什么(Anthropic、DeepMind 主攻)。
- Constitutional AI / RLAIF:用 AI 替代昂贵的人类标注。
- Alignment Tax:对齐对通用能力的负面影响如何降到最小。
现实建议
- 生产部署必须做对齐评估:Toxicity、bias、harm benchmarks。
- 不要相信单一 benchmark:alignment 是多维度问题。
- 保留人工审核:高风险场景必须有 human-in-the-loop。