ArXiv提出MO-IKE框架：革新大语言模型上下文知识编辑技术

摘要：ArXiv团队提出了一种名为MO-IKE（多目标上下文知识编辑）的新方法，通过多目标强化学习优化大语言模型的上下文知识编辑过程。该方法将知识编辑建模为约束马尔可夫决策过程，平衡了可靠性、通用性和特异性三个目标。实验表明，MO-IKE在Llama-3.2模型上显著提升了编辑成功率（从85.0%提升至92.0%）、释义一致性（从77%提升至79%）以及保留率（提升23.0%），展示了其在动态更新模型知识方面的巨大潜力。

---

背景与动机

大语言模型（LLMs）在自然语言处理任务中表现出色，但其静态参数化知识在预训练结束后容易过时。知识编辑技术旨在通过更新模型行为来解决这一问题，而无需完全重新训练模型。特别是上下文知识编辑因其无需训练且适用于黑盒LLM而备受关注。

技术方法

ArXiv团队提出的MO-IKE（多目标上下文知识编辑）方法通过多目标强化学习（RL）优化知识编辑过程。该方法将知识编辑建模为约束马尔可夫决策过程（CMDP），并训练一个动态检索器来优化以下三个竞争目标：

• 可靠性（Reliability）：确保编辑后的模型行为符合目标事实。
• 通用性（Generality）：保持模型在不同上下文中的行为一致性。
• 特异性（Specificity）：避免对无关知识产生负面影响。

主要创新点

1. 多目标优化：MO-IKE首次将知识编辑过程建模为多目标优化问题，平衡了可靠性、通用性和特异性三个目标。
2. 动态检索器：通过训练动态检索器，MO-IKE能够根据不同目标动态调整提示构建策略。
3. 全局一致性：该方法不仅关注单个目标的优化，还注重不同目标之间的平衡以及全局提示组织的连贯性。

实验结果

在Llama-3.2模型上的实验表明，MO-IKE在以下方面表现优异：

• 编辑成功率（可靠性）：从85.0%提升至92.0%。
• 释义一致性（通用性）：从77%提升至79%。
• 保留率（特异性）：提升了23.0%。

行业影响

MO-IKE为LLM的知识更新提供了一种高效且灵活的方法，能够在保持模型性能的同时动态更新知识。这对于需要快速适应新知识或纠正错误信息的应用场景（如对话系统、问答系统等）具有重要意义。此外，该方法也为未来研究提供了新的思路，例如如何进一步优化多目标强化学习算法以适应更复杂的知识编辑任务。

---

消息来源：ArXiv cs.AI (2026-08-25)

—— 完 ——

主题标签： #大语言模型 关注 #知识编辑 关注 #强化学习 关注 #多目标优化 关注 #ArXiv 关注