智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #LLM #对话系统 #目的性对话 #RLHF #指令稳定性

LLM聊天机器人缺失的“目的感”:从基准测试到目标导向对话的范式转移

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 10 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:The Gradient 发表深度技术评论,指出当前 LLM 聊天机器人的能力提升主要依赖 MMLU、HumanEval 等静态基准,但这些基准无法衡量多轮交互中的用户体验。文章提出“目的性对话”概念,强调多轮目标导向交互的重要性,并揭示现有系统在指令稳定性上的严重缺陷:LLaMA2-chat-70B 和 GPT-3.5 在仅 1.6k tokens 后即出现人格漂移。作者 Kenneth Li 提出 Dialogue Action Tokens (DAT) 方法,通过强化学习引导模型在长程对话中保持目标一致性,并在 Sotopia 基准上超越 GPT-4。文章呼吁重新思考对话系统的评估与设计,从“预测下一个 token”转向“有目的的行动”。


## 引言 大语言模型(LLM)驱动的聊天机器人能力逐月提升,但衡量标准如 MMLU、HumanEval 和 MATH 已趋于饱和。这些基准以非交互方式评估模型,无法反映真实用户体验。若未来是人机协作而非替代,我们需要重新思考对话系统的评估与设计。 ## 目的性对话的重要性 目的性对话指围绕目标或意图的多轮用户-聊天机器人交互,目标可以是通用的“无害且有用”,也可以是具体的“旅行规划代理”或“心理治疗师”。以旅行规划为例,一次传递所有信息成本高昂,而多轮信息交换只传递关键信息,类似谈判理论中的迭代讨价还价。 语言不仅是信息传递,更是激活听者程序的方式。每次话语都是改变对方世界模型的行动。目的性对话将人机交互视为协作游戏,聊天机器人的目标是帮助人类实现目标。 即使在代码生成等产品导向领域,目的性对话也至关重要。现有编码基准多是一次性生成,但解决真实 GitHub 问题(如 SWE-bench)需要 AI 与人类工程师反复沟通,确保理解需求、询问缺失文档,甚至请求帮助。类似结对编程,可减少代码缺陷而不增加工时。 此外,多轮交互带来新可能:长期记忆可逐步更新用户画像,适应偏好。想象一个个人助理,通过日常互动学习你的偏好,自动阅读新信息源,提供个性化晨报,起草邮件并不断改进。 ## 对话系统的构建方式 从 1970 年代的脚本系统(如 Schank 的餐厅脚本、ELIZA、PARRY)到现代 LLM,对话系统经历了巨大变革。当前 LLM 对话系统的构建包括: 1. **预训练**:在混合互联网文本上训练序列模型预测下一个 token,数据以新闻、书籍、代码为主,含少量论坛对话数据。 2. **对话格式化**:将对话历史转换为特定格式(如 标签),但格式选择是任意的,预训练语料并不遵循此格式。 3. **RLHF**:通过奖励和惩罚微调模型,但 RLHF 数据量远小于预训练,且 KL 惩罚和 LoRA 等限制了调整幅度。LeCun 比喻为蛋糕上的樱桃。 ## 现有对话系统的一致性 系统提示是控制模型行为的主要手段,但研究表明 LLM 在对抗条件下遵循指令的脆弱性。用户也常发现,新开对话时模型表现良好,但几轮后便偏离角色。 作者及其合作者构建了环境,让两个带系统提示的 LM 代理进行多轮对话,并在每轮插入与系统提示相关的探针问题,量化指令稳定性。结果显示,LLaMA2-chat-70B 和 GPT-3.5-turbo-16k 的指令稳定性随轮次急剧下降,且与长上下文能力形成鲜明对比——理论上可处理 100k tokens,但对话中仅 1.6k tokens 后便分心。作者还从理论上证明这是 Transformer 在现有提示方案下的必然结果,并提出 split-softmax 技术缓解。 人类不会因交谈几轮就失去人格,因为人类交互基于目的和意图,而 LLM 本质是流畅的英语生成器,人格只是薄薄一层。 ## 缺失的是什么? **预训练**赋予模型建模互联网人格分布的能力,但即使指定单一角色,当前方法也难以精确提取。 **RLHF** 将奖励最大化视为单步赌博机问题,缺乏多轮规划,导致任务模糊性和表面人性化,而非目标导向的社会交互。Sergey Levine 指出,偏好学习与意图存在根本区别:语言生成应被视为序列过程中的目标导向行动,而非满足用户偏好的输出。 ## 目的性对话系统 即使模型保持任务专注,也不一定能出色达成目标。长时程规划已引起关注,如“决策导向对话”和 Sotopia 等平台。这些基准提供奖励信号,但缺乏控制模型长期一致性的技术。 作者提出 Dialogue Action Tokens (DAT) 算法:每轮对话中,将历史最后 token 的嵌入作为状态输入规划器,预测前缀 token 作为动作控制生成。通过 TD3+BC 训练,在 Sotopia 上显著超越基线,甚至超过 GPT-4 的社交能力分数。 DAT 提供了一条技术路径,将 LM 从预测模型升级为有目的对话的参与者。但技术也可能被滥用,作者进行了多轮红队实验,呼吁更多研究关注多轮对话作为攻击面。 ## 结论与展望 作者回顾了 LLM 对话系统的构建与不足,提出“目的感”是缺失的关键,并展示了用强化学习添加目的的技术。未来研究方向包括: 1. **更好的监控与控制**:如 TalkTurner 等转向技术,但当前方法在同时控制多个属性时存在困难,且难以区分模型对自身和用户的内部模型。 2. **离线奖励信号的利用**:真实用户不会提供数值反馈,但语言中隐含线索(如“谢谢”)或外部行为(如购买产品)可推断奖励,从而增强网络效应。 ## 结语 本文为对话系统研究提供了新视角,强调从“预测下一个 token”转向“有目的的行动”。对于开发者,这意味着需要关注多轮交互中的指令稳定性,并探索目标导向的对话设计。 --- *原文出处:The Gradient, “What's Missing From LLM Chatbots: A Sense of Purpose”, 2024.* --- > **消息来源**:[The Gradient AI Journal](https://thegradient.pub/dialog/) (2024-09-09) —— 完 ——

主题标签: #LLM #对话系统 #目的性对话 #RLHF #指令稳定性

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…