智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #DASA #LLM微调 #ArXiv #合成数据 #模型优化

ArXiv新研究提出DASA:无需人类可读文本的高效LLM微调方法

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 4 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv发布了一项关于大语言模型(LLM)微调的新研究,提出了一种名为Desired-Update-Aligned Synthetic Data(DASA)的新方法。该方法利用冻结参考模型的激活梯度反馈来优化连续合成输入嵌入,从而无需依赖人类可读文本即可实现高效的模型微调。实验结果表明,DASA在多个基准测试中表现优异,在知识、数学推理、代码生成和常识推理等任务上,其性能可与基于自然语言数据的方法相媲美,并在某些配置中超越后者。此外,DASA在推理速度上相较于现有方法GRADMM实现了3.6至4.9倍的提升,同时保持了相似的GPU内存使用效率。


研究背景与动机

近年来,大语言模型(LLM)在自然语言处理任务中取得了显著进展,但其微调过程通常依赖于大量高质量的人类可读文本数据。这种依赖不仅增加了数据获取的难度,还可能引入偏见或隐私问题。因此,研究人员开始探索无需依赖人类可读文本的微调方法。

方法概述

本研究提出了一种名为Desired-Update-Aligned Synthetic Data(DASA)的新方法。DASA利用冻结参考模型的激活梯度反馈来指导连续合成输入嵌入的优化。具体来说,DASA通过以下步骤实现:

  1. 激活梯度反馈:从冻结的参考模型中获取激活梯度,用于评估合成嵌入的适应性。
  2. 优化合成嵌入:根据激活梯度调整合成嵌入,以实现对目标任务的最佳适应。
  3. 直接用于微调:将优化后的嵌入直接用于下游任务的微调,而离散token投影仅用于定性检查。

实验与结果

研究团队在六种不同规模的模型(Llama和Qwen家族,参数规模从1B到32B)上进行了实验,涵盖六个基准测试,包括知识、数学推理、代码生成和常识推理。实验结果表明:

  • 性能媲美:在匹配的LoRA适应设置下,DASA的性能可与基于自然语言数据的方法相媲美。
  • 性能超越:在多个配置中,DASA的表现优于现有方法GRADMM。
  • 速度提升:DASA在推理速度上实现了3.6至4.9倍的提升,同时保持了相似的GPU内存使用效率。

技术亮点

  • 无需人类可读文本:DASA无需依赖高质量的人类可读文本数据,降低了数据获取的难度。
  • 高效优化:通过激活梯度反馈实现对合成嵌入的精准优化。
  • 广泛适用性:在多个基准测试中表现优异,展示了其广泛的适用性。

行业影响与开发者建议

DASA的出现为LLM的微调提供了一种新的思路,尤其在数据稀缺或隐私敏感的应用场景中具有重要意义。开发者可以尝试将DASA应用于自己的模型微调任务中,以提升效率并降低数据依赖。此外,DASA的推理速度提升也为实时应用场景带来了新的可能性。


消息来源:ArXiv AI (cs.AI) (2026-09-30)

—— 完 ——

主题标签: #DASA #LLM微调 #ArXiv #合成数据 #模型优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…