Qwen推出基于图像指令微调的图像修复新方法

摘要：Qwen团队提出了一种基于图像指令微调的图像修复方法，通过从受损图像中提取指令并结合轻量级适配器，实现对多种图像退化类型的统一处理。该方法利用视觉-语言嵌入技术，将图像的结构和语义信息分离处理，并通过连续向量指令实现任务无关的修复效果。实验表明，该方法在低光增强等任务中表现优异，超越了基于文本指令的修复方法。

---

创新方法：图像指令微调

Qwen团队提出了一种创新的图像修复方法，通过从受损图像中提取指令并结合轻量级适配器，实现对多种图像退化类型的统一处理。该方法的核心在于：

• 图像指令提取：从受损图像中提取语义指令，替代传统的文本指令。
• 双路径处理：图像通过两个路径进入编辑器：其结构由模型的变分自编码器（VAE）提供，语义指令则由轻量级标记映射器生成，将受损图像的视觉-语言嵌入向清洁图像的嵌入方向调整。
• 连续向量指令：由于指令是连续向量，通过缩放可以生成一系列有效的修复结果，适用于目标不唯一的任务，如低光增强。

技术亮点

1. 任务无关性：该方法无需退化标签即可支持任务无关的修复。
2. 高效适配：在单个GPU上训练单个适配器仅需约三小时，即可将Qwen-Image-Edit模型适配到六个任务。
3. 性能优越：在对比实验中，图像指令微调方法的表现优于基于文本指令的方法。

行业影响与开发者建议

• 多任务统一处理：该方法为图像修复领域提供了一种高效的多任务处理方案，减少了模型适配的复杂性。
• 资源优化：轻量级适配器的使用使得该方法在资源受限的环境中具有较高的实用性。
• 开发者建议：建议开发者尝试将该方法应用于其他图像处理任务，如图像超分辨率和去噪，以进一步验证其通用性。

未来展望

未来，该方法有望在更多图像处理任务中得到应用，并结合其他先进技术，如生成对抗网络（GAN）和自监督学习，进一步提升修复效果。此外，该方法还可以扩展到视频修复领域，为动态内容的修复提供新的解决方案。

---

消息来源：Hugging Face Daily Papers (2026-09-21)

—— 完 ——

主题标签： #Qwen #图像修复 #指令微调 #多模态AI #轻量级适配器