基于多目标强化学习的大语言模型实现帕累托最优RTL代码生成

摘要：本研究提出了一种基于大语言模型（LLM）和多目标强化学习（RL）的新方法，用于生成高质量且多样化的RTL电路。该方法通过优化整个电路集在PPA（功耗、性能、面积）目标空间中的质量与多样性，而非单一电路的性能，显著提升了帕累托前沿的覆盖度。实验结果表明，该方法相较于无PPA优化的基线方法提升了13.3%的相对超体积，相较于单目标强化学习方法提升了14.4%，同时在电路多样性方面表现出色，为RTL电路设计提供了更高效的解决方案。

---

技术机制剖析

本研究的创新点在于将多目标强化学习（RL）与大语言模型（LLM）结合，用于生成帕累托最优的RTL电路。传统方法通常将PPA（功耗、性能、面积）目标聚合为一个标量奖励函数，这使得在生成过程中难以同时优化多个目标，导致生成的电路在某些方面表现优异，但在其他方面可能存在不足。本研究提出的方法通过以下方式解决了这一问题：

1. 生成式训练流程：将整个帕累托解集的覆盖度改进问题转化为序列化的电路生成问题。通过这种方式，模型能够逐步生成一系列电路，这些电路在不同的PPA目标之间实现了多样化的权衡。

2. 基于超体积贡献（HVC）的奖励函数：HVC用于衡量每个生成的电路对帕累托前沿的贡献。这种方法能够有效地引导模型生成更接近帕累托前沿的电路，从而提升整体电路集的质量和多样性。

工程权衡与实测表现

• 优势：该方法在RTLLM v2基准测试中表现出色，显著提升了帕累托前沿的覆盖度。与无PPA优化的基线方法相比，相对超体积提升了13.3%；与单目标强化学习方法相比，提升了14.4%。此外，该方法在电路多样性方面也表现出色，为设计师提供了更多高质量的候选电路。

• 挑战：尽管该方法在多样性和质量上取得了显著进步，但多目标优化的复杂性仍然较高，尤其是在处理大规模电路设计时，计算资源的需求可能会显著增加。此外，如何在不同的产品需求和设计约束下动态调整目标权重，也是一个需要进一步研究的问题。

开发者落地与部署建议

对于RTL电路设计领域的开发者而言，本研究提供了一种新的思路和方法，可以帮助他们在设计过程中更好地平衡多个目标。建议开发者关注以下几点：

1. 模型训练与调优：在实际应用中，开发者需要根据具体的设计需求和约束条件，对模型进行充分的训练和调优，以确保生成的电路集能够满足实际应用的要求。

2. 资源管理：由于多目标优化的计算资源需求较高，开发者需要合理管理计算资源，必要时可以考虑使用分布式计算或混合精度训练等技术来提升效率。

3. 工具集成：建议将本研究的方法与现有的EDA工具集成，以实现更高效的电路设计流程。

---

消息来源：ArXiv AI (cs.AI) (2026-10-21)

—— 完 ——

主题标签： #大语言模型 关注 #多目标强化学习 关注 #RTL电路设计 关注 #PPA优化 关注 #帕累托前沿 关注