arXiv研究：AI智能体生成智能合约的意图丢失评估与改进方法

摘要：本研究聚焦于AI智能体在智能合约生成中的行为一致性评估问题，提出了一种基于执行而非主观判断的评估框架。通过对比AI生成的合约与原始合约在相同交易下的表现，研究揭示了现有方法在捕捉意图丢失方面的不足，并提出了一种新的架构——在生成代码前，AI智能体通过询问客户简短的清单问题来明确需求，并使用独立编写的可执行答案进行验证。该方法显著减少了意图丢失问题，并展示了在多个AI模型上的有效性。

---

研究背景与动机

智能合约作为Web3应用的核心组件，其代码一旦部署便无法修改，因此确保AI生成的智能合约行为与预期一致至关重要。然而，现有AI智能体在生成代码时常常出现意图丢失问题，即代码运行结果与用户需求不符。

方法与评估框架

本研究设计了一种基于执行的评估框架，通过在AI生成的智能合约和原始合约上重放相同的交易，并测量两者的一致性来评估AI智能体的表现。研究发现，常见的AI评估方法和标准分析工具容易忽略明显错误，且评分选择对结果有显著影响。

核心创新：询问优先架构

为了解决上述问题，研究提出了一种新的架构——在生成代码前，AI智能体通过询问客户简短的清单问题来明确需求，并使用独立编写的可执行答案进行验证。该方法的核心优势在于：

1. 需求明确化：通过询问问题，AI智能体能够捕捉到用户描述中遗漏的关键信息。
2. 独立验证：使用独立编写的答案进行验证，避免了AI智能体在生成过程中对自身代码的偏见。
3. 反馈机制：将不一致之处反馈给客户，而不是在生成后进行修补，从而提高效率。

实验结果表明，这种方法在三个AI模型上均显著优于传统的审查和修补方法，且自动化安全修复往往会破坏用户请求的行为。

工具与数据发布

研究团队还发布了相关工具、600个任务和所有结果，为未来AI智能体在智能合约生成中的应用提供了重要参考。

工程权衡与未来方向

• 优势：该方法在需求捕捉和意图保留方面表现出色，尤其适用于高风险领域如智能合约生成。
• 局限性：询问优先架构增加了AI智能体的交互复杂度，可能在处理复杂需求时需要更精细的设计。
• 未来方向：进一步优化问题生成机制，探索更高效的需求捕捉方法，并扩展到其他AI生成任务中。

---

消息来源：ArXiv AI (cs.AI) (2026-10-30)

—— 完 ——

主题标签： #智能合约 关注 #AI智能体 关注 #智能合约生成 关注 #AI评估 关注