arXiv发布MARQ：基于系统工程知识注入的模块化需求质量评估工具

摘要：arXiv发布了一款名为MARQ的模块化需求质量评估工具，旨在通过注入系统工程（SE）知识提升大语言模型（LLM）在需求质量评估中的表现。MARQ通过一个特定标准的知识栈补充LLM，并使用INCOSE需求质量标准进行评估。实验结果表明，MARQ在多个模型上均显著提升了F1得分，其中Claude Opus 5达到0.80，GPT-5.6 Sol达到0.62，Gemma 3 12B达到0.53，相比于基线模型分别提升了45%、19%和195%。然而，改进效果具有模型依赖性，MARQ强调了在特定标准上的干预和人工审查的重要性，为构建更可靠的需求工程支持提供了新思路。

---

1. 背景与动机

需求工程（RE）是系统工程（SE）的核心环节，需求缺陷会向下游传播并严重影响开发成果。尽管大语言模型（LLM）在需求质量评估方面展现了潜力，但现有研究表明，通用模型在捕捉专家识别缺陷方面表现不佳，且在不同质量标准上的表现不均衡，执行结果也存在波动性。

2. MARQ的设计与实现

MARQ是一款模块化、LLM无关的需求质量评估工具，旨在通过注入系统工程知识来增强LLM的能力。其核心组件是一个特定标准的知识栈，该知识栈基于INCOSE的需求质量标准进行操作。MARQ的设计目标是提供一种模型无关的解决方案，以提升LLM在需求质量评估中的表现。

3. 实验与结果

研究团队使用Claude Opus 5、GPT-5.6 Sol和开源的Gemma 3 12B模型对MARQ进行了评估，实验基于一个专家标注的NASA需求集，每种模型执行了100次测试。

• Claude Opus 5：MARQ将中位F1得分从0.55提升至0.80，主要改进在于缺陷检测和误报控制。
• GPT-5.6 Sol：MARQ将中位F1得分从0.52提升至0.62，检测能力有所提升，但误报率也增加。
• Gemma 3 12B：MARQ将中位F1得分从0.18提升至0.53，接近于现有专有模型的表现，但表现仍然高度波动。

4. 讨论与未来方向

实验结果表明，MARQ在提升LLM需求质量评估能力方面具有显著效果，但改进效果依赖于具体模型。MARQ强调了在特定标准上的干预和人工审查的重要性，为构建更可靠的需求工程支持提供了新思路。未来的研究方向包括进一步优化知识栈以适应更多质量标准，并探索更高效的人机协作模式。

5. 技术权衡与工程成本

MARQ的优势在于其模块化设计和模型无关的特性，这使得它可以灵活地应用于不同的LLM。然而，这种设计也带来了额外的计算开销，因为知识栈的注入需要额外的处理步骤。此外，MARQ的性能提升在很大程度上依赖于知识栈的质量和专家标注数据的准确性，这增加了数据收集和模型训练的成本。

6. 开发者建议

对于开发者而言，MARQ提供了一种可行的解决方案来提升LLM在需求质量评估中的表现。建议开发者在使用MARQ时，结合具体的应用场景和需求标准进行定制化调整，并考虑引入人工审查机制以进一步提高评估结果的可靠性。

---

消息来源：ArXiv AI (cs.AI) (2026-10-28)

—— 完 ——

主题标签： #MARQ 关注 #LLM 关注 #系统工程 关注 #需求质量评估 关注 #arXiv 关注