MARQ：基于系统工程知识注入的模块化LLM需求质量评估工具发布

摘要：MARQ是一款创新的模块化需求质量评估工具，通过注入系统工程（SE）知识来提升大语言模型（LLM）在需求工程（RE）中的表现。该工具采用特定于质量标准的知识栈，显著提高了对NASA需求集进行评估时的F1得分。与现有的开箱即用模型相比，MARQ在缺陷检测和误报控制方面表现出色，尤其在Correctness（正确性）和Conformance（一致性）标准上表现突出。然而，其性能提升具有模型依赖性，Claude Opus 5、GPT-5.6 Sol和Gemma 3 12B在评估中表现各异，展示了SE知识注入在不同LLM架构中的潜力与局限性。

---

技术机制剖析

MARQ的核心机制是通过一个特定于质量标准的知识栈来补充LLM的能力。该知识栈基于INCOSE（国际系统工程协会）的需求质量标准，将系统工程知识注入到LLM中，从而提升其在需求质量评估任务中的表现。具体来说，MARQ通过以下方式实现这一目标：

1. 知识栈设计：MARQ的知识栈针对每个质量标准（如Correctness、Completeness、Consistency等）设计了专门的规则和逻辑，这些规则和逻辑被用来指导LLM的推理过程。
2. 模型无关性：MARQ采用模块化设计，使其能够与多种LLM（如Claude Opus 5、GPT-5.6 Sol、Gemma 3 12B等）无缝集成。
3. 评估流程：在评估过程中，MARQ首先利用知识栈对需求进行预处理，然后由LLM进行推理，最后结合知识栈的输出对LLM的推理结果进行修正和优化。

工程权衡与实测表现

MARQ在提升LLM需求质量评估性能方面取得了显著成效，但也面临一些权衡和挑战：

1. 性能提升：与现有的开箱即用模型相比，MARQ在缺陷检测和误报控制方面表现出色。例如，Claude Opus 5在使用MARQ后，F1得分从0.55提升至0.80。
2. 模型依赖性：MARQ的性能提升具有模型依赖性。Claude Opus 5在误报控制方面表现优异，而GPT-5.6 Sol在检测能力上有所提升，但误报率也相应增加。Gemma 3 12B的性能接近于开箱即用模型，但表现不稳定。
3. 计算开销：注入SE知识增加了模型的计算开销，尤其是在处理大规模需求集时，需要更强大的计算资源。

开发者落地与部署建议

对于开发者而言，MARQ提供了一种新的思路，即通过注入领域知识来提升LLM在特定任务中的表现。以下是一些部署建议：

1. 模型选择：根据具体需求选择合适的LLM。例如，如果对误报控制有较高要求，可以优先选择Claude Opus 5。
2. 知识栈定制：根据实际应用场景对知识栈进行定制，以更好地适应特定领域的需求。
3. 资源规划：考虑到MARQ的计算开销，建议在部署时规划足够的计算资源，尤其是在处理大规模需求集时。
4. 持续优化：定期对MARQ进行评估和优化，以适应不断变化的领域需求和技术发展。

结论

MARQ展示了通过注入系统工程知识来提升LLM在需求质量评估中的表现的可能性。尽管其性能提升具有模型依赖性，但为LLM在特定领域的应用提供了一种新的技术路径。未来，随着SE知识的不断丰富和LLM技术的不断发展，MARQ有望在更多领域和场景中发挥更大的作用。

---

消息来源：ArXiv AI (cs.AI) (2026-10-29)

—— 完 ——

主题标签： #MARQ 关注 #LLM 关注 #系统工程 关注 #需求质量评估 关注 #知识注入 关注