[可一键复制] NInfer、llama.cpp 和 vLLM 的质量与速度对比 · 工程提示词模板

提示词可在此修改后复制或实测，不会改动源内容

### 硬件配置
- RTX 5090 32GB (eGPU, OCuLink Gen4 x4)
- Ryzen 7 7840HS, 32 GB DDR5
- Ubuntu 26.04, nvidia driver 610.43.02 (open)

### 引擎配置
| 引擎 | Quant | KV cache | Context | MTP | Concurrency | VRAM |
|------|-------|----------|---------|-----|-------------|------|
| llama.cpp | Q5_K_M GGUF | q8_0 | 196K | On (gate failed) | parallel=1 | 31.6 GB |
| vLLM | NVFP4 | FP8 | 262K | None | Continuous batch | 29.6 GB |
| NInfer | NVFP4 | FP8 | 240K | MTP3 (76% acceptance) | x2 lanes | 30.5 GB |

### 评估方法
- **相关性分类**：判断内容是否与行业相关（50个标记项）。
- **针检索**：在真实行业播客/视频转录中植入事实，测试不同上下文长度（64K/128K/192K/240K）。
- **多转录QA**：跨3-4个连接的口语化转录进行问答，包括无法回答的控制项。
- **推理与思考**：开启思考模式，进行数值/逻辑问题推理。
- **结构化提取**：自定义提取提示，使用json_mode（仅在llama.cpp和vLLM上测试）。
- **工具重放**：重放记录的工具使用片段（仅用于诊断，所有引擎均失败）。

### 质量结果
| 指标 | llama.cpp | vLLM | NInfer |
|------|----------|------|--------|
| 相关性 | 86.0% | 84.0% | 86.0% |
| 针检索 | 100% (29/29) | 100% (41/41) | 100% (41/41) |
| 转录QA | 82.0% | 78.0% | 88.0% |
| 推理 | 100% | 100% | 98.0% |
| 提取 | F1 0.300 | F1 0.350 | skipped |
| 工具重放 | 0% | all errors | 0% |

### 速度结果
| 指标 | llama.cpp | NInfer | 加速倍数 |
|------|----------|--------|----------|
| 解码1K | 114 tok/s | 158 tok/s | 1.4x |
| 解码32K | 109 tok/s | 213 tok/s | 2.0x |
| 解码128K | 72 tok/s | 202 tok/s | 2.8x |
| 预填充1K | 1,545 tok/s | 7,265 tok/s | 4.7x |
| 预填充32K | 2,155 tok/s | 6,892 tok/s | 3.2x |
| 预填充128K | 1,528 tok/s | 3,904 tok/s | 2.6x |
| TTFT 1K | 670 ms | 138 ms | 4.9x |
| TTFT 32K | 15.2 s | 4.8 s | 3.2x |
| TTFT 128K | 85.9 s | 33.6 s | 2.6x |

### 结论
NInfer NVFP4 替换 llama.cpp 作为我的生产引擎，质量和速度均有提升。