Qwen3量化与选项顺序平均：固定推理预算下的最优分配

摘要：研究以 Qwen3-0.6B 和 Qwen3-1.7B 为对象，比较权重位宽压缩与多选项顺序平均的推理成本收益。模拟四舍五入量化显示，6-bit 权重在 ARC-Easy、ARC-Challenge、MMLU 和 HellaSwag 上未损失准确率；4-bit 则显著放大答案位置偏置，但平均四种循环排列可为 0.6B 模型挽回 12.6 个百分点。按“权重读取字节数×推理次数”统一计价后，论文给出的实用结论是：优先使用 6-bit 权重，再用剩余预算执行最多四次单次推理。

---

核心结论

研究把本地小模型的两种推理优化放在同一成本尺度下比较：降低权重精度以减少内存读取，以及对答案选项做多次重排并平均，以缓解选择题的位置偏置。对 Qwen3-0.6B 和 Qwen3-1.7B 的模拟结果显示，6-bit 权重是精度与预算分配的分界点；在该位宽下，把剩余预算用于最多四次选项顺序推理，通常比继续增加权重位宽更划算。

这并不是一个新的量化器，而是一项围绕部署预算的系统研究。它同时关注准确率、答案位置偏置和推理成本，但没有覆盖真实量化内核、GPU 指令集或端到端延迟，因此更适合指导策略选择，而不是直接替代部署基准测试。

实验设计与成本模型

实验在 Qwen3-0.6B 与 Qwen3-1.7B 上模拟最基础的 round-to-nearest 权重量化，比较 8、6、4、3-bit 与 FP16 参考。评测覆盖 ARC-Easy、ARC-Challenge、MMLU 和 HellaSwag，每个任务抽取 300 道四选一题目，并读取 A、B、C、D 对应 logits。

论文用下式将两种优化映射到统一的机器无关成本单位：

[ C = B_{read} \times P ]

其中，(B_{read}) 表示一次推理读取的权重字节数，(P) 表示推理次数。该指标把权重压缩与测试时计算统一起来：位宽越低，权重读取越少；重排次数越多，前向计算次数越高。

这个计价方式有工程价值，因为它避免只比较“量化后准确率”或“单次推理速度”这种局部指标。但它仍是抽象模型，没有计入 KV Cache、激活值、内存带宽利用率、算子反量化开销、批处理效率以及不同 GPU 对低比特反量化的支持差异。真实设备上，额外前向还可能受到缓存复用、动态批处理和请求调度的影响。

量化精度与答案位置偏置

6-bit 量化在两个模型上均未观察到相对 FP16 的准确率损失。论文报告，两个模型分别比 FP16 高出 1.8 和 0.9 个百分点，给出的区间分别为 1.0—2.5 和 0.3—1.5，但作者明确表示无法解释这一反常增益。由于样本量、随机性和模拟量化实现都可能影响结果，这些正向差异不宜被直接解释为量化带来的真实能力提升。

8-bit 权重则分别下降 0.7 和 0.4 个百分点。到 4-bit 时，答案槽位偏置明显扩大：0.6B 模型从 0.15 增至 0.53，1.7B 模型从 0.07 增至 0.12。这说明低比特误差不仅可能改变总体准确率，还可能改变模型对选项位置的偏好。

研究进一步加入与量化后权重信噪比相当的高斯噪声对照。一次和两次噪声抽样产生的槽位偏置分别为 0.19、0.15，以及 0.37、0.15。结果只能说明舍入误差与等功率随机噪声在这一对照中不可区分，不能据此断言舍入必然额外引入位置偏置。对照设计仍较简单，缺少逐层、逐通道校准和真实激活分布分析。

选项顺序平均为何有效

选项顺序平均通过多次重排题目选项，把每个答案置于不同槽位，再聚合 logits 或最终分数。其目标是降低模型固有的首选位置偏置，而不是提高模型本身的知识上限。

论文采用四种循环排列，在 4-bit 的 Qwen3-0.6B 上恢复 12.6 个百分点，相对 FP16 方案也提高 5.3 个百分点。需要注意，收益取决于聚合方式和重排数量：如果不同排列只是重复执行完全相同的确定性计算，平均并不能带来真正独立的预测多样性。

工程实现可选择以下方式：

• Logit 聚合：将同一答案在不同槽位下的 logits 相加或取平均，通常比只投票更平滑；
• 概率聚合：先经过 softmax 再平均，适合需要严格归一化置信度的场景；
• Rank 聚合：只保留答案排名，对 logits 尺度漂移更稳健，但会损失置信度信息；
• 加权聚合：依据校准集估计各排列的可靠性，但会增加调参与维护成本。

固定预算下的选择

在成本匹配实验中，额外增加选项排列只有在权重达到 6-bit 或更高时，才优于继续增加权重位宽。由此形成的决策表非常直接：

1. 优先使用 6-bit 权重；
2. 将剩余预算用于最多四次选项重排；
3. 每次重排只执行一次前向，不对单个排列做多采样；
4. 在真实设备上重新测量，因为该结论来自成本代理模型，而非实测吞吐。

这一结论对资源受限的本地部署尤其有吸引力。6-bit 权重比常见 W4A16 或纯 W4 格式更保守，却可能避免低比特量化对位置偏置的明显放大；随后利用少量额外前向换回准确率，实质上是用推理计算换模型存储与内存带宽。

局限性与复现要求

研究只测试两个小型 Qwen3 模型、四个数据集和一个简单模拟量化器，并未实际生成 INT6 权重或运行低比特算子。论文的标题级检索也没有找到同时研究量化与选项顺序的早期工作，这不能替代更系统的相关工作检索。

此外，评测使用每项任务 300 道样本，置信区间只能部分反映任务抽样误差；分数提升究竟来自模拟中的特定舍入轨迹，还是模型自身的统计波动，仍需更多随机种子验证。答案槽位偏置还应结合更长选项列表、开放式生成和非四选一任务测试，避免将结论局限于 MCQ 场景。

开发者落地建议

部署前应同时记录四项指标：整体准确率、各答案槽位预测占比、重排前后分数方差，以及端到端吞吐。仅看平均准确率可能掩盖位置偏置；仅看权重文件大小则可能忽略重复前向带来的延迟。

对于本地问答和批量 MCQ 服务，可以从 6-bit 权重、两种或四种循环排列开始，在真实硬件上比较 1 pass、低比特单次推理和 4 passes 三种配置。若请求延迟极紧，可优先缓存模型权重并进行批处理，把同一题目的多个排列放入同一批次；不过不同排列会产生不同输入 Token，实际 KV Cache 是否可复用取决于提示词结构和推理引擎实现。

最终选择不应只依据论文中的“权重字节数×推理次数”，而应加入目标硬件上的反量化开销、显存占用、批量吞吐、能耗和答案解析稳定性。对于生成式任务，选项平均无法直接替代更可靠的解码、校准或偏好优化方法。

---

消息来源：Hugging Face Daily Papers (2026-11-10)

—— 完 ——

主题标签： #Qwen3 关注 #权重量化 关注 #选项顺序平均 关注 #本地推理 关注 #位置偏置 关注