arXiv研究：优化大语言模型推理以聚合用户行为预测

摘要：arXiv发布了一项关于大语言模型（LLM）推理优化的研究，重点探讨如何结合个体用户行为历史以预测特定行为的发生比例。研究在电子商务领域展开，通过分析浏览会话预测产品转化率，提出了两种设计选择：会话总结与单次会话预测。研究发现，当产品被单独评估时，单次会话预测效果更优；而在多产品联合评估时，会话总结表现更佳。比较性总结在15种设置中的12种中与观察到的转化率呈现最高斯皮尔曼相关性，展示了其在降低推理成本的同时保持高预测准确性的潜力。

---

研究背景与动机

在利用大语言模型（LLM）模拟用户群体行为时，如何有效地结合个体用户的行为历史以预测特定行为的发生比例是一个关键问题。本研究旨在探讨这一问题，特别是在电子商务领域，通过分析用户的浏览会话预测产品的转化率。

研究方法与设计选择

研究提出了两种设计选择：

1. 会话总结：在推理前对产品的会话进行总结。这种方法可以降低推理成本，但可能会丢失一些预测细节，增加偏差。
2. 单次会话预测：对单个会话进行预测后再进行聚合。这种方法保留了细节，但需要多次调用模型以减少方差。

此外，研究还探讨了在单一提示中评估多个产品的影响。这种方法可以帮助模型推断出典型情况，降低偏差，但也会使每个预测依赖于其他产品的出现，增加噪声。

主要发现

• 单次会话预测 vs. 会话总结：当产品被单独评估时，单次会话预测效果更优；而在多产品联合评估时，会话总结表现更佳。
• 比较性总结的优势：比较性总结在15种设置中的12种中与观察到的转化率呈现最高斯皮尔曼相关性，显著优于其他方法。
• 推理成本与准确性的平衡：比较性总结在保持高预测准确性的同时，显著降低了推理成本，仅为单次会话方法的一小部分。

工程权衡与实际应用

• 权衡分析：会话总结方法在降低推理成本方面具有优势，但可能会丢失一些预测细节，增加偏差。单次会话预测方法则相反，保留了更多细节，但需要多次调用模型以减少方差。
• 实际应用建议：在资源受限的场景下，建议使用比较性总结方法以平衡成本与准确性。在需要高精度的场景下，可以考虑使用单次会话预测方法，但需权衡其较高的推理成本。

结论

本研究通过实证分析，展示了在不同设计选择下LLM推理的性能差异，为实际应用提供了有价值的参考。比较性总结方法在多产品联合评估中表现突出，为电子商务领域的用户行为预测提供了一种高效且准确的解决方案。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-20)

—— 完 ——

主题标签： #LLM 关注 #推理优化 关注 #用户行为预测 关注 #电子商务 关注 #arXiv 关注