arXiv发布论文：聚焦AI累积风险，呼吁关注日常使用中的潜在危害

摘要：arXiv发布了一篇关于AI累积风险的研究论文，强调了AI在日常使用中可能带来的潜在危害，而非仅关注灾难性事件。论文提出了“轨迹忽视论点”（Trajectory Neglect Thesis），指出当前AI安全讨论过于聚焦于极端事件，而忽视了AI在长期使用中通过反复决策和反馈机制积累的负面影响，如偏见加深、认知窄化和隐私泄露等。论文呼吁对AI的使用模式、部署方式及其对个人和社会的影响进行更细致的评估，并提出相应的防护措施。

---

论文核心观点

这篇arXiv论文的核心在于提出AI累积风险的概念，并呼吁AI安全研究应关注AI在日常使用中积累的潜在危害，而非仅仅聚焦于那些极端的、灾难性的事件。作者认为，AI技术通过反复决策、用户反馈以及跨系统部署的交互，可能在潜移默化中加剧偏见、削弱独立判断能力或导致隐私泄露等问题。

技术机制剖析

论文提出了“轨迹忽视论点”（Trajectory Neglect Thesis），指出当前AI安全研究过于关注那些戏剧性的、单一事件的后果，而忽视了AI在长期使用中通过以下机制积累的负面影响：

1. 反复的决策偏差：AI系统可能通过持续的错误决策或偏见强化，逐步影响用户行为和认知。
2. 选择性暴露：用户倾向于接触与其已有观点相符的信息，导致认知窄化。
3. 反馈循环：AI系统与用户之间的持续交互会强化某些行为模式，进一步加剧负面影响。

工程权衡与实测表现

论文以对话AI为例，探讨了这些机制如何通过生成、语义推理和持久记忆等过程发挥作用。例如，AI助手在处理用户请求时，可能因为训练数据中的偏见或用户的历史交互模式，逐渐形成对用户的片面理解，从而影响其后续建议的客观性。

开发者落地与部署建议

1. 评估累积影响：开发者应设计评估框架，以捕捉AI系统在长期使用中的累积效应，而不仅仅关注单次交互的表现。
2. 多样化训练数据：通过引入更多样化的数据来源，减少AI系统中的偏见积累。
3. 用户反馈机制：建立更完善的反馈机制，使用户能够及时纠正AI系统的错误或偏见。

结论

论文呼吁AI研究人员和开发者关注AI累积风险，并提出相应的评估和防护措施，以实现AI技术的可持续发展。

---

消息来源：ArXiv AI (cs.AI) (2026-10-20)

—— 完 ——

主题标签： #AI安全 关注 #累积风险 关注 #Trajectory Neglect Thesis 关注 #对话AI 关注 #偏见 关注