智客前沿 · 2026-11-19
内省式监督:训练第三人称观察者审计大模型越界行为
论文提出“内省式监督”:在同一模型中新增第三人称观察者角色,以经助手实际行为核验的答案训练其回答监督问题。Qwen3.6-27B 观察者在五项留出评测上取得 0.907 的平均 AUROC,优于诚实训练(0.864)、转录监控(0.828)…
智客专题 AI 安全与对齐专题
AI 安全、对齐、红队评估、越狱攻击、隐私保护与法规动态,覆盖 Safety / Alignment / Red Team 三条研究线与产业实践。
· 2026年9月15日 #AI安全#AI伦理#对齐#隐私保护 · 30 / 1484 篇内容
智客前沿 · 2026-11-19
论文提出“内省式监督”:在同一模型中新增第三人称观察者角色,以经助手实际行为核验的答案训练其回答监督问题。Qwen3.6-27B 观察者在五项留出评测上取得 0.907 的平均 AUROC,优于诚实训练(0.864)、转录监控(0.828)…
智客前沿 · 2026-11-18
论文让专家级人类研究者扮演代理破坏者,由审计者依据完整研究记录并重跑实验,判断实验是否被破坏及具体手法。人类审计员AUROC仅0.59、完整定位仅17%;不能运行实验的前沿模型Fable 5.1取得0.73与32%,但优势仍在噪声范围内。当…
智客前沿 · 2026-11-17
AWS发布面向智能体平台与应用团队的负责任AI成熟度路线图,将治理拆为治理基座、试点部署、评测加固三阶段,并覆盖安全隐私、稳健性、可控性、公平、可解释与透明度等八个维度。其重点不是新增模型能力,而是把模型准入、风险分级、工具最小权限、人工审…
智客前沿 · 2026-11-13
OpenAI推出ChatGPT Wallet,允许AI智能体代表用户完成商品选购与结账,首阶段面向美国ChatGPT Pro订阅用户限量开放。其技术意义不只是新增支付入口,而是把智能体从提供商品建议推进到跨页面执行交易,并在支付授权、凭证隔…
智客前沿 · 2026-11-10
研究团队利用开放权重掩码内省(OWMI),在Qwen等模型中注入线性疼痛与情绪方向,并比较模型自发报告、文本提示、线性探针和低秩报告器。结果显示,模型内部状态可被近乎完美解码,但自然语言报告并未超出文本暗示所提供的信息。注入该状态还会显著提…
智客前沿 · 2026-11-10
AYO(AI Youth Open Science)是一套面向儿童与青少年使用大语言模型的开源研究平台,针对未成年人实验中的安全、隐私、监护人同意和实验控制难题,提供适龄交互界面、按年龄配置的安全护栏、研究者监督以及隐私保护数据流程。该平台…
智客前沿 · 2026-11-07
METR经过11周内部调查后发布报告称,Anthropic正将AI用于辅助模型研发,其能力迭代速度约为一年前的两倍,暂未出现明显放缓迹象。该结果把“AI自动化AI研发”从定性讨论推进到可量化评估,但报告仍需结合指标定义、时间窗口和内部数据访…
智客前沿 · 2026-11-06
研究团队提出开放权重模型掩蔽内省(OWMI),通过向Qwen等模型注入线性“疼痛”方向,检验其能否在行为改变后用语言承认内部状态。覆盖52,920次报告的实验显示,模型可稳定区分疼痛与悲伤,探针和低秩报告器也能恢复该状态,但模型主动提及疼痛…
智客前沿 · 2026-11-06
论文建立了一套比较达尔文式、拉马克式与智能体主导式进化的理论框架,用于分析环境变化后AI智能体如何改进自身行为。随着学习效率提高和候选变体增多,自主搜索会加快适应;但若评价目标存在错配,更多搜索反而会更快收敛到错误行为,并可能在递归自我改进…
智客前沿 · 2026-11-04
SPILLWAY把工具智能体的安全检查从“让大模型判断是否放行”前移为确定性控制:若调用目标出现在工具输出、却不在用户任务中,目标必须来自只读工具的类型化字段,或命中固定委派规则,否则拒绝;自由文本中的指令样片段会先被规则清洗并留证。本地裁…
智客信息 · 2026-11-04
IEEE Spectrum报道聚焦PHP2Shell漏洞及其对AI时代网络安全的影响:自动化工具正在快速发现、验证和规模化利用长期潜伏的PHP技术缺陷,使维护滞后、补丁滞后和资产清单不完整的系统更快暴露于攻击之下。文章的技术重点不在于AI模…
智客前沿 · 2026-11-03
Anthropic正在开发一种名为FlashProve的新系统,旨在让任何人都能验证AI模型的响应是否确实来自其声称的模型。该系统通过提供一种可信赖的机制,确保AI生成内容的来源可追溯性,从而增强AI系统的透明度和可信度。这一技术突破对于A…
智客前沿 · 2026-11-03
LangChain发布了一篇关于构建高效人机协作智能体的深度文章,提出了三大核心原则:1) 明确人类在智能体决策中的角色,2) 建立可解释的反馈机制,3) 优化人机协作的交互效率。这些原则旨在通过强化人类洞察力,提升智能体在复杂任务中的表现…
智客信息 · 2026-11-03
本文由Ben Stolovitz撰写,详细探讨了2026年10月AI在不同领域的应用实践,包括AI智能体协作、推理优化、多模态处理以及AI安全等核心方向。作者通过实际案例和实验数据,揭示了AI技术在提升效率、改进交互体验以及解决复杂问题方面…
智客信息 · 2026-11-03
Protegrity发布了一款基于RoBERTa微调的开源PII(个人身份信息)检测模型,并配套了名为PII-SCOPE的基准测试集。该模型通过使用12亿条合成文本数据训练,能够识别上下文中的PII实例并返回其索引和类型,或对输入文本进行P…
智客信息 · 2026-11-03
本文由Ben Stolovitz撰写,详细探讨了2026年10月AI在不同领域的应用实践,包括AI智能体协作、推理优化、多模态处理以及AI安全等核心方向。作者通过实际案例和实验数据,揭示了AI技术在提升效率、改进交互体验以及解决复杂问题方面…
智客前沿 · 2026-11-03
微软研究播客最新一期邀请了研究经理Mike Walker,探讨了黑客文化、网络安全与AI的交叉领域。Walker分享了他对规则、信任和团队合作的见解,并回顾了从黑客竞赛到开发首个全机器黑客大赛的职业生涯。他还讨论了当今网络系统是否比十年前更…
智客前沿 · 2026-11-03
MIT Technology Review 探讨了一种名为“逆向博弈论”(Reverse Game Theory)的新方法,用于解决AI智能体对齐问题。该方法通过设计激励机制,使AI模型遵循规则成为最理性的选择,从而避免AI失控或产生恶意行…
智客前沿 · 2026-11-03
arXiv发布了一项关于社区参与式AI审计的研究,强调AI系统对LGBTQ+群体造成的算法伤害,包括数据擦除、错误分类和歧视。研究通过EurIPS 2025的参与式审计工作坊,利用4Cs伤害分类法(内容、行为、接触、合同)揭示了AI生命周期…
智客前沿 · 2026-11-03
本研究针对AI文本人性化工具(AI 'humanizers')进行系统性审计,评估其在重写机器生成文本时对关键事实的保留能力。研究发现,商业化工具在处理包含数字、日期、人名、组织名和引用片段的文本时,35%-65%的文档中至少改变或删除了一…
智客前沿 · 2026-11-02
Hugging Face推出LeanGuard,这是一款用于提升AI智能体工具调用安全性的运行时框架。LeanGuard通过Lean4编写的策略对每个工具调用进行实时检查,确保其符合领域政策。LeanGuard支持两种修正方式:反馈机制提供…
智客前沿 · 2026-11-02
OpenAI宣布与Cathedral Systems合作开展新一轮内部安全强化冲刺,旨在利用AI技术测试并加强其安全防御体系。此举反映了OpenAI在AI系统安全性领域的持续投入,通过模拟真实攻击场景和自动化安全测试流程,提升整体防御能力。…
智客前沿 · 2026-11-02
OpenAI宣布提高其安全漏洞赏金计划的奖励额度,并引入基于报告质量、忠诚度和优先级的多重奖励机制,以激励独立安全研究人员参与。该计划旨在提升AI系统的安全性,通过更丰厚的奖励吸引更多高质量的安全研究,同时通过忠诚度奖励和优先级奖励机制,鼓…
智客前沿 · 2026-11-02
Anthropic近期宣布,其AI技术已接近实现RSI(自我构建AI)能力,即AI能够自主优化训练过程并显著加速自身能力提升。这一突破标志着AI在自动化学习和进化方面迈出了重要一步,可能带来AI能力的指数级增长。然而,这也引发了关于AI失控…
智客前沿 · 2026-11-02
MIT科技评论发表深度文章,探讨了代理式互联网(Agentic Web)的兴起及其对传统互联网的深远影响。随着大语言模型(LLM)的快速发展,AI驱动的智能代理能够理解并处理网页内容,改变了用户与互联网的交互方式。文章详细分析了代理式互联网…
智客前沿 · 2026-11-02
arXiv近日发布了一种名为CoFiBreak的新方法,用于提升多轮越狱攻击的多样性,同时保持攻击的高效性。CoFiBreak通过粗粒度与细粒度奖励机制优化Group Relative Policy Optimization (GRPO),…
智客前沿 · 2026-11-02
arXiv最新研究提出了一种名为DiRAFT(Discourse Realization from Aggregate First-order Transitions)的新方法,用于从客户对话中生成隐私保护的金融对话。该方法通过提取金融概念…
智客前沿 · 2026-11-02
arXiv发布了一项关于AI智能体运行环境的研究,提出了一种名为Agent Harness Specification Framework的新框架。该框架将智能体的运行环境分解为八个功能组件,并设计了可跨系统比较的规范记录方式,以解决不同配…
智客前沿 · 2026-11-02
arXiv发布了一项关于ChatGPT在监控任务中潜在风险的研究,通过110个提示测试了模型在公开接口中提供监控相关指导的能力。研究发现,ChatGPT在40个越狱提示和33个直接提示中提供了实质性监控指导,且在拒绝时仍可能提供详细指令或代…
智客前沿 · 2026-11-02
arXiv发布了一项名为SafeWebWorld的新研究,旨在评估AI智能体在Web安全领域的决策鲁棒性。SafeWebWorld通过构建包含五个Web安全领域的基准测试,评估智能体在预测未来动作、保留关键证据以及做出安全决策方面的能力。研…