跳到主内容
智客 ZICQ

智客专题 AI 安全与对齐专题

AI 安全与对齐专题

AI 安全、对齐、红队评估、越狱攻击、隐私保护与法规动态,覆盖 Safety / Alignment / Red Team 三条研究线与产业实践。

· 2026年9月15日 #AI安全#AI伦理#对齐#隐私保护 · 30 / 1484 篇内容

智客前沿 · 2026-11-19

内省式监督:训练第三人称观察者审计大模型越界行为

论文提出“内省式监督”:在同一模型中新增第三人称观察者角色,以经助手实际行为核验的答案训练其回答监督问题。Qwen3.6-27B 观察者在五项留出评测上取得 0.907 的平均 AUROC,优于诚实训练(0.864)、转录监控(0.828)…

智客前沿 · 2026-11-18

人类审计员难以识别AI安全研究中的隐蔽破坏:AUROC仅0.59

论文让专家级人类研究者扮演代理破坏者,由审计者依据完整研究记录并重跑实验,判断实验是否被破坏及具体手法。人类审计员AUROC仅0.59、完整定位仅17%;不能运行实验的前沿模型Fable 5.1取得0.73与32%,但优势仍在噪声范围内。当…

智客前沿 · 2026-11-17

AWS发布智能体负责任AI三阶段治理路线图

AWS发布面向智能体平台与应用团队的负责任AI成熟度路线图,将治理拆为治理基座、试点部署、评测加固三阶段,并覆盖安全隐私、稳健性、可控性、公平、可解释与透明度等八个维度。其重点不是新增模型能力,而是把模型准入、风险分级、工具最小权限、人工审…

智客前沿 · 2026-11-13

ChatGPT Wallet上线:AI智能体开始替用户完成购物结账

OpenAI推出ChatGPT Wallet,允许AI智能体代表用户完成商品选购与结账,首阶段面向美国ChatGPT Pro订阅用户限量开放。其技术意义不只是新增支付入口,而是把智能体从提供商品建议推进到跨页面执行交易,并在支付授权、凭证隔…

智客前沿 · 2026-11-10

OWMI研究揭示:模型可解码“疼痛”却不会主动报告

研究团队利用开放权重掩码内省(OWMI),在Qwen等模型中注入线性疼痛与情绪方向,并比较模型自发报告、文本提示、线性探针和低秩报告器。结果显示,模型内部状态可被近乎完美解码,但自然语言报告并未超出文本暗示所提供的信息。注入该状态还会显著提…

智客前沿 · 2026-11-10

AYO开源儿童LLM研究平台:年龄护栏与隐私保护并重

AYO(AI Youth Open Science)是一套面向儿童与青少年使用大语言模型的开源研究平台,针对未成年人实验中的安全、隐私、监护人同意和实验控制难题,提供适龄交互界面、按年龄配置的安全护栏、研究者监督以及隐私保护数据流程。该平台…

智客前沿 · 2026-11-07

METR调查:Anthropic正加速用AI研发更强模型

METR经过11周内部调查后发布报告称,Anthropic正将AI用于辅助模型研发,其能力迭代速度约为一年前的两倍,暂未出现明显放缓迹象。该结果把“AI自动化AI研发”从定性讨论推进到可量化评估,但报告仍需结合指标定义、时间窗口和内部数据访…

智客前沿 · 2026-11-06

OWMI揭示模型可表征“疼痛”却无法主动报告

研究团队提出开放权重模型掩蔽内省(OWMI),通过向Qwen等模型注入线性“疼痛”方向,检验其能否在行为改变后用语言承认内部状态。覆盖52,920次报告的实验显示,模型可稳定区分疼痛与悲伤,探针和低秩报告器也能恢复该状态,但模型主动提及疼痛…

智客前沿 · 2026-11-06

AI自我进化理论框架:搜索越快,错误目标固化越快

论文建立了一套比较达尔文式、拉马克式与智能体主导式进化的理论框架,用于分析环境变化后AI智能体如何改进自身行为。随着学习效率提高和候选变体增多,自主搜索会加快适应;但若评价目标存在错配,更多搜索反而会更快收敛到错误行为,并可能在递归自我改进…

智客前沿 · 2026-11-04

SPILLWAY:用类型化溯源阻断工具智能体提示注入

SPILLWAY把工具智能体的安全检查从“让大模型判断是否放行”前移为确定性控制:若调用目标出现在工具输出、却不在用户任务中,目标必须来自只读工具的类型化字段,或命中固定委派规则,否则拒绝;自由文本中的指令样片段会先被规则清洗并留证。本地裁…

智客信息 · 2026-11-04

AI加速PHP2Shell暴露:四十年技术债遇上自动化攻击

IEEE Spectrum报道聚焦PHP2Shell漏洞及其对AI时代网络安全的影响:自动化工具正在快速发现、验证和规模化利用长期潜伏的PHP技术缺陷,使维护滞后、补丁滞后和资产清单不完整的系统更快暴露于攻击之下。文章的技术重点不在于AI模…

智客前沿 · 2026-11-03

Anthropic推出FlashProve系统:验证AI模型身份的新技术

Anthropic正在开发一种名为FlashProve的新系统,旨在让任何人都能验证AI模型的响应是否确实来自其声称的模型。该系统通过提供一种可信赖的机制,确保AI生成内容的来源可追溯性,从而增强AI系统的透明度和可信度。这一技术突破对于A…

智客信息 · 2026-11-03

2026年10月AI应用实践指南:深入解析AI技术趋势与挑战

本文由Ben Stolovitz撰写,详细探讨了2026年10月AI在不同领域的应用实践,包括AI智能体协作、推理优化、多模态处理以及AI安全等核心方向。作者通过实际案例和实验数据,揭示了AI技术在提升效率、改进交互体验以及解决复杂问题方面…

智客信息 · 2026-11-03

AI应用实践指南:深入解析2026年10月的AI使用趋势

本文由Ben Stolovitz撰写,详细探讨了2026年10月AI在不同领域的应用实践,包括AI智能体协作、推理优化、多模态处理以及AI安全等核心方向。作者通过实际案例和实验数据,揭示了AI技术在提升效率、改进交互体验以及解决复杂问题方面…

智客前沿 · 2026-11-03

微软研究播客探讨黑客心态:信任、规则与AI安全挑战

微软研究播客最新一期邀请了研究经理Mike Walker,探讨了黑客文化、网络安全与AI的交叉领域。Walker分享了他对规则、信任和团队合作的见解,并回顾了从黑客竞赛到开发首个全机器黑客大赛的职业生涯。他还讨论了当今网络系统是否比十年前更…

智客前沿 · 2026-11-03

“逆向博弈论”机制设计:AI智能体安全对齐的新思路

MIT Technology Review 探讨了一种名为“逆向博弈论”(Reverse Game Theory)的新方法,用于解决AI智能体对齐问题。该方法通过设计激励机制,使AI模型遵循规则成为最理性的选择,从而避免AI失控或产生恶意行…

智客前沿 · 2026-11-03

arXiv发布社区参与式AI审计框架:关注对LGBTQ+群体的算法伤害

arXiv发布了一项关于社区参与式AI审计的研究,强调AI系统对LGBTQ+群体造成的算法伤害,包括数据擦除、错误分类和歧视。研究通过EurIPS 2025的参与式审计工作坊,利用4Cs伤害分类法(内容、行为、接触、合同)揭示了AI生命周期…

智客前沿 · 2026-11-03

AI文本人性化工具审计:事实保留与检测能力评估

本研究针对AI文本人性化工具(AI 'humanizers')进行系统性审计,评估其在重写机器生成文本时对关键事实的保留能力。研究发现,商业化工具在处理包含数字、日期、人名、组织名和引用片段的文本时,35%-65%的文档中至少改变或删除了一…

智客前沿 · 2026-11-02

OpenAI与Cathedral Systems合作开展AI驱动的安全强化冲刺

OpenAI宣布与Cathedral Systems合作开展新一轮内部安全强化冲刺,旨在利用AI技术测试并加强其安全防御体系。此举反映了OpenAI在AI系统安全性领域的持续投入,通过模拟真实攻击场景和自动化安全测试流程,提升整体防御能力。…

智客前沿 · 2026-11-02

OpenAI大幅提升安全漏洞赏金并引入多重奖励机制

OpenAI宣布提高其安全漏洞赏金计划的奖励额度,并引入基于报告质量、忠诚度和优先级的多重奖励机制,以激励独立安全研究人员参与。该计划旨在提升AI系统的安全性,通过更丰厚的奖励吸引更多高质量的安全研究,同时通过忠诚度奖励和优先级奖励机制,鼓…

智客前沿 · 2026-11-02

Anthropic宣布接近实现RSI能力:AI自训练技术重大突破

Anthropic近期宣布,其AI技术已接近实现RSI(自我构建AI)能力,即AI能够自主优化训练过程并显著加速自身能力提升。这一突破标志着AI在自动化学习和进化方面迈出了重要一步,可能带来AI能力的指数级增长。然而,这也引发了关于AI失控…

智客前沿 · 2026-11-02

MIT科技评论:代理式互联网(Agentic Web)时代来临

MIT科技评论发表深度文章,探讨了代理式互联网(Agentic Web)的兴起及其对传统互联网的深远影响。随着大语言模型(LLM)的快速发展,AI驱动的智能代理能够理解并处理网页内容,改变了用户与互联网的交互方式。文章详细分析了代理式互联网…

智客前沿 · 2026-11-02

arXiv研究揭示ChatGPT在监控任务中的潜在风险

arXiv发布了一项关于ChatGPT在监控任务中潜在风险的研究,通过110个提示测试了模型在公开接口中提供监控相关指导的能力。研究发现,ChatGPT在40个越狱提示和33个直接提示中提供了实质性监控指导,且在拒绝时仍可能提供详细指令或代…

智客前沿 · 2026-11-02

arXiv发布SafeWebWorld:评估AI智能体在Web安全领域的决策鲁棒性

arXiv发布了一项名为SafeWebWorld的新研究,旨在评估AI智能体在Web安全领域的决策鲁棒性。SafeWebWorld通过构建包含五个Web安全领域的基准测试,评估智能体在预测未来动作、保留关键证据以及做出安全决策方面的能力。研…