Deslop用心理语言学量化并诊断AI写作痕迹
文 / Mr.Xu 社区投稿
发布时间:
摘要:GitHub项目Deslop把AI文本检测从笼统的“像不像机器”改写为可测量的修订闭环:技能包依据Biber语法特征、44项语言学研究、认知可读性工作与Graphite“AI Tells”数据构建扫描器,并在改写前后对比问题修复、新增缺陷、事实丢失及改写模型自身的风格痕迹。项目使用Graphite、HC3与ELEPHANT三组人机同题语料评测,但尚未披露量化结果、检测器实现、许可证与跨模型泛化,暂更适合作为可审计写作质量门禁,而非“AI文本探测器”。
核心机制:把“去AI味”变成差分测量
GitHub项目Deslop将AI文本去味从单次提示词重写,改造成带前后扫描、问题差分和事实检查的修订闭环。它不要求所有文本套入simple-english或ISO 24495式的僵硬模板,而是利用Reinhart等人对Biber语法特征的研究、Terčon与Dobrovoljc对44项研究的综述、Clark、Martin与Mahowald对AI文本可读性的分析,以及Graphite发布的“AI Tells”数据,检测人类文本与模型文本之间的统计和心理语言学差异。
可确认的执行链
从作者公开描述看,技能包的核心流程包括:
- 在修订前扫描文本,建立风格、可读性和模型风格特征的基线。
- 执行改写,同时保留原文中需要维持的事实与主张。
- 再次扫描改写结果,比较哪些问题被修复、哪些问题由改写新引入。
- 独立报告事实丢失,并检查改写模型是否带入其所属模型家族的典型“AI tell”。
第四步尤其重要:如果扫描器与改写器使用同一模型家族,二者可能共享盲区;引入模型家族专属规则,可以发现“用另一种AI腔替换原AI腔”的自我强化问题。
技术拆解:从单一分数转向多维约束
根据公开功能语义,可将一次扫描抽象为:
S(x) = [B(x), P(x), T_m(x), F(x)]
其中,B(x)表示文本相对于语料库的Biber类语法和词汇共现特征,P(x)表示与认知负担及可读性相关的心理语言学信号,T_m(x)是改写模型家族m对应的风格特征,F(x)则是事实保留信号。这个向量是依据产品描述建立的工程抽象,并非作者披露的内部实现。
修订前后再计算差分:
ΔS = S(x_after) - S(x_before)
差分报告比单一“AI味分数”更适合工程集成。风格分数下降并不必然代表文本质量提高:如果事实保留率同步下降,系统实际上只是用更隐蔽的表达方式制造了信息损失。因此,Deslop最有价值的部分不是给出一个绝对标签,而是把风格变化与事实风险放进同一次修订审计中。
工程权衡与公开实测边界
| 设计选择 | 实际收益 | 需要控制的代价 | |---|---|---| | 使用语料统计特征,而非统一文风模板 | 保留作者语气,减少“一刀切”改写 | 合法的人类写作也可能命中部分特征,需要按领域校准阈值 | | 比较修订前后变化 | 能直接定位改写引入的新问题 | 对原稿中已经存在但未被改动的问题不敏感 | | 维护模型家族专属tell列表 | 可发现当前改写器最容易产生的模式偏差 | 模型更新后规则容易过时,也会造成不同模型家族之间的评测不对称 | | 加入事实丢失检查 | 防止润色以删除限定词、数据或关键主张为代价 | 若采用嵌入、蕴含判断或额外模型调用,会增加延迟、Token成本和误报 | | 扫描器与改写器分离 | 降低同一模型同时“出题和答题”的偏差 | 独立评测链路更长,需要额外编排与审计记录 |
项目使用三组人机同题语料:Graphite的9,984个网络文章主题、HC3的24,322个问题,以及ELEPHANT的3,027个建议类提示。相同提示下比较人类与模型回答,可以减少题目难度差异造成的干扰;Graphite的tell数据还覆盖九款当前模型。不过,公开描述没有给出精确率、召回率、F1、AUROC、置信区间、人工盲评结果或与无约束改写、Simple English模板、商业检测器的对照数据,因而目前只能确认评测覆盖范围,不能据此判断检测器在真实生产文本上的准确率。
三个语料也未覆盖代码注释、法律条款、技术设计文档、长篇报告等高风险文体。网络文章、问答和建议文本中的分布特征,不能直接外推到强调精确措辞与事实约束的专业内容。
开发者落地建议
- 把扫描器设为质量门,而非自动重写器。 默认输出问题和差分供人或代理处理;只有高置信度的事实丢失才建议阻止发布,避免评分器为了提高单一分数而过度改写。
- 建立不可变事实清单。 在改写前抽取数字、日期、实体、因果关系、否定词和限定条件,为每项事实生成标识;修订后逐项核对,而不是只比较表面Token重叠。
- 按文体和模型家族分别校准。 技术文档、营销文案和叙事文章需要不同阈值;模型升级时同步更新tell规则,并保留规则版本,避免检测基准悄然漂移。
- 采用约束式目标,而非只优化风格分。 工程上可把改写目标设为:在事实保留约束下最大化可读性与风格得分,例如
maximize Q_style(x'),同时要求F(x') >= F(x) - ε。 - 先影子运行,再做A/B测试。 记录人工偏好、关键事实遗漏率、AI-tell精确率与召回率、误报率、p95延迟和每次修订成本。只有在真实任务上稳定优于无扫描改写,才适合接入发布流水线。
- 核验供应链与许可证。 正式采用前应检查仓库许可证、依赖锁定、扫描器是否会向外部服务发送文本,以及规则文件能否审计和回滚。
Deslop的核心贡献是把“读起来像AI”从模糊审美判断改造成可测量、可比较的修订过程。它尚不能证明自己能够通用识别AI文本,但在代理写作流程中,前后差分、事实保留检查和模型家族自检构成了比一次性“请写得更像人”更可靠的工程接口。
—— 完 ——消息来源:GitHub Projects via Hacker News (2026-11-16)
主题标签: #Deslop #代理技能 #AI文本检测 #心理语言学 #事实一致性
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区