arXiv发布DELBERT-2：基于指纹的语言模型提升DEL蛋白质结合预测性能

摘要：arXiv近日发布了一种名为DELBERT-2的新型预训练指纹语言模型。该模型通过将稀疏的分子指纹转换为统一的token序列，并使用掩码语言建模技术进行训练，在DEL蛋白质结合预测任务中表现优异。DELBERT-2在六种目标蛋白的测试中，显著提升了PR-AUC和NDCG@1000指标，尤其在分布外（OOD）场景下表现突出。与传统方法相比，DELBERT-2在top-100的富集因子中实现了7.4%的提升，展示了其在虚拟筛选中的实际应用潜力。

---

技术机制剖析

DELBERT-2的核心创新在于其将稀疏的分子指纹转换为统一的token序列，并使用掩码语言建模（MLM）进行预训练。具体来说，该模型基于ModernBERT架构，训练数据来自AIRCHECK DEL语料库的250万分子。DELBERT-2通过以下步骤实现其功能：

1. 指纹转换：将分子指纹转换为token序列，以便于语言模型处理。
2. 预训练：使用MLM技术对模型进行预训练，使其能够捕捉分子结构的语义信息。
3. 微调与评估：在六个目标蛋白（WDR91、WDR12、SETDB1、PLCZ1、LRRK2、DCAF7）上进行微调，并使用三种分布外（OOD）协议进行评估：层次聚类分割、库分割和构建块分割。

工程权衡与实测表现

DELBERT-2在多个指标上均优于传统方法：

• PR-AUC和NDCG@1000：在所有测试目标上，DELBERT-2均表现出色，尤其在严格的OOD场景下提升显著。
• 富集因子：在top-100的富集因子中，DELBERT-2实现了13.28±3.72的提升，而无预训练模型仅为12.36±3.75，展示了7.4%的提升和13倍的随机选择富集。

这些结果表明，DELBERT-2在处理分布偏移和提升命中优先级方面具有显著优势，能够有效应用于DEL虚拟筛选。

开发者落地与部署建议

DELBERT-2的开源代码已在GitHub上发布（DELBERT-2），开发者可以轻松地将其集成到现有的DEL蛋白质结合预测流程中。以下是一些部署建议：

• 数据预处理：确保输入数据经过适当的指纹转换和token化处理。
• 模型微调：根据具体应用场景，对DELBERT-2进行进一步的微调，以提升特定任务的性能。
• 性能优化：利用分布式计算资源，加速模型训练和推理过程。

结论

DELBERT-2展示了指纹中心自监督学习在提升命中优先级方面的有效性，为DEL虚拟筛选提供了新的工具和方法。其在OOD场景下的优异表现，使其成为处理复杂分子数据的有力工具。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-11-03)

—— 完 ——

主题标签： #DELBERT-2 关注 #分子指纹 关注 #蛋白质结合预测 关注 #自监督学习 关注 #虚拟筛选 关注