PD-GS：音素驱动的3D高斯泼溅，精准唇形同步与防漏嘴新突破

摘要：arXiv最新研究提出PD-GS（Phoneme-Driven Gaussian Splatting），一种音素驱动的3D高斯泼溅说话头生成方法。该方法通过ASR与强制对齐获取时间对齐的音素令牌，并设计语言融合模块（LFM）自适应融合连续音频与离散音素嵌入，有效解决传统方法中唇部运动过平滑和“漏嘴”伪影问题。在HDTF基准上，PD-GS取得最佳唇形几何（LMD 2.66），显著减少闭合违规，生成更符合语言学的神经虚拟形象。该研究为高保真数字人驱动提供了新范式。

---

概述

3D高斯泼溅（3DGS）技术以其快速、逼真的渲染能力在数字人领域备受关注，但音频驱动的说话头生成中，唇部运动的准确性仍是难题。传统方法常因回归目标导致唇部运动过平滑，甚至违反双唇闭合等硬性发音约束，产生“漏嘴”伪影。针对这一挑战，arXiv最新研究提出PD-GS（Phoneme-Driven Gaussian Splatting），通过引入时间对齐的音素令牌，显著提升唇形同步精度。

核心技术：语言融合模块（LFM）

PD-GS的核心创新在于语言融合模块（LFM）。该模块通过可学习的门控机制，自适应融合连续音频上下文与离散音素嵌入。这种设计既保留了音频驱动的平滑动态，又能在发音关键片段强化音素引导，从而精准捕捉短暂的发音事件（如双唇闭合）。

训练与评估

PD-GS仅使用单目视频进行训练，通过图像重建和唇部关键点监督。在HDTF基准上，PD-GS取得了最佳的唇形几何指标（LMD 2.66），并在挑战性音素序列中显著减少了闭合违规，生成更符合语言学的神经虚拟形象。

行业影响与开发者建议

该研究为高保真数字人、虚拟主播、游戏角色等应用提供了更可靠的唇形同步方案。开发者可借鉴其音素引导思路，结合ASR与强制对齐工具，优化现有说话头模型。未来，LFM的融合机制有望推广至其他多模态生成任务。

出处

论文原文：arXiv:2608.05218 [cs.AI]

---

消息来源：ArXiv AI (cs.AI) (2026-08-07)

—— 完 ——

主题标签： #3DGS 关注 #音素驱动 关注 #说话头生成 关注 #唇形同步 关注 #数字人 关注